Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

Dans le monde de la robotique, le mouvement est souvent une question de compromis. Un robot à roues standard avance et tourne, mais pour se déplacer latéralement, il doit d'abord faire pivoter l'ensemble de son corps. Cette limitation rend la navigation dans des espaces restreints, comme les entrepôts encombrés ou les allées étroites d'usines, une tâche lente et maladroite. Pour résoudre ce problème, les ingénieurs ont développé la roue Mecanum. Ce sont des roues standard équipées d'un anneau de petits rouleaux inclinés. Cet ajout simple permet au robot de glisser dans n'importe quelle direction — vers l'avant, l'arrière, sur le côté ou même en diagonale — sans jamais changer l'orientation de son avant. C'est un outil puissant pour l'automatisation, permettant aux machines de se faufiler entre les obstacles avec l'agilité d'une personne marchant dans une foule compacte.

Cependant, faire bouger ces robots avec précision est bien plus difficile qu'il n'y paraît. La physique d'un robot Mecanum est compliquée par deux facteurs principaux. Premièrement, les roues elles-mêmes sont sujettes au glissement ; les rouleaux n'accrochent pas parfaitement le sol, ce qui entraîne de petites erreurs de mouvement imprévisibles. Deuxièmement, et c'est peut-être plus critique, il y a la question de l'équilibre. Lorsqu'un robot transporte une charge, telle qu'une boîte ou un bras robotisé, le centre de son poids se déplace souvent de son milieu géométrique. Ce déplacement modifie la façon dont le robot résiste au pivotement et la manière dont le poids est réparti sur ses quatre roues. Si un système de contrôle ne tient pas compte de ce déplacement de poids et du glissement inévitable des roues, le robot dérivera de sa trajectoire, oscillera ou ne parviendra pas à suivre le chemin prévu.

Des chercheurs de l'Université d'Électricité de Hanoï, au Vietnam, ont abordé ce problème en développant une nouvelle façon d'apprendre à ces robots comment rester sur la bonne voie. Leurs travaux se concentrent sur un type spécifique de contrôle intelligent qui apprend de l'expérience plutôt que de s'appuyer sur une carte parfaite et précalculée de la physique du robot. Dans leur étude, ils ont créé un système qui permet à un robot Mecanum à quatre roues de suivre une trajectoire souhaitée avec une grande précision, même lorsque la répartition du poids du robot change constamment et que les roues glissent. Ils y sont parvenus en utilisant une méthode appelée apprentissage par renforcement hors politique (off-policy integral reinforcement learning), une technique qui permet au robot d'apprendre la meilleure façon de se déplacer en observant les données collectées pendant l'opération, plutôt que de devoir connaître chaque détail de sa propre mécanique au préalable.

Le défi central auquel les chercheurs ont été confrontés est que les robots du monde réel sont désordonnés. Les modèles théoriques supposent des conditions parfaites, mais en réalité, un robot peut transporter une charge lourde qui se déplace pendant qu'il avance, ou ses roues peuvent perdre de l'adhérence sur un sol lisse. Les méthodes de contrôle traditionnelles peinent souvent face à ces incertitudes, nécessitant aux ingénieurs de régler le système de manière conservatrice ou de posséder une connaissance exacte du poids et du frottement du robot à tout moment. La nouvelle approche proposée dans cet article traite le problème de contrôle comme un jeu entre deux forces opposées. D'un côté, le contrôleur du robot, qui veut minimiser l'effort nécessaire pour rester sur la trajectoire. De l'autre, la perturbation du « pire cas », représentant l'erreur maximale causée par le glissement ou le déplacement du poids. L'objectif est de trouver une stratégie qui fonctionne au mieux, même lorsque l'environnement essaie de pousser le robot hors de sa course aussi fort que possible.

Pour résoudre cela, les chercheurs ont utilisé un cadre mathématique connu sous le nom d'équation de Hamilton-Jacobi-Isaacs. Bien que cette équation soit trop complexe pour être résolue par une simple formule pour un robot réel, l'équipe a utilisé un contournement astucieux impliquant l'intelligence artificielle. Ils ont employé trois réseaux de neurones, des systèmes informatiques modélisés d'après le cerveau humain, pour apprendre la solution. Un réseau agit comme un critique, évaluant la performance du robot. Un second réseau, l'acteur de contrôle, décide des commandes motrices à envoyer aux roues. Le troisième réseau, l'acteur de perturbation, apprend à prédire les pires erreurs que l'environnement pourrait infliger au robot. En entraînant ces réseaux ensemble grâce aux données collectées lors des mouvements du robot, le système apprend une stratégie robuste qui équilibre un mouvement fluide avec la capacité de résister aux perturbations.

Les chercheurs ont testé leur nouveau contrôleur dans deux scénarios distincts à l'aide de simulations informatiques. Dans le premier scénario, ils ont simulé un robot avec un décalage de poids fixe et immuable, semblable à un robot transportant une boîte lourde qui ne bouge jamais. Dans cet environnement stable, le nouveau contrôleur a performé aussi bien qu'une méthode d'apprentissage standard, maintenant le robot sur sa trajectoire circulaire avec une grande précision. Les moteurs du robot produisaient un couple fluide et régulier, et le système a appris rapidement sans devenir instable. Cela a confirmé que la nouvelle méthode fonctionne même lorsque les propriétés physiques du robot sont constantes mais différentes de la conception idéale.

Le second scénario était beaucoup plus exigeant. Ici, les chercheurs ont simulé un robot où le centre de masse changeait constamment, comme si le robot transportait un bras robotique déplaçant son propre poids. Ils ont également introduit un glissement de roue variable dans le temps et des changements dans le poids total du robot, imitant une machine ramassant et déposant des charges lourdes. Dans cet environnement chaotique, la méthode d'apprentissage standard a commencé à montrer ses limites, affichant des erreurs plus importantes dans le cap du robot et un contrôle moins fluide. En revanche, le nouveau contrôleur « off-policy » a maintenu une maîtrise étroite de la trajectoire souhaitée. Il a réussi à compenser le déplacement du poids et le glissement des roues, maintenant les erreurs de suivi faibles et les commandes de moteur fluides. La simulation a montré que le nouveau contrôleur réduisait l'erreur de l'angle de cap du robot plus efficacement que la méthode standard, prouvant sa capacité supérieure à gérer des incertitudes complexes et changeantes.

L'étude conclut que cette nouvelle approche offre une amélioration significative pour les robots mobiles opérant dans des environnements imprévisibles. En tenant explicitement compte des pires perturbations et en apprenant à partir de données plutôt qu'en s'appuyant sur des modèles parfaits, le système atteint un niveau de robustesse qui manque aux méthodes traditionnelles. Les chercheurs ont vérifié que le système reste stable et que le processus d'apprentissage ne conduit pas à un comportement erratique, même sous une incertitude sévère. Bien que les résultats soient pour l'instant basés sur des simulations informatiques, ils fournissent une base solide pour des travaux futurs. La prochaine étape consistera à tester ce contrôleur sur un robot physique, passant de la sécurité d'une simulation numérique à la réalité désordonnée et imprévisible d'un sol d'usine. Si elle réussit, cette technologie pourrait permettre aux robots Mecanum d'opérer de manière plus autonome et fiable dans des contextes dynamiques, des entrepôts automatisés aux environnements de services où les conditions changent constamment.