SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

Dans le monde de la robotique et des machines automatisées, il existe une différence distincte entre une machine qui effectue un mouvement unique et une machine qui répète une tâche des milliers de fois. Lorsqu'un bras robotisé doit souder un châssis de voiture ou qu'une imprimante doit déposer des couches de plastique avec une précision parfaite, il exécute le même mouvement encore et encore. Les ingénieurs savent depuis longtemps que si une machine commet une petite erreur lors de son premier essai, elle peut apprendre de cette erreur pour réussir au suivant. Cette approche, connue sous le nom d'apprentissage itératif, traite chaque répétition comme une leçon, permettant au système d'affiner ses mouvements jusqu'à ce que la trajectoire soit fluide et précise. Cependant, les machines du monde réel ne sont pas parfaites. Elles sont confrontées à des chocs imprévisibles, des charges changeantes et des limites physiques sur la force que leurs moteurs peuvent exercer. Si une machine tente de corriger une erreur en poussant trop fort, elle pourrait heurter un obstacle physique, s'endommageant elle-même ou endommageant le produit. Le défi consiste à apprendre à une machine à tirer les leçons de ses erreurs tout en respectant strictement ses propres limites physiques, surtout lorsque l'environnement change de manière imprévisible d'une tentative à l'autre.

Une équipe de chercheurs de l'Université de Jiangnan et de l'Université de Zielona Góra a développé une nouvelle méthode pour résoudre ce problème spécifique pour les machines complexes dotées de plusieurs pièces mobiles. Ils ont créé un système de contrôle qui combine un algorithme d'apprentissage traditionnel avec une technique d'intelligence artificielle moderne appelée « soft actor-critic ». Ce système hybride est conçu pour des machines qui doivent répéter des tâches mais font face à deux conditions difficiles : l'environnement change légèrement à chaque fois que la tâche est exécutée, et la machine possède des limites strictes et inégales sur la force qu'elle peut appliquer. Dans de nombreux scénarios réels, une machine peut être autorisée à pousser vers l'avant avec une certaine force, mais être tirée en arrière avec une limite différente, ou peut avoir des limites différentes selon les directions. L'objectif des chercheurs était de s'assurer que la machine puisse apprendre efficacement sans jamais violer ces limites de sécurité, même lorsque le processus d'apprentissage suggère lui-même un mouvement trop puissant.

Le cœur de leur solution repose sur un contrôle de sécurité en deux étapes, qu'ils décrivent comme une barrière à double couche. Imaginez une machine qui vient de terminer une tâche et qui se prépare pour la suivante. D'abord, le système calcule un nouveau plan de mouvement amélioré basé sur les erreurs de la course précédente. Avant que ce plan ne soit sauvegardé pour une utilisation future, il passe par la première couche de sécurité. Cette couche agit comme un filtre qui garantit que la mémoire stockée du mouvement reste dans des limites sûres, empêchant la machine de « se souvenir » d'une commande qui serait impossible ou dangereuse à exécuter. Ensuite, alors que la machine exécute réellement la tâche, elle reçoit un ajustement supplémentaire en temps réel de la part de la composante d'intelligence artificielle. Cette IA agit comme un compensateur intelligent, détectant les perturbations inattendues comme le vent ou la friction, et effectuant de minuscules corrections rapides. Cependant, ces corrections peuvent également pousser la machine vers ses limites. Par conséquent, le signal passe par une seconde couche de sécurité juste avant d'atteindre les moteurs. Ce second filtre garantit que la commande finale envoyée à la machine ne dépasse jamais ses capacités physiques, quelle que soit la force de la suggestion de l'IA ou de la perturbation externe.

Pour tester cette approche, les chercheurs ont simulé un système mécanique complexe composé de deux masses reliées par des ressorts et des amortisseurs, ce qui est un modèle courant pour comprendre comment les pièces couplées se déplacent ensemble. Ils ont programmé le système pour suivre une trajectoire spécifique tout en le soumettant à des perturbations aléatoires et non répétitives qui changeaient à chaque essai. Ils ont comparé leur nouvelle méthode à plusieurs techniques existantes, y compris les contrôleurs d'apprentissage standards et d'autres méthodes avancées gérant les contraintes. Les résultats ont montré que leur système de barrière à deux couches surpassait de manière significative les autres. Sur la dernière série d'essais, la nouvelle méthode a réduit l'erreur de suivi moyenne de plus de moitié par rapport à la deuxième meilleure alternative. De manière cruciale, alors que d'autres méthodes suggéraient occasionnellement des mouvements qui auraient violé les limites de sécurité de la machine, le nouveau système a maintené un bilan parfait de zéro violation. Les commandes d'apprentissage stockées et les forces réellement appliquées à la machine sont restées strictement dans la zone de sécurité tout au long de l'expérience.

L'étude comprenait également une analyse détaillée de la contribution de chaque partie du système au succès. En désactivant des composants spécifiques, les chercheurs ont prouvé que la première couche de sécurité était essentielle pour protéger la mémoire de la machine, tandis que la seconde couche était nécessaire pour garantir la sécurité des mouvements physiques réels lorsque l'IA effectuait des ajustements. Sans le travail conjoint de ces deux couches, le système risquait soit de stocker des commandes dangereuses, soit de ne pas pouvoir appliquer les corrections nécessaires sans enfreindre les règles. La composante d'intelligence artificielle a réussi à générer des corrections qui s'opposaient aux perturbations aléatoires, les annulant efficacement. Les chercheurs ont constaté que la capacité du système à apprendre et à s'adapter n'était pas seulement un artefact de simulation, mais un résultat robuste dérivé d'une analyse mathématique rigoureuse qui garantit que la machine restera dans une plage d'erreur prévisible. Ce travail démontre qu'il est possible de construire des machines qui sont à la fois hautement adaptatives et strictement sûres, capables d'apprendre d'environnements complexes et changeants sans jamais outrepasser leurs limites physiques.