🤖 machine learning

Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

Cet article introduit un mécanisme de transformeur incrémentiel à l'exécution qui fait croître et élague dynamiquement les têtes d'attention pendant l'apprentissage par renforcement en fonction de la capacité de représentation du contexte et de la redondance des têtes, éliminant ainsi les défaillances catastrophiques dans le contrôle adaptatif à long horizon de manipulateurs robotiques avec une mémoire de friction non observable et supprimant la nécessité d'un réglage coûteux des hyperparamètres hors ligne.

Auteurs originaux : Giansalvo Cirrincione, Adriano Fagiolini

Publié 2026-09-15

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Giansalvo Cirrincione, Adriano Fagiolini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots qui se déplacent avec précision, tels que les bras utilisés dans les usines pour assembler des voitures ou manipuler des matériaux délicats, s'appuient sur des mathématiques complexes pour savoir quelle force appliquer. Pendant des décennies, les ingénieurs ont utilisé une méthode appelée contrôle par couple calculé, qui calcule la poussée ou la traction exacte nécessaire pour déplacer une articulation vers un point souhaité. Cela fonctionne bien lorsque le mouvement du robot est prévisible, mais les machines du monde réel sont confrontées à un problème caché : la friction. Si une certaine friction est simple et constante, d'autres types, comme le comportement de frottement de Stribeck (adhérence-glissement), dépendent d'un état interne caché qui change au fil du temps. Comme les capteurs d'un robot ne peuvent pas voir directement cet état caché, le système perd sa capacité à prédire son propre comportement futur en se basant uniquement sur sa position actuelle. Pour résoudre cela, les chercheurs se sont tournés vers l'intelligence artificielle, plus précisément vers un type d'apprentissage appelé apprentissage par renforcement, où un programme informatique apprend par essais et erreurs. Cependant, ces programmes utilisent souvent une caractéristique architecturale spécifique appelée mécanisme d'attention, qui agit comme un projecteur, permettant à l'IA de se concentrer sur différentes parties de son histoire récente. Le nombre de ces projecteurs, ou « têtes », est généralement fixé avant le début de l'entraînement, choisi par un processus de recherche long et coûteux. Si le nombre choisi est trop petit, le robot échoue à apprendre ; s'il est trop grand, le système devient inefficace.

Les chercheurs derrière cette étude ont cherché à corriger cette rigidité en créant un système capable de changer d'avis pendant qu'il apprend. Ils ont développé un nouveau contrôleur qui ne décide pas du nombre de têtes d'attention à l'avance. Au lieu de cela, il observe sa propre performance pendant le processus d'entraînement et ajoute de nouvelles têtes lorsqu'il se sent submergé par la complexité de la tâche, ou en retire lorsqu'il réalise que certaines ne servent à rien. Cela se produit en temps réel, sans interrompre le processus d'apprentissage. Le système utilise deux signaux simples pour prendre ces décisions. Premièrement, il mesure la quantité de nouvelles informations provenant de l'historique du robot ; si l'information est trop complexe pour le nombre actuel de têtes, le système en fait croître une nouvelle. Deuxièmement, il vérifie la contribution de chaque tête à la décision finale ; si une tête ne fait presque aucun travail, le système la retire discrètement. Crucialement, les chercheurs ont conçu le système de sorte que l'ajout ou le retrait d'une tête n'entraîne pas de saut ou d'erreur soudain dans le comportement du robot. Lorsqu'une nouvelle tête est ajoutée, elle commence avec une influence nulle, garantissant que le mouvement du robot reste fluide. Lorsqu'une tête est retirée, le changement est si faible qu'il ne perturbe pas l'apprentissage.

L'équipe a testé cette approche sur un bras robotique simulé à deux articulations faisant face à différents niveaux de mémoire de friction, allant de délais à court terme à long terme. Dans des expériences précédentes utilisant des nombres fixes de têtes, le système échouait complètement dans les scénarios de mémoire longue les plus difficiles, provoquant souvent la perte de contrôle du robot ou l'ignorance de la charge qu'il transportait. Avec le nouveau système ajustable en cours d'exécution, le robot a réussi tous les tests, même dans les cas difficiles où l'ancienne méthode avait échoué. Les chercheurs ont constaté que le système n'avait pas découvert un nombre de têtes « naturel » spécifique intrinsèque à la tâche ; au contraire, il a saturé le plafond maximal de têtes dans chaque exécution de la campagne principale, et le déclencheur de l'élagage n'a jamais fonctionné pour retirer des têtes inutilisées. Curieusement, le bénéfice ne provenait pas de la taille finale du système, mais de la manière dont il a grandi. Le processus graduel d'ajout de têtes a agi comme un curriculum d'entraînement, aidant le robot à apprendre étape par étape plutôt que d'être jeté dans une tâche complexe d'un seul coup. Cela suggère que la capacité d'adapter l'architecture pendant l'apprentissage est plus importante que d'avoir une structure massive et pré-construite. Le résultat est une façon plus robuste et efficace d'enseigner aux robots comment gérer la friction désordonnée et imprévisible du monde réel, éliminant le besoin de recherches coûteuses par essais et erreurs pour trouver les bons réglages avant même que le robot ne bouge.

Résumé Technique : Transformer à Incrémentation en Temps de Exécution pour le Contrôle Adaptatif Basé sur l'Apprentissage par Renforcement

Énoncé du Problème
L'article traite du défi que représente le contrôle adaptatif basé sur l'apprentissage pour les manipulateurs robotiques soumis à une mémoire de friction non observable, spécifiquement la friction de Stribeck. Dans de tels systèmes, la force de friction dépend d'un état interne caché avec un « horizon de mémoire » fini ( $\tau_z$ ), ce qui rend le système en boucle fermée non markovien par rapport aux états mesurés. Un travail précédent des auteurs (INCRT-1L) utilisait un encodeur transformer à une seule couche avec un nombre fixe de têtes d'attention ( $K$ ) pour traiter une fenêtre glissante de mesures passées. Cependant, cette approche reposait sur une procédure hors ligne en deux phases (Phase-1/Phase-2) pour sélectionner $K$ via une analyse d'opérateur de substitution. Bien qu'efficace pour les horizons de mémoire courts et moyens ( $\tau_z \in \{1, 2\}$ s), cette approche à capacité fixe a souffert de défaillances catastrophiques dans 40 % des graines (seeds) d'entraînement lors d'horizons de mémoire longs ( $\tau_z = 5$ s). Ces échecs ont été attribués à des attracteurs locaux dans le paysage d'optimisation de l'apprentissage par renforcement (RL) qui étaient invisibles pour l'analyse de substitution hors ligne.

Méthodologie : Runtime-INCRT
L'article introduit le Runtime-INCRT, un mécanisme qui fait croître et élague dynamiquement les têtes d'attention de l'encodeur transformer pendant la boucle d'entraînement de l'apprentissage par renforcement, éliminant ainsi le besoin de recherche d'architecture hors ligne.

Architecture à Têtes Variables : Le méta-contrôleur emploie un bloc transformer avec une capacité maximale de $K_{max}$ têtes. À n'importe quel pas d'entraînement $t$ , un masque actif détermine le nombre actuel de têtes $K(t)$ .
Déclencheurs en Temps d'Exécution (Runtime Triggers) :
- Croissance (Growth) : Déclenchée lorsque le rang effectif ( $\hat{\rho}_\alpha$ ) de la distribution des tokens de contexte on-policy dépasse la capacité actuelle multipliée par un seuil ( $K(t)(1+\epsilon_{grow})$ ). Cela indique que la capacité de représentation actuelle est insuffisante pour capturer la complexité de la distribution d'entrée de la politique.
- Élagage (Pruning) : Déclenché lorsque la magnitude relative de la sortie d'une tête active tombe en dessous d'un seuil ( $\epsilon_{prune}$ ), signalant la tête comme redondante.
Contraintes Opérationnelles :
- Période de Récupération (Cooldown) : Un nombre minimum d'étapes ( $\Delta_{grace}$ ) est imposé entre les événements pour permettre à la politique de s'adapter.
- Initialisation Douce (Soft Initialization) : Lorsqu'une nouvelle tête est ajoutée, sa matrice de projection de sortie ( $W^O$ ) est initialisée à zéro. Cela garantit que la nouvelle tête contribue initialement à une sortie nulle, préservant la continuité de la politique.
- Borne d'Élagage : Lorsqu'une tête est supprimée, le changement dans la sortie de la politique est borné par le seuil d'élagage.

Garanties Théoriques
Les auteurs établissent trois garanties analytiques pour assurer la stabilité du processus d'apprentissage :

Perte Nulle à la Croissance (Proposition 7) : En raison de l'initialisation douce ( $W^O=0$ ), l'ajout d'une tête n'entraîne aucun changement de la sortie de la politique au moment de la croissance.
Borne de Continuité de la Politique (Théorème 9) : La discontinuité cumulative introduite par les événements d'élagage est bornée linéairement par le nombre d'événements d'élagage et le seuil $\epsilon_{prune}$ .
Convergence du Nombre de Têtes (Proposition 11) : Pourvu que le rang effectif empirique de la distribution de contexte se stabilise, le nombre de têtes actives $K(t)$ converge vers un intervalle d'état stationnaire déterminé par les seuils de croissance et d'élagage.

Résultats Expérimentaux
La méthode a été évaluée sur un manipulateur à 2 degrés de liberté (DOF) avec une friction de Stribeck à travers trois régimes de mémoire ( $\tau_z \in \{1, 2, 5\}$ s) en utilisant 10 graines aléatoires par régime (30 passages au total).

Taux de Succès : Runtime-INCRT a atteint un taux de succès de 100 % (30/30 passages), éliminant avec succès le mode de défaillance à long horizon observé pour la référence à $K$ fixe.
Performance : Il a obtenu un succès complet à travers tous les régimes de mémoire avec un seul ensemble d'hyperparamètres, surpassant l'approche à $K$ fixe qui échouait à $\tau_z = 5$ s.
Dynamique de Capacité : Contrairement à l'attente selon laquelle le contrôleur adapterait $K(t)$ à la complexité de la tâche, le mécanisme a saturé la limite maximale de têtes ( $K_{max}=8$ ) dans tous les passages. Le déclencheur d'élagage ne s'est jamais activé.
Aperçus d'Ablation :
- Varier $K_{max}$ à $\tau_z = 2$ s a montré que des capacités plus petites ( $K_{max}=2$ ) produisaient de meilleures performances moyennes et une variance plus faible que des capacités plus grandes ( $K_{max}=16$ ), suggérant qu'une plus grande capacité n'améliore pas intrinsèquement les performances.
- La performance était non monotone par rapport au paramètre de cooldown ( $\Delta_{grace}$ ), la valeur par défaut étant optimale.
- Conclusion sur le Mécanisme : Les auteurs concluent que le bénéfice de Runtime-INCRT provient de la trajectoire d'entraînement plutôt que de la capacité terminale. L'activation progressive des têtes agit comme un curriculum de capacité implicite au sein d'un seul passage de RL, guidant l'optimiseur loin des mauvais attracteurs locaux.

Signification et Revendications
L'article affirme que Runtime-INCRT offre une alternative fondée sur des principes à la recherche d'architecture hors ligne pour le contrôle adaptatif dans les environnements non markoviens. Sa principale contribution est la démonstration que l'adaptation en temps d'exécution de la capacité du modèle, pilotée par le rang effectif de la distribution des données on-policy, peut résoudre les échecs d'optimisation associés aux horizons de mémoire longs. Les auteurs soulignent que la méthode élimine le besoin de recherche d'hyperparamètres par tâche pour le nombre de têtes et fournit des garanties analytiques sur la continuité de la politique, se distinguant des approches standards de type « redémarrage et redimensionnement ». Ce travail suggère que le processus de croissance de la capacité sert de biais inductif critique pour un apprentissage par renforcement réussi dans des tâches de contrôle complexes, plutôt que la taille finale du modèle étant le seul déterminant du succès.

Articles similaires