🤖 machine learning

Language-Critique Imitation Learning from Suboptimal Demonstrations

Cet article propose un cadre d'apprentissage par imitation par critique de langage qui exploite des retours en langage naturel structurés pour décrire explicitement les progrès, les échecs et les corrections, permettant ainsi aux politiques de surpasser les méthodes existantes lors de l'apprentissage à partir de démonstrations sous-optimales sans réduire les signaux expressifs en valeurs scalaires.

Auteurs originaux : Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à effectuer une tâche complexe, comme empiler des blocs ou conduire une voiture. Habituellement, vous auriez besoin d'un expert humain parfait pour montrer exactement au robot ce qu'il doit faire. Mais les experts sont coûteux, et parfois, vous n'avez qu'un amas de tentatives « correctes » mélangées à quelques tentatives parfaites.

Le problème avec le fait de simplement montrer au robot ces tentatives mélangées, c'est qu'il s'embrouille. Il ne sait pas pourquoi un mouvement spécifique était bon ou mauvais. Les méthodes traditionnelles essaient de corriger cela en donnant au robot un score simple, comme un « pouce levé » ou un « pouce baissé », ou un chiffre de 1 à 10. Mais les auteurs de cet article soutiennent qu'un chiffre unique est comme essayer d'expliquer une recette complexe en disant simplement « C'est bon » ou « C'est mauvais ». Cela ne dit pas ce qu'il faut corriger.

La grande idée : Le « Coach Linguistique »

Cet article introduit une nouvelle façon d'enseigner aux robots appelée Apprentissage par Imitation par Critique Linguistique (Language-Critique Imitation Learning). Au lieu de donner au robot un score simple, on lui donne un coach linguistique.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. L'ancienne méthode (La fiche de notation)
Imaginez un élève passant un examen. L'enseignant lui rend sa copie avec juste un grand « C » écrit en rouge. L'élève sait qu'il a échoué, mais il n'a aucune idée de pourquoi. A-t-il oublié les dates ? A-t-il fait des fautes d'orthographe ? A-t-il mal compris la question ? L'élève est bloqué dans ses suppositions. En robotique, c'est comme utiliser un simple « score de récompense ». Le robot sait qu'une action était sous-optimale, mais il ne sait pas comment la corriger.

2. La nouvelle méthode (Le coach linguistique)
Maintenant, imaginez que l'enseignant rende la copie avec une note détaillée : « Vous avez bien retenu les dates, mais vous avez manqué l'argument principal du deuxième paragraphe. De plus, essayez de rédiger votre conclusion plus clairement la prochaine fois. »

Cet article fait exactement cela pour les robots. Il prend les actions du robot et génère une critique en langage naturel qui explique :

La progression : « Vous essayez actuellement de ramasser la boîte, mais vous ne l'avez pas encore saisie. »
La qualité : « Ce mouvement était mauvais parce que vous avez bougé trop vite. »
La correction : « Ensuite, vous devriez déplacer votre bras lentement vers la gauche. »

Comment le robot apprend

Les chercheurs ont construit un système composé de deux parties principales :

Le Générateur de Labels (Le scénariste) : Cette partie observe les mouvements du robot et rédige ces notes utiles. Elle décompose la tâche en trois parties : où vous en êtes dans la tâche, si votre mouvement était bon, et comment le corriger.
L'LLM-Captioner (Le traducteur) : C'est un petit modèle de langage intelligent qui apprend à lire l'état du robot et à rédiger ces notes automatiquement. Il agit comme un pont, traduisant les données brutes du robot en conseils semblables à ceux d'un humain.

Une fois que le robot possède ces « notes », il ne se contente pas d'essayer de copier les mouvements parfaits. Au lieu de cela, il essaie de réaliser des mouvements qui obtiendraient une « bonne » note de la part du coach linguistique. Il apprend à éviter les actions qui recevraient une « mauvaise » note et une correction.

Pourquoi c'est une avancée majeure

L'article a testé cela sur de nombreuses tâches, allant de la navigation dans des labyrinthes aux mouvements précis d'un bras robotique. Ils ont constaté que :

Cela fonctionne mieux que des scores simples : Le robot a appris plus rapidement et a commis moins d'erreurs lorsqu'il disposait des conseils détaillés en langage plutôt que d'un simple score numérique.
Cela gère bien les « données désordonnées » : Même lorsque les données d'entraînement étaient remplies de tentatives imparfaites et sous-optimales (comme un élève qui répond majoritairement faux), le coach linguistique pouvait toujours identifier les éléments utiles et dire au robot ce qu'il devait corriger.
Cela aide pour les tâches complexes : Pour des tâches qui nécessitent de nombreuses étapes ou des mouvements très précis (comme insérer une cheville dans un trou minuscule), le feedback linguistique a été crucial. Cela a aidé le robot à comprendre « l'histoire » de la tâche, et pas seulement le résultat final.

L'essentiel

Considérez cet article comme un passage de l'enseignement d'un robot par la notation à l'enseignement par le coaching. En utilisant le langage naturel pour expliquer pourquoi un mouvement était erroné et comment le corriger, le robot peut apprendre beaucoup plus efficacement à partir de données imparfaites, ce qui le rend plus intelligent et plus robuste sans avoir besoin qu'un expert humain regarde chaque mouvement.

Résumé technique : Apprentissage par imitation par critique de langage à partir de démonstrations sous-optimales

Énoncé du problème

L'apprentissage par imitation (IL) à partir de démonstrations sous-optimales vise à apprendre des politiques robustes en exploitant des trajectoires abondantes mais imparfaites, parallèlement à des données d'experts limitées. Cependant, les méthodes existantes reposent généralement sur des signaux de supervision scalaires compressés — tels que des estimations de confiance, des scores de discriminateurs, des poids d'importance ou des récompenses — pour distinguer les comportements utiles du bruit. Les auteurs soutiennent que ces signaux scalaires sont intrinsèquement limités car ils ne peuvent pas exprimer explicitement le raisonnement intermédiaire concernant la progression de la tâche, les modes d'échec spécifiques ou les actions correctives. Par conséquent, ils échouent souvent à capturer l'information structurée nécessaire à l'apprentissage dans des tâches à long horizon ou multimodales où le succès dépend de décisions subtiles et spécifiques à chaque étape.

Méthodologie

Le papier propose l'Apprentissage par imitation par critique de langage (Language-Critique Imitation Learning), un cadre hors ligne qui remplace les signaux scalaires par le langage naturel en tant que signal de supervision structuré. La méthode se compose de trois composantes clés :

1. Génération de labels de langage structurés

Pour éviter la variabilité et le coût de l'annotation humaine ou de la génération libre par des modèles de langage de grande taille (LLM), les auteurs introduisent un Générateur de labels de langage ( $\mu_g$ ) déterministe. Pour toute paire état-action $(s, a)$ , $\mu_g$ extrait des heuristiques spécifiques à la tâche (ex: distance de l'objet, statut de la pince) et les dirige vers trois sélecteurs spécifiques pour générer un label de langage composite $l$ :

Progression de la tâche ( $<T>$ ) : Décrit l'étape sémantique actuelle de la tâche (ex: "approche de l'objet", "se déplaçant vers la cible").
Optimalité de l'action ( $<A>$ ) : Évalue si l'action est bénéfique, inefficace ou nuisible pour le contexte actuel (ex: "L'action est bonne", "L'action est mauvaise").
Guidage de mouvement ( $<M>$ ) : Fournit des instructions correctives fines (ex: "Déplacez-vous vers la droite doucement", "Penchez vers le bas").

Cette approche structurée garantit que les labels sont cohérents, reproductibles et directement pertinents pour la tâche de contrôle sans dépendre d'informations privilégiées de l'environnement.

2. Légendeur LLM différentiable ( $\mu_\phi$ )

Pour permettre l'optimisation de la politique de bout en bout, les labels de langage discrets générés par $\mu_g$ sont distillés dans un Légendeur LLM différentiable ( $\mu_\phi$ ). Ce modèle, construit sur un LLM pré-entraîné (spécifiquement SmolLM2) et un projecteur MLP, mappe les paires état-action vers la distribution de labels de langage structurés.

Entraînement : $\mu_\phi$ est affiné sur le jeu de données général (contenant à la fois des données d'expert et sous-optimales) en utilisant une perte de cross-entropie au niveau du jeton pour imiter $\mu_g$ .
Rôle : Une fois entraîné, $\mu_\phi$ agit comme un critique différentiable gelé capable d'évaluer la probabilité qu'une action de la politique $\hat{a}$ produise le label de langage de l'expert $l^E$ .

3. Perte de critique de langage ( $L_{LC}$ )

L'objectif d'apprentissage central est la Perte de critique de langage, qui entraîne directement la politique $\pi_\theta$ en utilisant les signaux structurés de $\mu_\phi$ sans les réduire à des scalaires.

Mécanisme : La perte pénalise les actions de la politique qui rendent le label de langage de l'expert moins probable que l'action de l'expert elle-même. Elle est formulée comme une différence tronquée entre la perte de cross-entropie de la politique et la perte de cross-entropie de l'expert :
$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$
où $[x]_+ = \max(x, 0)$ et $\text{sg}$ désigne l'arrêt du gradient (stop-gradient).
Instantiations :
- LC-BC : Appliquée au clonage de comportement (Behavior Cloning - BC) standard à propagation directe.
- LC-DP : Appliquée aux politiques de diffusion (Diffusion Policies). Puisque les modèles de diffusion prédisent le bruit plutôt que les actions, la perte est appliquée à l'action reconstruite en une étape $\hat{a}_0$ . Un facteur de repondération dépendant du pas de temps $\omega_k$ est introduit pour équilibrer la contribution des différentes étapes de diffusion, assurant que la perte s'aligne avec l'objectif de diffusion standard.

Contributions clés

Cadre : Introduction d'un cadre de critique de langage qui utilise le langage naturel comme un signal de supervision structuré et non scalaire pour l'apprentissage par imitation à partir de démonstrations sous-optimales.
Algorithme : Développement de LC-BC et LC-DP, qui intègrent la supervision guidée par le langage dans les politiques de clonage de comportement et de diffusion, respectivement.
Garantie théorique : Une preuve théorique montrant que la minimisation de l'écart de critique de langage limite par le haut l'écart de performance entre l'expert et la politique sous des hypothèses standard (réalisabilité de caractéristiques linéaires et suffisance du langage).
Validation empirique : Évaluation complète sur huit tâches de contrôle continu diverses (navigation, manipulation, jeu de plateau) démontrant une supériorité constante sur les bases de référence solides.

Résultats expérimentaux

Les auteurs ont évalué leurs méthodes sur huit tâches : MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER et RELOCATE.

Performance vs Baselines : LC-BC et LC-DP ont systématiquement surpassé ou égalé les bases de référence solides de l'apprentissage par imitation (ex: DemoDICE, DWBC, ILID) et les méthodes de RL hors ligne (ex: CQL, TD3+BC, Decision Transformer, Diffusion Policy).
- Des gains notables ont été observés dans les tâches multimodales (BLOCKPUSH) et de contrôle de précision (PEGINSERT, HAMMER). Par exemple, sur BLOCKPUSH, LC-BC a amélioré le taux de réussite de 34,4 % (BC standard) à 47,2 %.
- Dans la tâche de précision PEGINSERT, LC-DP a maintenu un avantage clair sur la politique de diffusion standard, tandis que LC-BC a montré des améliorations modestes, suggérant que les politiques de diffusion intègrent mieux le guidage linguistique de haut niveau via le débruitage itératif.
Données de qualité mixte : La méthode est restée efficace même lorsque l'ensemble de données d'expert n'était pas proprement séparé, utilisant des heuristiques basées sur le langage pour filtrer les données sous-optimales d'un ensemble de données mixtes.
Études d'ablation :
- Structuré vs Scalaire : Les méthodes utilisant des labels de langage ont nettement surpassé les variantes qui réduisaient les labels en récompenses scalaires (LC-BC-reward) ou en classes catégorielles discrètes (LC-BC-classifier), confirmant la valeur de la préservation de l'expressivité du langage naturel.
- Importance des composantes : Les trois composantes ( $<T>, <A>, <M>$ ) se sont révélées complémentaires ; la suppression de l'une d'entre elles dégrada les performances.
- Source des labels : Le générateur structuré $\mu_g$ s'est avéré supérieur aux labels générés par des VLM ouverts (ex: via o4-mini) en raison d'une meilleure cohérence sémantique et d'un meilleur alignement des caractéristiques, particulièrement pour le guidage de mouvement fin.

Signification et affirmations

Le papier affirme que le langage naturel sert de forme puissante et structurée de supervision qui est supérieure aux signaux scalaires compressés pour l'apprentissage à partir de données sous-optimales. En décrivant explicitement la progression de la tâche, les modes d'échec et les actions correctives, les labels de langage fournissent l'information structurée nécessaire pour guider les politiques dans des environnements complexes, à long horizon et multimodaux.

Les auteurs soulignent que leur approche n'utilise pas seulement le langage comme une aide descriptive, mais comme un signal de supervision direct et différentiable qui permet un apprentissage de politique robuste sans nécessiter d'interactions supplémentaires avec l'environnement ou de données d'expert additionnelles. Les résultats théoriques viennent étayer ce succès empirique, montrant que l'objectif proposé contrôle l'écart de performance par rapport à la politique de l'expert. Ce travail suggère que le langage peut efficacement combler l'écart entre les données d'expert limitées et les données sous-optimales abondantes, offrant une voie scalable vers un apprentissage par imitation robuste dans le contrôle continu.