💻 computer science

From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

Cet article présente CLIC, un cadre d'apprentissage par imitation intégrant l'humain dans la boucle qui remplace la supervision d'actions ponctuelle et fragile par des cibles à valeurs d'ensemble dérivées d'un feedback correctif, permettant ainsi un apprentissage de politique robuste capable d'intégrer des guidages humains bruités, relatifs et multimodaux.

Auteurs originaux : Zhaoting Li, Rodrigo Pérez-Dattari, Robert Babuska, Cosimo Della Santina, Jens Kober

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoting Li, Rodrigo Pérez-Dattari, Robert Babuska, Cosimo Della Santina, Jens Kober

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment accomplir une tâche, comme verser de l'eau dans une tasse ou attraper une balle. La méthode traditionnelle pour ce faire s'appelle le Clonage de comportement. Pensez-y comme à un enseignant strict qui pointe un seul endroit précis sur une carte et dit : « Tu dois aller exactement ici. »

Le problème avec cette approche, c'est que les humains ne sont pas parfaits. Parfois, nous sommes fatigués, nos mains tremblent, ou nous donnons simplement une direction légèrement erronée. Si le robot traite chaque instruction humaine comme une loi parfaite et immuable, il commence à mémoriser nos erreurs. Il devient « fragile » : si l'humain fait une toute petite erreur, le robot se perd et échoue. C'est comme un élève qui mémorise les coordonnées exactes d'une mauvaise réponse sur un examen et échoue parce qu'il ne peut gérer aucune variation.

D'un autre côté, certaines méthodes tentent d'enseigner au robot en disant : « Cette action est meilleure que celle-là. » C'est comme un enseignant qui dit : « Aller vers la gauche est mieux que d'aller vers la droite », sans préciser combien de mètres vers la gauche. Bien que cela soit plus flexible, c'est souvent trop vague. Le robot pourrait finir par errer sans but parce qu'il ne connaît pas les limites du comportement « bon ».

La Nouvelle Idée : « La Zone de Sécurité »

Les auteurs de cet article proposent un juste milieu appelé CLIC (Contrastive policy Learning from Interactive Corrections). Au lieu de donner au robot un seul point ou une comparaison vague, ils lui apprennent à chercher une « Zone de Sécurité » ou un Ensemble Cible.

Voici l'analogie :

Ancienne méthode (par point) : L'enseignant dit : « Tenez-vous exactement sur cette tuile spécifique. » Si l'enseignant pointe une tuile légèrement erronée, le robot se tient là et échoue.
Ancienne méthode (par paires) : L'enseignant dit : « Se tenir du côté gauche est mieux que du côté droit. » Le robot sait qu'il ne devrait pas être à droite, mais il ne sait pas s'il devrait être très à gauche, au milieu, ou juste légèrement à gauche. C'est trop lâche.
CLIC (à valeur d'ensemble) : L'enseignant dit : « Ne vous tenez pas sur la tuile rouge (là où le robot s'est trompé), mais vous pouvez vous tenir n'importe où dans ce cercle bleu autour de la tuile verte. »

Dans cette nouvelle méthode, lorsqu'un humain corrige le robot, il ne donne pas simplement une nouvelle coordonnée. Il définit une région d'actions acceptables.

Si l'humain pousse légèrement le bras du robot vers la gauche pour corriger une erreur, le robot apprend : « D'accord, l'action correcte se trouve quelque part dans cette direction générale, pas nécessairement exactement là où vous m'avez poussé. »
Si l'humain donne une correction bruitée ou tremblante, le robot comprend que la « Zone de Sécurité » est un peu floue, mais il sait toujours ce qu'il ne faut pas faire (le mauvais côté) et ce qui est généralement acceptable (la zone).

Fonctionnement en Pratique

L'article a testé cette idée de deux manières principales :

Simulations : Ils ont exécuté des milliers de simulations informatiques avec des tâches comme pousser un bloc en forme de T, ramasser une boîte de conserve ou soulever un objet avec deux bras de robot.
- Le Résultat : Lorsque les données humaines étaient parfaites, CLIC fonctionnait aussi bien que les anciennes méthodes. Mais lorsque les données humaines étaient bruitées, tremblantes ou seulement partielles (par exemple, l'humain ne corrigeait qu'un bras d'un robot à deux bras), CLIC continuait de fonctionner tandis que les anciennes méthodes plantaient ou échouaient complètement.
- Pourquoi ? Parce que CLIC ne tentait pas de mémoriser les mouvements de mains tremblantes. Il apprenait la forme du comportement correct.
Robots réels : Ils ont testé cela sur de vrais robots effectuant des tâches telles que :
- Insérer une forme en T dans une forme en U : Un puzzle complexe nécessitant des mouvements précis.
- Attraper une balle : Une tâche dynamique et rapide où les humains ne peuvent pas facilement donner des démonstrations parfaites, ils se contentent donc de donner de petits coups de pouce directionnels rapides.
- Verser de l'eau : Une tâche nécessitant un contrôle délicat d'une bouteille.
- Le Résultat : Le robot a appris plus vite et plus fiablement. Dans la tâche d'attraper la balle, le robot est passé d'attraper rarement la balle à l'attraper systématiquement en deux essais, même si l'humain ne donnait que des indications directionnelles approximatives.

L'Essentiel

L'article affirme qu'en traitant les corrections humaines comme des régions de possibilité plutôt que comme des cibles exactes, les robots deviennent beaucoup plus robustes. Ils peuvent gérer les erreurs humaines, les mains tremblantes et les instructions incomplètes sans se perdre.

C'est la différence entre un élève qui mémorise une seule mauvaise réponse et un élève qui comprend le concept de la bonne réponse. CLIC enseigne au robot le concept (la « Zone de Sécurité ») plutôt que simplement les coordonnées, ce qui en fait un bien meilleur apprenant lorsque les humains sont impliqués.

1. Énoncé du problème

L'article aborde une limitation fondamentale de l'Apprentissage par Imitation Interactive (IIL) et du Clonage de Comportement (BC) : la fragilité de la supervision ponctuelle.

Le problème : Le BC traditionnel traite les démonstrations humaines ou les retours correctifs comme des cibles d'action exactes et ponctuelles ( $a^*$ ). Bien que efficace avec des données parfaites, cette approche échoue lorsque les retours humains sont bruités, sous-optimaux ou relatifs (indiquant une direction mais pas une magnitude).
La conséquence : Lors de l'utilisation de classes de politiques expressives (par exemple, des Modèles Basés sur l'Énergie (EBM) ou des Modèles de Diffusion), la supervision ponctuelle provoque un surapprentissage de la politique à des étiquettes spécifiques, potentiellement bruitées. Cela crée des minima locaux abrupts autour des actions fournies, éloignant la politique du comportement optimal sous-jacent réel.
Limites des alternatives :
- Apprentissage par préférence par paires : Bien que plus robuste que les étiquettes ponctuelles, les comparaisons par paires (par exemple, « L'action A est meilleure que l'action B ») ne contraignent que l'ordre relatif de deux actions. Dans des espaces continus de haute dimension, cela laisse le reste de l'espace d'action largement non contraint, permettant à la politique d'attribuer une probabilité élevée à des régions sous-optimales tout en satisfaisant toujours la contrainte de préférence.
Le vide : Il existe un besoin d'un objectif de supervision plus robuste que le BC ponctuel (pour gérer le bruit/la sous-optimalité) mais plus informatif que les comparaisons par paires (pour contraindre efficacement l'espace d'action).

2. Méthodologie : CLIC

Les auteurs proposent CLIC (Contrastive policy Learning from Interactive Corrections), un cadre qui passe des étiquettes ponctuelles à une supervision à valeurs d'ensemble.

Concept central : Ensembles d'actions désirées

Au lieu de traiter une correction humaine comme une unique action cible, CLIC l'interprète comme définissant un Ensemble d'Actions Désirées ( $\hat{A}$ ). Cet ensemble contient toutes les actions cohérentes avec le retour, tout en excluant l'action exécutée (sous-optimale).

Corrections absolues : Si un humain fournit une nouvelle action $a_h$ , l'ensemble désiré est une région autour de $a_h$ (par exemple, une boule ou un polytope).
Corrections relatives : Si un humain fournit une direction $h$ pour améliorer l'action actuelle $a_r$ , l'ensemble désiré est un cône ou un demi-espace dans cette direction, sans s'engager sur une magnitude spécifique.

Composants clés

A. Construction des ensembles d'actions désirées
L'article définit deux constructions géométriques spécifiques pour ces ensembles :

Ensembles polytopiques (CLIC-Half) : Construits en intersectant plusieurs contraintes de « demi-espace » dérivées de l'augmentation de données.
- Une seule correction $(a_r, a_h)$ est augmentée en plusieurs paires contrastives $(a^-_i, a^+_i)$ .
- Chaque paire définit un demi-espace où les actions plus proches de $a^+_i$ sont préférées.
- L'intersection de ces demi-espaces forme un polytope (s'approchant d'un cône).
- Paramètres : La certitude directionnelle ( $\alpha$ ) et la certitude de magnitude ( $\epsilon$ ) contrôlent la forme et la taille de l'ensemble.
Ensembles circulaires (CLIC-Circular) : Spécifiquement pour les corrections absolues.
- Définit une boule centrée sur l'action humaine $a_h$ avec un rayon proportionnel à la distance entre l'action du robot et l'action humaine.
- Cela capture l'intuition que l'action optimale se trouve dans un voisinage de la correction.

B. Agrégation et convergence

Raffinement itératif : Une seule correction est souvent insuffisante pour identifier l'action optimale. CLIC agrège plusieurs corrections au fil du temps.
Intersection : L'ensemble d'actions désirées global pour un état est l'intersection de tous les ensembles individuels dérivés du tampon de retour ( $\hat{A}_{D_s} = \bigcap \hat{A}_i$ ).
Convergence : Théoriquement, à mesure que davantage de retours sont agrégés, l'intersection de ces ensembles converge vers l'ensemble des actions optimales ( $A^*_s$ ), à condition que l'enseignant fournisse des retours sur des actions sous-optimales et que les ensembles incluent toujours au moins une action optimale.

C. Objectif de façonnage de la politique
Pour entraîner la politique $\pi_\theta$ à s'aligner sur ces ensembles, CLIC minimise la divergence KL entre la politique actuelle et une distribution cible ( $\pi_{target}$ ) :
$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$

Distribution cible : Définie via la règle de Bayes en utilisant un modèle d'observation.
- Modèle d'observation : Une fonction d'appartenance douce (sigmoïde) qui attribue une probabilité élevée aux actions à l'intérieur de l'ensemble désiré et une probabilité faible à celles qui en sont extérieures.
- Prior : Utilise la politique actuelle comme prior ( $\pi_\theta$ ) plutôt qu'un prior uniforme. Cela crée une « perte Bayésienne pondérée par la politique », garantissant que les mises à jour sont conservatrices et incrémentales, empêchant la politique de dériver trop loin des comportements appris précédemment.
Implicite vs Explicite :
- Implicite (EBM) : La perte est optimisée en utilisant un échantillonnage contrastif (style InfoNCE), où la distribution cible pondère les échantillons en fonction de leur appartenance à l'ensemble.
- Explicite (Gaussien) : Pour les tâches unimodales, la méthode se simplifie en une perte à charnière assurant que la moyenne de la politique se trouve à l'intérieur du polytope.

3. Contributions clés

Perspective de supervision à valeurs d'ensemble : Propose une formulation novatrice où le retour correctif définit une région d'actions acceptables plutôt qu'un point unique, comblant le fossé entre le BC ponctuel et l'apprentissage par préférence par paires.
Cadre CLIC : Introduit un algorithme pratique qui construit et agrège ces ensembles pour affiner itérativement la politique. Il prend en charge à la fois les retours absolus et relatifs et gère naturellement les comportements multimodaux via des politiques implicites (EBM).
Analyse théorique : Fournit des conditions de convergence montrant que les retours agrégés à valeurs d'ensemble peuvent récupérer l'ensemble des actions optimales, même lorsque les signaux de retour individuels sont bruités ou relatifs.
Évaluation complète : Validation extensive en simulation et sur des robots réels (KUKA iiwa) démontrant une robustesse à travers divers types de retours.

4. Résultats expérimentaux

Expériences en simulation :

Retour précis : CLIC performe de manière compétitive par rapport aux méthodes de l'état de l'art (SOTA) (par exemple, Diffusion Policy, IBC), prouvant que la supervision à valeurs d'ensemble ne sacrifie pas les performances lorsque les données sont parfaites.
Retour bruité : CLIC surpasse significativement les bases de référence (IBC, Diffusion Policy, PVP). Alors que les méthodes BC ponctuelles surapprennent au bruit et échouent à converger, l'approche basée sur les ensembles de CLIC absorbe le bruit, maintenant des taux de réussite élevés.
Retour relatif et partiel :
- Corrections relatives : CLIC-Half et CLIC-Explicit apprennent avec succès à partir de retours directionnels là où les méthodes BC ponctuelles échouent complètement (en raison du problème « on-policy » où les corrections passées deviennent sous-optimales).
- Retour partiel : Dans des tâches multi-robots où les humains ne corrigent qu'un seul bras, CLIC-Half excelle en contraignant uniquement les dimensions corrigées, tandis que les bases de référence tentant d'imiter le vecteur d'action complet (partiellement sous-optimal) échouent.

Expériences sur robots réels :

Insert-T (Multimodal) : CLIC-Half a atteint 80 % de réussite sur des tâches difficiles, surpassant significativement Diffusion Policy (30 %) et IBC (10 %). Cela met en évidence la capacité de CLIC à gérer une prise de décision complexe et multimodale sans surapprentissage.
Attrapage de balle (Dynamique/Partiel) : A appris avec succès une tâche à haute fréquence en utilisant des retours relatifs et partiels, atteignant un taux de réussite de 100 % en deux tentatives.
Versage d'eau (Précision) : A démontré la capacité à basculer entre corrections absolues et relatives pendant l'entraînement, affinant la politique d'un contrôle grossier à un contrôle fin.

Études d'ablation :

Ont confirmé que le prior pondéré par la politique est crucial pour la stabilité.
Ont montré que les hyperparamètres contrôlant la géométrie de l'ensemble ( $\alpha, \epsilon$ ) doivent être ajustés pour correspondre à l'incertitude du signal de retour.
Ont visualisé que lorsque le rayon de l'ensemble rétrécit à zéro, CLIC dégénère en un IBC surapprenant, validant la nécessité de la formulation « ensemble ».

5. Signification et impact

Robustesse à l'erreur humaine : La signification principale est de rendre l'apprentissage par imitation robuste aux imperfections inhérentes des enseignants humains (fatigue, limites de téléopération, charge cognitive).
Cadre unifié : CLIC unifie l'apprentissage à partir de démonstrations absolues, de corrections relatives et de retours partiels sous un seul cadre mathématique.
Passage à l'échelle vers des tâches complexes : En évitant le surapprentissage des modèles expressifs à des étiquettes bruitées, CLIC permet l'utilisation de politiques implicites puissantes (EBM) dans des environnements interactifs réels où les données sont rarement parfaites.
Applicabilité pratique : La méthode réduit la charge cognitive sur les enseignants humains (qui peuvent fournir des directions grossières plutôt que des trajectoires exactes) et accélère le processus d'apprentissage pour des tâches robotiques complexes.

En résumé, CLIC repense l'unité fondamentale de supervision dans l'apprentissage par imitation, passant d'un point unique à un ensemble, offrant une solution mathématiquement solide et empiriquement robuste pour apprendre à partir de retours humains imparfaits.