🤖 machine learning

Difference-Aware Retrieval Policies for Imitation Learning

Auteurs originaux : Quinn Pfeifer, Ethan Pronovost, Paarth Shah, Khimya Khetarpal, Siddhartha Srinivasa, Abhishek Gupta

Publié 2026-06-09

📖 4 min de lecture☕ Lecture pause café

Auteurs originaux : Quinn Pfeifer, Ethan Pronovost, Paarth Shah, Khimya Khetarpal, Siddhartha Srinivasa, Abhishek Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à marcher ou à ramasser une tasse en lui montant une vidéo d'un humain expert effectuant la tâche. C'est ce qu'on appelle l'Apprentissage par Imitation.

La méthode standard pour faire cela (appelée Clonage de Comportement ou Behavior Cloning) revient à embaucher un étudiant pour mémoriser un manuel scolaire. L'étudiant étudie des milliers de pages du type « État A conduit à l'Action B ». Lorsque vient l'examen, l'étudiant essaie de se rappeler la réponse pour chaque situation rencontrée.

Le Problème :
Si l'étudiant commet une petite erreur au début (par exemple, s'il fait un pas légèrement trop loin vers la gauche), il se retrouve dans une situation que le manuel ne lui a jamais montrée. Parce qu'il n'a fait que mémoriser des pages spécifiques, il panique. Il peut donner une réponse au hasard, faire un pas énorme et tomber. En termes techniques, les erreurs se « cumulent », et le robot s'écrase parce qu'il n'a aucune idée de la façon de gérer des situations légèrement différentes de ses données d'entraînement.

La Solution : DARP
L'article présente une nouvelle méthode appelée DARP (Difference-Aware Retrieval Policies). Au lieu de mémoriser tout le manuel, DARP donne au robot une « fiche de révision » et une manière spécifique de l'utiliser.

Voici comment fonctionne DARP, en utilisant une analogie simple :

1. La « Fiche de Révision » (Récupération/Retrieval)

Imaginez que vous passez un examen et que vous avez le droit de consulter une pile de fiches contenant les mouvements de l'expert.

L'ancienne méthode (BC) : Vous essayez de résoudre le problème entièrement grâce à votre mémoire.
La méthode DARP : Face à une question (un « état de requête »), vous scannez rapidement vos fiches pour trouver les 3 ou 5 exemples qui ressemblent le plus à votre situation actuelle.

2. L'astuce de la « Différence » (La recette secrète)

C'est la partie la plus importante. Si vous vous contentez de regarder les fiches similaires et de copier la réponse, vous pourriez quand même vous tromper car votre situation n'est pas exactement la même que celle de la fiche.

DARP apprend au robot à observer la différence entre sa situation actuelle et la fiche de révision.

Analogie : Imaginez que vous essayez de frapper une balle de golf.
- BC Standard : Vous vous souvenez : « Quand la balle était là, j'ai frappé fort. »
- DARP : Vous regardez un coup passé similaire, mais vous vous demandez : « Ma balle est à 5 cm à droite de ce coup passé. Donc, je devrais ajuster mon swing de 5 cm vers la gauche. »

Le robot apprend à prédire : « Sur la base de cet exemple similaire, et en sachant à quel point je suis différent de celui-ci, voici le mouvement ajusté que je dois effectuer. »

3. Le « Vote de Groupe » (Agrégation)

Après avoir trouvé 5 fiches similaires et calculé 5 mouvements ajustés, le robot ne choisit pas simplement l'un d'eux. Il prend la moyenne (ou une moyenne pondérée intelligente) de toutes les 5 suggestions.

Pourquoi cela aide : Si une fiche suggère un mouvement bizarre ou saccadé parce qu'il s'agissait d'un exemple légèrement mauvais, les 4 autres suggestions « normales » l'annuleront. Cela lisse le comportement du robot, évitant les erreurs sauvages et paniquées qui provoquent les accidents.

Ce que l'article affirme

Les auteurs ont testé cela sur des robots essayant de marcher (comme un robot sauteur) et des robots essayant d'effectuer des tâches de cuisine (comme fermer un tiroir ou enfiler une aiguille).

Le Résultat : DARP a systématiquement battu la méthode classique de « mémorisation ». Dans leurs tests, les robots utilisant DARP étaient 15 % à 46 % meilleurs pour accomplir les tâches sans échouer.
La Magie : Ils n'ont pas eu besoin de nouvelles données, pas de professeurs humains pour les corriger en temps réel, et pas de simulateurs spéciaux. Ils ont simplement utilisé les mêmes données que l'ancienne méthode, mais les ont traitées différemment.
La Théorie : L'article explique que cette méthode agit comme un « filtre de lissage ». Elle empêche le robot de faire des sauts soudains et irréguliers dans sa logique, maintenant ses mouvements stables même lorsqu'il entre dans un territoire légèrement inconnu.

En résumé : DARP empêche les robots de paniquer lorsqu'ils commettent une petite erreur. Au lieu de deviner aveuglément, il regarde ses « voisins » (exemples passés similaires), calcule comment il diffère de ces exemples, et fait la moyenne pour obtenir une correction sûre et fluide.

Résumé Technique : Politiques de Récupération Sensibles aux Différences pour l'Apprentissage par Imitation (DARP)

Énoncé du Problème

L'apprentissage par imitation paramétrique via le Clonage de Comportement (Behavior Cloning - BC) souffre souvent d'une faible capacité de généralisation face à des états hors distribution (OOD). Bien que le BC minimise le risque supervisé sur les états experts, il échoue à contrôler la variance dans les régions de faible densité de l'espace d'états rencontrées lors des déploiements en boucle fermée. De petites erreurs s'accumulent (décalage de covariable), entraînant l'agent vers des états où la politique apprise produit un comportement instable et à haute variance, menant fréquemment à l'échec de la tâche. Les solutions existantes pour atténuer ces erreurs d'accumulation nécessitent souvent des hypothèses supplémentaires, telles que des simulateurs, un feedback expert interactif ou de grandes quantités de données sous-optimales, dépassant ainsi le régime standard du BC qui consiste à apprendre uniquement à partir de paires état-action d'experts.

Méthodologie

Le papier introduit DARP (Difference-Aware Retrieval Policies for Imitation Learning), une approche de récupération semi-paramétrique qui traite ces limitations sans nécessiter de collecte de données ou de supervision supplémentaires.

Fondement Théorique

Les auteurs établissent d'abord que l'imposition d'une cohérence locale dans l'apprentissage de la politique correspond à une régularisation de variété (lissage Laplacien). Ils définissent un objectif de Apprentissage par Imitation Régularisé par la Variété (MRIL) qui ajoute une pénalité de lissage à la perte standard du BC, pénalisant les variations à haute fréquence entre les états experts voisins. L'analyse théorique (Théorème 1) démontre que le MRIL réduit la variance de l'estimateur, garantit la continuité de Lipschitz locale et améliore la stabilité de la politique par rapport au BC classique.

Régularisation Implicite via l'Architecture

Plutôt que d'optimiser explicitement l'objectif régularisé (ce qui nécessite de régler un hyperparamètre $\lambda$ ), le papier propose l'Apprentissage par Imitation Régularisé par la Variété Implicite (iMRIL). Cette approche atteint les bénéfices du lissage Laplacien en modifiant l'architecture de la politique plutôt que la fonction de perte.

Mécanisme : Au lieu d'apprendre une application directe $f(s)$ , la politique prédit des actions basées sur un voisinage de $k$ -plus proches voisins (k-NN) récupérés dans l'ensemble de données d'entraînement.
Équivalence : Les auteurs prouvent (Théorème 2) que l'iMRIL est équivalent à une régularisation Laplacienne sans paramètre avec une force de lissage effective de $\lambda \approx 1$ . L'étape d'agrégation des voisins agit comme un filtre spectral passe-bas fixe sur le graphe k-NN, supprimant la variance à haute fréquence tout en préservant les modes à basse fréquence.

Algorithme DARP

DARP instancie l'iMRIL avec une paramétrage spécifique conçu pour capturer la géométrie locale :

Récupération : Pour un état de requête $s_q$ , l'algorithme récupère les $k$ -plus proches voisins $(s^*_i, a^*_i)$ de l'ensemble de données expert $D^*$ basé sur une métrique de distance.
Paramétrage Sensible aux Différences : L'innovation centrale est la représentation d'entrée pour le réseau de neurones $f_\theta$ $f_{θ}$ . Au lieu de simplement traiter l'état voisin, $f_\theta$ $f_{θ}$ prend un tuple composé de :
- L'état voisin $s^*_i$
- L'action experte du voisin $a^*_i$
- Le vecteur de différence $\Delta s_i = s^*_i - s_q$
  Cela permet au modèle d'apprendre comment les actions expertes varient sous des perturbations locales par rapport à l'état de requête.
Agrégation : Le réseau produit des actions candidates $a'_i = f_\theta(s^*_i, a^*_i, \Delta s_i)$ . Ces candidats sont agrégés via une fonction invariante par permutation $g_\psi$ (par exemple, une moyenne simple, un Set Transformer, ou une tête de modèle génératif) pour produire la prédiction d'action finale $\hat{a}_q$ .
Entraînement : Le modèle est entraîné en utilisant l'objectif standard d'apprentissage par imitation (minimisant la disparité entre la prédiction agrégée et l'action experte), ne nécessitant aucun terme de perte ou hyperparamètre supplémentaire au-delà du BC standard.

Contributions Clés

Nouvel Algorithme : L'introduction de DARP, qui reparamètre l'apprentissage par imitation en termes de différences relatives entre les états de requête et les voisins récupérés, plutôt qu'en applications directes état-action.
Insight Théorique : Une preuve formelle que l'architecture proposée réalise implicitement un lissage Laplacien, fournissant des garanties de réduction de variance et de stabilité sans termes de régularisation explicites.
Conception Semi-Paramétrique : Une méthode qui combine la robustesse des méthodes locales non-paramétriques (récupération) avec la stabilité des politiques globales paramétriques, opérant strictement dans le régime standard du BC (pas de données ou de feedback supplémentaires).
Analyse Architecturale : Identification des composants critiques, spécifiquement la nécessité des vecteurs de différence et de l'agrégation invariante par permutation, à travers des études d'ablation exhaustives.

Résultats Expérimentaux

Les auteurs évaluent DARP à travers le contrôle continu (MuJoCo), la manipulation robotique (Robosuite, RoboCasa) et des tâches visuelles de haute dimension.

Gains de Performance : DARP surpasse systématiquement le Clonage de Comportement standard et les autres bases (incluant la régression localement pondérée et les méthodes de régularisation explicite). Les améliorations varient de 15 % à 46 % à travers divers domaines.
- Dans les tâches de locomotion MuJoCo, DARP a obtenu des scores nettement supérieurs au BC (par exemple, ~3545 contre ~2313 pour Hopper).
- Dans les tâches de manipulation Robosuite et RoboCasa, DARP a doublé le taux de succès du BC dans des scénarios réels d'assemblage de meubles (92 % contre 44 %).
Généralisation : DARP maintient ses améliorations de performance lors de l'utilisation de caractéristiques visuelles de haute dimension (embeddings R3M) et de distributions d'actions multimodales (par exemple, Modèles de Mélange Gaussien, Modèles de Diffusion).
Résultats d'Ablation :
- Vecteurs de Différence : Supprimer le vecteur de différence ( $\Delta s_i$ ) dégrade considérablement la performance, confirmant que l'apprentissage des changements relatifs est crucial.
- Invariance par Permutation : Utiliser un agrégateur dépendant de la permutation réduit drastiquement les taux de succès.
- Sélection de Voisins : La sélection aléatoire de voisins performe mal, validant l'importance de métriques de distance significatives.
Analyse de Divergence : Dans les déploiements où le BC échoue et DARP réussit, le point de divergence se produit lorsque l'état de requête est OOD (faible probabilité de l'état) mais que le vecteur de différence relatif aux voisins reste "in-distribution" (haute probabilité de delta). Cela soutient l'hypothèse selon laquelle le reparamétrage de DARP améliore la stabilité de la prédiction dans les régions OOD.

Signification et Revendications

Le papier affirme que DARP offre une architecture générale et scalable pour l'apprentissage par imitation qui s'étend naturellement aux représentations complexes et aux distributions d'actions. En reparamétrant le problème pour se concentrer sur les structures de voisinage locales et les différences relatives, DARP atteint la robustesse des méthodes locales et la stabilité des politiques globales régularisées sans le surcoût computationnel ou de données des méthodes avancées existantes. Les auteurs soutiennent que cette approche fournit une forme de lissage sans paramètre qui s'adapte à la densité et à la géométrie locales du jeu de données, réduisant considérablement la variance des politiques de BC et améliorant la robustesse au décalage de distribution tout en respectant strictement les hypothèses standard du clonage de comportement.