Quality over Quantity: Demonstration Curation via Influence Functions for Data-Centric Robot Learning

Ce papier propose une méthode systématique nommée « Quality over Quantity » qui utilise des fonctions d'influence pour identifier et sélectionner automatiquement les démonstrations de haute qualité, améliorant ainsi l'apprentissage par imitation des robots en se concentrant sur la pertinence des données plutôt que sur leur volume.

L'essentiel

🤖 La Recette du Robot Parfait : Moins de Chiffon, Plus de Talent

Imaginez que vous voulez apprendre à un robot à faire la vaisselle. La méthode classique, c'est de lui montrer des milliers de vidéos de quelqu'un qui lave des assiettes. On pense souvent : "Plus il y a de vidéos, mieux c'est !"

Mais voici le problème : parmi ces milliers de vidéos, il y en a plein de mauvaises.

• Certaines montrent la personne qui laisse tomber l'assiette.
• D'autres montrent quelqu'un qui a les mains tremblantes.
• D'autres encore montrent des mouvements bizarres ou inefficaces.

Si vous donnez tout ce "gâchis" au robot, il va apprendre à faire des erreurs aussi bien que les bonnes choses. C'est comme si vous appreniez à cuisiner en regardant des vidéos où le chef brûle la sauce, glisse sur le sol et met du sel à la place du sucre.

🧐 La Solution : Le "Sélecteur de Qualité" (QoQ)

Les auteurs de cet article, Haeone Lee et son équipe, ont développé une méthode intelligente appelée QoQ (Quality over Quantity). Au lieu de donner tout au robot, ils disent : "Donnons-lui seulement les meilleures vidéos."

Mais comment savoir quelles vidéos sont les meilleures sans regarder chaque seconde manuellement (ce qui prendrait des années) ? C'est là que la magie opère.

1. Le Détective Mathématique : Les "Fonctions d'Influence"

Imaginez que vous avez un grand livre de recettes (vos données d'entraînement). Vous voulez savoir : "Si j'enlève cette page précise de ce livre, est-ce que mon plat sera meilleur ou pire ?"

Les chercheurs utilisent une astuce mathématique appelée fonctions d'influence. C'est comme un détective qui peut prédire l'impact d'une seule vidéo sur le cerveau du robot, sans avoir à réapprendre tout le robot à chaque fois.

• Si enlever une vidéo fait que le robot devient moins bon, c'est que cette vidéo était très précieuse.
• Si enlever une vidéo ne change rien (ou rend le robot meilleur), c'est que cette vidéo était inutile ou nuisible.

2. La Règle d'Or : "Le Meilleur Moment" (Maximum Influence)

Dans une vidéo de robot, il y a des milliers de mouvements. Parfois, un mouvement est génial, mais le reste de la vidéo est nul.

• L'ancienne méthode : Regardait la vidéo en moyenne. Si la vidéo est moyenne, elle est gardée.
• La méthode QoQ : Elle cherche le meilleur moment de la vidéo. Si une vidéo contient un seul mouvement parfait pour ouvrir un tiroir, QoQ la garde, même si le reste est banal. C'est comme dire : "Je ne veux pas voir tout le film, je veux juste voir la scène où le héros sauve le monde."

3. Ne pas couper les films en morceaux (Curration par Trajectoire)

Imaginez que vous essayez d'apprendre à quelqu'un à faire du vélo. Si vous lui donnez des morceaux de vidéos : "Regarde comment il pose le pied", "Regarde comment il tourne le guidon", mais pas la séquence complète, il ne comprendra pas le tout.

• Les chercheurs ont remarqué que si on sélectionne juste les "bons mouvements" isolés, le robot perd le fil de l'action.
• La solution QoQ : Ils sélectionnent des vidéos entières (des trajectoires complètes). Cela garantit que le robot apprend une histoire cohérente, du début à la fin, avec tous les mouvements nécessaires pour réussir.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur méthode dans deux mondes :

1. Dans le monde virtuel (Simulation) : Sur un robot qui doit mettre une canette dans une poubelle.
2. Dans le monde réel : Sur de vrais robots qui doivent attraper une banane, ouvrir un placard ou manipuler plusieurs objets.

Le verdict ?

• Les robots entraînés avec la méthode QoQ réussissent beaucoup plus souvent que ceux entraînés avec toutes les données brutes.
• Dans le monde réel, le taux de réussite a bondi de 30 % par rapport aux anciennes méthodes !
• Même avec des données prises "dans la nature" (des vidéos filmées par des humains dans des environnements chaotiques et différents), QoQ arrive à trier le bon grain de l'ivraie.

🎯 En Résumé

Imaginez que vous êtes un chef étoilé.

• L'ancienne méthode vous donne un sac de 1000 ingrédients, dont 500 sont pourris. Vous cuisinez avec tout ça, et le plat est mauvais.
• La méthode QoQ utilise un détective mathématique pour trouver instantanément les 20 meilleurs ingrédients parmi les 1000. Elle vous donne un panier rempli de produits frais et parfaits.
• Résultat : Votre plat (le robot) est délicieux, et vous avez gagné un temps fou.

C'est ça, Quality over Quantity : ne pas se noyer dans la quantité de données, mais s'assurer que chaque goutte d'information compte vraiment pour apprendre au robot à bien faire son travail.

Résumé technique

Voici un résumé technique détaillé de l'article "Quality over Quantity: Demonstration Curation via Influence Functions for Data-Centric Robot Learning" (Qualité plutôt que Quantité : Curation de démonstrations via des fonctions d'influence pour l'apprentissage robotique centré sur les données).

1. Problématique

L'apprentissage par démonstration (Learning from Demonstrations -LfD) est devenu un paradigme clé pour le contrôle robotique de bout en bout, notamment grâce à l'augmentation de la diversité et du volume des données. Cependant, la qualité des données de démonstration, souvent collectées par téléopération humaine, constitue un goulot d'étranglement majeur.

• Sources de bruit : Les erreurs humaines, les contraintes opérationnelles et la variabilité des compétences des opérateurs introduisent des comportements sous-optimaux et du bruit dans les jeux de données.
• Limites des approches actuelles : La curation des données (filtrage) reste largement manuelle, coûteuse et basée sur des heuristiques. Les méthodes existantes utilisent des métriques de substitution (similitude avec des experts, information mutuelle) qui ne capturent pas toujours la contribution réelle d'une donnée à la performance finale de la politique (policy).

2. Méthodologie : Quality over Quantity (QoQ)

Les auteurs proposent QoQ, une approche systématique et fondée sur les principes pour identifier les données de haute qualité. L'idée centrale est de définir la qualité d'une donnée par sa contribution directe à la réduction de la perte (loss) sur un ensemble de validation représentant le comportement souhaité.

La méthode repose sur deux piliers techniques principaux :

A. Utilisation des Fonctions d'Influence

Au lieu de réentraîner le modèle pour évaluer l'impact d'un échantillon, QoQ utilise les fonctions d'influence pour estimer comment le poids d'un échantillon d'entraînement affecte la perte sur les données de validation.

• La qualité d'un couple état-action $(s, a)$ est mesurée par la similarité entre le gradient de la perte sur ce couple et le gradient de la perte sur les données de validation.
• Une forte similarité de gradient indique que l'inclusion de cet échantillon réduirait efficacement la perte de validation.

B. Deux techniques d'adaptation clés pour la robotique

L'application naïve des fonctions d'influence aux démonstrations robotiques génère du bruit et une mauvaise couverture de l'espace d'états. QoQ introduit deux améliorations :

1. Notation par Influence Maximale (Maximum Influence Scoring) :

   • Au lieu de moyenner les produits de gradients sur tous les échantillons de validation (ce qui dilue l'impact), QoQ calcule le produit de gradient maximum entre un échantillon d'entraînement et l'ensemble des échantillons de validation.
   • Cela permet de se concentrer sur la paire état-action de validation la plus pertinente pour l'échantillon testé, réduisant ainsi le bruit et améliorant la fiabilité de l'estimation.

2. Curation au niveau des Trajectoires (Trajectory-wise Curation) :

   • Plutôt que de sélectionner individuellement les meilleurs couples état-action (ce qui conduit à une sélection redondante de moments spécifiques, comme la saisie, au détriment d'autres phases du mouvement), QoQ agrège les scores d'influence de tous les couples au sein d'une même trajectoire.
   • Les trajectoires sont ensuite classées et sélectionnées en bloc. Cela garantit une couverture large de l'espace d'états et préserve la cohérence des séquences comportementales complètes.

3. Contributions Clés

• Définition fondée sur la performance : Une nouvelle définition de la qualité des données robotiques basée sur la contribution directe à la généralisation de la politique (via la perte de validation), plutôt que sur des métriques statiques.
• Algorithme QoQ : Intégration des fonctions d'influence dans le contexte robotique avec les deux adaptations susmentionnées (influence maximale et agrégation par trajectoire).
• Efficacité computationnelle : Utilisation de stratégies pour gérer les grands modèles (comme GR00T N1), notamment le calcul des gradients sur un sous-ensemble de couches et l'utilisation de la technique OPORP (One-Permutation One-Random-Projection) pour compresser les vecteurs de gradients sans perdre la précision du produit scalaire.

4. Résultats Expérimentaux

Les expériences ont été menées sur des environnements simulés (Robomimic) et sur des robots réels (bras Franka Research 3) avec des tâches variées (saisie de banane, manipulation multi-objets, ouverture d'armoire).

• Amélioration des taux de réussite :
  • En simulation : QoQ atteint un taux de réussite de 99,2 %, surpassant la meilleure méthode de base (Flow Retrieval à 76,0 %) et toutes les autres approches.
  • Sur robot réel : QoQ atteint 86,7 % de réussite (contre 56,7 % pour la meilleure base), soit une amélioration de 30,0 % par rapport aux méthodes existantes.
• Robustesse aux données "sauvages" (In-the-wild) : Sur le jeu de données DROID (collecté dans des environnements divers et non contrôlés), QoQ maintient une haute précision de curation (78,2 %) là où les méthodes basées sur la récupération (Behavior/Flow Retrieval) échouent en raison de l'hétérogénéité des données.
• Validation par Rollout : La méthode fonctionne même lorsque l'ensemble de validation est constitué de trajectoires générées par la politique elle-même (incluant des échecs), en utilisant une pondération des scores pour distinguer les comportements souhaités des échecs.
• Cohérence : Les ablations montrent que le choix de l'influence maximale et de la curation par trajectoire est crucial pour la performance. De plus, QoQ offre une cohérence de sélection de données bien supérieure (mesurée par le coefficient de Kendall's W) entre différentes graines aléatoires.

5. Signification et Impact

Ce travail marque un changement de paradigme vers un apprentissage robotique centré sur la qualité des données.

• Il démontre que la curation systématique basée sur l'impact réel des données sur la politique est supérieure aux heuristiques traditionnelles.
• La méthode permet d'exploiter efficacement des jeux de données massifs et bruyants (comme DROID) en filtrant automatiquement les échecs et les comportements sous-optimaux.
• QoQ offre une voie prometteuse pour l'apprentissage de politiques robotiques plus robustes et généralisables, en maximisant l'efficacité de l'utilisation des données de démonstration, ce qui est crucial à l'ère des modèles fondationnels robotiques (VLAs) coûteux à entraîner.

En résumé, QoQ transforme la curation de données d'un processus manuel et heuristique en une procédure algorithmique rigoureuse, prouvant que la qualité des données est un levier plus puissant que la simple quantité pour l'apprentissage robotique.