🤖 machine learning

What Demonstration Curation Metrics Do to Your Policy

Cet article révèle que les métriques de curation de démonstrations optimisées pour la détection de défauts échouent souvent à améliorer la performance de la politique en aval en raison de facteurs de confusion tels que la longueur des épisodes, soutenant que les méthodes de curation doivent être évaluées par la qualité de la politique résultante plutôt que par leur précision de signalement de défauts.

Auteurs originaux : Aarav Bedi

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aarav Bedi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment ramasser un bol et le transporter jusqu'à une assiette. Vous avez un énorme tas de vidéos de démonstration montrant comment faire cela. Mais voici le problème : 80 % de ces vidéos sont « défectueuses ». Dans les vidéos défectueuses, le robot lâche le bol à mi-chemin du transport, puis continue de déplacer sa main vide vers l'assiette.

Si vous montrez simplement toutes ces vidéos au robot, il apprend à lâcher le bol à chaque fois. Il échoue presque 100 % du temps.

Pour corriger cela, vous avez besoin d'un curateur. Un curateur est un outil qui examine les vidéos, leur attribue un score et jette les mauvaises afin que le robot n'apprenne que des bonnes.

Cet article pose une question très simple, mais surprenante : Le curateur qui est le meilleur pour détecter les mauvaises vidéos produit-il réellement le meilleur robot ?

La réponse est un non retentissant. En fait, l'article révèle que le curateur qui est le plus efficace pour repérer les mauvaises vidéos crée souvent le pire robot.

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Le « Détecteur » vs Le « Professeur »

Les chercheurs ont testé sept différents « outils de curation ».

Le travail du Détecteur : Regarder une vidéo et dire : « Ceci est mauvais ! » ou « Ceci est bon ! ». Ils mesurent l'efficacité d'un outil en voyant la fréquence à laquelle il identifie correctement les mauvaises vidéos (comme une note à un examen).
Le travail du Professeur : Entraîner réellement le robot en utilisant uniquement les vidéos conservées par le curateur.

Le résultat choc :
Un outil était le « Détecteur Étoile ». Il obtenait un score quasi parfait pour identifier les mauvaises vidéos. Mais lorsqu'ils ont utilisé sa liste de « bonnes vidéos » pour entraîner le robot, celui-ci échouait lamentablement.

Analogie : Imaginez un professeur très strict qui est excellent pour corriger des dissertations. Il peut identifier parfaitement quelles dissertations contiennent des fautes de frappe. Mais s'il jette toutes les dissertations contenant la moindre faute, il pourrait accidentellement jeter les dissertations brillantes qui avaient juste une petite erreur, tout en gardant les dissertations médiocres qui étaient parfaitement saisies mais n'avaient aucune idée réelle. Le robot apprend des dissertations « parfaitement saisies mais vides » et échoue.

2. L'astuce de la « Longueur » (Le code de triche caché)

Les chercheurs ont découvert que cinq des sept outils « trichaient ».

La triche : Les mauvaises vidéos (où le robot a lâché le bol) étaient plus longues que les bonnes vidéos. Les mauvaises vidéos duraient jusqu'à la toute dernière seconde car le robot continuait de bouger après avoir lâché le bol. Les bonnes vidéos s'arrêtaient plus tôt car la tâche était terminée.
L'astuce : Certains outils ne regardaient pas réellement comment le robot se déplaçait ; ils regardaient simplement quelle était la durée de la vidéo. Ils pensaient : « Vidéo courte = Bon. Vidéo longue = Mauvais. »
La correction : Lorsque les chercheurs ont coupé toutes les vidéos à la même longueur exacte avant les tests, les « Détecteurs Étoiles » sont soudainement devenus terribles dans leur travail. Leurs scores sont passés de presque parfaits à un choix aléatoire.
Analogie : C'est comme un juge essayant de choisir les meilleurs coureurs de marathon en regardant seulement combien de temps ils ont couru. Si les perdants ont continué à courir jusqu'à l'effondrement (temps long) et que les gagnants se sont arrêtés lorsqu'ils ont franchi la ligne d'arrivée (temps court), le juge choisirait les gagnants simplement en choisissant les coureurs les plus courts. Mais si on force tout le monde à courir la même distance, le juge ne peut plus distinguer qui est réellement rapide.

3. Le vainqueur « Assez bon »

L'outil qui a produit le meilleur robot n'était pas celui ayant le plus haut « Score de Détection ». C'était un outil qui vérifiait simplement si le trajet global du robot ressemblait à la trajectoire moyenne d'une exécution réussie.

Cet outil avait un « Score de Détection » médiocre, mais il a conservé les bonnes vidéos.
Le robot entraîné avec cet outil a réussi 90 % du temps, ce qui est presque aussi bon que si les chercheurs avaient magiquement su exactement quelles vidéos étaient parfaites dès le départ (le score de l'« Oracle » de 93,3 %).

La grande leçon

L'article soutient que nous regardons le mauvais tableau de bord.

L'ancienne méthode : Nous choisissons l'outil qui est le meilleur pour signaler les mauvaises données.
La nouvelle méthode : Nous devrions choisir l'outil qui entraîne le meilleur robot.

Ce qu'il faut retenir :
Le fait qu'un outil soit excellent pour trouver les « pommes pourries » dans un tonneau ne signifie pas qu'il sait quelles « pommes bonnes » garder pour une tarte. Parfois, l'outil qui est le meilleur pour trouver les mauvaises choses jette accidentellement les meilleures choses aussi.

Pour construire un bon robot, ne demandez pas seulement : « Quelle est la performance de votre détecteur ? » Demandez : « Quelle est la performance du robot que vous avez construit avec votre liste ? »

Résumé Technique : La sélection des démonstrations influence votre politique

Énoncé du Problème

Dans l'apprentissage par imitation (Behavior Cloning - BC), la performance de la politique est fondamentalement limitée par la qualité des démonstrations d'entraînement. Bien que les grands ensembles de données collectés dans le monde réel contiennent souvent une qualité hétérogène due aux variations de compétence des opérateurs ou aux échecs des politiques scriptées, le remède standard — la sélection (score et élimination des épisodes de faible qualité) — manque d'un cadre d'évaluation unifié. La littérature existante propose diverses métriques de qualité (par exemple, la fluidité des trajectoires, la détection d'anomalies), mais les valide principalement sur la précision de la détection (la capacité d'une métrique à classer les épisodes sains par rapport aux épisodes défectueux).

Cet article identifie une lacune critique : la précision de la détection ne corrèle pas nécessairement avec la valeur de sélection (combien la politique en aval s'améliore lorsqu'elle est entraînée sur le sous-ensemble sélectionné). Une métrique peut exceller à signaler des trajectoires inhabituelles sans pour autant identifier celles qui sont les plus préjudiciables à la politique apprise. De plus, les auteurs émettent l'hypothèse que de nombreux benchmarks existants souffrent d'un biais méthodologique où les métriques exploitent la longueur de l'épisode comme un proxy trivial pour les défauts, gonflant ainsi les performances rapportées.

Méthodologie

Les auteurs ont conçu un banc d'essai contrôlé utilisant le benchmark LIBERO pick-and-place (basé sur robosuite) pour découpler la précision de la détection de la performance de la politique en aval.

Configuration Expérimentale

Tâche : Une tâche de prise et dépose (pick-and-place) riche en contacts impliquant quatre phases : approche, descente, levage et transport.
Architecture de la Politique : Une politique de comportement conditionnée par phase (MLP avec 2 couches cachées, 256 unités) qui prend des observations en 26 dimensions (position de l'effecteur terminal, état de la pince, position initiale du bol et encodage one-hot de la phase) et produit des actions en 4 dimensions.
Injection de Défauts : Un défaut structurel a été introduit avec un taux de contamination de 80 %. Le défaut consiste en un relâchement précoce de la pince pendant la phase de LEVAGE (entre 30 % et 70 % de la phase), provoquant la chute de l'objet avant le transport.
- Données Saines : 16 démonstrations scriptées (100 % de succès).
- Données Défectueuses : 64 démonstrations (0 % de succès).
- Base de Référence Contaminée : L'entraînement sur l'ensemble des 80 démonstrations ne produit que 3,3 % de succès de la tâche.
- Plafond de l'Oracle : L'entraînement sur les 16 démonstrations saines produit 93,3 % de succès.

Protocole d'Évaluation

L'étude évalue sept métriques de sélection sur deux axes :

Détection : Aire sous la courbe ROC (AUROC) du score de qualité de la métrique par rapport aux étiquettes de succès réelles.
Performance en Aval : Taux de succès de la tâche d'une politique de BC entraînée sur les 75 % supérieurs des démonstrations (60/80) sélectionnées par chaque métrique.

Contrôle Critique : Normalisation de la Longueur de l'Épisode

Les auteurs ont identifié que les épisodes défectueux dans leur configuration atteignent la limite de temps (500 étapes) car le robot continue de bouger après avoir lâché l'objet, alors que les épisodes réussis se terminent plus tôt (~325 étapes). Pour empêcher les métriques d'exploiter cette différence de longueur comme un proxy pour les défauts, toutes les démonstrations ont été tronquées à T=324 étapes avant l'extraction des caractéristiques. Cela garantit que les métriques reposent sur des signaux basés sur le contenu plutôt que sur la durée.

Contributions Clés et Métriques Évaluées

L'article évalue sept métriques, allant de simples heuristiques à des méthodes d'ensemble complexes :

Fluidité (Smoothness) : Longueur d'arc spectrale (SPARC) de la vitesse d'action.
Entropie : Écart-type négatif de la séquence d'actions.
Timing de la Pince (Gripper Timing) : Pas de temps normalisé du premier ouverture de la pince (cible spécifiquement le défaut injecté).
Forêt d'Isolement (Isolation Forest) : Détection d'anomalies dans l'espace des caractéristiques de résumé d'action.
Ensemble : Combinaison pondérée de la Fluidité et du Timing de la Pince.
kNN : Distance moyenne négative aux plus proches voisins dans l'espace des caractéristiques de trajectoire.
Alignement de Trajectoire (Trajectory Alignment) : Similitude cosinus entre la trajectoire moyenne d'état d'une démonstration et la moyenne de l'ensemble sain.

Résultats

1. Découplage Net entre Détection et Sélection

La conclusion centrale est une absence de corrélation (Spearman $\rho = -0.14$ ) entre l'AUROC de détection et le succès de la politique en aval.

Le "Pire" Détecteur : Le Timing de la Pince a obtenu l'AUROC de détection le plus élevé (0,804) mais a produit la pire politique (13,3 % de succès). Il a échoué car il a conservé des démonstrations défectueuses qui ouvraient la pince plus tard (mais toujours trop tôt) tout en écartant des démonstrations saines qui avaient par hasard des fermetures légèrement plus précoces.
Le "Meilleur" Détecteur : L'Alignement de Trajectoire avait un AUROC faible (0,638) mais a produit une politique avec 90,0 % de succès (à 3,3 points de pourcentage de l'Oracle). Il a réussi car le défaut structurel (lâcher le bol) provoquait une déviation importante dans la trajectoire moyenne d'état, permettant même à une métrique imprécise de séparer les épisodes les plus nuisibles.
L'Oracle : La méthode d'Ensemble a atteint 91,1 % de succès avec une variance quasi nulle, démontrant que la combinaison de la qualité du mouvement global et des indicateurs de défaut localisés par phase est extrêmement efficace.

2. Le Biais de la Longueur d'Épisode

Avant la troncature, cinq des sept métriques (y compris Isolation Forest et kNN) ont atteint un AUROC presque parfait (1,000) simplement en détectant la différence de longueur d'épisode (325 vs 500 étapes). Après la troncature :

Longueur (chemin cumulé) : Est tombée de 1,000 à 0,500 (hasard).
Isolation Forest : Est tombée de 1,000 à 0,440.
Timing de la Pince : Est resté élevé (0,804) car il est conscient du contenu et normalisé par la longueur.
Cela confirme que de nombreuses métriques aux performances élevées rapportées dans la littérature mesurent probablement la durée de l'épisode plutôt que la qualité de la démonstration.

3. Variance et Fiabilité

Des métriques comme kNN et Fluidité ont montré une variance élevée dans le succès en aval (par exemple, kNN $\pm 41,7 \%$ ), indiquant que leurs décisions de sélection sont instables selon les graines aléatoires (random seeds). En revanche, l'Ensemble et l'Alignement de Trajectoire ont montré une variance quasi nulle, ce qui les rend plus fiables pour les pipelines de sélection en un seul passage.

Signification et Revendications

L'article plaide pour un changement de paradigme dans la manière dont la sélection des démonstrations est évaluée :

La Performance de la Politique est la Seule Métrique : L'AUROC de détection est un mauvais prédicteur de la valeur de sélection. La "bonne question" n'est pas de savoir quelle métrique détecte le mieux les défauts, mais quelle métrique produit la meilleure politique.
Rigueur Méthodologique : Tout benchmark de sélection doit contrôler la longueur de l'épisode. Si les épisodes défectueux et réussis diffèrent systématiquement en durée, les métriques de précision de détection mesurent probablement un biais plutôt qu'une véritable qualité.
Conseils Pratiques : Les praticiens devraient privilégier les métriques qui produisent des politiques à faible variance et à haut succès (comme l'Alignement de Trajectoire ou les Ensembles) plutôt que celles ayant un AUROC de détection élevé mais de faibles résultats en aval.

Les auteurs concluent que le domaine doit s'éloigner des benchmarks de détection isolés pour passer à une évaluation de politique de bout en bout afin de garantir que les méthodes de sélection améliorent réellement les résultats de l'apprentissage par imitation. Le banc d'essai, les implémentations des métriques et le pipeline d'évaluation sont publiés pour faciliter cette transition.