💻 computer science

LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization

L'article présente LIBERO-PRO, une référence robuste qui révèle la dépendance sévère des modèles vision-langage-action actuels à la mémorisation par cœur en démontrant l'effondrement total de leurs performances lorsqu'ils sont évalués sous des perturbations généralisées d'objets, d'états, d'instructions et d'environnements, incitant ainsi la communauté à adopter des critères d'évaluation plus équitables.

Auteurs originaux : Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xueyang Zhou, Yangming Xu, Guiyao Tie, Yongchao Chen, Guowen Zhang, Duanfeng Chu, Pan Zhou, Lichao Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraîniez un robot chef à préparer une salade. Vous lui montrez une vidéo de quelqu'un qui prend une bouteille de vinaigrette et la place dans un panier. Le robot observe, apprend, puis, lorsque vous lui demandez de faire la même chose, il l'exécute parfaitement. Vous lui attribuez une note élevée : 95 % ! Vous pensez : « Wow, ce robot est un génie pour suivre les instructions. »

Mais voici la surprise : le robot ne pense pas réellement. Il agit simplement comme un perroquet ayant mémorisé un script spécifique.

C'est l'histoire centrale du papier LIBERO-PRO. Les auteurs soutiennent que la manière actuelle de tester ces robots « Vision-Langage-Action » (VLA) est défaillante. C'est comme donner à un élève un test de mathématiques où les questions sont identiques à celles qu'il a pratiquées, avec simplement les nombres décalés d'un millimètre. L'élève obtient 100 %, mais si vous modifiez légèrement les nombres, il échoue complètement.

Voici une analyse de ce que le papier a découvert, en utilisant des analogies simples :

1. Le piège de la « mémorisation par cœur »

Le test standard actuel (appelé LIBERO) est trop facile. Les robots sont entraînés sur un ensemble de tâches, puis testés sur les mêmes tâches exactes, avec seulement de minuscules changements, presque invisibles (comme déplacer un bol d'un pouce vers la gauche).

Le résultat : Les robots obtiennent plus de 90 %.
La réalité : Ils ne comprennent pas la tâche ; ils rejouent simplement un film mémorisé de ce qu'ils ont vu pendant l'entraînement. Ils « trichent » en mémorisant la disposition de la pièce et la séquence des mouvements, plutôt que de réellement comprendre ce qu'est un « panier » ou une « vinaigrette ».

2. Le test de stress « LIBERO-PRO »

Pour corriger cela, les auteurs ont créé LIBERO-PRO. Imaginez cela comme un « contrôle surprise » conçu pour attraper les tricheurs. Ils ont systématiquement perturbé quatre éléments pour voir si le robot pouvait réellement s'adapter :

L'échange d'objet (l'« imposteur ») :
- Le test : Vous dites au robot : « Prends la vinaigrette. » Mais dans la scène, il n'y a pas de vinaigrette. À la place, il y a une boîte de soupe aux lettres.
- La réaction du robot : Il ignore la soupe, regarde l'espace vide où la vinaigrette s'assoit habituellement, et tente de saisir le vide. Il est si bloqué sur sa mémoire qu'il ne remarque même pas que l'objet manque ou est différent.
L'instruction « absurde » :
- Le test : Vous dites au robot : « Prends la vinaigrette », puis vous remplacez les mots par du charabia comme « fdsgfdsgsd ».
- La réaction du robot : Il ne s'arrête pas et ne dit pas : « Je ne comprends pas. » Il saisit simplement la vinaigrette de toute façon. Cela prouve que le robot n'écoute pas réellement vos mots ; il devine simplement en fonction de ce qu'il voit.
La « cible mobile » (décalage de position) :
- Le test : Vous déplacez l'objet juste un peu de l'endroit où il se trouvait dans les vidéos d'entraînement.
- La réaction du robot : Il tend la main vers l'ancien endroit et manque complètement l'objet. Il n'a aucun concept de « où » se trouve l'objet en ce moment ; il sait seulement « où il était censé être ».
La tâche « combo » :
- Le test : Vous demandez au robot de faire deux choses simples qu'il sait faire séparément (prendre un bol, puis allumer la cuisinière) mais de les combiner en une seule nouvelle instruction.
- La réaction du robot : Il échoue. Il ne peut pas assembler deux actions apprises pour créer un nouveau plan. C'est comme un musicien qui peut jouer une gamme et un accord, mais si vous lui demandez de jouer un morceau, il se fige.

3. La grande révélation

Lorsque les auteurs ont soumis ces « tests de stress » aux meilleurs robots (comme OpenVLA et Pi0), les résultats ont été choquants.

Note au test standard : 90 %+ (Cela semble incroyable).
Note à LIBERO-PRO : 0 % (Échec total).

Les robots se sont effondrés instantanément. Ils ne pouvaient pas gérer un objet différent, un objet déplacé, une instruction étrange ou une nouvelle combinaison de tâches.

L'essentiel

Le papier conclut que l'actuel « étalon-or » pour tester les robots est trompeur. C'est comme juger les compétences d'un conducteur uniquement sur la façon dont il peut conduire une voiture sur une piste parfaitement droite et vide qu'il a parcourue mille fois.

Les auteurs appellent la communauté scientifique à cesser d'utiliser les anciens tests faciles. Ils veulent que tout le monde utilise LIBERO-PRO à la place, ce qui force les robots à prouver qu'ils peuvent réellement voir, comprendre et s'adapter au monde réel désordonné et imprévisible, plutôt que de simplement réciter un script mémorisé.

En bref : Les robots ne sont pas encore intelligents ; ils sont simplement très bons pour mémoriser. LIBERO-PRO est le test qui expose enfin la différence.

Résumé Technique : LIBERO-PRO

Énoncé du Problème

Les modèles Vision-Language-Action (VLA) sont devenus un paradigme central pour l'IA incarnée, pourtant leur évaluation repose fortement sur le benchmark LIBERO. Les auteurs identifient un défaut critique dans la configuration actuelle d'entraînement et d'évaluation de LIBERO : les tâches de test sont presque identiques aux tâches d'entraînement, ne différant que par des perturbations marginales, souvent imperceptibles visuellement, des états initiaux des objets.

Cette configuration conduit à des estimations de performance gonflées. Les modèles obtenant plus de 90 % de succès sur LIBERO standard s'avèrent reposer sur une mécanisation par cœur des séquences d'actions et des dispositions de l'environnement plutôt que sur une véritable compréhension de la tâche ou une perception environnementale. L'analyse qualitative révèle des modes d'échec systématiques, notamment :

Hallucinations Visuelles : Exécution de préhensions sur des objets non pertinents ou « préhension du vide » lorsque les objets cibles sont retirés.
Insensibilité aux Instructions : Ignorance des instructions sans signification ou corrompues et poursuite de trajectoires mémorisées.
Fragilité Spatiale : Échec immédiat lorsque les positions des objets se décalent légèrement par rapport aux distributions d'entraînement.
Absence de Compositionnalité : Incapacité à combiner des sous-tâches apprises en comportements multi-étapes cohérents.

Par conséquent, le protocole d'évaluation actuel échoue à évaluer rigoureusement le raisonnement, la compositionnalité et la capacité de généralisation des architectures VLA modernes.

Méthodologie : LIBERO-PRO

Pour pallier ces limites, les auteurs introduisent LIBERO-PRO, un benchmark étendu et plug-and-play conçu pour évaluer systématiquement les performances des modèles sous des perturbations raisonnables. Le cadre formalise une tâche VLA $T = (l, e, G)$ et introduit des variations contrôlées selon quatre dimensions orthogonales :

Objets Manipulés (Perturbation des Attributs d'Objet) : Modification d'attributs visuels non essentiels (couleur, texture, taille) tout en préservant l'équivalence sémantique, ou remplacement des objets par des éléments sans rapport.
États Initiaux (Perturbation de la Configuration Spatiale) : Altération des positions absolues et relatives des objets dans des limites physiquement plausibles.
Instructions de Tâche (Perturbation des Instructions) : Introduction de variations sémantiques (reformulations) et de variations structurelles, incluant l'injection de tokens sans signification pour tester l'ancrage linguistique.
Environnements (Perturbation de l'Environnement) : Modification du contexte visuel tel que les arrière-plans, l'éclairage et les textures.

De plus, le cadre inclut des Perturbations de Tâche (modification des objets cibles ou des actions au sein de la distribution d'entraînement) et prend en charge des combinaisons aléatoires multidimensionnelles de ces perturbations, excluant uniquement les perturbations au niveau de la tâche des combinaisons inter-types pour assurer la faisabilité.

L'évaluation impose des contraintes pour garantir que les tâches perturbées restent sémantiquement cohérentes et exécutables, en variant l'amplitude de la perturbation ( $\delta_k$ ) pour caractériser la sensibilité de la politique.

Contributions Clés

L'article apporte trois contributions principales :

Démonstration Empirique du Surapprentissage : Les auteurs fournissent la preuve que les scores élevés de LIBERO résultent de la mémorisation des configurations d'entraînement plutôt que d'un raisonnement transférable, exposant des défauts graves dans les pratiques d'évaluation actuelles.
Introduction de LIBERO-PRO : Une nouvelle suite de benchmarks intégrant des perturbations systématiquement conçues sur les attributs d'objets, les états initiaux, les instructions de tâche et les environnements pour soutenir une évaluation rigoureuse, unidimensionnelle et multidimensionnelle.
Évaluation Comparative Complète : L'évaluation des modèles de l'état de l'art (OpenVLA, Pi0, Pi0.5) sur LIBERO-PRO, révélant une dégradation significative des performances qui souligne les limites du protocole original.

Résultats Expérimentaux

Les auteurs ont évalué les principaux modèles VLA (OpenVLA, Pi0, Pi0.5) sur la suite LIBERO-PRO. Les résultats indiquent un effondrement quasi complet des performances dans des contextes généralisés :

Performance Standard vs Généralisée : Alors que les modèles atteignent plus de 90 % de précision sur LIBERO standard, leur performance chute à 0,0 % dans le cadre généralisé de LIBERO-PRO.
Sensibilité aux Perturbations :
- Décalages de Position : Les taux de succès pour OpenVLA et Pi0 tombent à zéro dès que le déplacement des objets dépasse 0,2 unité. Même le plus performant Pi0.5 se dégrade à zéro au-delà de 0,4 unité.
- Remplacement d'Objets : Les modèles échouent à s'adapter lorsque les objets cibles sont remplacés par des éléments sans rapport, exécutant souvent des préhensions sur les mauvais objets.
- Corruption des Instructions : Les modèles exécutent des actions malgré la réception d'instructions sans signification (par exemple, « fdsgfdsgsd »), indiquant un manque d'ancrage linguistique.
- Composition de Tâche : Les modèles échouent à combiner de simples sous-tâches en instructions complexes multi-étapes, s'appuyant plutôt sur des fragments de trajectoires fallacieux.
Différences entre Modèles : Bien que la plupart des modèles échouent gravement, Pi0.5 a montré une résilience légèrement supérieure dans des tâches spécifiques (par exemple, un taux de succès de 0,38 dans libero-goal sous des changements de position contre 0 pour les autres), mettant en lumière des différences de capacités subtiles masquées par les benchmarks standards.

Importance et Affirmations

L'article affirme que la « monnaie courante » actuelle de l'évaluation VLA (LIBERO) est fondamentalement défectueuse car elle récompense la mémorisation plutôt que la généralisation. Les auteurs soutiennent que les précisions rapportées dépassant 90 % ne reflètent ni un ancrage perceptuel authentique ni un raisonnement au niveau de la tâche.

L'importance de LIBERO-PRO réside dans sa capacité à fournir une norme d'évaluation plus équitable, plus fidèle et reproductible. En exposant la dépendance des modèles actuels aux corrélations raccourcies entre caractéristiques et actions (par exemple, les dispositions canoniques de scènes et les positions récurrentes d'objets), les auteurs appellent la communauté à abandonner les méthodologies trompeuses. Ils préconisent des protocoles d'évaluation intégrant des perturbations structurées pour garantir que les progrès rapportés s'alignent sur les exigences d'une intelligence incarnée robuste et généralisable.