💻 computer science

LEEVLA: Seeing What Matters in Latent Environment Evolution for Vision-Language-Action

Le papier propose LEEVLA, une architecture vision-langage-action qui améliore les performances des robots dans des scénarios dynamiques complexes en introduisant un cadre d'entraînement « où-comment » sensible aux tâches comprenant une priorisation dynamique guidée par la dérive pour identifier les régions saillantes et une génération de flux de caractéristiques structurée pour modéliser leur évolution latente.

Auteurs originaux : Qi Lyu, Baicheng Liu, Xudong Wang, Jiahua Dong, Lianqing Liu, Zhi Han

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Lyu, Baicheng Liu, Xudong Wang, Jiahua Dong, Lianqing Liu, Zhi Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à ramasser un bol noir. La plupart des cerveaux de robots actuels (appelés modèles Vision-Language-Action) sont comme un étudiant essayant d'étudier pour un examen en lisant chaque mot d'un manuel avec la même intensité. Ils regardent le bol, la table, le bras du robot et le papier peint en arrière-plan en même temps, traitant chaque pixel comme étant d'égale importance. Le problème ? Ils se laissent distraire par les éléments statiques (comme le mur) et ratent les vrais indices qui comptent. Ils dépendent aussi des humains pour leur dire exactement quoi regarder, ce qui revient à avoir un professeur qui pointe la réponse sur la fiche de correction avant l'examen.

Entrez en scène LEEVLA, un nouveau cerveau de robot qui apprend à « voir ce qui compte » en observant comment le monde change dans son propre esprit, plutôt qu'en fixant simplement une image statique.

Le « Où » et le « Comment »

L'article propose qu'au lieu de deviner quelles parties d'une image sont importantes, le robot devrait apprendre à suivre l'évolution de l'environnement dans un espace latent élevé et multidimensionnel (pensez à cela comme au monde des rêves internes du robot où il simule le futur).

LEEVLA utilise deux astuces principales pour s'améliorer :

1. Le « Détecteur de Dérive » (Où regarder)
Imaginez que vous regardez une vidéo d'un bras de robot tendant vers un bol. L'arrière-plan (le mur, le sol) bouge à peine. Le bol et le bras, en revanche, se déplacent et changent.

L'ancienne méthode : Le robot regarde le mur et le bol avec la même attention.
La méthode LEEVLA : Il utilise un mécanisme appelé Priorisation Dynamique Guidée par la Dérive (DGDP). Il pose deux questions :
- Est-ce que cette partie bouge ? (Priorisation de la Position Dynamique). Si une zone de l'image change rapidement, elle reçoit un score plus élevé.
- Est-ce que ce changement correspond à l'instruction ? (Guidage de la Dérive Sémantique). Si l'instruction est « ramasser le bol noir », le robot vérifie si la signification de cette zone mobile dérive vers « bol » et s'éloigne de « arrière-plan ».
Si une zone bouge mais est non pertinente (comme un rideau oscillant au vent), le robot l'ignore. Si une zone bouge et est pertinente (le bol), le robot zoome dessus. Cela aide le robot à concentrer sa « puissance cérébrale » uniquement sur les parties de la scène qui comptent réellement pour la tâche.

2. Le « Flux Organisé » (Comment penser)
Une fois que le robot sait où regarder, il doit comprendre comment la scène va changer ensuite.

Le Problème : Les modèles standards prédisent souvent le futur en lisant les pixels en ligne droite (de haut en bas et de gauche à droite). C'est comme essayer de comprendre une histoire en lisant chaque troisième mot dans un ordre aléatoire ; cela brise la connexion entre les éléments qui devraient aller ensemble.
La Solution LEEVLA : Elle utilise la Génération de Flux de Caractéristiques Structuré (SFFG). Au lieu d'une ligne droite, elle organise la prédiction du futur comme un projet de groupe.
- Prototype-vers-Périphérie (P2P) : Elle trouve le « centre » ou le « prototype » d'un groupe de choses similaires (comme le centre du bol) et prédit comment les bords (la périphérie) changeront par rapport à ce centre. Cela maintient les relations spatiales intactes.
- Perte de Contraste de Voisinage Mutuel (MC) : C'est comme un « filtre de vérité ». Dans le monde des rêves internes du robot, il arrive parfois que des choses qui se ressemblent soient confondues avec des choses qui n'y sont pas réellement liées (voisins bruyants). Cet outil vérifie : « Est-ce que ces deux choses sont d'accord pour dire qu'elles sont voisines ? » Si elles ne sont pas d'accord mutuellement, le robot les traite comme différentes. Cela permet de garder la carte interne du monde du robot propre et cohérente.

Ce que l'article dit (et ne dit pas)

Les auteurs précisent qu'ils ne suggèrent pas que les robots aient besoin de voir le futur dans une boule de cristal. Au contraire, ils suggèrent que l'entraînement du robot à prédire comment les caractéristiques évoluent dans sa représentation interne l'aide à mieux comprendre la tâche.

Ils argumentent explicitement contre le fait de compter sur les humains pour sélectionner des « indices contextuels » spécifiques (comme donner au robot une image pré-segmentée du seul bol). Ils ont constaté que cela limite la capacité du robot à découvrir de nouveaux facteurs inconnus qui pourraient être importants. LEEVLA tente de trouver ces indices automatiquement en observant la « dérive » dans les données.

Les Résultats : Est-ce que cela a fonctionné ?

L'article rapporte qu'ils ont testé cela sur deux benchmarks principaux : LIBERO (un ensemble de tâches de manipulation robotique) et CALVIN (une suite de tâches à long horizon).

En Simulation : Les résultats semblent prometteurs. Sur le benchmark LIBERO, la grande version de leur modèle (LEEVLA-large, avec 7 milliards de paramètres) a atteint un taux de réussite moyen de 98,2 %, battant d'autres modèles de pointe comme OpenVLA (76,5 %) et $\pi$ 0 (94,1 %). La version plus petite (LEEVLA-mini, 0,5 milliard de paramètres) a également très bien performé, atteignant 97,5 % en moyenne, ce qui est supérieur aux autres petits modèles.
Dans le Monde Réel : Ils ont testé le grand modèle sur un vrai bras robotique (un UR5) effectuant des tâches comme placer un objet, appuyer sur un bouton et fermer un tiroir. Dans ces essais en conditions réelles, LEEVLA a obtenu un taux de réussite moyen de 78,5 %, contre 40 % pour le modèle standard OpenVLA.

Les auteurs suggèrent qu'en guidant explicitement le robot pour qu'il se concentre sur les preuves critiques de la tâche et en structurant la façon dont il raisonne sur le futur, le modèle devient bien meilleur pour se généraliser à de nouvelles situations. Cependant, ils présentent cela comme des résultats expérimentaux issus de leurs tests spécifiques, et non comme une solution universelle pour tous les problèmes de robotique existants.

L'essentiel

LEEVLA est comme un robot qui cesse de regarder fixement l'ensemble de la pièce pour commencer à observer l'action. Il apprend à ignorer l'arrière-plan statique et ennuyeux et à concentrer son énergie mentale sur les parties de la scène qui changent d'une manière qui correspond à la commande. En organisant ses prédictions internes pour respecter la structure naturelle des objets, il semble mieux maîtriser ce qu'il doit faire, ce qui conduit à des taux de réussite plus élevés tant dans les simulations informatiques que dans les essais de bras robotiques en conditions réelles.

Résumé Technique de LEEVLA : Voir ce qui compte dans l'évolution de l'environnement latent pour la Vision-Langage-Action

Problématique

Les modèles Vision-Langage-Action (VLA) visent à mapper des entrées multimodales (observations visuelles, proprioception et instructions linguistiques) directement vers des actions robotiques. Cependant, les approches existantes font face à deux limitations principales lors de la gestion de scénarios dynamiques complexes :

Traitement Uniforme des Tokens : La plupart des méthodes traitent tous les tokens visuels de manière uniforme, échouant à distinguer les preuves critiques pour la tâche des informations d'arrière-plan statiques et non pertinentes. Cela dilue la supervision et la capacité de raisonnement.
Dépendance aux Facteurs Sélectionnés par l'Humain : Les mécanismes de raisonnement actuels dépendent souvent d'indices contextuels externes sélectionnés par l'humain (ex: images de sous-objectifs, segmentation, cartes de profondeur). Cela restreint l'espace de recherche, introduit une surcharge computationnelle due aux modèles auxiliaires, et pousse le modèle à trop mettre l'accent sur les facteurs connus tout en ignorant les facteurs sous-jacents, inconnus mais pertinents pour la tâche. Par conséquent, ces modèles peinent à généraliser lorsque l'apparence des objets varie ou lorsque des objets similaires apparaissent dans différentes modalités.

Méthodologie

Les auteurs proposent LEEVLA (Latent Environment Evolution VLA), une architecture conçue pour raisonner directement dans l'espace des caractéristiques latentes. Au lieu de s'appuyer sur des conditions externes, LEEVLA traite les actions comme des moteurs de la façon dont les états de l'environnement évoluent dans un espace de haute dimension. Le cadre se compose de deux composantes clés qui forment une stratégie d'entraînement "où-comment" sensible à la tâche :

1. Priorisation Dynamique Guidée par la Dérive (DGDP)

Ce module répond à la question "où porter l'attention". Il identifie automatiquement les régions saillantes et pertinentes pour l'instruction durant l'entraînement sans nécessiter d'annotations externes. Le DGDP combine deux mécanismes :

Priorisation de Position Dynamique (DPP) : Quantifie le dynamisme des régions spatiales en mesurant le changement de similitude cosinus entre les patchs de caractéristiques au temps $t$ et $t+T$ . Les régions présentant une variabilité temporelle forte (ex: interactions avec le robot) reçoivent des poids plus élevés, tandis que les arrière-plans statiques sont pondérés à la baisse.
Guidage par Dérive Sémantique (SDG) : Garantit que le modèle porte attention aux régions dont l'évolution sémantique s'aligne avec l'instruction linguistique. Il calcule un score de pertinence de l'instruction pour les patchs basé sur leur similitude avec les tokens de langage. La "dérive sémantique" est définie comme le changement de ce score de pertinence au fil du temps. Les patchs dont la sémantique dérive vers la pertinence de la tâche sont prioritaires, tandis que ceux dérivant vers des sémantiques d'arrière-plan non pertinentes sont supprimés.
Intégration : Le poids de priorisation final $\beta_i$ pour chaque token est une combinaison non linéaire du score de dynamisme et du facteur de dérive sémantique, assurant que le modèle se concentre sur les régions dynamiques qui sont causalement liées à la manipulation prévue.

2. Génération de Flux de Caractéristiques Structuré (SFFG)

Ce module répond à la question "comment faire évoluer" les représentations latentes. Il empêche la corruption des structures de caractéristiques locales qui survient souvent avec la prédiction standard de tokens aplatis.

Prédiction Prototype-à-Périphérie (P2P) : Pour préserver la continuité sémantique spatiale, le modèle effectue un clustering conjoint sur les caractéristiques multi-vues. Il trie ensuite les membres du cluster par leur distance euclidienne au centroïde du cluster (du prototype vers la périphérie). La perte de prédiction est appliquée dans cette séquence ordonnée, garantissant que les caractéristiques appartenant à une même unité sémantique sont prédites ensemble, maintenant ainsi le contexte local.
Perte de Contraste de Voisinage Mutuel (MC) : Pour gérer le bruit du clustering et les affinités asymétriques dans l'espace latent, les auteurs introduisent une perte contrastive. Elle construit des paires positives basées sur des relations de voisinage réciproques à haute confiance (voisins de second ordre). Cela filtre les liens spécieux et maintient la cohérence topologique parmi les caractéristiques sémantiquement similaires.

Objectif d'Entraînement

La fonction de perte totale combine trois composantes :

Perte de Régression d'Action ( $L_{action}$ ) : Une perte L1 entre les morceaux d'actions continues prédits et réels.
Perte de Prédiction P2P ( $L_{P2P}$ ) : Impose une évolution structurée de l'état.
Perte de Contraste de Voisinage Mutuel ( $L_{MC}$ ) : Préserve la topologie du voisinage sémantique.

Crucialement, le DGDP et le SFFG ne sont utilisés que pendant l'entraînement. Ils n'induisent aucun coût de calcul ou de mémoire supplémentaire lors de l'inférence, car le flux de tokens lors de l'inférence reste inchangé.

Principales Contributions

Priorisation Dynamique Guidée par la Dérive (DGDP) : Un mécanisme de découverte automatique des régions pertinentes pour la tâche via la Priorisation de Position Dynamique (DPP) et le Guidage par Dérive Sémantique (SDG), permettant au modèle de se concentrer sur les caractéristiques dynamiquement actives et alignées avec l'instruction.
Génération de Flux de Caractéristiques Structuré (SFFG) : Une stratégie intégrant la prédiction Prototype-à-Périphérie (P2P) et la perte de Contraste de Voisinage Mutuel (MC) pour guider le modèle dans l'apprentissage d'une évolution latente structurée tout en préservant la cohérence topologique.
Performance de l'État de l'Art : Des expériences approfondies démontrent que le guidage explicite des preuves de la tâche et le raisonnement latent structuré améliorent significativement les capacités de généralisation et de raisonnement à long terme des modèles VLA.

Résultats Expérimentaux

Les auteurs ont évalué LEEVLA à deux échelles : LEEVLA-mini (initialisé à partir de miniVLA, ~0,5 milliard de paramètres) et LEEVLA-large (initialisé à partir d'OpenVLA-7B, ~7 milliards de paramètres).

Benchmark LIBERO : LEEVLA-large a atteint un taux de succès moyen de 98,2 % sur les tâches Spatiales, d'Objets, de But et de Longue Durée, surpassant de fortes bases de référence comme OpenVLA (76,5 %), CoT-VLA (81,1 %) et OpenVLA-OFT (97,1 %). LEEVLA-mini a également surpassé les bases de référence à petite échelle, atteignant un succès moyen de 97,5 %.
Benchmark CALVIN : Sur les tâches ABC-D de CALVIN, LEEVLA-large a obtenu un taux de succès moyen de 4,34, surpassant OpenVLA (3,80) et $\pi_0$ (3,87).
Évaluation en Monde Réel : Dans des expériences physiques utilisant un bras robotique UR5 (tâches : placer des objets, appuyer sur des boutons, fermer des tiroirs), LEEVLA-large a atteint un taux de succès moyen de 78,5 %, dépassant significativement les 40 % d'OpenVLA.
Études d'Ablation : Supprimer n'importe quelle composante (P2P, MC, DPP ou SDG) a entraîné une dégradation des performances. Plus précisément, l'ajout du DGDP a fourni le gain le plus important (+1,5 % par rapport à la base sans lui), soulignant l'importance de focaliser la supervision sur les régions centrées sur l'interaction.

Signification et Revendications

Le papier affirme que le guidage explicite des preuves de la tâche et le raisonnement latent structuré sont tous deux cruciaux pour la scalabilité des VLA. En raisonnant directement dans l'espace latent plutôt qu'en s'appuyant sur des conditions externes façonnées à la main, LEEVLA évite les limites des espaces de recherche restreints et des dépendances aux modèles auxiliaires.

Les auteurs soulignent que leur approche permet au modèle de :

Découvrir des facteurs critiques pour la tâche mais inconnus que les méthodes traditionnelles manquent.
Exploiter conjointement les indices sémantiques, d'apparence et géométriques entrelacés pour un même objet.
Maintenir un équilibre entre la focalisation sur les régions critiques de la tâche et la préservation de la conscience globale de la scène (via le facteur de modulation globale $\alpha$ ).

Le travail démontre que traiter les actions comme des moteurs de l'évolution de l'environnement dans l'espace latent, guidés par une priorisation dynamique et un flux structuré, conduit à des politiques robotiques plus robustes et généralisables sans augmenter la latence d'inférence.