💻 computer science

LaST $_{0}$ : Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model

LaST $_0$ est un cadre de vision-langage-action robotique qui surmonte les limitations de latence et de représentation du raisonnement linguistique explicite en employant une chaîne de pensée spatio-temporelle latente et efficace en jetons au sein d'une architecture de mélange de transformateurs à double système, atteignant ainsi des améliorations significatives du taux de réussite à travers diverses tâches de manipulation en conditions réelles.

Auteurs originaux : Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Chenyang Gu, Xiangju Mi, Renrui Zhang, Kun Wu, Zhengping Che, Jian Tang, Pheng-Ann Heng, Shanghang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à cuire un œuf. Vous lui dites : « Récupère l'œuf de la poêle et pose-le sur le pain. »

L'ancienne méthode (Raisonnement explicite) :
Autrefois, pour faire cela, le robot devait s'arrêter, réfléchir à voix haute et écrire un essai étape par étape avant de bouger son bras. Il pouvait dire : « D'abord, je dois abaisser ma main. Ensuite, je dois incliner la poêle. Ensuite, je dois récupérer... »
Pendant que le robot est occupé à écrire cet essai, l'œuf refroidit, ou pire, la poêle bascule. Ce « réfléchir à voix haute » prend trop de temps (latence), ce qui rend le robot lent et maladroit. De plus, certaines choses sont difficiles à décrire avec des mots, comme la sensation exacte de l'œuf qui glisse ou la forme en 3D de la poêle.

La nouvelle méthode (LaST0) :
L'article présente LaST0, un cerveau robotique qui pense différemment. Au lieu de générer des mots pour expliquer ce qu'il va faire, il utilise un « Processus de pensée silencieux et invisible » (appelé Chaîne de pensée spatio-temporelle latente).

Voici comment fonctionne LaST0, en utilisant des analogies simples :

1. Le « Film Silencieux » vs le « Script »

Au lieu de générer des mots pour expliquer ce qu'il va faire, LaST0 génère un film interne et silencieux du futur.

Ce qu'il voit : Il ne se contente pas de regarder l'image ; il imagine la forme 3D de l'œuf, la texture de la poêle et la sensation du propre bras du robot (proprioception).
La partie « Latente » : Ces pensées ne sont pas des mots que l'on peut lire ; ce sont des paquets de données compacts et à haute vitesse. C'est la différence entre lire un long livre de recettes (lent) et avoir la mémoire musculaire d'un chef (rapide et intuitif). Cela permet au robot de « ressentir » la physique de la situation sans rester bloqué par le vocabulaire.

2. L'équipe « Cerveau et Corps » (Système Dual)

LaST0 divise son cerveau en deux experts spécialisés travaillant ensemble, comme un Commandant Stratégique et un Athlète Réflexif.

Le Commandant (Expert en raisonnement lent) : Cette partie travaille à une vitesse plus lente. Il observe la vue d'ensemble, imagine les prochaines secondes du « film silencieux » et élabore le plan. Il se demande : « Si je bouge mon bras de cette façon, où sera l'œuf dans 0,5 seconde ? » Il ne fait cela que de temps en temps (comme vérifier une carte toutes les quelques secondes).
L'Athlète (Expert en action rapide) : Cette partie est super rapide. Elle ne s'arrête pas pour réfléchir au grand plan. Elle surveille simplement la dernière mise à jour du Commandant et réagit instantanément à l'environnement immédiat du robot. Elle gère les mouvements à haute vitesse nécessaires pour rattraper l'œuf avant qu'il ne tombe.

La Connexion Magique : Ils partagent un « lien télépathique » (Attention Partagée). Le Commandant met à jour l'Athlète avec un nouveau plan, et l'Athlète l'exécute immédiatement. Cela signifie que le robot peut réfléchir profondément au futur sans ralentir ses mouvements actuels.

3. Pourquoi est-ce meilleur ?

Vitesse : Parce qu'il ne perd pas de temps à écrire des phrases, le robot est 14 fois plus rapide que les méthodes précédentes qui « pensaient à voix haute ». Il peut réagir en temps réel, tout comme un humain.
Compréhension de la physique : Il capture des choses que les mots ne peuvent décrire. Il comprend le « poids » et le côté « glissant » de l'œuf grâce à son modèle 3D interne, et non pas seulement par le texte.
Cohérence : Parce qu'il imagine un « film » continu du futur, ses actions sont fluides et connectées. Il ne fait pas de mouvements saccadés ; il est fluide.

Les Résultats

Les chercheurs ont testé ce robot sur 10 tâches différentes du monde réel, allant de simples tours sur table à des tâches complexes impliquant des robots mobiles et des mains dextres (comme des mains humaines).

Taux de réussite : LaST0 a réussi 13 % à 14 % de plus souvent que les meilleurs robots précédents.
Tâches longues : Il était particulièrement efficace sur les tâches longues et compliquées (comme récupérer un œuf, le poser sur du pain, puis répéter le processus), là où les autres robots devenaient confus et échouaient.

En résumé :
LaST0 est un robot qui arrête de se « parler » à lui-même pour commencer à « ressentir » le futur. En utilisant une simulation silencieuse et interne de l'espace et du temps en 3D, et en divisant son cerveau en un planificateur lent et un exécutant rapide, il se déplace avec la vitesse et la grâce d'un humain, plutôt qu'avec l'hésitation d'un ordinateur lisant un manuel.

Résumé Technique : LaST0 – Chaîne de Pensée Spatio-Temporelle Latente pour les Modèles de Vision-Langage-Action Robotiques

1. Énoncé du Problème

Les modèles de Vision-Langage-Action (VLA) ont récemment démontré une forte capacité de généralisation en intégrant la compréhension sémantique des modèles de Vision-Langage (VLM) aux politiques de contrôle robotique. Cependant, les approches existantes qui tentent d'améliorer les capacités de raisonnement sont confrontées à deux limitations fondamentales dans la manipulation robotique :

Latence d'Inférence : Les méthodes qui génèrent explicitement des traces de raisonnement linguistique (Chaîne de Pensée ou Chain-of-Thought) ou prédisent des observations visuelles futures avant d'agir entraînent un surcoût significatif de génération autoregressive. Cette latence limite la résolution temporelle requise pour un contrôle robotique en boucle fermée en temps réel.
Goulot d'Étranglement Représentationnel : Le raisonnement explicite est confiné à l'espace linguistique, ce qui peine à capturer fidèlement les attributs physiques « ineffables » et la dynamique robotique fine qui sont difficiles à verbaliser. Les agents robotiques nécessitent un raisonnement sur des états physiques et géométriques qui dépassent souvent la capacité expressive du langage naturel.

2. Méthodologie : Cadre LaST0

Les auteurs proposent LaST0, un modèle VLA unifié qui permet un comportement de type « raisonner-avant-d'agir » efficace grâce à une Chaîne de Pensée Spatio-Temporelle Latente (LaST CoT). Au lieu de générer du texte ou des images, le modèle effectue le raisonnement au sein d'un espace latent continu et compact.

Architecture Centrale

LaST0 est construit sur une conception de Mélange de Transformers (MoT), initialisée à partir de l'architecture Janus-Pro (DeepSeek-LLM 1.5B). Il découple le raisonnement et le contrôle en deux experts spécialisés qui partagent un contexte d'auto-attention global mais opèrent à des fréquences différentes :

Expert de Raisonnement Lent (Slow Reasoning Expert) : Opère à une faible fréquence (par exemple, tous les $k$ pas de temps). Il effectue une inférence autoregressive pour générer la LaST CoT, une séquence de jetons (tokens) latents représentant la dynamique physique future.
Expert d'Action Rapide (Fast Acting Expert) : Opère au taux de contrôle natif à haute fréquence. Il génère des commandes d'action continues conditionnées par des observations à haute fréquence et les représentations latentes périodiquement mises à jour par l'expert de raisonnement.

LaST CoT (Chaîne de Pensée Spatio-Temporelle Latente)

La LaST CoT est un espace latent efficace en termes de jetons qui prédit de manière autoregressive les états futurs à travers trois modalités sur un horizon temporel $H$ :

Latents Visuels 2D : Encodés à partir de futures trames RGB en utilisant un encodeur SigLIP-Large gelé.
Latents Géométriques 3D : Encodés à partir de nuages de points futurs en utilisant un encodeur Uni3D préentraîné (utilisé uniquement pendant l'entraînement pour fournir des cibles de vérité terrain).
Latents de Proprioception Robotique : Encodés à partir des états futurs du robot (angles articulaires, vitesses, état de la pince).

Ces modalités sont entrelacées chronologiquement ( $z^v_1, z^p_1, z^s_1, \dots$ ) pour modéliser les dépendances spatio-temporelles couplées. Pendant l'entraînement, l'expert de raisonnement est supervisé via une perte de similitude cosinus par rapport aux séquences de latents de vérité terrain dérivées des observations futures, plutôt que par la prédiction de jetons discrets.

Stratégie d'Entraînement

Pré-entraînement : LaST0 est pré-entraîné sur un corpus diversifié de plus de 400 000 trajectoires issues d'Open-X-Embodiment, DROID et RoboMIND.
Ajustement Supervisé (SFT) : Le modèle subit une optimisation conjointe où l'expert de raisonnement minimise la perte de régression latente, et l'expert d'action minimise la perte de Flow Matching.
Entraînement à Fréquence Hétérogène : L'expert d'action est entraîné avec des ratios de fonctionnement lent-rapide mélangés aléatoirement (ex: 1:1, 1:2, 1:4). Cela permet au modèle de sélectionner de manière adaptative les fréquences d'exécution appropriées lors du déploiement, garantissant la robustesse lorsque le taux de mise à jour du raisonnement varie.

3. Principales Contributions

Chaîne de Pensée Spatio-Temporelle Latente : Un nouveau cadre qui effectue le raisonnement dans un espace latent compact, capturant des dynamiques physiques et robotiques fines (2D, 3D et proprioceptives) difficiles à verbaliser, tout en supportant une modélisation temporellement cohérente.
Architecture MoT à Double Système : Une conception qui coordonne le raisonnement latent à basse fréquence avec la génération d'actions à haute fréquence via un schéma de Mélange de Transformers. Cela permet un raisonnement délibératif sans compromettre la réactivité du contrôle en temps réel.
Efficacité de l'Entraînement et de l'Inférence : En remplaçant la génération explicite de texte/image par la régression latente et en utilisant une coordination de fréquence asynchrone, la méthode atteint des accélérations significatives par rapport aux approches de CoT explicites.

4. Résultats Expérimentaux

Les auteurs ont évalué LaST0 à travers des benchmarks de simulation et du monde réel, en comparant le modèle aux modèles VLA de pointe (ex: OpenVLA, $\pi_0.5$ , CoT-VLA, SpatialVLA).

Benchmarks de Simulation

RLBench : Sur 10 tâches de manipulation diverses, LaST0 a atteint un taux de succès moyen de 82 %, surpassant le meilleur baseline (HybridVLA-7B à 74 %) de 8 %. Il a également démontré une vitesse d'inférence supérieure (15,4 Hz) par rapport aux méthodes de CoT explicites (1,1 Hz).
LIBERO : LaST0 a atteint un taux de succès moyen de l'état de l'art de 98,1 %, dépassant $\pi_0.5$ (96,9 %) et OpenVLA-OFT (97,1 %). Notamment, il a excellé dans la suite LIBERO-Long à long horizon (95,6 %), démontrant une gestion efficace des tâches étendues.

Expériences en Monde Réel

Évalué sur 10 tâches complexes couvrant la manipulation sur table (bras simple/double), la manipulation mobile et le contrôle de main dextre :

Performance : LaST0 a atteint un taux de succès moyen de 72 % sur la plateforme Franka, surpassant de manière significative SpatialVLA (41 %), $\pi_0.5$ (59 %) et CoT-VLA (50 %).
Robustesse à Long Horizon : Dans une tâche à long horizon nécessitant trois exécutions consécutives réussies (placer un œuf sur du pain de manière répétée), LaST0 a maintenu des taux de succès de 66 % $\to$ 47 % $\to$ 33 % à travers les étapes, tandis que $\pi_0.5$ est tombé à 47 % $\to$ 20 % $\to$ 7 %.
Généralisation : Le modèle s'est généralisé avec succès aux plateformes mobiles (AgileX) et aux mains humanoïdes dextres (TienKung 2.0), gérant la manipulation d'objets articulés complexes.

5. Signification et Revendications

L'article affirme que LaST0 résout le compromis critique entre la profondeur du raisonnement et la vitesse d'inférence dans les modèles VLA robotiques. En déplaçant le raisonnement de l'espace linguistique vers un espace latent ancré physiquement, le cadre capture les dynamiques physiques « ineffables » essentielles à une manipulation robuste sans la pénalité de latence de la génération de texte autoregressive.

Les auteurs soulignent que l'architecture à double système permet au modèle de conserver les avantages du « raisonner-avant-d'agir » (cohérence temporelle, compréhension physique) tout en opérant à des fréquences adaptées au contrôle en temps réel. Les résultats suggèrent que le raisonnement latent est un paradigme plus efficace et performant pour l'IA incarnée que la prédiction explicite de texte ou d'image, particulièrement pour les tâches nécessitant une interaction physique fine et une planification à long horizon.