← Derniers articles
💻 computer science

In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use

Cet article introduit **In-Context VLA**, un cadre qui améliore les modèles Vision-Langage-Action en remplaçant la génération de chaîne de pensée en texte libre par un post-entraînement en contexte sur des preuves perceptuelles structurées et l'utilisation d'outils agentiques, permettant ainsi une consommation de langage ancrée pour un contrôle de bas niveau supérieur et des performances de pointe à travers des tâches de manipulation en simulation et dans le monde réel.

Auteurs originaux : Jiarui Yang, Wen Huang, Jiale Zhang, Maowei Hu, Hang Guo

Publié 2026-08-07
📖 3 min de lecture☕ Lecture pause café
CC BY 4.0

Auteurs originaux : Jiarui Yang, Wen Huang, Jiale Zhang, Maowei Hu, Hang Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à faire des tâches ménagères, comme préparer un sandwich ou ranger une pièce en désordre. Pendant longtemps, les scientifiques ont essayé d'enseigner ces tâches aux machines en leur montant des vidéos d'humains en train de faire le travail et en leur disant : « Copie exactement ce que tu vois ». Cela fonctionne assez bien pour des tâches simples, mais c'est comme essayer d'apprendre une nouvelle langue en mémorisant seulement une seule phrase rigide. Si vous demandez au robot de « ramasser la tasse rouge » mais que vous dites ensuite « attrape cette coupe cramoisie », le robot pourrait être confus car il n'a jamais appris à comprendre le sens derrière les mots, seulement à correspondre aux sons spécifiques qu'il a entendus pendant l'entraînement.

Pour corruer cela, des chercheurs ont récemment tenté de donner aux robots une étape de « réflexion », similaire à la façon dont les humains se parlent à eux-mêmes avant d'agir. Ils espéraient que le robot rédigerait d'abord un plan du type : « D'accord, la tasse est sur la table, et je dois déplacer ma main vers la gauche », puis agirait. C'est ce qu'on appelle la « Chaîne de Pensée » (Chain-of-Thought). Mais voici le rebondissement : pour les robots, trop parler avant de bouger les rend en réalité moins performants. C'est comme essayer de conduire une voiture tout en écrivant un roman sur la route ; le temps d'avoir fini votre phrase, vous avez raté le virage. Le robot s'enferme dans une boucle consistant à narrer ses propres pensées au lieu de réellement saisir l'objet, et il invente souvent des faits sur l'emplacement des choses parce qu'il devine plutôt qu'il ne regarde.

Ce document présente une nouvelle façon d'enseigner aux robots appelée VLA-Talker. Au lieu de forcer le robot à écrire ses propres pensées, les chercheurs lui donnent un « assistant intelligent » qui effectue l'observation et le compte rendu à sa place. Imaginez un robot doté de lunettes surpuissantes et d'un copilote utile. Lorsque le robot a besoin de savoir où se trouve une cuillère, il ne devine pas ou ne rédige pas un paragraphe à ce sujet. Au lieu de cela, il demande instantanément à son copilote (qui utilise des outils spéciaux comme des caméras de profondeur et des détecteurs d'objets) de dire : « La cuillère est à 42 pixels vers la droite et légèrement plus bas que ta main ». Le robot lit alors ce rapport clair et factuel et agit immédiatement.

Les chercheurs ont découvert que cette méthode change la donne. En laissant le robot consommer un langage clair et ancré provenant de ses outils plutôt que de générer son propre bavardage confus, le robot devient beaucoup plus rapide et précis. Dans leurs tests, cette approche n'a pas seulement mieux fonctionné ; elle était près de 4,6 fois plus rapide que les anciennes méthodes de « réflexion » car le robot ne perdait pas de temps à écrire des essais avant de bouger. Ils ont testé cela dans des simulations informatiques complexes et même sur un véritable robot humanoïde, et cela résolvait systématiquement des tâches qui posaient problème aux autres robots, prouvant que parfois, la meilleure façon de réfléchir est d'écouter quelqu'un d'autre qui connaît les faits.

Noyé(e) sous les articles dans votre domaine ?

Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.

Essayer Digest →

Articles similaires

Voir tout dans cette catégorie 💻 cs →