ASCII Art Turns LLMs into VLA Controllers

Résumé technique : L'art ASCII transforme les LLM en contrôleurs VLA

Problématique et motivation
Les contrôleurs Vision-Langage-Action (VLA) étendent généralement les modèles Vision-Langage (VLM) par une supervision d'actions, ce qui nécessite des architectures multimodales à grande échelle, des données abondantes et des ressources de calcul significatives. Bien que les pipelines modulaires restent efficaces, les approches VLA visent à unifier la perception, la compréhension des instructions, la planification et le contrôle au sein d'un seul modèle. Cependant, l'entraînement et le déploiement de contrôleurs basés sur les VLM sont gourmands en calcul, et la collecte de données de démonstration robotique de haute qualité dépend souvent de la téléopération humaine coûteuse ou souffre de disparités entre la simulation et la réalité (sim-to-real). Ce travail répond à la question suivante : Un modèle VLA peut-il être construit en utilisant uniquement des modèles de langage (LLM) textuels, sans entrées d'images directes ni pipelines d'entraînement multimodaux ?

Méthodologie
Les auteurs proposent une interface « ASCII-as-Vision » qui transforme les observations visuelles en texte, permettant aux LLM purement textuels de fonctionner comme des contrôleurs VLA.

• Interface ASCII-as-Vision : Les images de caméras RGB sont converties en rasters ASCII colorés de taille fixe (ex. résolution 96×54). Cette représentation préserve les indices visuels pertinents pour la tâche (objets, cibles, disposition spatiale) et l'information de couleur, tout en restant compatible avec les LLM textuels. Les pixels d'arrière-plan sont mappés vers des espaces blancs pour réduire l'encombrement.
• Pipeline d'observation :
  • Simulation : Les environnements sont générés de manière procédurale à l'aide de pygame. Les scènes incluent des objets mobiles, des cibles, une pince et des obstacles statiques. La randomisation de domaine est appliquée aux couleurs, tailles et rotations.
  • Monde réel : Une caméra RGB fixe en vue de dessus capture l'espace de travail. Un pipeline de prétraitement déterministe comprend le calibrage de la caméra, le recadrage de l'espace de travail (délimité par des AprilTags), le masquage basé sur la couleur, le débruitage et une étape de correction de parallaxe pour remapper le centre de la pince vers le référentiel de la table avant l'encodage ASCII.
• Espace d'action : La politique produit une commande unique dans un langage de domaine spécifique (DSL) contraint :
  • MOVE(x, y) : Coordonnées de grille discrètes.
  • GRIP(PICK) / GRIP(DROP) : Actions de saisie.
  • UNREACHABLE(BLOCKED|NARROW|UNDEFINED) : Déclarations explicites d'infaisabilité de la tâche (chemins bloqués, passages étroits ou entités manquantes).
• Pipeline d'apprentissage :
  • Étape 0 (Bootstrap) : Fine-tuning supervisé à partir de démonstrations d'une politique d'expert basée sur la planification de mouvement traditionnelle (A*).
  • Étapes 1–20 (Amélioration itérative) : L'algorithme DAgger (Dataset Aggregation) est employé. La politique actuelle interagit avec l'environnement, et l'enseignant fournit des étiquettes correctives pour les états visités afin de traiter les erreurs cumulatives.
  • Fine-tuning : Les modèles sont adaptés via la méthode LoRA (Low-Rank Adaptation).

Principales contributions

1. Nouveau VLA basé sur l'ASCII : Les auteurs proposent et évaluent un contrôleur VLA qui se conditionne sur l'état visuel via du texte ASCII, éliminant le besoin d'entrées d'images natives ou de backbones multimodaux. Le contrôleur évalue également la joignabilité de la tâche.
2. Pipeline reproductible : Un cadre d'entraînement complet est fourni, incluant un générateur d'environnement, un enseignant de planification de mouvement et une boucle de collecte de données itérative de type DAgger.
3. Benchmarking complet : L'étude compare plusieurs familles et échelles de modèles VLM et LLM en simulation et démontre un transfert réussi de la simulation à la réalité (sim-to-real) sur un manipulateur physique à 7 degrés de liberté (7-DOF).

Résultats
Les expériences ont été menées dans un environnement de manipulation 2D en vue de dessus avec cinq régimes de joignabilité (Reachable-Simple, Reachable-Complex, Unreachable-Blocked, Unreachable-Narrow, Unreachable-Undefined).

• Gains de performance : L'agrégation par étapes (DAgger) a produit des améliorations substantielles par rapport au bootstrap de l'Étape 0. Par exemple, Qwen3-4B est passé de 30,8 % à 89,2 % de succès sur les épisodes de test.
• Comparaison de modèles :
  • La meilleure performance globale a été obtenue par Qwen3-VL-4B-Instruct (83,6 % de succès, 8,6 % de taux de collision).
  • Parmi les modèles purement textuels, Qwen3-14B a atteint 81,2 % de succès de joignabilité.
  • Crucialement, à échelles comparables, les LLM textuels étaient compétitifs avec les VLM. Dans certains cas, les modèles textuels ont surpassé leurs homologues VLM (ex. : Qwen3-8B a légèrement surpassé Qwen3-VL-8B-Instruct en termes de succès de joignabilité et de taux de faux positifs d'injoignabilité).
• Détection d'injoignabilité : Les modèles ont atteint des taux de détection élevés (milieu/haut des 90 %) et une précision de sous-type pour les tâches infaisables.
• Déploiement en monde réel : Les contrôleurs appris ont été déployés avec succès sur un bras robotique Flexiv Rizon4s. Le système a géré des tâches de "pick-and-place" avec des changements minimaux de l'interface de la politique, en s'appuyant sur le pipeline de prétraitement déterministe pour aligner les observations réelles avec la représentation ASCII du simulateur.

Signification et affirmations
L'article affirme que le rendu ASCII sert de pont de modalité léger et interprétable entre les images et le texte. Il démontre que les LLM purement textuels peuvent efficacement remplacer les backbones multimodaux pour les tâches de manipulation 2D, réduisant potentiellement les barrières d'ingénierie et les coûts de calcul associés à la recherche VLA. Les auteurs notent que bien que l'ASCII sacrifie certaines nuances visuelles, il permet d'utiliser des LLM largement disponibles et de surmonter les contraintes de collecte de données. Dans le contexte spécifique de la manipulation 2D étudié, les modèles textuels ont même été plus performants que les modèles visuels équivalents.

Limites
Les auteurs reconnaissent que le rendu ASCII est un goulot d'étranglement d'information intentionnel, pouvant limiter les performances dans des scènes encombrées, des interactions avec de petits objets ou des tâches nécessitant une géométrie précise. Ils notent également que les résultats d'optimisation dépendent du modèle (ex. : les modèles Gemma ont montré une instabilité par rapport à Qwen3/Llama-3.2) et que le raisonnement sur le dégagement géométrique (ex. : dans les scénarios "Unreachable-Narrow") reste un défi. Des travaux futurs sont suggérés pour des encodages à plus haute résolution, l'hybridation avec des planificateurs classiques et l'extension de l'interface aux entrées RGBD.