ASCII Art Turns LLMs into VLA Controllers

Technische Samenvatting: ASCII-kunst verandert LLM's in VLA-controllers

Probleem en Motivatie
Vision-Language-Action (VLA) controllers breiden doorgaans Vision-Language Models (VLMs) uit met actie-supervisie, wat grootschalige multimodale backbones, uitgebreide data en aanzienlijke computationele middelen vereist. Hoewel modulaire pipelines effectief blijven, streven VLA-benaderingen ernaar om perceptie, instructiebegrip, planning en controle te verenigen in één enkel model. Het trainen en implementeren van VLM-gebaseerde controllers is echter rekenintensief, en het verzamelen van hoogwaardige robotdemonstratiedata is vaak afhankelijk van kostbare menselijke teleoperatie of lijdt onder sim-to-real discrepanties. Dit werk adresseert de vraag: Kan een VLA-model worden gebouwd met uitsluitend tekstuele Large Language Models (LLMs) zonder directe beeldinvoer of multimodale trainingspipelines?

Methodologie
De auteurs stellen een "ASCII-als-Visie"-interface voor die visuele observaties rendert naar tekst, waardoor tekstuele LLM's kunnen fungeren als VLA-controllers.

• ASCII-als-Visie Interface: RGB-cameraframes worden omgezet in vaste, gekleurde ASCII-rasters (bijv. 96×54 resolutie). Deze representatie behoudt taakrelevante visuele aanwijzingen (objecten, doelen, ruimtelijke lay-out) en kleurinformatie, terwijl het compatibel blijft met tekstuele LLM's. Achtergrondpixels worden naar witruimte gemapt om rommel te verminderen.
• Observatie Pipeline:
  • Simulatie: Omgevingen worden procedureel gegenereerd met behulp van pygame. Scènes bevatten verplaatsbare objecten, doelen, een grijper en statische obstakels. Domeinrandomisatie wordt toegepast op kleuren, groottes en rotaties.
  • Real-world: Een vaste overhead RGB-camera legt de werkruimte vast. Een deterministische pre-processing pipeline omvat camerakalibratie, workspace cropping (begrensd door AprilTags), kleurgebaseerde masking, denoising, en een parallax-correctiestap om het middelpunt van de grijper te hermappen naar het tafelblad referentiekader voordat de ASCII-encoding plaatsvindt.
• Actieruimte: De policy geeft één commando uit in een beperkte Domain-Specific Language (DSL):
  • MOVE(x, y): Discrete roostercoördinaten.
  • GRIP(PICK) / GRIP(DROP): Grijpacties.
  • UNREACHABLE(BLOCKED|NARROW|UNDEFINED): Expliciete verklaringen van taak-onhaalbaarheid (geblokkeerde paden, nauwe openingen of ontbrekende entiteiten).
• Leerpipeline:
  • Stage 0 (Bootstrap): Supervised fine-tuning met demonstraties van een expert teacher-policy gebaseerd op traditionele bewegingsplanning (A*).
  • Stage 1–20 (Iteratieve verbetering): Het DAgger (Dataset Aggregation) algoritme wordt toegepast. De huidige policy interageert met de omgeving, en de teacher levert corrigerende labels voor bezochte staten om cumulatieve fouten aan te pakken.
  • Fine-tuning: Modellen worden aangepast met behulp van Low-Rank Adaptation (LoRA).

Belangrijkste Bijdragen

1. Nieuw ASCII-gebaseerd VLA: De auteurs stellen een VLA-controller voor en evalueren deze, die conditioneert op de visuele staat via ASCII-tekst, waardoor de noodzaak voor native beeldinvoer of multimodale backbones vervalt. De controller evalueert ook de bereikbaarheid van taken.
2. Reproduceerbare Pipeline: Een volledig trainingsframework wordt geleverd, inclusief een omgevinggenerator, een motion planning teacher en een DAgger-stijl iteratieve dataverzamelingloop.
3. Uitgebreide Benchmarking: De studie benchmarkt meerdere tekstuele LLM's en VLMs over verschillende families en schalen in simulatie en demonstreert succesvolle sim-to-real transfer op een fysieke 7-DOF manipulator.

Resultaten
Experimenten werden uitgevoerd in een 2D top-down manipulatieomgeving met vijf bereikbaarheidsregimes (Reachable-Simple, Reachable-Complex, Unreachable-Blocked, Unreachable-Narrow, Unreachable-Undefined).

• Prestatiewinst: Stage-wise aggregatie (DAgger) leverde substantiële verbeteringen op ten opzichte van de Stage 0 bootstrap. Bijvoorbeeld, Qwen3-4B verbeterde van 30.8% naar 89.2% succes op testepisoden.
• Modelvergelijking:
  • De sterkste algehele prestatie werd behaald door Qwen3-VL-4B-Instruct (83.6% succes, 8.6% botsingspercentage).
  • Onder de tekstuele modellen behaalde Qwen3-14B een 81.2% bereikbaar succes.
  • Cruciaal is dat tekstuele LLM's bij vergelijkbare schalen concurrerend waren met VLMs. In sommige gevallen presteerden tekstuele modellen zelfs beter dan hun VLM-tegenhangers (bijv. Qwen3-8B presteerde licht beter dan Qwen3-VL-8B-Instruct qua bereikbaar succes en false-positive unreachability rates).
• Detectie van Onbereikbaarheid: Modellen behaalden hoge detectiepercentages (midden- tot hoog 90%) en subtype-accuratesse voor onhaalbare taken.
• Real-World Deployment: De geleerde controllers werden succesvol ingezet op een Flexiv Rizon4s robotarm. Het systeem handelde pick-and-place taken af met minimale wijzigingen aan de policy-interface, waarbij vertrouwd werd op de deterministische pre-processing pipeline om real-world observaties af te stemmen op de ASCII-representatie van de simulator.

Betekenis en Claims
Het artikel claimt dat ASCII-rendering dient als een lichtgewicht, interpreteerbare modaliteitsbrug van afbeeldingen naar tekst. Het demonstreert dat tekstuele LLM's effectief de plaats kunnen innemen van multimodale backbones voor 2D manipulatietaken, wat potentieel de engineeringbarrières en computationele kosten van VLA-onderzoek verlaagt. De auteurs merken op dat hoewel ASCII-kunst enige visuele nuance weglaat, het wel de mogelijkheid biedt om breed beschikbare LLM's te gebruiken en de beperkingen van dataverzameling te overwinnen. In de specifieke 2D manipulatiecontext die werd bestudeerd, presteerden tekstuele modellen zelfs beter dan equivalente visuele modellen.

Beperkingen
De auteurs erkennen dat ASCII-rendering een bewuste informatie-bottleneck is, wat de prestaties potentieel kan beperken in drukke scènes, interacties met kleine objecten of taken die precieze geometrie vereisen. Ze merken ook op dat optimalisatieresultaten modelafhankelijk zijn (bijv. Gemma-modellen vertoonden instabiliteit vergeleken met Qwen3/Llama-3.2) en dat redeneren over geometrische vrijheid (bijv. in "Unreachable-Narrow" scenario's) een uitdaging blijft. Toekomstig werk suggereert hogere resolutie encodings, hybridisatie met klassieke planners en uitbreiding van de interface naar RGBD-inputs.