ASCII Art Turns LLMs into VLA Controllers

Sintesi Tecnica: L'Arte ASCII trasforma gli LLM in controllori VLA

Problema e Motivazione
I controllori Vision-Language-Action (VLA) tipicamente estendono i modelli Vision-Language (VLM) con la supervisione delle azioni, richiedendo backbone multimodali su larga scala, dati estesi e risorse computazionali significative. Sebbene le pipeline modulari rimangano efficaci, gli approcci VLA mirano a unificare percezione, comprensione delle istruzioni, pianificazione e controllo in un unico modello. Tuttavia, l'addestramento e il deployment di controllori basati su VLM sono intensivi dal punto di vista computazionale, e la raccolta di dati di alta qualità per la robotica spesso dipende da costosa teleoperazione umana o soffre di discrepanze sim-to-real. Questo lavoro affronta la domanda: È possibile costruire un modello VLA utilizzando solo Large Language Models (LLM) esclusivamente testuali, senza input di immagini diretti o pipeline di addestramento multimodali?

Metodologia
Gli autori propongono un'interfaccia "ASCII-as-Vision" che renderizza le osservazioni visive in testo, consentendo a LLM puramente testuali di funzionare come controllori VLA.

• Interfaccia ASCII-as-Vision: I frame della telecamera RGB vengono convertiti in raster ASCII colorati di dimensioni fisse (ad esempio, risoluzione 96×54). Questa rappresentazione preserva gli indizi visivi rilevanti per il compito (oggetti, target, layout spaziale) e le informazioni sul colore, rimanendo al contempo compatibile con LLM puramente testuali. I pixel dello sfondo vengono mappati su spazi bianchi per ridurre il disordine.
• Pipeline di Osservazione:
  • Simulazione: Gli ambienti sono generati proceduralmente utilizzando pygame. Le scene includono oggetti mobili, target, una pinza e ostacoli statici. La randomizzazione del dominio è applicata a colori, dimensioni e rotazioni.
  • Mondo Reale: Una telecamera RGB fissa con vista dall'alto cattura lo spazio di lavoro. Una pipeline di pre-elaborazione deterministica include calibrazione della telecamera, ritaglio dello spazio di lavoro (delimitato da AprilTags), masking basato sul colore, denoising e un passaggio di correzione della parallasse per rimappare il centro della pinza sul riferimento del piano di lavoro prima della codifica ASCII.
• Spazio delle Azioni: La policy genera un singolo comando in un linguaggio specifico del dominio (DSL) vincolato:
  • MOVE(x, y): Coordinate di griglia discrete.
  • GRIP(PICK) / GRIP(DROP): Azioni di presa/rilascio.
  • UNREACHABLE(BLOCKED|NARROW|UNDEFINED): Dichiarazioni esplicite di in fattibilità del compito (percorsi bloccati, spazi stretti o entità mancanti).
• Pipeline di Apprendimento:
  • Stage 0 (Bootstrap): Supervised fine-tuning utilizzando dimostrazioni da una policy teacher esperta basata sulla pianificazione del movimento tradizionale (A*).
  • Stage 1–20 (Miglioramento Iterativo): Viene impiegato l'algoritmo DAgger (Dataset Aggregation). La policy corrente interagisce con l'ambiente e il "teacher" fornisce etichette correttive per gli stati visitati per affrontare gli errori cumulativi.
  • Fine-tuning: I modelli vengono adattati utilizzando la Low-Rank Adaptation (LoRA).

Contributi Chiave

1. Nuovo VLA basato su ASCII: Gli autori propongono e valutano un controllore VLA che si condiziona sullo stato visivo tramite testo ASCII, eliminando la necessità di input di immagini nativi o backbone multimodali. Il controllore valuta anche la raggiungibilità del compito.
2. Pipeline Riproducibile: Viene fornito un framework di addestramento completo, inclusamente un generatore di ambienti, un pianificatore di movimento "teacher" e un ciclo di raccolta dati iterativo di tipo DAgger.
3. Benchmarking Completo: Lo studio confronta molteplici modelli VLM e LLM di diverse famiglie e scale in simulazione e dimostra un trasferimento sim-to-real riuscito su un manipolatore fisico a 7 gradi di libertà (7-DOF).

Risultati
Gli esperimenti sono stati condotti in un ambiente di manipolazione 2D dall'alto con cinque regimi di raggiungibilità (Reachable-Simple, Reachable-Complex, Unreachable-Blocked, Unreachable-Narrow, Unreachable-Undefined).

• Guadagni di Performance: L'aggregazione per stadi (DAgger) ha prodotto miglioramenti sostanziali rispetto allo stage 0 di bootstrap. Ad esempio, Qwen3-4B è passato dal 30,8% all'89,2% di successo sugli episodi di test.
• Confronto tra Modelli:
  • La performance complessiva più forte è stata raggiunta da Qwen3-VL-4B-Instruct (83,6% di successo, 8,6% di tasso di collisione).
  • Tra i modelli puramente testuali, Qwen3-14B ha ottenuto un successo di raggiungibilità dell'81,2%.
  • Fondamentalmente, a parità di scala, gli LLM puramente testuali sono competitivi con i VLM. In alcuni casi, i modelli puramente testuali hanno superato i loro corrispettivi VLM (ad esempio, Qwen3-8B ha superato leggermente Qwen3-VL-8B-Instruct nel successo di raggiungibilità e nei tassi di falsi positivi di inaccessibilità).
• Rilevamento dell'Inaccessibilità: I modelli hanno raggiunto alti tassi di rilevamento (metà-alti 90%) e accuratezza dei sottotipi per compiti non fattibili.
• Deployment nel Mondo Reale: I controllori appresi sono stati implementati con successo su un braccio robotico Flexiv Rizon4s. Il sistema ha gestito compiti di pick-and-place con cambiamenti minimi all'interfaccia della policy, facendo affidamento sulla pipeline di pre-elaborazione deterministica per allineare le osservazioni del mondo reale con la rappresentazione ASCII del simulatore.

Significatività e Rivendicazioni
Il paper sostiene che la resa ASCII funga da ponte modale leggero e interpretabile dalle immagini al testo. Dimostra che gli LLM puramente testuali possono sostituire efficacemente i backbone multimodali per compiti di manipolazione 2D, riducendo potenzialmente le barriere ingegneristiche e i costi computazionali associati alla ricerca VLA. Gli autori osservano che, sebbene l'arte ASCII scarti alcune sfumature visive, essa permette di utilizzare LLM ampiamente disponibili e supera i vincoli di raccolta dati. Nel contesto specifico di manipolazione 2D studiato, i modelli puramente testuali hanno persino performato meglio dei modelli visivi equivalenti.

Limitazioni
Gli autori riconoscono che la resa ASCII è un collo di bottiglia informativo intenzionale, che potrebbe limitare le prestazioni in scene affollate, interazioni con oggetti piccoli o compiti che richiedono precisione geometrica. Notano inoltre che i risultati di ottimizzazione dipendono dal modello (ad esempio, i modelli Gemma hanno mostrato instabilità rispetto a Qwen3/Llama-3.2) e che il ragionamento sulla clearance geometrica (ad esempio, negli scenari "Unreachable-Narrow") rimane una sfida. Si suggerisce come lavoro futuro l'uso di codifiche ad alta risoluzione, l'ibridazione con pianificatori classici e l'estensione dell'interfaccia agli input RGBD.