ASCII Art Turns LLMs into VLA Controllers

Resumo Técnico: Arte ASCII Transforma LLMs em Controladores VLA

Problema e Motivação
Controladores de Visão-Linguagem-Ação (VLA) tipicamente estendem Modelos de Linguagem-Visão (VLMs) com supervisão de ação, exigindo backbones multimodais de larga escala, dados extensos e recursos computacionais significativos. Embora pipelines modulares permaneçam eficazes, as abordagens VLA visam unificar percepção, compreensão de instrução, planejamento e controle em um único modelo. No entanto, treinar e implantar controladores baseados em VLM é intensivo em termos de computação, e a coleta de dados de demonstração robótica de alta qualidade muitas vezes depende de teleoperação humana dispendiosa ou sofre com discrepâncias de sim-para-real (sim-to-real). Este trabalho aborda a seguinte questão: É possível construir um modelo VLA usando apenas Grandes Modelos de Linguagem (LLMs) puramente de texto, sem entradas de imagem diretas ou pipelines de treinamento multimodais?

Metodologia
Os autores propõem uma interface "ASCII-como-Visão" que renderiza observações visuais em texto, permitindo que LLMs puramente de texto funcionem como controladores VLA.

• Interface ASCII-como-Visão: Quadros de câmera RGB são convertidos em rasters ASCII coloridos de tamanho fixo (ex: resolução 96×54). Esta representação preserva pistas visuais relevantes para a tarefa (objetos, alvos, layout espacial) e informações de cor, permanecendo compatível com LLMs puramente de texto. Pixels de fundo são mapeados para espaços em branco para reduzir a poluição visual.
• Pipeline de Observação:
  • Simulação: Ambientes são gerados proceduralmente usando pygame. As cenas incluem objetos móveis, alvos, uma garra e obstáculos estáticos. A randomização de domínio é aplicada a cores, tamanhos e rotações.
  • Mundo Real: Uma câmera RGB fixa de visão superior captura o espaço de trabalho. Um pipeline de pré-processamento determinístico inclui calibração de câmera, recorte do espaço de trabalho (delimitado por AprilTags), mascaramento baseado em cor, redução de ruído e um passo de correção de paralaxe para remarpear o centro da garra para o referencial da mesa antes da codificação ASCII.
• Espaço de Ação: A política gera um comando único em uma Linguagem de Domínio Específico (DSL) restrita:
  • MOVE(x, y): Coordenadas de grade discretas.
  • GRIP(PICK) / GRIP(DROP): Ações de agarrar/soltar.
  • UNREACHABLE(BLOCKED|NARROW|UNDEFINED): Declarações explícitas de inviabilidade da tarefa (caminhos bloqueados, lacunas estreitas ou entidades ausentes).
• Pipeline de Aprendizado:
  • Estágio 0 (Bootstrap): Ajuste fino supervisionado usando demonstrações de uma política professora especialista baseada em planejamento de movimento tradicional (A*).
  • Estágios 1–20 (Melhoria Iterativa): O algoritmo DAgger (Dataset Aggregation) é empregado. A política atual interage com o ambiente, e a professora fornece rótulos corretivos para estados visitados para lidar com erros cumulativos.
  • Ajuste Fino: Os modelos são adaptados usando Low-Rank Adaptation (LoRA).

Principais Contribuições

1. Novo VLA baseado em ASCII: Os autores propõem e avaliam um controlador VLA que condiciona em estados visuais via texto ASCII, eliminando a necessidade de entradas de imagem nativas ou backbones multimodais. O controlador também avalia a alcançabilidade da tarefa.
2. Pipeline Reproduzível: Um framework de treinamento completo é fornecido, incluindo um gerador de ambiente, um planejador de movimento professor e um loop de coleta de dados iterativo estilo DAgger.
3. Benchmarking Abrangente: O estudo compara múltiplos LLMs e VLMs de diversas famílias e escalas em simulação e demonstra a transferência bem-sucedida de sim-para-real em um manipulador físico de 7 graus de liberdade (DOF).

Resultos
Experimentos foram conduzidos em um ambiente de manipulação 2D com visão superior em cinco regimes de alcançabilidade (Reachable-Simple, Reachable-Complex, Unreachable-Blocked, Unreachable-Narrow, Unreachable-Undefined).

• Ganhos de Desempenho: A agregação por estágios (DAgger) gerou melhorias substanciais sobre o bootstrap do Estágio 0. Por exemplo, o Qwen3-4B melhorou de 30.8% para 89.2% de sucesso em episódios de teste.
• Comparação de Modelos:
  • O desempenho geral mais forte foi alcançado pelo Qwen3-VL-4B-Instruct (83.6% de sucesso, 8.6% de taxa de colisão).
  • Entre modelos puramente de texto, o Qwen3-14B alcançou 81.2% de sucesso em tarefas alcançáveis.
  • Crucialmente, em escalas comparáveis, LLMs puramente de texto foram competitivos com VLMs. Em alguns casos, modelos de texto superaram seus equivalentes VLMs (ex: o Qwen3-8B superou ligeiramente o Qwen3-VL-8B-Instruct em sucesso de alcançabilidade e taxas de falso-positivo de inalcançabilidade).
• Detecção de Inalcançabilidade: Os modelos alcançaram altas taxas de detecção (meados a altos 90%) e precisão de subtipo para tarefas inviáveis.
• Implantação no Mundo Real: Os controladores aprendidos foram implantados com sucesso em um braço robótico Flexiv Rizon4s. O sistema lidou com tarefas de pick-and-place com mudanças mínimas na interface da política, dependendo do pipeline de pré-processamento determinístico para alinhar as observações do mundo real com a representação ASCII do simulador.

Significância e Alegações
O artigo afirma que a renderização ASCII serve como uma ponte de modalidade leve e interpretável de imagens para texto. Demonstra que LLMs puramente de texto podem efetivamente substituir backbones multimodais para tarefas de manipulação 2D, potencialmente reduzindo as barreiras de engenharia e os custos computacionais associados à pesquisa de VLA. Os autores observam que, embora a arte ASCII descarte certa nuance visual, ela permite a utilização de LLMs amplamente disponíveis e supera restrições de coleta de dados. No contexto específico de manipulação 2D estudado, modelos puramente de texto até mesmo performaram melhor que seus equivalentes visuais.

Limitações
Os autores reconhecem que a renderização ASCII é um gargalo de informação intencional, o que pode limitar o desempenho em cenas congestionadas, interações com objetos pequenos ou tarefas que exigem geometria precisa. Eles também notam que os resultados de otimização dependem do modelo (ex: modelos Gemma mostraram instabilidade comparados a Qwen3/Llama-3.2) e que o raciocínio de folga geométrica (ex: em cenários "Unreachable-Narrow") continua sendo um desafio. Trabalhos futuros são sugeridos para codificações de maior resolução, hibridização com planejadores clássicos e extensão da interface para entradas RGBD.