ASCII Art Turns LLMs into VLA Controllers

Resumen Técnico: El Arte ASCII convierte a los LLM en controladores VLA

Problema y Motivación
Los controladores de Visión-Lenguaje-Acción (VLA) suelen extender los Modelos de Visión-Lenguaje (VLM) con supervisión de acciones, lo que requiere backbones multimodales a gran escala, datos extensos y recursos computacionales significativos. Mientras que los enfoques modulares siguen siendo efectivos, los enfoques VLA buscan unificar la percepción, la comprensión de instrucciones, la planificación y el control en un solo modelo. Sin embargo, entrenar y desplegar controladores basados en VLM es intensivo en cómputo, y la recolección de datos de demostración robótica de alta calidad suele depender de la costosa teleoperación humana o sufre de discrepancias entre simulación y realidad (sim-to-real). Este trabajo aborda la pregunta: ¿Se puede construir un modelo VLA utilizando únicamente Modelos de Lenguaje Extensos (LLM) basados solo en texto, sin entradas de imagen directas ni pipelines de entrenamiento multimodales?

Metodología
Los autores proponen una interfaz de "ASCII-como-Visión" que renderiza las observaciones visuales en texto, permitiendo que los LLM que solo procesan texto funcionen como controladores VLA.

• Interfaz ASCII-as-Vision: Los fotogramas de la cámara RGB se convierten en rásteres ASCII coloreados de tamaño fijo (por ejemplo, resolución de 96×54). Esta representación preserva las pistas visuales relevantes para la tarea (objetos, objetivos, disposición espacial) y la información de color, manteniéndose compatible con los LLM que solo procesan texto. Los píxeles del fondo se mapean a espacios en blanco para reducir el desorden.
• Pipeline de Observación:
  • Simulación: Los entornos se generan proceduralmente usando pygame. Las escenas incluyen objetos móviles, objetivos, una pinza y obstáculos estáticos. Se aplica aleatorización de dominio a colores, tamaños y rotaciones.
  • Mundo Real: Una cámara RGB fija cenital captura el espacio de trabajo. Un pipeline de preprocesamiento determinista incluye calibración de cámara, recorte del espacio de trabajo (delimitado por AprilTags), enmascaramiento basado en color, eliminación de ruido y un paso de corrección de paralaje para remapear el centro de la pinza al marco de referencia de la mesa antes de la codificación ASCII.
• Espacio de Acción: La política genera un único comando en un Lenguaje de Dominio Específico (DSL) restringido:
  • MOVE(x, y): Coordenadas de rejilla discretas.
  • GRIP(PICK) / GRIP(DROP): Acciones de agarre.
  • UNREACHABLE(BLOCKED|NARROW|UNDEFINED): Declaraciones explícitas de la inviabilidad de la tarea (rutas bloqueadas, espacios estrechos o entidades faltantes).
• Pipeline de Aprendizaje:
  • Etapa 0 (Bootstrap): Ajuste fino supervisado utilizando demostraciones de una política maestra basada en planificación de movimiento tradicional (A*).
  • Etapas 1–20 (Mejora Iterativa): Se emplea el algoritmo DAgger (Agregación de Conjuntos de Datos). La política actual interactúa con el entorno y el maestro proporciona etiquetas correctivas para los estados visitados para abordar errores de composición.
  • Ajuste Fino: Los modelos se adaptan utilizando Low-Rank Adaptation (LoRA).

Contribuciones Clave

1. Nuevo VLA basado en ASCII: Los autores proponen y evalúan un controlador VLA que condiciona su estado visual mediante texto ASCII, eliminando la necesidad de entradas de imagen nativas o backbones multimodales. El controlador también evalúa la alcanzabilidad de la tarea.
2. Pipeline Reproducible: Se proporciona un marco de entrenamiento completo, incluyendo un generador de entornos, un maestro de planificación de movimiento y un bucle de recolección de datos iterativo de estilo DAgger.
3. Benchmarking Exhaustivo: El estudio evalúa múltiples familias y escalas de LLM y VLM basados solo en texto en simulación y demuestra una transferencia exitosa de simulación a realidad (sim-to-real) en un manipulador físico de 7 grados de libertad (DOF).

Resultados
Los experimentos se realizaron en un entorno de manipulación 2D cenital con cinco regímenes de alcanzabilidad (Reachable-Simple, Reachable-Complex, Unreachable-Blocked, Unreachable-Narrow, Unreachable-Undefined).

• Ganancias de Rendimiento: La agregación por etapas (DAgger) produjo mejoras sustanciales sobre el bootstrap de la Etapa 0. Por ejemplo, Qwen3-4B mejoró de un 30.8% a un 89.2% de éxito en episodios de prueba.
• Comparación de Modelos:
  • El rendimiento más fuerte en general fue logrado por Qwen3-VL-4B-Instruct (83.6% de éxito, 8.6% de tasa de colisión).
  • Entre los modelos de solo texto, Qwen3-14B logró un 81.2% de éxito en alcanzabilidad.
  • Crucialmente, a escalas comparables, los LLM de solo texto fueron competitivos con los VLM. En algunos casos, los modelos de solo texto superaron a sus contrapartes VLM (por ejemplo, Qwen3-8B superó ligeramente a Qwen3-VL-8B-Instruct en éxito de alcanzabilidad y tasas de falsos positivos de inalcanzabilidad).
• Detección de Inalcanzabilidad: Los modelos lograron altas tasas de detección (medias-altas de 90%) y precisión de subtipos para tareas infactibles.
• Despliegue en el Mundo Real: Los controladores aprendidos se desplegaron con éxito en un brazo robótico Flexiv Rizon4s. El sistema manejó tareas de pick-and-place con cambios mínimos en la interfaz de la política, confiando en el pipeline de preprocesamiento determinista para alinear las observaciones del mundo real con la representación ASCII del simulador.

Significancia y Reivindicaciones
El artículo afirma que la renderización ASCII sirve como un puente de modalidad ligero e interpretable de imágenes a texto. Demuestra que los LLM que solo procesan texto pueden reemplazar eficazmente los backbones multimodales para tareas de manipulación 2D, reduciendo potencialmente las barreras de ingeniería y los costos computacionales asociados con la investigación de VLA. Los autores señalan que, aunque el arte ASCII descarta parte de la sutileza visual, permite la utilización de LLM ampliamente disponibles y supera las limitaciones de recolección de datos. En el contexto específico de manipulación 2D estudiado, los modelos de solo texto incluso funcionaron mejor que sus equivalentes visuales.

Limitaciones
Los autores reconocen que la renderización ASCII es un cuello de botella de información intencional, lo que podría limitar el rendimiento en escenas congestionadas, interacciones con objetos pequeños o tareas que requieren precisión geométrica. También señalan que los resultados de optimización dependen del modelo (por ejemplo, los modelos Gemma mostraron inestabilidad en comparación con Qwen3/Llama-3.2) y que el razonamiento de despeje geométrico (por ejemplo, en escenarios "Unreachable-Narrow") sigue siendo un desafío. Se sugiere como trabajo futuro el uso de codificaciones de mayor resolución, la hibridación con planificadores clásicos y la extensión de la interfaz a entradas RGBD.