Resumen Técnico: ¿Sabe siquiera el VLA lo más básico? Midiendo la retención del sentido común y el conocimiento del mundo en modelos de Visión-Lenguaje-Acción

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) con capacidad de encarnación (embodied) se construyen típicamente mediante el ajuste fino (fine-tuning) de potentes Modelos de Visión-Lenguaje (VLM) preentrenados con datos de robótica. Aunque estos modelos suelen promocionarse como generalizables al mundo abierto, no está claro cuánto conocimiento de sentido común y factual retienen tras la adaptación a tareas de control. Los paradigmas de evaluación actuales son predominantemente "centrados en la manipulación", enfocándose en las tasas de éxito de tareas de navegación o manipulación de objetos (por ejemplo, LIBERO, CALVIN). Estos benchmarks confunden los déficits de conocimiento con fallos en el control motor de bajo nivel, la percepción o la planificación de largo alcance. En consecuencia, no existe un método basado en principios para determinar si un VLA ha olvidado catastróficamente el conocimiento del mundo presente en su VLM de origen, o si los fallos en tareas sensibles al conocimiento se deben simplemente a una pobre generalización de las políticas de control.

Metodología: Act2Answer

Para abordar la ambigüedad entre la pérdida de conocimiento y el fallo de control, los autores introducen Act2Answer, un protocolo de evaluación ligero que adapta los benchmarks de conocimiento de los VLM para modelos VLA, requiriendo que los agentes respondan a través de la acción en lugar de la generación de texto.

Protocolo Central

• Selección Basada en la Acción: En lugar de generar texto, cada pregunta se convierte en un episodio corto y simulado en una mesa. El agente recibe una instrucción en lenguaje natural y debe realizar una única acción simple de colocación de objetos (mover un cubo) para seleccionar la respuesta correcta entre imágenes candidatas colocadas sobre una mesa.
• Reducción de Confundidores: Al limitar la tarea a una única acción de corto horizonte, el protocolo minimiza la influencia del control motor complejo, la planificación de largo alcance y la dinámica del entorno, aislando la capacidad del agente para utilizar el conocimiento en la toma de decisiones.
• Tasa de Éxito Suave (Soft Success Rate - SR): El rendimiento se mide mediante una "Tasa de Éxito Suave", que tiene en cuenta una región de tolerancia alrededor de la respuesta objetivo. Esta métrica distingue entre:
  1. Fallo de Instrucción/Percepción: El agente coloca el objeto fuera de los límites o elige consistentemente la opción incorrecta (SR < 0.5 - $\Delta$).
  2. Sin Conocimiento Utilizable Fiable: El agente fundamenta la acción pero falla al seleccionar la opción correcta, desempeñándose cerca del azar (0.5 - $\Delta$ $\le$ SR $\le$ 0.5 + $\Delta$).
  3. Evidencia de Conocimiento Utilizable: El agente aprovecha con éxito el conocimiento interno para sesgar la selección de la acción hacia el objetivo correcto (SR > 0.5 + $\Delta$).

Curación de Datos

Los autores curaron una suite de pruebas de 1,720 preguntas binarias únicas a través de 12 categorías de conocimiento, derivadas de benchmarks de VLM existentes (MLLM-CompBench, IconQA, MMBench, OK-VQA, VL-Think). Estas categorías se agrupan en siete dominios amplios:

• Físico: Atributos, estados, color, forma, simetría.
• Temporal: Tiempo, conteo.
• Cuantitativo: Conteo, magnitud.
• Biológico: Distinciones del mundo vivo.
• Social: Emoción, intención.
• Normativo: Reglas de tráfico, información pública.
• Cultural: Reconocimiento de celebridades.

Sondeo de Intención por Capas

Para investigar dónde se retiene o se pierde el conocimiento dentro de la arquitectura del modelo, los autores emplean un sondeo de intención por capas (layerwise intent probing). Se entrenan clasificadores lineales sobre los estados ocultos de cada capa del transformador (tanto del backbone del VLM como del Experto de Acción) para predecir la respuesta correcta. Esto permite cuantificar cómo se distribuye la información relevante para la respuesta y si esta se atenúa a medida que pasa de la representación semántica a la generación de la acción.

Contribuciones Clave

1. Suite de Benchmark Act2Answer: Un protocolo controlado que convierte las tareas de conocimiento de VLM en episodios de selección de acción encarnada, permitiendo el sondeo directo del comportamiento sensible al conocimiento sin depender de la decodificación de texto.
2. Taxonomía Sistemática del Conocimiento: Un conjunto de datos curado que cubre 12 categorías a través de 7 dominios, facilitando el análisis granular de errores de sentido común y conocimiento del mundo en agentes encarnados.
3. Estudio Empírico a Gran Escala: Una evaluación de 7 modelos VLA modernos (incluyendo $\pi_0$, OpenVLA, Magma, SpatialVLA) frente a 9 bases sólidas de VLM, clasificando sistemáticamente el rendimiento a través de los dominios de conocimiento.
4. Análisis Arquitectónico: Introducción del sondeo de intención por capas para localizar la información relevante para la respuesta, revelando la dinámica interna de la retención del conocimiento frente a la generación de la acción.

Resultados

El estudio revela una disparidad significativa entre las capacidades de los VLM y sus contrapartes VLA:

• Brecha Perceptual vs. Semántica: Los modelos VLA desempeñan bien en categorías perceptivas simples (ej. Color, Forma), pero exhiben caídas sustanciales de rendimiento en categorías semánticas más ricas (ej. Emoción, Estado, Conteo, Simetría). Muchos modelos VLA operan en el nivel del azar o cerca de él en estas tareas complejas.
• La Brecha VLM-VLA: Al compararse con sus VLM de origen en un entorno libre de acción, los modelos VLA muestran una caída de rendimiento de aproximadamente 20 a 40 puntos porcentuales en la mayoría de los dominios de conocimiento. Esto sugiere que el ajuste fino para el control degrada significativamente la accesibilidad del conocimiento del mundo.
• Papel del Co-entrenamiento de VQA: Los modelos entrenados con supervisión conjunta de visión-lenguaje y robótica (ej. Magma, Xiaomi-Robotics-R0) demuestran una mejor retención de conocimiento y rendimiento en tareas sensibles al conocimiento en comparación con los modelos entrenados principalmente con datos de robótica (ej. OpenVLA, $\pi_0$).
• Cuello de Botella de la Representación Interna: Los resultados del sondeo indican que la información relevante para la respuesta suele estar presente en las capas intermedias del backbone del VLM, pero se atenúa significamente en las capas superiores y en el Experto de Acción. Esto sugiere un cuello de botella donde el modelo retiene la información semántica internamente pero falla al traducirla en la selección de la acción correcta.
• Impacto del Ajuste Fino: El ajuste fino adicional (SFT o RL) en conjuntos de datos de recogida y colocación (pick-and-place) no mejoró consistentemente el rendimiento sensible al conocimiento y, en algunos casos (ej. Estado, Color), provocó una mayor degradación, indicando un sesgo hacia la optimización de tareas específicas a expensas del conocimiento general.

Significancia y Reivindicaciones

El artículo argumenta que el paradigma actual de simplemente ajustar finamente los VLM con datos de robótica es insuficiente para crear agentes encarnados verdaderamente de propósito general. Aunque estos modelos retienen la capacidad de actuar sobre señales perceptivas superficiales, a menudo pierden la capacidad de distinguir entre estados semánticos complejos (ej. una taza "sucia" frente a una "limpia", o un humano "triste" frente a uno "neutral").

Los autores afirman que Act2Answer proporciona una herramienta de diagnóstico necesaria para medir esta "erosión del conocimiento". Los hallazgos sugieren que las arquitecturas y los objetivos de entrenamiento futuros deben priorizar explícitamente la alineación del entendimiento semántico del backbone con las políticas motoras aprendidas. Sin tal alineación, los agentes encarnados seguirán limitados en su utilidad para entornos cotidianos donde la acción correcta depende de un rico sentido común y conocimiento del mundo, no solo de un control de bajo nivel. El artículo concluye que prevenir la erosión del conocimiento del mundo sigue siendo un desafío abierto, que requiere estrategias como el aprendizaje multitarea, la preservación de representaciones o el desacoplamiento arquitectónico de los componentes de conocimiento y control.