Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

Resumen Técnico: Los Modelos de Visión-Lenguaje-Acción no pueden ser verificados para realizar razonamiento físico

Planteamiento del Problema
El artículo aborda un supuesto fundamental, aunque no verificado, que sustenta la investigación reciente en modelos de Visión-Lenguaje-Acción (VLA): que la generalización semántica aprendida a partir del preentrenamiento de visión-lenguaje a escala de internet es suficiente para soportar decisiones de acción física en sistemas robóticos. Si bien los sistemas VLA (por ejemplo, RT-2, OpenVLA, $\pi^0$) han demostrado tasas de éxito de tareas crecientes en evaluaciones de manipulación, los autores argumentan que los protocolos de evaluación actuales no pueden distinguir si estos avances provienen de un razonamiento físico genuino o simplemente de una mejora en el emparejamiento semántico y el solapamiento de distribuciones. En consecuencia, el campo carece de la capacidad de atribuir causalmente las mejoras de rendimiento ya sea a capacidades semánticas o a la generalización de la ejecución física.

Metodología y Argumento Estructural
El artículo emplea un análisis teórico y estructural en lugar de nuevos experimentos empíricos. La metodología central consiste en:

1. Descomposición de las Políticas VLA: Los autores descomponen formalmente una política VLA en dos componentes distintos:
   • Mapeo Semántico ($z_{sem}$): La transformación de observaciones visuales e instrucciones de lenguaje en abstracciones relevantes para la tarea (identidad de objetos, relaciones espaciales, objetivos) derivadas de datos estáticos de imagen-texto.
   • Decisión de Acción Física: La selección de acciones condicionadas al contexto físico ($z_{phys}$), como la masa, la fricción y la geometría de contacto, que no son recuperables a partir de datos visuales estáticos.
2. Formalización del "Supuesto de Suficiencia Semántica": El artículo postula que las arquitecturas actuales asumen implícitamente que $\pi(a_t | z_{sem}, z_{phys}) \approx \pi(a_t | z_{sem})$. Los autores argumentan que esto es estructuralmente injustificado porque las señales de supervisión para el preentrenamiento de VLM (pares estáticos de imagen-texto) excluyen explícitamente los resultados de la interacción (fuerza, resistencia, dinámica) requeridos para aprender $z_{phys}$.
3. Análisis de Identificabilidad: Los autores identifican tres niveles de no identificabilidad en los protocolos de evaluación actuales:
   • No Identificabilidad de Atribución: Las tasas de éxito de la tarea confunden errores de fundamentación semántica con fallos de ejecución física.
   • No Identificabilidad de Fuente: Las ganancias de rendimiento no pueden rastrearse hasta el preentrenamiento de VLM, los datos de interacción robótica o su interacción, porque las definiciones de "fuera de distribución" (OOD) a menudo ignoran la exposición al preentrenamiento de VLM.
   • No Identificabilidad a Nivel de Representación: Las evaluaciones excluyen instrucciones infactibles o inseguras, lo que impide detectar si el ajuste fino degrada capacidades preentrenadas como el juicio de factibilidad.

Contribuciones Clave

• Identificación de la "Deriva Narrativa": El artículo introduce el concepto de deriva narrativa, donde los sistemas sucesivos heredan y fortalecen interpretaciones previas de las ganancias de rendimiento (por ejemplo, atribuir las leyes de escala al razonamiento físico) sin aislar el mecanismo causal subyacente.
• Crítica Estructural de la Evaluación: Demuestra que los benchmarks actuales son estructuralmente incapaces de probar el supuesto de suficiencia semántica porque carecen de variaciones controladas que separen el contenido semántico de la configuración física.
• Reencuadre de los Roles de VLM: El artículo propone que los backbones de VLM deben verse como interfaces semánticas para la fundamentación del lenguaje y la percepción, más que como fuentes implícitas de competencia física. Sugiere que el razonamiento físico puede requerir capacidades representacionales distintas desarrolladas a través de la interacción, no solo mediante el preentrenamiento semántico.

Resultados y Observaciones
El artículo no presenta nuevos resultados experimentales, sino que sintetiza la literatura existente para revelar una firma empírica consistente:

• Atribución Errónea de Fallos: Cuando los sistemas VLA fallan bajo condiciones físicas novedosas (por ejemplo, manipular objetos con diferentes masas o fricciones), estos fallos se atribuyen consistentemente a factores de ingeniería (por ejemplo, insuficiencia de cobertura de datos, escala del modelo o correlaciones espurias) en lugar al fallo del supuesto de sufencia semántica.
• Ambigüedad del Éxito: Se demuestra que las altas tasas de éxito de la tarea son consistentes con múltiples explicaciones, incluyendo la generalización física genuina, la mejora del emparejamiento semántico o el aumento del solapamiento entre las distribuciones de entrenamiento y prueba.
• Consecuencias Sistémicas: La incapacidad de distinguir estos factores conduce a una asignación errónea de recursos de investigación (por ejemplo, escalar modelos cuando el cuello de botella es la interacción física), una falsa confianza en la preparación para el despliegue y un diagnóstico persistente erróneo de las limitaciones arquitectónicas.

Significancia y Reivindicaciones
El artículo afirma que su significancia radica en clarificar las condiciones bajo las cuales las afirmaciones de generalización física pueden ser evaluadas de manera significativa. Establece explícitamente que su objetivo no es refutar el papel de los VLM en la robótica, sino mostrar que el supuesto de suficiencia semántica no ha sido verificado independientemente.

• Cambio Metodológico: Los autores argumentan que el progreso en la generalización de la ejecución física requiere diseños de evaluación que introduzcan variaciones controladas para medir por separado la generalización semántica y la física.
• Implicaciones Arquitectónicas: Proponen un cambio en la filosofía de diseño: en lugar de asumir que la capacidad física emerge de las representaciones semánticas, los sistemas deben diseñarse con componentes explícitamente separados para la fundamentación semántica y el modelado del estado físico.
• Cuestión Empírica: La contribución de las representaciones basadas en VLM al rendimiento físico debe tratarse como una cuestión empírica a ser probada vía atribución causal, en lugar de un presupuesto asumido.

El artículo concluye que, sin protocolos de evaluación capaces de proporcionar señales identificables para capacidades clave, los supuestos implícitos corren el riesgo de consolidarse como premisas de facto, oscureciendo potencialmente el verdadero camino hacia la inteligencia corporal generalizada.