World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models

Resumen Técnico: Modelos Mundiales en Palabras

Enunciado del Problema
Los Modelos Visión-Lenguaje (VLM) se despliegan cada vez más para responder preguntas sobre escenas físicas, pero las métricas de evaluación estándar dependen únicamente de la precisión de la respuesta final ($I, q \mapsto a$). Este enfoque colapsa los errores de razonamiento intermedios —como la percepción errónea de objetos, la representación incorrecta de estados físicos o la predicción de transiciones imposibles— en una única puntuación binaria. En consecuencia, un modelo puede seleccionar la opción de opción múltiple correcta mientras afirma un estado del mundo físicamente inválido (por ejemplo, un objeto acelerando en contra de la fuerza neta). Esta "inconsistencia oculta" es particularmente problemática cuando los VLM sirven como interfaces para la planificación, la robótica o el razonamiento científico, donde las herramientas posteriores pueden actuar sobre estos compromisos inconsistentes.

Metodología: MODELOS MUNDIALES EN PALABRAS (WMW)
Los autores introducen MODELOS MUNDIALES EN PALABRAS, un marco que desplaza la evaluación de la puntuación basada solo en la respuesta a la auditoría de los compromisos físicos expresados en lenguaje de los VLM.

• Formalismo de Trazas: En lugar de una respuesta directa, se solicita a los modelos que generen una traza tipificada $\tau = (s_0, \Delta s, s_1, a)$:
  • $s_0$: Estado físico inicial (entidades, atributos, fuerzas, relaciones).
  • $\Delta s$: Transición predicha o regla física.
  • $s_1$: Estado resultante.
  • $a$: Respuesta final.
  • La traza se estructura como JSON para permitir el análisis y la verificación.
• Verificador Híbrido: Un verificador determinista e inspeccionable comprueba la traza contra cuatro criterios:
  1. Validez del Esquema: Estructura y tipos JSON correctos.
  2. Anclaje del Estado: Coherencia con la evidencia visual y los metadatos.
  3. Coherencia de la Transición: Adherencia a las leyes físicas (por ejemplo, alineación fuerza-aceleración, orden temporal).
  4. Fidelidad Respuesta-Trazas: Compatibilidad entre el estado derivado y la respuesta final.
• Taxonomía de Fallos: El sistema categoriza los errores en etiquetas tipificadas: Objeto, Estado, Relación, Fuerza, Transición, Intervención, Temporal, Unidad/Escala y Fidelidad.
• WMW-TRACEBANK: Un recurso controlado publicado con el artículo que contiene:
  • 200 escenarios sintéticos en 17 familias de física (mecánica, fluidos, circuitos, óptica, etc.).
  • 3.200 pares de preferencia contrastivos (trazas válidas frente a trazas inválidas mínimamente perturbadas).
  • Código del verificador, directrices de auditoría y salidas de modelos.

Contribuciones Clave

1. Formalismo de Trazas: Un protocolo para evaluar el razonamiento físico de los VLM como compromisos de transición de estado auditables en lugar de cadenas de respuesta.
2. Contratos y Métricas del Verificador: Definiciones para separar errores de extracción de estado, errores de transición e inconsistencias ocultas (donde la respuesta es correcta pero la traza es inválida).
3. Lanzamiento del Conjunto de Datos: WMW-TRACEBANK, que proporciona trazas sintéticas validadas y pares de preferencia para el entrenamiento y la evaluación.
4. Taxonomía de Fallos y Auditoría: Una evaluación auditada por humanos del verificador en 400 trazas estratificadas, informando precisión, recuperación y acuerdo entre anotadores.
5. Protocolo de Intervención: Demostración de que la reordenación guiada por el verificador y el ajuste de preferencias a nivel de traza pueden mejorar la coherencia física sin sacrificar la precisión de la respuesta.

Resultados Experimentales
Los autores evaluaron 7 VLM (incluyendo Claude Opus 4.7, GPT-5.5, GPT-4o y modelos de código abierto como Qwen2.5-VL e InternVL3) tanto en ejemplos controlados como externos.

• Inconsistencia Oculta (RQ1): La precisión de la respuesta final oculta errores físicos significativos. En todos los modelos, del 18% al 42% de las respuestas correctas estaban respaldadas por trazas físicamente inválidas. Para los modelos de nivel medio, más del 30% de las respuestas "correctas" se basaban en un razonamiento físico inválido.
• Análisis del Cuello de Botella (RQ2): El paso de transición ($\Delta s$) es el principal cuello de botella para la mayoría de los modelos. Incluso cuando se les proporcionan estados iniciales óptimos, modelos como GPT-4o perdieron 19 puntos porcentuales en precisión al predecir el cambio físico. Los modelos cerrados más potentes (por ejemplo, Claude Opus 4.7) mostraron un efecto de calibración donde los estados óptimos interrumpieron sus comprobaciones internas de coherencia.
• Fiabilidad del Verificador (RQ3): El verificador híbrido logró un alto acuerdo con las auditorías humanas para las etiquetas de Estado (F1=0.82), Transición (F1=0.78) y Fidelidad (F1=0.91).
• Eficacia de la Intervención (RQ4):
  • Reordenación: Seleccionar la mejor traza de $k=8$ muestras mejoró la validez de la traza entre 4 y 7 puntos porcentuales.
  • Ajuste de Preferencias: Entrenar Qwen2.5-VL-7B con Optimización Directa de Preferencias (DPO) en los pares de preferencia redujo la inconsistencia oculta en un 41% relativo (de 42% a 25%) mientras mejoraba ligeramente la precisión de la respuesta (+2pp).

Significado y Afirmaciones
El artículo argumenta que MODELOS MUNDIALES EN PALABRAS no es simplemente otra referencia de física, sino un protocolo reutilizable para auditar si el mundo físico declarado por un VLM es coherente. Los autores afirman que:

• Las respuestas correctas con trazas inválidas no son errores de formato inofensivos; representan compromisos inconsistentes que pueden engañar a sistemas educativos, de planificación o científicos.
• El marco revela que la predicción de transiciones es un modo de fallo dominante distinto de la percepción visual.
• Las intervenciones guiadas por el verificador (reordenación y ajuste de preferencias) pueden reducir eficazmente las inconsistencias ocultas, sugiriendo un camino hacia módulos de razonamiento físico más fiables.

Los autores mantienen una postura modesta, reconociendo limitaciones como la observabilidad de las trazas (que son compromisos面向 al usuario, no lecturas directas de la cognición latente), la cobertura del verificador (que depende de supuestos explícitos para la ambigüedad del mundo real) y la posibilidad de que los modelos se sobreajusten a plantillas de perturbación. Declaran explícitamente que el conjunto de datos no es un certificado de seguridad para aplicaciones de alto riesgo.