Resumen Técnico: SEEPHYS PRO

Declaración del Problema

Los sistemas de IA multimodal enfrentan un desafío crítico en la consistencia modal: la capacidad de preservar comportamientos de razonamiento idénticos cuando la información equivalente se presenta en diferentes formas (por ejemplo, texto versus diagramas). Las evaluaciones actuales a menudo evalúan los modelos en un solo formato de entrada, oscureciendo si las mejoras en la precisión de la respuesta final provienen de un razonamiento genuino e invariante a la representación o de atajos específicos de una modalidad. Esta brecha es particularmente aguda en física, donde los diagramas a menudo definen la estructura del sistema físico y las vinculaciones de variables en lugar de meramente ilustrar el texto. Las evaluaciones existentes luchan por distinguir entre fallos en la percepción de diagramas, la lectura de variables, la abstracción física y el razonamiento simbólico aguas abajo.

Metodología

1. Puntaje de Referencia SEEPHYS PRO

Los autores introducen SEEPHYS PRO, un puntaje de referencia de transferencia modal de granularidad fina fundamentado en el principio de "misma física, diferente representación".

• Diseño: Cada problema de física semilla se transforma en cuatro variantes semánticamente alineadas que desplazan progresivamente la información crítica para la tarea del lenguaje a la visión:
  • Nivel 1 (L1): Solo texto (toda la estructura, variables y cantidades en lenguaje).
  • Nivel 2 (L2): Estructura-en-imagen (topología/relaciones físicas en la imagen; las variables permanecen en texto).
  • Nivel 3 (L3): Estructura + Variables-en-imagen (el diagrama incluye etiquetas y valores numéricos).
  • Nivel 4 (L4): Imagen completamente renderizada (enunciado del problema, fórmulas y diagrama convertidos en una única entrada visual, incluyendo texto manuscrito).
• Construcción de Datos: Derivado de más de 5.000 páginas PDF de conjuntos de datos públicos, libros de texto, olimpiadas y exámenes. El conjunto de datos contiene 1.000 preguntas semilla (4.000 variantes en total) que abarcan seis disciplinas de física (Mecánica, Electromagnetismo, Óptica, Termodinámica, Ondas, Física Moderna).
• Métricas: El puntaje de referencia define métricas específicas para descomponer el rendimiento:
  • Brechas de Transferencia: $\Delta S$ (transferencia estructural L1→L2), $\Delta V$ (anclaje de variables L2→L3), $\Delta R$ (renderizado L3→L4) y $\Delta T$ (brecha total).
  • Consistencia: El porcentaje de problemas resueltos correctamente simultáneamente en los cuatro niveles.

2. Diagnósticos en Tiempo de Entrenamiento (Entrenamiento Ciego)

Para investigar si el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) mejora genuinamente el anclaje visual o simplemente explota atajos estadísticos, los autores desarrollaron dos corpus de RL de física a gran escala (PhysRL-40K y PhysRL-8K).

• Control de Entrenamiento Ciego: Una configuración de control negativo donde todas las imágenes de entrenamiento están enmascaradas (reemplazadas por imágenes negras), haciendo que las instancias de entrenamiento sean visualmente irresolubles.
• Comparación: Los modelos se entrenan mediante RL estándar (con imágenes) y RL Ciego (sin imágenes) y se evalúan en conjuntos de validación sin enmascarar.
• Análisis de Mecanismos: Los autores emplean eliminación de texto, eliminación dirigida de texto, ablación de la tasa de enmascaramiento de imágenes y controles de saturación de formato para aislar las fuentes de las ganancias de rendimiento en el entrenamiento ciego.

Resultados Clave

Fragilidad en Tiempo de Inferencia

La evaluación en 15 Modelos de Lenguaje Multimodal Grandes (MLLM) de pesos cerrados y abiertos revela una fragilidad significativa bajo transferencia modal:

• Degradación del Rendimiento: La precisión promedio cae de 49,2% (L1) a 35,8% (L4), resultando en una brecha total de transferencia promedio de 13,4 puntos porcentuales.
• Cuello de Botella de Anclaje de Variables: La mayor caída de rendimiento ocurre durante Nivel 2→Nivel 3 ($\Delta V = 7,4$), donde los modelos deben anclar variables y etiquetas desde la imagen. Esto indica que reconocer la estructura del diagrama es menos problemático que leer y vincular cantidades numéricas específicas a entidades físicas.
• Inconsistencia: Incluso los modelos de vanguardia (por ejemplo, GPT-5.4, Claude-4.7-Opus) exhiben una baja consistencia de cuatro vías (por ejemplo, 32,6% para GPT-5.4), lo que significa que un modelo que resuelve un problema basado en texto a menudo falla cuando el mismo problema se presenta visualmente.
• Línea Base Humana: Los estudiantes de secundaria (54,0% L1) muestran mayor robustez, con un rendimiento que en realidad mejora ligeramente al pasar de texto a estructura (L1→L2), mientras que los modelos se degradan.

Diagnósticos en Tiempo de Entrenamiento

• Ganancias por Entrenamiento Ciego: Sorprendentemente, el RL Ciego (entrenamiento con imágenes enmascaradas) mejora la precisión en conjuntos de validación sin enmascarar. Para Qwen3-VL-4B, el RL ciego aumentó la precisión del Nivel 1 del 9,9% al 20,9% y la precisión del Nivel 4 del 6,4% al 13,0%.
• Falta de Cierre de Brechas: A pesar de las ganancias de precisión, el RL ciego no logra cerrar las brechas de transferencia modal. La brecha total ($\Delta T$) y la brecha de anclaje de variables ($\Delta V$) permanecen grandes o incluso se amplían después del entrenamiento.
• Mecanismo de las Ganancias: El análisis de mecanismos revela que las ganancias ciegas son impulsadas por pistas textuales residuales (por ejemplo, plantillas de problemas, opciones de respuesta, rangos numéricos) y regularidades estadísticas a nivel de conjunto de datos en lugar de evidencia visual válida.
  • Eliminar el texto de los datos de entrenamiento elimina las ganancias ciegas.
  • Las ganancias ciegas persisten incluso cuando las recompensas de formato están saturadas, descartando el cumplimiento simple de formato como la única causa.
• Validación Cruzada de Puntajes de Referencia: Estos hallazgos se extienden a puntajes de referencia externos de matemáticas y física (por ejemplo, MathVerse, PhyX), lo que sugiere que el RL solo basado en resultados a menudo amplifica atajos no visuales en lugar de fomentar un verdadero anclaje visual.

Significado y Afirmaciones

El artículo argumenta que las evaluaciones actuales del razonamiento multimodal son insuficientes si dependen únicamente de la precisión de la respuesta final. Los autores afirman:

1. Falta Invarianza de Representación: Los MLLM de vanguardia aún no son razonadores invariantes a la representación; son altamente sensibles a cómo se codifica la información, siendo el anclaje de variables un modo de fallo primario.
2. Limitaciones del RLVR: El aprendizaje por refuerzo con recompensas solo basadas en resultados puede mejorar el rendimiento del puntaje de referencia sin mejorar realmente la capacidad del modelo para utilizar evidencia visual. Las "ganancias" observadas en el RL estándar pueden derivar en gran medida de que el modelo aprende a explotar atajos textuales y distribucionales en lugar de aprender a fundamentar el razonamiento en imágenes.
3. Necesidad de Diagnóstico: La investigación futura debe evaluar el razonamiento multimodal a través de la robustez de transferencia modal y diagnósticos de anclaje en tiempo de entrenamiento (como controles de entrenamiento ciego) para distinguir entre el aprendizaje visual genuino y las mejoras de rendimiento basadas en atajos.

El trabajo destaca la necesidad de puntajes de referencia y protocolos de entrenamiento que prueben explícitamente si las mejoras dependen de evidencia visual crítica para la tarea, en lugar de simplemente si el modelo puede llegar a la respuesta correcta a través de vías alternativas no visuales.