Resumen Técnico: Inconsistencia Intermodal en Modelos de Lenguaje Multimodal (MLLM)

1. El Problema

Los Modelos de Lenguaje Multimodal (MLLM) se entrenan para representar la visión y el lenguaje en un espacio compartido. Sin embargo, surge una pregunta fundamental: ¿Permite esta representación conjunta un razonamiento consistente a través de las modalidades?

El artículo identifica un fenómeno crítico llamado inconsistencia intermodal: los modelos producen respuestas diferentes para el mismo contenido semántico dependiendo de si la información se presenta como texto nativo, imagen renderizada o una mezcla de ambas.

• Hipótesis inicial: ¿Es esto un problema de reconocimiento óptico de caracteres (OCR) o un fallo de razonamiento?
• Contexto: Aunque existen brechas de modalidad (donde las incrustaciones de texto e imagen ocupan regiones distintas en el espacio de embedding), no se ha medido sistemáticamente cómo esto afecta la capacidad de razonamiento cuando el contenido es idéntico. Además, el uso creciente de técnicas como "DeepSeek-OCR" (renderizar texto como imagen para ahorrar tokens) plantea el riesgo de que los modelos razonen peor con texto visualizado que con texto nativo.

2. Metodología: Benchmarks REST y REST+

Para abordar esta brecha, los autores introducen dos nuevos benchmarks diseñados para evaluar la consistencia bajo condiciones controladas:

• REST (Render-Equivalence Stress Tests):

  • Diseño: Presenta la misma información semántica en tres formatos: Solo Texto, Solo Imagen (texto renderizado) y Mixto (pregunta en texto, contexto en imagen, o viceversa).
  • Datos: Utiliza cuatro conjuntos de datos: MMLU, ARC, GSM-Symbolic y un nuevo conjunto generado por los autores llamado SOEBENCH.
  • SOEBENCH: Un conjunto de tareas de sistemas de ecuaciones lineales con variables simbólicas (letras A-E y dígitos). Está diseñado para:
    1. Garantizar cero contaminación de datos (los modelos no lo han visto en el pre-entrenamiento).
    2. Minimizar la complejidad del OCR (símbolos simples).
    3. Aislar el razonamiento del reconocimiento.
  • Filtro: Se evalúa solo en preguntas donde el modelo realiza el OCR correctamente, eliminando el ruido de fallos de reconocimiento.

• REST+:

  • Extiende REST variando las características visuales de las imágenes renderizadas.
  • Genera 10 permutaciones por pregunta variando: Fuentes (DejaVu Sans, Courier New, Cursiva), Resolución (50, 100, 200 DPI) y Color del texto.
  • Objetivo: Evaluar la robustez de la consistencia frente a cambios tipográficos y de calidad de imagen.

• Métricas Principales:

  1. RER (Render-Equivalence Rate): Porcentaje de preguntas donde el modelo da la misma respuesta correcta en todas las modalidades (1.0 = perfecto).
  2. CFR (Cross-Modality Failure Rate): Porcentaje de preguntas que el modelo puede resolver en al menos una modalidad, pero falla en otras (mide la inconsistencia pura).
  3. MMC (Max Modal Coverage): Porcentaje de preguntas resolubles en alguna modalidad (mide el potencial máximo del modelo).

3. Contribuciones Clave

1. Nuevos Benchmarks: Introducción de REST y REST+ con SOEBENCH, el primer conjunto de datos garantizado como nuevo para los modelos, controlando estrictamente la complejidad del OCR.
2. Evaluación Exhaustiva: Análisis de 15 MLLMs de vanguardia (incluyendo GPT-5-mini, Claude Haiku 4.5, Qwen-2.5, Gemini, etc.), revelando que ningún modelo actual razona de manera perfectamente consistente entre modalidades.
3. Análisis de Representaciones Internas: Correlación entre la consistencia del comportamiento y la similitud coseno en el espacio de incrustaciones (embeddings). Se demuestra que una mayor alineación entre las representaciones de texto e imagen se correlaciona con una mayor consistencia en las respuestas.

4. Resultados Principales

• Inconsistencia Generalizada (RQ1):

  • Ningún modelo alcanza un RER del 100%. Los modelos más consistentes (GPT-5-mini, Claude Haiku 4.5) alcanzan ~90%, mientras que modelos más pequeños o menos avanzados caen por debajo del 10-20%.
  • Existe una preferencia marcada por la modalidad de texto. Casi todos los modelos obtienen mejores resultados con texto nativo que con texto renderizado como imagen, incluso cuando el OCR es perfecto.
  • El CFR es alarmante: modelos como Phi-4 muestran inconsistencias de hasta el 82%, lo que significa que la respuesta correcta depende casi enteramente del formato de entrada.

• El problema no es solo el OCR (RQ2):

  • Al filtrar por OCR correcto, la inconsistencia persiste.
  • La estrategia de "OCR primero, luego resolver" (pedir al modelo que transcriba antes de responder) no mejora consistentemente el rendimiento y, en algunos casos, lo empeora. Esto confirma que el problema es de razonamiento, no de reconocimiento.

• Impacto de Características Visuales (RQ3):

  • Resolución: La consistencia disminuye drásticamente a bajas resoluciones (50 DPI), aunque algunos modelos (como InternVL3-14B) mantienen estabilidad.
  • Fuente: No hay diferencias significativas entre fuentes (serif, sans-serif, cursiva).
  • Color: Sorprendentemente, el texto coloreado (rojo, amarillo) mejora el rendimiento de muchos modelos en comparación con el texto negro, sugiriendo que el contraste o la atención visual juegan un papel.

• Eficiencia de Tokens:

  • Los modelos requieren significativamente más tokens visuales que tokens de texto para lograr la misma precisión.
  • Excepción: Qwen2.5-VL-32B es eficiente con tokens visuales, pero la mayoría de los modelos son inherentemente más eficientes y precisos con el texto nativo.

• Análisis de Representaciones (RQ4):

  • Se encontró una correlación positiva entre la similitud coseno de las representaciones internas (texto vs. imagen) y la puntuación RER.
  • Mecanismo: La inconsistencia surge porque las representaciones de texto e imagen ocupan regiones distintas en el espacio de embedding compartido. Cuando estas regiones están más alineadas, el modelo razona de manera más consistente.

5. Significado y Conclusiones

Este trabajo demuestra que, a pesar de los avances en MLLMs, existe una brecha fundamental de razonamiento entre modalidades.

• Implicación para la industria: El uso de técnicas de compresión de texto a imagen (como DeepSeek-OCR) para ahorrar costos computacionales podría degradar la calidad del razonamiento del modelo, ya que estos no procesan el texto visualizado con la misma eficacia que el texto nativo.
• Dirección futura: La inconsistencia no es un error de "lectura", sino un fallo de integración semántica. Mejorar la alineación de los espacios de embedding (reduciendo la brecha de modalidad) es crucial para desarrollar modelos que razonen de manera robusta independientemente de cómo se presente la información.
• Recomendación: Los evaluadores de modelos deben ir más allá de las métricas de VQA (Visual Question Answering) tradicionales y probar la consistencia intermodal para asegurar la fiabilidad de los sistemas en entornos reales donde el formato de entrada varía.

En resumen, el artículo revela que "el mismo contenido" no garantiza "la misma respuesta" en los MLLMs actuales, y que esta inconsistencia es un problema estructural en la forma en que estos modelos integran y razonan sobre la información visual y textual.