Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

Este estudio diagnostica sistemáticamente la brecha de rendimiento entre el texto y las imágenes en modelos multimodales, identificando que las imágenes de texto amplifican errores de lectura y cálculo, y propone un método de auto-distilación que utiliza trazas de razonamiento en texto puro para cerrar esta brecha y mejorar significativamente la precisión en tareas visuales.

Lo esencial

¡Hola! Imagina que tienes un amigo muy inteligente, un "genio digital" (que en el mundo real es un modelo de lenguaje multimodal o MLLM). Este genio es increíble: puede leer libros, resolver problemas de matemáticas y escribir código. Pero tiene un problema curioso: le cuesta mucho más entender las cosas cuando se las muestras en una foto que cuando se las escribes en texto.

Esta es la historia de cómo un grupo de investigadores descubrió por qué le pasa esto y cómo lo arreglaron.

1. El Problema: "Leer" vs. "Pensar"

Imagina que le pides a tu genio que resuelva un problema de matemáticas.

• Escenario A (Texto): Le escribes la pregunta en un mensaje de chat. Él la lee instantáneamente y te da la respuesta correcta.
• Escenario B (Imagen): Le tomas una foto a la misma pregunta (como si fuera un papel impreso) y se la envías. ¡Sorpresa! Ahora el genio se equivoca mucho más. A veces, su puntuación cae en picada.

A esto los investigadores lo llaman la "brecha de modalidad". Es como si el genio tuviera dos cerebros: uno que funciona perfecto con texto y otro que se confunde cuando ve letras dentro de una foto.

2. La Investigación: ¿Es culpa de la foto o del cerebro?

Los investigadores probaron a siete de estos genios digitales con siete tipos de pruebas diferentes. Descubrieron dos cosas fascinantes:

• No todas las fotos son iguales: Si la foto es de un documento real (como una página de Wikipedia o un PDF de un artículo científico), el genio funciona bastante bien. Pero si la foto es una imagen generada por computadora (con una fuente de letra muy extraña o un diseño artificial), el genio se vuelve tonto.
  • Analogía: Es como si el genio hubiera estudiado en una biblioteca con libros reales, pero de repente le pusieran a leer un cartel hecho a mano con letras torcidas. Se confunde no porque no sepa el tema, sino porque la "letra" le resulta familiar.
• El error no es de "pensar", es de "leer": Analizaron miles de errores y vieron que, cuando el genio falla con las fotos, sigue sabiendo razonar, pero falla al leer los números o las palabras.
  • Ejemplo: En matemáticas, si la foto es borrosa o la letra es rara, el genio puede ver un "7" como un "1". Como el número está mal, la suma sale mal. Pero si le das el número correcto, ¡sabe sumar perfectamente!
  • El colapso del pensamiento: Además, cuando ven una foto, algunos genios dejan de "pensar paso a paso". En lugar de escribir su razonamiento ("primero sumo esto, luego resto aquello"), saltan directamente a la respuesta (que suele ser incorrecta). Es como si, al ver la foto, se asustaran y dejaran de usar su lógica.

3. La Solución: El "Entrenamiento Espejo"

Los investigadores se dieron cuenta de que el problema no era que el genio fuera malo, sino que no estaba acostumbrado a leer sus propias fotos. Así que idearon un plan brillante llamado auto-distilación (suena complicado, pero es sencillo).

¿Cómo funciona?

1. Primero, le piden al genio que resuelva un problema de matemáticas escribiendo (modo texto) y que explique todo su razonamiento paso a paso.
2. Luego, le muestran la misma pregunta, pero ahora en foto.
3. Le dicen: "Oye, aquí tienes la foto. Lee lo que hay en ella y, por favor, escribe exactamente el mismo razonamiento paso a paso que escribiste antes cuando te lo pregunté en texto".

Es como si el genio se entrenara a sí mismo usando sus propias respuestas perfectas como guía. Le está diciendo: "Mira, cuando veo texto, sé cómo pensar. Ahora, cuando vea una foto, quiero que pienses igual".

4. El Resultado: ¡Un milagro!

Después de este entrenamiento, la transformación fue increíble:

• En pruebas de matemáticas (GSM8K), la precisión del genio subió del 30% al 92%. ¡Casi igualó su rendimiento cuando lee texto!
• Lo mejor es que no olvidó nada de lo que sabía antes. Siguió siendo un genio en otros temas.

En Resumen

Este estudio nos enseña que los modelos de IA actuales no son "tontos" cuando ven imágenes; simplemente tienen dificultades para leer las letras dentro de la foto y, al hacerlo, pierden la calma para razonar.

La solución no fue cambiar todo el cerebro del robot, sino darle un entrenamiento específico para que aprenda a leer sus propias fotos con la misma claridad con la que lee un texto. Es como enseñarle a un niño a leer letras escritas a mano después de que ya sabía leer libros impresos: con un poco de práctica, ¡lo hace perfecto!

Resumen técnico

Resumen Técnico: Cerrando la Brecha de Modalidad en Modelos Multimodales

1. El Problema: La Brecha de Modalidad (Modality Gap)

Los Modelos de Lenguaje Multimodales (MLLMs) actuales muestran una capacidad notable para procesar texto, pero sufren una degradación significativa en el rendimiento cuando el mismo contenido textual se presenta como una imagen (píxeles) en lugar de tokens de texto. A esto se le denomina "brecha de modalidad".

• Observación clave: Aunque los humanos leemos texto a través de la visión, los MLLMs procesan texto e imágenes a través de vías separadas, comprimiendo la entrada visual en tokens antes de fusionarla.
• El conflicto: Cuando el texto se convierte en una imagen, los modelos a menudo producen predicciones diferentes y peores, especialmente en tareas de razonamiento complejo, matemáticas y codificación.
• Limitación de trabajos previos: La investigación anterior se ha centrado en documentar esta brecha o en construir nuevos sistemas desde cero, sin explicar sistemáticamente por qué ocurre en los modelos existentes, cuándo la entrada visual ayuda o perjudica, y cómo cerrar la brecha con intervenciones mínimas. Además, muchas evaluaciones se basan exclusivamente en texto renderizado sintéticamente, lo que confunde los artefactos de renderizado con déficits perceptuales reales.

2. Metodología y Configuración Experimental

Los autores realizaron un diagnóstico sistemático de esta brecha mediante una evaluación exhaustiva:

• Modelos Evaluados: 7 MLLMs de diferentes arquitecturas y escalas (incluyendo Qwen2.5-VL, Qwen3-VL, InternVL3/3.5, Pixtral y GPT-5.2).
• Benchmarks: 7 conjuntos de datos que cubren matemáticas (GSM8K), conocimiento (MMLU, GPQA), razonamiento científico (ARC), codificación (HumanEval) y comprensión de documentos reales (QASPER, SQuAD).
• Cinco Modos de Entrada:
  1. Texto Puro: Solo tokens de texto (línea base).
  2. Imagen Pura: El contenido textual renderizado como imagen (sin instrucciones de texto).
  3. Instrucción + Imagen: Instrucción en texto + contenido en imagen (estilo VQA tradicional).
  4. OCR-1P (Un paso): El modelo recibe la imagen y debe extraer el texto y resolver la tarea en una sola pasada.
  5. OCR-2P (Dos pasos): El modelo extrae el texto de la imagen y luego se le da ese texto extraído para resolver la tarea (separando completamente la lectura del razonamiento).
• Análisis de Errores: Se realizó un análisis de errores basado en la teoría fundamentada (grounded theory) sobre más de 4,000 ejemplos, clasificando los fallos en categorías específicas.
• Pruebas de Rendición (Ablaciones): Se variaron parámetros de renderizado (fuentes, resolución, esquemas de color) para medir su impacto.

3. Hallazgos Clave y Contribuciones

A. La brecha es dependiente de la tarea y los datos, no universal:

• En imágenes sintéticas (renderizadas artificialmente), la brecha es enorme. Por ejemplo, en tareas matemáticas (GSM8K), el rendimiento puede caer más de 60 puntos porcentuales.
• En imágenes de documentos reales (PDFs de arXiv, capturas de Wikipedia), los modelos a menudo igualan o superan el rendimiento del modo texto. Esto sugiere que la brecha se debe en gran parte a una desalineación de la distribución entre los datos de entrenamiento y las imágenes sintéticas de evaluación.
• Factores de confusión: La elección de la fuente (font) y la resolución son críticos. Cambiar la fuente puede alterar la precisión hasta en 47 puntos porcentuales. Las fuentes manuscritas causan las mayores caídas.

B. Diagnóstico de Errores: "Leer, no Pensar"
El análisis de errores revela que el modo imagen amplifica selectivamente los errores de lectura, pero deja intactas las capacidades de conocimiento y razonamiento:

• Errores de Lectura: Aumentan significativamente (1.5x más frecuentes). Incluyen errores de cálculo (por malinterpretar dígitos u operadores) y errores de formato.
• Errores Cognitivos: Los errores conceptuales, de razonamiento lógico y de recuperación de conocimientos permanecen casi inalterados entre el modo texto y el modo imagen.
• Colapso del Razonamiento (Chain-of-Thought Collapse): Se observó que algunos modelos producen respuestas drásticamente más cortas en modo imagen, omitiendo el razonamiento paso a paso (CoT) y saltando directamente a una respuesta (a menudo incorrecta).

C. La calidad del OCR no explica la brecha:
Existe una correlación débil entre la precisión del reconocimiento de texto (OCR) y la precisión de la tarea. Un buen OCR no garantiza un buen rendimiento en la tarea, y un OCR imperfecto no siempre implica un fallo en la tarea. Esto indica que el problema no es solo "ver" el texto, sino cómo el modelo procesa esa información visual.

4. Solución Propuesta: Auto-Distilación (Self-Distillation)

Motivados por el hallazgo de que el problema es la lectura y la falta de razonamiento explícito, los autores proponen un método de auto-distilación:

• Mecanismo: Se entrena al modelo utilizando sus propias trazas de razonamiento en modo texto (CoT) como objetivo supervisado, pero paired con la entrada de imagen.
• Objetivo: Enseñar al modelo a reproducir el mismo proceso de razonamiento paso a paso cuando ve una imagen, imitando su propio comportamiento en modo texto.
• Resultados del Entrenamiento:
  • Se aplicó a Qwen3-VL-8B en el benchmark GSM8K.
  • Mejora drástica: La precisión en modo imagen aumentó del 30.71% al 92.72%, casi igualando al rendimiento en modo texto.
  • Adaptación: Se demostró que adaptar el Modelo de Lenguaje (LM) es el factor más crítico, aunque la adaptación del codificador visual también contribuye.
  • Sin Olvido Catastrófico: El modelo mantuvo (e incluso mejoró) su rendimiento en otros benchmarks no vistos (ARC, MMLU, HumanEval), demostrando que la mejora es una alineación general de texto-visual y no un ajuste específico a una tarea.

5. Significado e Impacto

Este trabajo cambia la narrativa sobre la comprensión visual del texto en MLLMs:

1. Reevaluación de la Brecha: La brecha de modalidad no es una limitación inherente de la capacidad de "pensar" del modelo, sino un problema de percepción (lectura de píxeles) y de distribución de datos (entrenamiento vs. evaluación sintética).
2. Importancia de la Evaluación: Las evaluaciones deben reportar especificaciones de renderizado (fuente, resolución), ya que estos factores pueden distorsionar los resultados de manera masiva.
3. Solución Práctica: No es necesario rediseñar arquitecturas complejas para cerrar la brecha. Una intervención de entrenamiento ligera (auto-distilación) puede restaurar la capacidad de razonamiento en modo visual.
4. Futuro Optimista: Sugiere que los MLLMs ya poseen las capacidades de razonamiento necesarias para entender texto visual; el desafío principal es alinear la vía visual con la vía de razonamiento del modelo.

En resumen, el paper demuestra que los MLLMs actuales leen mal (cuando el texto es una imagen sintética) pero piensan bien (si logran leerlo), y propone una vía práctica para enseñarles a "leer" tan bien como piensan.