💬 NLP

Evaluating Reasoning Fidelity in Visual Text Generation

Este artículo evalúa la fidelidad del razonamiento de los modelos actuales de texto a imagen en la generación de texto visual y encuentra que, a pesar de producir texto legible, frecuentemente fallan al representar procesos de razonamiento complejos debido a errores semánticos e inconsistencias lógicas, revelando una brecha significativa entre la generación de texto visual y las capacidades de razonamiento procedimental.

Autores originales: Jiajun Hong, Jiawei Zhou

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiajun Hong, Jiawei Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos tipos diferentes de artistas.

Artista A (El LLM de solo texto) es un matemático y lógico brillante. Si le preguntas: "¿Cuál es el cubo perfecto más pequeño que es la suma de tres números enteros consecutivos?", puede escribir instantáneamente la solución en un papel. Su lógica es perfecta, sus pasos son claros y la respuesta es correcta.

Artista B (El modelo de Texto-a-Imagen) es un pintor talentoso que recientemente ha aprendido un nuevo truco: puede pintar palabras directamente sobre un lienzo. Puede hacer que las letras luzcan hermosas, nítidas y fáciles de leer.

Este artículo plantea una pregunta simple pero complicada: Si le pedimos al Artista B que pinte la solución paso a paso de un problema matemático, ¿la lógica dentro de la pintura tendrá sentido realmente, o solo estará pintando un contenido vacío y bonito?

El Experimento: Pintando el Proceso de Pensamiento

Los investigadores configuraron una serie de desafíos para probar estos modelos de "pintura" (modelos de Texto-a-Imagen o T2I). No se limitaron a pedirle a los modelos que escribieran una sola palabra; les pidieron que pintaran:

Documentos largos: ¿Puede el modelo pintar una página entera de texto sin mezclar las letras?
Hechos: ¿Puede el modelo pintar la respuesta correcta a una pregunta científica, junto con las razones de la misma?
Contexto: ¿Puede el modelo leer una historia larga (pintada como texto) y responder una pregunta sobre ella?
Matemáticas: ¿Puede el modelo pintar una solución matemática de varios pasos?

Los Hallazgos: Imágenes Bellas, Lógica Rota

Los resultados fueron sorprendentes y un tanto decepcionantes para los modelos de "pintura".

1. El Problema de la "Caligrafía" (Renderizado)
Primero, los investigadores comprobaron si los modelos podían siquiera pintar las palabras con claridad.

El Problema: Algunos modelos eran como un niño con mano temblorosa. Desdibujaban las letras, cortaban los bordes de las palabras o pintaban palabras extra que no estaban en el prompt.
La Analogía: Imagina pedirle a alguien que copie una receta en una tarjeta. Algunos modelos escribirían "Añadir 2 tazas de harina" pero accidentalmente pintarían "Añadir 2 tazas de harina y azúcar" o harían que el "2" pareciera una "Z".
El Resultado: Los mejores modelos (como GPT-Image-2) mejoraron mucho en esto, pero otros (como los modelos de código abierto más antiguos) fracasaron estrepitosamente, produciendo garabatos ilegibles.

2. El Problema del "Cerebro" (Razonamiento)
Aquí está el gran descubrimiento. Los investigadores filtraron los modelos que ni siquiera podían escribir con claridad. Tomaron aquellos que podían escribir un texto perfecto y legible y les pidieron resolver acertijos lógicos.

La Analogía: Imagina a un estudiante con una caligrafía perfecta. Escribe una solución matemática que se ve hermosa. Pero si miras de cerca los pasos, sumó 2 + 2 y obtuvo 5. O escribió: "Porque el cielo es azul, la respuesta es 42". La caligrafía es perfecta, pero el pensamiento es completamente erróneo.
El Resultado: Incluso cuando el texto era perfectamente claro, los modelos T2I frecuentemente cometían errores lógicos.
- Se saltaban pasos.
- Se contradecían a sí mismos en medio de la oración.
- Alucinaban (inventaban) hechos que no eran ciertos.
- Repetían el mismo paso una y otra vez como un disco rayado.

3. La Brecha entre "Solo Texto" y "Texto Visual"
Cuando los investigadores compararon los modelos de "pintura" con los modelos de "solo texto" (Artista A), la diferencia fue enorme.

Artista A (Solo Texto): Acertó la matemática, la lógica y los pasos.
Artista B (Texto Visual): A menudo acertaba la respuesta final por suerte, pero los pasos que conducían a ella eran un desastre. O bien, erraban los pasos y la respuesta.

El artículo llama a esto una "Brecha de Fidelidad de Razonamiento". Significa que el hecho de que un modelo pueda dibujar las palabras no significa que entienda las palabras que está dibujando.

¿Por qué sucede esto?

El artículo sugiere que estos modelos son como actores que han memorizado la apariencia de una solución, pero no han aprendido la lógica de la misma.

Son excelentes imitando el patrón superficial (por ejemplo, "Los problemas matemáticos suelen tener números y un signo de igual").
Son malos en el proceso profundo (por ejemplo, calcular realmente los números y verificar si la lógica se sostiene).

Cuando la tarea se vuelve más difícil (como historias largas o matemáticas complejas), los modelos empiezan a desmoronarse. Pueden escribir un párrafo hermoso que parezca una solución, pero si intentas seguir la lógica, esta no lleva a ninguna parte.

La Conclusión

El artículo concluye que, si bien los modelos de IA modernos se están volviendo muy buenos al pintar palabras, siguen siendo muy poco fiables al razonar problemas cuando esos pensamientos tienen que ser pintados.

Si necesitas un modelo que genere un documento que requiera una lógica estricta (como un contrato legal o una demostración matemática), no puedes confiar únicamente en la generación de texto visual todavía. La "caligrafía" puede ser perfecta, pero el "cerebro" detrás del pincel todavía es propenso a cometer errores que un modelo de solo texto no cometería. La brecha entre "parecer inteligente" y "ser inteligente" sigue siendo muy amplia en el mundo de la generación de texto visual.

Resumen Técnico: Evaluación de la Fidelidad del Razonamiento en la Generación de Texto Visual

Planteamiento del Problema

Si bien los modelos recientes de Texto-a-Imagen (T2I) han logrado avances significativos en la representación de texto legible y bien estructurado, permitiendo aplicaciones como la generación de documentos y diapositivas, persiste una brecha crítica en su capacidad de realizar una fidelidad de razonamiento. No está claro si estos modelos pueden preservar fielmente procesos de razonamiento complejos cuando las soluciones deben expresarse directamente mediante texto renderizado, o si simplemente imitan patrones superficiales. Las evaluaciones actuales se centran principalmente en la calidad visual (por ejemplo, precisión de OCR, fidelidad del diseño), en lugar de la corrección semántica y la consistencia lógica del contenido generado. Este artículo investiga si los modelos T2I retienen la misma comprensión semántica y consistencia lógica observadas en los Modelos de Lenguaje Extensos (LLM) basados únicamente en texto cuando las soluciones de múltiples pasos se externalizan como texto visual.

Metodología

Los autores proponen un marco de evaluación diagnóstica diseñado para desentrañar los fallos de renderizado de texto de los fallos de razonamiento. La metodología consiste en un protocolo por capas:

Tarea Preliminar de Renderizado de Texto:
- Se solicita a los modelos reproducir exactamente el texto de entrada en forma de imagen utilizando pasajes de WikiText.
- Las longitudes de entrada se truncan a 64, 128, 256 y 512 palabras para controlar la dificultad.
- Los modelos que no logran producir un texto claro son excluidos de las evaluaciones de razonamiento posteriores.
- Las métricas incluyen la Tasa de Error de Palabras (WER), la Tasa de Error de Caracteres (CER) y la confianza del OCR (ACC).
Tareas de Razonamiento Avanzado:
- Tres tareas distintas evalúan las capacidades de razonamiento en el espacio de la imagen:
  - Conocimiento Factual: Preguntas del conjunto de datos ARC que requieren pasos de razonamiento para respuestas de opción múltiple.
  - Comprensión de Contexto: Preguntas del conjunto de datos DROP que requieren un razonamiento discreto sobre pasajes largos (por ejemplo, resolución de referencias, conteo).
  - Razonamiento Matemático: Problemas de estilo de competición del conjunto de datos MATH que requieren derivaciones detalladas de múltiples pasos.
- Los prompts incluyen el contexto, las preguntas e instrucciones explícitas para generar pasos intermedios de razonamiento y la respuesta final.
Pipeline de Evaluación:
- Extracción: El texto se extrae de las imágenes generadas utilizando PaddleOCR (validado contra DeepSeek-OCR).
- Calificación: Un juez basado en LLM (GPT-5.2) evalúa el texto extraído.
  - Puntuación de Proceso ( $S_p$ ): Evalúa la validez lógica de cada paso intermedio de razonamiento.
  - Puntuación de Respuesta ( $S_a$ ): Evalúa la corrección de la respuesta final.
- Líneas Base: El rendimiento se compara con LLMs de solo texto (GPT-5.2, Qwen3-8B) y un conjunto diverso de modelos T2I (GPT-Image-1.5/2, Gemini-2.5-Flash-Image, Flux.2-Pro, Qwen-Image, SD-XL, TextDiffuser-2).

Resultados Clave

Los experimentos revelan una brecha sustancial entre la calidad de la generación de texto visual y la fidelidad del razonamiento:

Renderizado vs. Razonamiento: Mientras que algunos modelos (por ejemplo, GPT-Image-2) logran una alta fidelidad en el renderizado de texto, siguen teniendo dificultades con la consistencia lógica. Por el contrario, los modelos con un renderizado deficiente (por ejemplo, TextDiffuser-2, SDXL) son excluidos tempranamente debido a salidas irreconocibles.
Brecha de Rendimiento: Los LLM de solo texto superan significativamente a todos los modelos T2I en todas las tareas de razonamiento. Por ejemplo, GPT-5.2 logra una puntuación de proceso de 0.934 en Razonamiento Matemático, mientras que el mejor modelo T2I (GPT-Image-2) obtiene una puntuación de 0.728.
Discrepancia entre Proceso y Respuesta: Los modelos T2I producen frecuentemente respuestas finales correctas ( $S_a$ ) acompañadas de pasos de razonamiento intermedios erróneos, inconsistentes o alucinados ( $S_p$ ). Esto sugiere que las respuestas correctas no implican necesariamente un razonamiento correcto en la generación visual.
Escalamiento de la Dificultad: El rendimiento se degrada consistentemente a medida que aumenta la dificultad de la tarea y la longitud del texto. La brecha entre los modelos T2I y los LLM es más pronunciada en la comprensión de contexto largo y el razonamiento matemático complejo.
Análisis de Errores:
- Errores de Renderizado: Incluyen desbordamiento de diseño, desenfoque de texto, violaciones de instrucciones y texto adicional alucinado.
- Errores de Razonamiento: Ocurren incluso cuando el texto es visualmente claro. Los modos comunes incluyen deducciones lógicamente inconsistentes, pasos intermedios alucinados y patrones de razonamiento repetitivos.
- Impacto del OCR: Los estudios de ablación confirman que los errores de extracción (elección del OCR) tienen un impacto limitado en los resultados de la evaluación; los fallos observados son intrínsecos al proceso de generación.

Contribuciones Clave

Marco Diagnóstico: Introducción de un protocolo de evaluación por capas que separa la fidelidad de renderizado de la fidelidad de razonamiento, permitiendo el aislamiento de los modos de fallo específicos en la generación de texto visual.
Benchmarking Exhaustivo: Evaluación de modelos T2I de código abierto y de código cerrado de última generación en renderizado de texto largo, conocimiento factual, comprensión de contexto y razonamiento matemático de múltiples pasos.
Evidencia Empírica de la Brecha: Demostración de que los modelos T2I actuales, incluso aquellos con fuertes capacidades de renderizado, no logran preservar fielmente el razonamiento procedimental cuando este se externaliza como imágenes, produciendo a menudo trazas lógicamente inconsistentes a pesar de tener un texto visualmente claro.
Caracterización de Errores: Análisis detallado de los modos de fallo, distinguiendo entre artefactos de renderizado (desenfoque, problemas de diseño) y fallos de razonamiento semántico (inconsistencias lógicas, alucinaciones).

Significado y Reivindicaciones

El artículo sostiene que, si bien la generación de texto visual ha avanzado, persiste una brecha sustancial entre la calidad del renderizado y la fidelidad del razonamiento. Los autores argumentan que:

Los modelos T2I actuales no son fiables para tareas de razonamiento riguroso de múltiples pasos cuando la salida debe ser una imagen visual.
La capacidad de renderizar texto claramente no equivale a la capacidad de razonar correctamente dentro de ese texto.
La brecha de rendimiento no puede explicarse únicamente por la calidad del renderizado o los errores de extracción; refleja una limitación fundamental en la capacidad de los modelos para mantener la coherencia lógica en la modalidad visual.

El trabajo motiva la necesidad de una generación de texto visual consciente del razonamiento y de métodos de evaluación más fiables. Destaca que, a medida que los sistemas multimodales generan cada vez más salidas visuales ricas en texto para aplicaciones como la creación de documentos y agentes de interfaz, asegurar la corrección semántica y la consistencia lógica es tan crítico como la legibilidad visual. Los autores sugieren que la investigación futura debería centrarse en el desarrollo de modelos especializados o variantes destiladas capaces de un renderizado de texto largo fiable y una externalización de razonamiento fiel.