💬 NLP

Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding

Este artículo revela una brecha entre las representaciones internas y las respuestas generadas en modelos de lenguaje visión-lingüístico para la comprensión de documentos visuales, demostrando que la información clave se codifica mejor en capas intermedias y que su ajuste fino mejora tanto la precisión de la representación como la calidad de la respuesta.

Autores originales: Haruka Kawasaki, Ryota Tanaka, Kyosuke Nishida

Publicado 2026-04-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haruka Kawasaki, Ryota Tanaka, Kyosuke Nishida

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un genio muy inteligente (el modelo de IA) que vive dentro de una caja mágica llena de espejos y pasillos (las capas del modelo). Este genio es experto en entender documentos visuales: puede leer facturas, interpretar gráficos y responder preguntas sobre lo que ve.

El problema es que, cuando le preguntas algo, a veces su respuesta en voz alta no refleja todo lo que sabe. Es como si el genio supiera la respuesta exacta, pero al intentar decírtela, se le olvida parte de la información o se confunde.

Aquí te explico qué descubrieron los autores de este estudio, usando analogías sencillas:

1. El Gran Descubrimiento: "Lo que sabe" vs. "Lo que dice"

Los investigadores pusieron a prueba a estos genios (modelos de IA) con documentos visuales. Lo que encontraron fue sorprendente:

La brecha: El genio tiene la respuesta guardada en su "cerebro" (sus representaciones internas), pero cuando habla (genera la respuesta), no logra sacar toda esa información.
La analogía: Imagina que tienes una receta de cocina perfecta escrita en tu mente (la representación interna), pero cuando intentas cocinarla y explicarle los pasos a un amigo (la respuesta), te saltas ingredientes o te equivocas en las cantidades. El amigo ve un plato malo, pero tú sabes que la receta en tu mente era correcta.

2. ¿Dónde vive la información? (El mapa del cerebro)

Normalmente, pensamos que la parte más inteligente de un cerebro artificial es su "capa final" (el último paso antes de hablar). Pero este estudio descubrió algo curioso:

El secreto está en el medio: La información más clara y fácil de entender para resolver el problema no está al final, sino en las capas intermedias.
La analogía: Piensa en una fábrica de ensamblaje.
- En la entrada, los trabajadores solo ven piezas sueltas (imágenes borrosas).
- En la salida, el producto está empaquetado y listo para venderse (la respuesta final).
- Pero en el piso intermedio, justo cuando se están uniendo las piezas, la información es más clara y precisa. Si intentas leer el manual de instrucciones en la salida, puede que esté un poco desordenado por el proceso de empaquetado. La "verdad" está más clara en el piso de ensamblaje intermedio.

3. La Prueba: El "Detective de Espejos"

Para ver qué sabía el genio realmente, los investigadores usaron una técnica llamada "Sondeo Lineal".

La analogía: Imagina que en cada pasillo de la caja de espejos colocas un pequeño detective (un clasificador simple). El detective no necesita hablar, solo necesita mirar lo que pasa por ese pasillo y decir: "¿Sabe el genio la respuesta?".
El resultado: Los detectives en los pasillos intermedios gritaban "¡SÍ, SABE LA RESPUESTA!" con mucha seguridad. Pero cuando el genio finalmente hablaba, su respuesta era menos precisa. ¡Había una brecha entre lo que el detective veía y lo que el genio decía!

4. La Solución: Entrenar al "Piso Intermedio"

¿Cómo arreglamos esto?

El intento fallido: Primero, intentaron entrenar a todo el genio (todas las capas) para que hablara mejor. Funcionó un poco, pero la brecha entre lo que sabe y lo que dice seguía ahí.
El éxito: Luego, decidieron entrenar solo a los trabajadores del piso intermedio (las capas intermedias).
El resultado: ¡Milagro! Al entrenar específicamente esas capas intermedias, el genio no solo empezó a saber más, sino que también mejoró lo que decía. La brecha se cerró.
La analogía: En lugar de intentar reescribir todo el manual de instrucciones de la fábrica, simplemente entrenaste a los trabajadores del piso intermedio para que fueran más precisos al pasar la información. De repente, el producto final (la respuesta) salió perfecto y el proceso fue más rápido y barato.

En resumen

Este paper nos dice que:

Los modelos de IA a menudo saben más de lo que dicen.
La información más útil para entender documentos visuales está en las capas del medio, no al final.
Si entrenamos específicamente esas capas del medio, conseguimos que la IA sea más inteligente y que sus respuestas coincidan mejor con lo que realmente sabe, todo esto ahorrando tiempo y recursos.

Es como aprender a escuchar no solo lo que la gente dice, sino a entender mejor lo que piensan en el momento justo antes de hablar, y entrenar a esa parte de su mente para que la comunicación sea perfecta.

Resumen Técnico: La Brecha entre Representaciones Internas y Respuestas en la Comprensión de Documentos Visuales

1. El Problema

La Comprensión de Documentos Visuales (VDU, por sus siglas en inglés) es una tarea compleja para los Modelos de Lenguaje y Visión Grandes (LVLMs), ya que requiere integrar la percepción visual, el reconocimiento de texto y el razonamiento sobre estructuras de documentos.

Limitación actual: La evaluación de los LVLMs en VDU se basa casi exclusivamente en la precisión de las respuestas generadas. Sin embargo, esto no garantiza que el modelo haya capturado internamente la información necesaria para responder correctamente.
Hipótesis central: Existe una brecha significativa entre lo que el modelo "sabe" internamente (sus representaciones ocultas) y lo que logra expresar en su salida textual. Es posible que el modelo contenga la información correcta en sus capas internas pero falle al generar la respuesta final.

2. Metodología

Los autores proponen un análisis exhaustivo utilizando sondeo lineal (linear probing) para investigar cómo se codifica la información necesaria para resolver tareas de VDU a través de las diferentes capas de los LLMs dentro de los LVLMs.

Configuración Experimental:
- Modelos analizados: Qwen2.5-VL (32B), Gemma3 (27B) y LLaVA-NeXT (13B).
- Tareas de sondeo: Se definieron cuatro tareas de clasificación binaria para evaluar diferentes capacidades:
  1. Reconocimiento de atributos visuales (ej. color, forma).
  2. Reconocimiento de palabras (ortografía).
  3. Comprensión de estructura (identificar componentes del documento como títulos o tablas).
  4. Comprensión de figuras (razonamiento relacional en gráficos).
- Mecanismo de sondeo: Se entrenaron clasificadores lineales simples sobre las representaciones ocultas ( $h_i$ ) extraídas de cada capa del LLM durante la inferencia. Se probaron cuatro tipos de tokens: tokens de imagen, tokens de texto, todos los tokens y el último token.
- Métricas:
  - Precisión de sondeo lineal ( $A_{LP}$ ): Capacidad de un clasificador lineal para predecir la respuesta correcta a partir de las representaciones internas.
  - Precisión de respuesta ( $A_{resp}$ ): Precisión estándar del modelo al generar texto.
  - Brecha (Gap): Definida como $Gap = \max(A_{LP}) - A_{resp}$ .

3. Contribuciones Clave

Análisis Capa por Capa: Realizan el primer análisis detallado de las representaciones internas de LVLMs para VDU utilizando sondeo lineal en todas las capas, no solo en la final.
Demostración de la Brecha: Evidencian que existe una brecha significativa y consistente entre las representaciones internas y las respuestas generadas; la información necesaria para la tarea a menudo está presente internamente pero no se refleja en la salida.
Localización de la Información: Descubren que la información requerida para resolver las tareas de VDU está codificada de manera más lineal (y accesible) en las capas intermedias del modelo, en lugar de en la capa final.
Estrategia de Ajuste Fino (Fine-tuning): Proponen y validan que el ajuste fino dirigido a capas intermedias específicas es más efectivo para cerrar esta brecha que el ajuste fino de todas las capas.

4. Resultados Principales

Existencia de la Brecha: En todos los modelos y tareas probados, la precisión máxima del sondeo lineal (capacidad interna) superó consistentemente la precisión de la respuesta generada. Esto confirma que los modelos no expresan completamente su conocimiento interno.
Comportamiento por Capas:
- La precisión del sondeo lineal suele aumentar en las capas superiores, pero a menudo alcanza su pico en capas intermedias y luego disminuye ligeramente en la capa final.
- Esto sugiere que las capas finales pueden estar optimizadas para la predicción del siguiente token (generación) en lugar de preservar señales linealmente separables de la respuesta correcta.
- Los tokens de imagen muestran una precisión de sondeo baja (cerca del azar), mientras que los tokens de texto y el último token son los más informativos.
Efectividad del Ajuste Fino Selectivo:
- El ajuste fino de todas las capas mejora la precisión de respuesta, pero no cierra completamente la brecha.
- El ajuste fino dirigido a capas intermedias (específicamente las capas medias y superiores-medias) logra:
  - Mejorar tanto la precisión de sondeo lineal como la de respuesta.
  - Reducir la brecha entre representaciones internas y respuestas más eficazmente que el ajuste completo.
  - Ser más eficiente en términos de parámetros entrenables y tiempo de entrenamiento (hasta un 35% de reducción en tiempo en tareas de VQA de documentos).
- La estrategia óptima varía según la tarea: para reconocimiento de objetos, ajustar capas medias hacia abajo es efectivo; para razonamiento relacional, ajustar desde capas bajas hacia medias funciona mejor.

5. Significado e Impacto

Este trabajo tiene implicaciones profundas para el desarrollo y evaluación de LVLMs:

Evaluación Más Rigurosa: Sugiere que la precisión de respuesta es una métrica insuficiente para evaluar la comprensión real de un modelo. Las representaciones internas pueden contener "verdades" ocultas que la generación falla en expresar.
Mejora de la Confiabilidad: Entender y reducir esta brecha es crucial para la interpretabilidad y la seguridad de los modelos, especialmente en aplicaciones críticas como el análisis de documentos legales o médicos.
Nuevas Direcciones de Entrenamiento: Desafía la práctica estándar de ajustar todas las capas. Demuestra que estrategias de ajuste fino dirigidas a capas específicas (basadas en el análisis de representaciones) pueden optimizar el rendimiento y la eficiencia de manera superior.
Comprensión de la Arquitectura: Revela que la dinámica de la generación autoregresiva puede diluir o modificar las señales de respuesta que se formaron en capas intermedias, lo que ofrece una nueva perspectiva sobre cómo los modelos procesan información multimodal.

En conclusión, el artículo demuestra que los LVLMs actuales "entienden" más de lo que "dicen", y que alinear mejor la generación con estas representaciones internas mediante el ajuste fino de capas intermedias es una vía prometedora para mejorar el rendimiento en tareas complejas de comprensión de documentos.