Resumen Técnico: Codificado pero no Dirigido

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (VLMs) se despliegan cada vez más para la verificación de afirmaciones científicas, una tarea que requiere determinar si una afirmación es respaldada o refutada por la evidencia en artículos de investigación. El trabajo previo ha establecido una brecha de rendimiento significativa: los modelos funcionan sustancialmente mejor cuando la evidencia se presenta como una tabla en comparación a cuando se presenta como un gráfico, incluso cuando los datos subyacentes son idénticos.

La pregunta central abordada por este artículo es si esta "brecha tabla-gráfico" surge de un fallo de percepción (el modelo falla al extraer o codificar la información visual de los gráficos) o un fallo de utilización (el modelo codifica la información pero falla al dirigirla eficazmente a la etapa de predicción). Distinguir entre estos es crítico, ya que requieren intervenciones fundamentalmente diferentes (por ejemplo, mejores codificadores de visión frente a cambios arquitectónicos en el enrutamiento de la información).

Metodología

Los autores emplean un enfoque de diagnóstico utilizando sondas lineales por capas (layer-wise linear probing) y análisis de atención en tres VLMs de pesos abiertos (Qwen2.5-VL-7B, Qwen2.5-VL-32B e InternVL3-8B) de dos familias de modelos distintas.

1. Conjunto de Datos: El estudio utiliza SciTabAlign+, un benchmark controlado de contenido que empareja 162 afirmaciones científicas únicas con evidencia semánticamente equivalente en dos formatos: tablas JSON estructuradas y cuatro variantes de gráficos (barras básicas, barras de símbolos, líneas y gráficos intercambiados).
2. Sondeo Lineal (Linear Probing):
   • Objetivo: Determinar si las señales relevantes para la tarea (Respaldado/Refutado) son decodificables a partir de los estados ocultos intermedios.
   • Configuraciones: Las sondas se entrenan en cada capa $l$ utilizando dos estrategias de agregación:
     • Último token (Last-token): Utilizando el estado oculto del último token de entrada (la posición de la predicción).
     • Promedio de agrupación (Mean-pool): Promediando los estados ocultos a través de todos los tokens de entrada para capturar información distribuida.
   • Control: Las sondas también se entrenan solo con el texto de la afirmación para descartar filtraciones de texto (text leakage).
   • Métrica: Área bajo la curva ROC corregida por dirección (AUROC).
3. Análisis de Atención:
   • Los autores computan la fracción de atención que el último token dirige hacia los tokens de la imagen, normalizada por la base proporcional (la relación entre los tokens de imagen y el total de tokens).
   • Esto mide si el modelo atiende a la evidencia del gráfico en proporción a su presencia en la entrada.
4. Ablación de Cadena de Pensamiento (CoT):
   • Se solicita a los modelos que describan verbalmente el gráfico antes de realizar una predicción para probar si la verbalización explícita cierra la brecha.

Resultados Clave

1. La información del gráfico está codificada pero no dirigida

El hallazgo principal es que las señales relevantes para el gráfico son recuperables de las representaciones intermedias pero fallan al llegar a la posición de predicción.

• Mean-pool vs. Last-token: Las sondas de mean-pool logran un AUROC alto (84–89%) en las variantes de gráficos en todos los modelos, superando significativamente a las sondas de last-token (64–73%). En contraste, la evidencia de la tabla muestra la tendencia opuesta, donde las sondas de last-token funcionan mejor.
• Disociación: Un clasificador lineal entrenado en representaciones de mean-pool a menudo supera la propia precisión de inferencia del modelo en las variantes de gráficos (por ejemplo, InternVL3-8B: 79.0% de precisión de la sonda frente a 56.2% de precisión del modelo). Esto confirma que la información está presente en los estados internos del modelo, pero no se utiliza eficazmente para la decisión final.

2. Distintos modos de fallo según la familia de modelos

El análisis de atención revela que el "fallo de enrutamiento" se manifiesta de manera diferente según la arquitectura del modelo:

• Familia Qwen (Fallo de enrutamiento): Estos modelos exhiben un severo fallo de enrutamiento de atención. En la última capa, atienden a los tokens de la imagen a solo un 4–11% de la base proporcional. La evidencia del gráfico es mayormente ignorada al formar la predicción.
• InternVL3-8B (Fallo de integración): Este modelo mantiene una atención casi proporcional a los tokens de la imagen (93% de la base) a través de la mayoría de las capas. Sin embargo, aun así no logra superar su sonda de mean-pool. Esto sugiere un fallo de integración post-atención: el modelo atiende al gráfico pero falla al integrar esa información atendida en la lógica de la predicción final.

3. Impacto de la Cadena de Pensamiento (CoT)

La ablación de CoT distingue aún más los modos de fallo:

• Modelos Qwen: El prompting de CoT degrada el rendimiento (la macro-F1 cae entre 3.3 y 13.5%). Dado que estos modelos no atienden al gráfico, forzarlos a verbalizar el contenido conduce a alucinaciones y descripciones poco fiables.
• InternVL3-8B: El prompting de CoT mejora el rendimiento (la macro-F1 aumenta un 4.6). Esto indica que el modelo puede acceder y describir el contenido del gráfico, pero no lo utiliza espontáneamente para la predicción sin una instrucción explícita.

Significado y Contribuciones

El artículo redefine la brecha tabla-gráfico no como un fallo de codificación (percepción), sino como un fallo de enrutamiento (utilización).

• Perspectiva Diagnóstica: El estudio demuestra que la evaluación de la salida por sí sola es insuficiente para diagnosticar la sensibilidad al formato. Se requiere un análisis interno (sondeo y atención) para distinguir entre modelos que "no ven" el gráfico y modelos que "ven pero ignoran".
• Especificidad Arquitectónica: Los hallazgos resaltan que diferentes familias de modelos sufren mecanismos internos de fallo distintos. Una intervención única (por ejemplo, mejores codificadores de visión) es improbable que resuelva el problema para todos los modelos; en su lugar, las soluciones deben abordar cuellos de botella específicos de enrutamiento o integración.
• Implicaciones para la Verificación: Para flujos de trabajo científicos de alto riesgo, la presencia de información codificada no garantiza su uso en la decisión final. Los investigadores deben ejercer precaución al desplegar VLMs para la verificación basada en gráficos, ya que los modelos pueden poseer la información necesaria internamente sin reflejarla en sus salidas.

Los autores concluyen que la brecha es un "fallo en cómo la información visual codificada es dirigida en el momento de la predicción", un hallazgo que requiere examinar la computación interna en lugar de confiar únicamente en las métricas de rendimiento de la tarea.