Resumen Técnico: ViTaB-A

1. Problema Definido

Los Modelos de Lenguaje Multimodales (mLLMs) han demostrado una capacidad creciente para responder preguntas sobre datos estructurados (tablas en Markdown, JSON e imágenes). Sin embargo, existe una brecha crítica entre responder correctamente y atribuir la evidencia que sustenta esa respuesta.

En aplicaciones del mundo real (finanzas, salud, derecho), no basta con obtener una respuesta plausible; es necesario saber exactamente qué filas y columnas de la tabla la justifican para garantizar la trazabilidad y la auditoría. El problema central investigado es la atribución de datos estructurados: la capacidad de un modelo para localizar y citar las celdas específicas (filas/columnas) que soportan una respuesta, incluso cuando la respuesta en sí misma es correcta. Los autores identifican que los modelos actuales a menudo generan respuestas correctas basadas en pistas parciales o alucinaciones, fallando al mismo tiempo en identificar la fuente exacta de la información.

2. Metodología

2.1. El Benchmark ViTaB-A

Los autores proponen ViTaB-A, un benchmark exhaustivo diseñado específicamente para evaluar la atribución visual en tablas.

• Base de Datos: Construido sobre el dataset HiTab, que contiene pares pregunta-respuesta con celdas de evidencia anotadas (ground truth).
• Representaciones: Se evalúan tres formatos de entrada para estudiar el efecto de la representación:
  1. Markdown: Representación textual estructurada.
  2. JSON: Representación de datos anidados (sin estructura visual explícita).
  3. Imágenes: Tablas renderizadas visualmente. Para las imágenes, se introducen perturbaciones semánticas (cambios de color de encabezados, fuentes) para evaluar la robustez.
• Estrategias de Prompting: Se prueban tres enfoques: Zero-shot, Few-shot y Chain-of-Thought (CoT).
• Modelos Evaluados: Se analizan múltiples familias de mLLMs de código abierto con diferentes escalas de parámetros (4B, 8B, 12B, 27B, 32B, 38B), incluyendo Gemma-3, InternVL3.5, Qwen3-VL y Molmo2. El análisis principal se centra en modelos de escala 4B para comparaciones estandarizadas.

2.2. Formulación de la Tarea

Dada una pregunta $q$, una respuesta correcta $a$ y una tabla $T$, el modelo debe identificar un conjunto de celdas citadas $\hat{S}$ que sustenten $a$.

• Métrica de Precisión Estadística: Se calcula la precisión a nivel de celda, fila y columna, comparando las celdas citadas por el modelo con las celdas de ground truth.
• Alineación de Confianza: Se evalúa la correlación entre la certeza del modelo y la precisión real de la atribución mediante dos medidas:
  1. Confianza Interna: Derivada de las probabilidades de los logits de los tokens de salida.
  2. Certeza Verbalizada: El modelo evalúa explícitamente su propio nivel de certeza (de "Muy seguro" a "Muy inseguro") mediante un prompt de consulta de confianza (CQP).
• Métrica de Alineación: Se utiliza el Puntaje Brier para cuantificar la discrepancia entre la confianza estimada y la precisión real de la atribución.

3. Contribuciones Clave

1. Propuesta de ViTaB-A: El primer benchmark exhaustivo para evaluar la atribución visual en tablas a través de múltiples modalidades (texto, JSON, imágenes) y familias de modelos.
2. Evaluación de Modelos Open-Source: Primer estudio que benchmarkea familias de mLLMs de código abierto no solo en la calidad de la respuesta (QA), sino también en la atribución, la alineación de confianza y la calibración de incertidumbre.
3. Descubrimiento de la Disociación QA-Atribución: Evidencia empírica de que la precisión en la respuesta a preguntas y la precisión en la atribución son capacidades distintas y no correlacionadas fuertemente.
4. Análisis de Representación y Estructura: Identificación de que los formatos visuales (imágenes) facilitan la atribución más que los formatos textuales (JSON/Markdown), y que los modelos son significativamente mejores citando filas que columnas.

4. Resultados Principales

4.1. Brecha entre Respuesta y Atribución

• Precisión de QA vs. Atribución: Mientras que la precisión en la respuesta a preguntas (QA) se mantiene moderada y estable (entre 48% y 60% a través de modelos y modalidades), la precisión de atribución es drásticamente inferior.
• Rendimiento por Formato:
  • Imágenes: La atribución es más robusta (~33% en promedio), aprovechando las pistas espaciales y visuales.
  • Markdown: Rendimiento intermedio.
  • JSON: La atribución es casi aleatoria (<1% de precisión en promedio). Los modelos luchan enormemente para mapear la estructura anidada de JSON a coordenadas de celdas específicas.
• Conclusión: Un modelo puede dar la respuesta correcta sin tener una comprensión real de dónde se encuentra la evidencia.

4.2. Filas vs. Columnas

• Existe una disparidad consistente: los modelos son significativamente mejores identificando la fila correcta que la columna correcta (la precisión de fila es 1.3 a 2 veces mayor que la de columna en formatos Markdown e imágenes).
• Esto sugiere dificultades persistentes en el "enlazado de esquema" (identificar el campo/atributo correcto) en comparación con la localización de registros (filas).

4.3. Falta de Alineación de Confianza

• Confianza Engañosa: No hay una correlación estadísticamente significativa entre la confianza del modelo (ya sea interna o verbalizada) y la precisión de la atribución.
• Los modelos a menudo expresan alta certeza (60-80%) incluso cuando la atribución es incorrecta.
• El puntaje Brier indica que la confianza no es un indicador fiable para filtrar errores de atribución o para estimar la trazabilidad de la respuesta.

4.4. Diferencias entre Familias de Modelos

• InternVL3.5-4B mostró el mejor rendimiento general tanto en QA como en atribución.
• Gemma3 y Molmo2 mostraron rendimientos más bajos en atribución, especialmente en formatos JSON.
• Las estrategias de prompting (Zero-shot, Few-shot, CoT) mejoraron ligeramente la QA pero no cerraron la brecha crítica en la atribución.

5. Significado e Implicaciones

El trabajo de ViTaB-A tiene implicaciones profundas para el despliegue de mLLMs en entornos críticos:

1. Riesgo en Aplicaciones de Alta Responsabilidad: En sectores como la banca, la salud y el derecho, la confianza ciega en mLLMs es peligrosa. Un modelo puede proporcionar una respuesta financieramente correcta pero citar la fila equivocada, lo que invalida la auditoría y la trazabilidad requeridas.
2. Limitaciones de las Técnicas Actuales: Las estrategias de inferencia actuales (como CoT) no son suficientes para resolver el problema de la atribución. La capacidad de citar evidencia precisa no emerge naturalmente de los objetivos de entrenamiento estándar (que priorizan la respuesta correcta sobre la justificación).
3. Necesidad de Nuevos Objetivos de Entrenamiento: Se requiere un cambio en los paradigmas de entrenamiento para incluir señales de optimización explícitas para la localización de filas y columnas, tratando la atribución como un objetivo de primer nivel y no como un subproducto.
4. Advertencia sobre la Confianza: Los usuarios y desarrolladores no deben confiar en los niveles de confianza verbalizados o internos de los modelos como un mecanismo de seguridad para la atribución de datos estructurados.

En resumen, el artículo demuestra que, aunque los mLLMs son herramientas útiles para la extracción de datos, aún no son fiables para proporcionar la trazabilidad fina y verificable necesaria para aplicaciones que requieren transparencia total.