Resumen Técnico: Desacoplar Esqueleto y Carne: Razonamiento Multimodal Eficiente en Tablas con Alineación Desentrelazada y Guía Consciente de la Estructura

Declaración del Problema

El razonamiento sobre imágenes de tablas sigue siendo un desafío significativo para los Modelos de Lenguaje y Visión Grandes (LVLM) debido a la complejidad de los diseños y la naturaleza estrechamente acoplada de la información estructural (filas, columnas, diseño) y el contenido semántico (valores de celda). Los enfoques existentes para adaptar los LVLM al razonamiento en tablas generalmente se dividen en dos categorías, ambas con limitaciones:

1. Ajuste Fino Supervisado (SFT) o Aprendizaje por Refuerzo (RL): Estos métodos a menudo requieren anotaciones extensas y costosas de expertos para datos de razonamiento en tablas. Corren el riesgo de un olvido catastrófico de las capacidades originales del modelo y sufren altos costos de entrenamiento.
2. Razonamiento Aumentado con Herramientas: Estos métodos dependen de herramientas externas (por ejemplo, editores visuales, ejecutores simbólicos, analizadores de tablas) para dirigir explícitamente la atención y el razonamiento. Aunque son efectivos, aumentan la complejidad del sistema, la latencia de inferencia y no mejoran la capacidad intrínseca del modelo para la comprensión estructural.

La pregunta de investigación central abordada es: ¿Cómo pueden adaptarse los LVLM al razonamiento en tablas con un costo mínimo de anotación y sin depender de herramientas externas?

Metodología

Los autores proponen un marco eficiente que comprende dos componentes principales: DISCO (Alineación Desentrelazada Estructura–Contenido) y Table-GLS (Razonamiento Guiado por Estructura de Global a Local).

1. DISCO: Alineación Desentrelazada Estructura–Contenido

La idea central de DISCO es separar explícitamente la abstracción estructural del anclaje semántico durante la alineación multimodal. En lugar de alinear imágenes de tablas con texto linealizado (por ejemplo, HTML, Markdown) donde la estructura y el contenido están entrelazados, DISCO descompone la alineación en objetivos complementarios:

• Alineación Estructural: El modelo se entrena para predecir una representación de estructura ($T_S$) derivada de anonimizar todo el contenido de las celdas en la representación textual (reemplazándolas con un token marcador) mientras se preservan los tokens de diseño (delimitadores, encabezados, marcadores de extensión). Esto obliga al LVLM a aprender diseños de tablas independientemente de la semántica de las celdas.
• Alineación de Contenido: Esta se divide además en dos niveles para anclar la semántica sobre la estructura aprendida:
  • Alineación Global de Contenido: El modelo genera una descripción semiestructurada ligera de la tabla, incluyendo conteos totales de filas/columnas y un resumen de los contenidos de filas/columnas.
  • Alineación Local de Contenido: El modelo se entrena para identificar y describir el contenido textual asociado con coordenadas estructurales específicas (por ejemplo, "Fila $m$ Columna $n$: [contenido]").

Este desentrelazamiento permite a los LVLM transferir su comprensión semántica existente a las estructuras de tablas con supervisión adicional mínima.

2. Table-GLS: Razonamiento Guiado por Estructura de Global a Local

Construyendo sobre las representaciones mejoradas de DISCO, Table-GLS es un marco de inferencia sin entrenamiento y sin herramientas que guía al LVLM a través de un proceso de razonamiento de tres etapas:

1. Exploración de Estructura Global: Dada una imagen de tabla y una pregunta, el modelo analiza el diseño general para identificar los índices de filas y columnas relevantes para la tarea ($R$ y $C$) y formula un plan de razonamiento ($T_t$). Esto impone una decisión de "dónde mirar" antes de la extracción de contenido.
2. Extracción de Subtabla Auto-refinada: El modelo evalúa la adecuación del plan inicial. Si es necesario, revisa el plan y extrae una subtabla mínima ($T_{sub}$) que contiene únicamente la evidencia requerida para responder la pregunta. Este paso incluye autorreflexión para prevenir la propagación de errores.
3. Razonamiento Anclado en Evidencia: La respuesta final se genera razonando sobre la subtabla extraída como evidencia verificable, mientras se retiene la imagen original como contexto auxiliar para el anclaje visual. Esto restringe el razonamiento a datos relevantes para la tarea, reduciendo correlaciones espurias.

Contribuciones Clave

El artículo afirma las siguientes contribuciones:

• Marco DISCO: Un marco de alineación desentrelazada que mejora la comprensión de los LVLM sobre la estructura y el contenido de las tablas, particularmente para diseños complejos y no vistos, al separar el aprendizaje de la estructura del anclaje de contenido.
• Marco Table-GLS: Un método de inferencia de global a local que permite un razonamiento preciso en tablas en el momento de la inferencia sin herramientas externas ni ajuste fino adicional, utilizando una exploración estructurada y un enfoque anclado en evidencia.
• Rendimiento Robusto: Los métodos propuestos logran mejoras robustas en 21 tareas de comprensión y razonamiento de tablas, demostrando una fuerte generalización a estructuras de tablas no vistas con datos mínimos (10K imágenes para alineación).

Resultados Experimentales

El marco se evaluó en 21 tareas a través de diversas pruebas (por ejemplo, MMTab, WTQ, HiTab, TAT-QA, TabFact, PubHealthTab) utilizando varios LVLM (Gemma3, Qwen3-VL, LLaVA).

• Comprensión de Tablas: DISCO mejoró consistentemente el rendimiento en todos los modelos y tareas evaluados. Notablemente, logró resultados comparables o superiores a modelos entrenados en 97K imágenes utilizando solo 10K imágenes para la alineación. Mostró una fuerza particular en tareas sensibles a la estructura (Detección de Tamaño de Tabla, Ubicación de Celda) y en configuraciones Fuera de Distribución (OOD).
• Razonamiento en Tablas: Combinar DISCO con Table-GLS produjo las puntuaciones promedio más altas. El marco superó significativamente a las líneas base de respuesta directa e igualó o superó a LVLMs fuertemente optimizados (por ejemplo, Table-R1, HIPPO) en varias pruebas, especialmente en conjuntos de datos OOD como AIT-QA y PubHealthTab.
• Generalización: El método mejoró el rendimiento en tareas no tabulares (ScienceQA, HallusionBench) en comparación con la alineación textual estándar, lo que sugiere que la alineación desentrelazada ayuda a formar representaciones internas reutilizables en lugar de causar una especialización excesiva.
• Eficiencia: Aunque Table-GLS implica una generación multietapa, evita la alta latencia y complejidad de los métodos aumentados con herramientas (por ejemplo, REFOCUS) y logra un compromiso favorable entre tiempo de inferencia y precisión.

Significado y Afirmaciones

El artículo posiciona este trabajo como una solución escalable y eficiente en datos para el razonamiento multimodal en tablas. Al desacoplar el "esqueleto" (estructura) de la "carne" (contenido), los autores demuestran que los LVLM pueden adaptarse al razonamiento tabular complejo sin los costos prohibitivos del entrenamiento supervisado a gran escala ni la sobrecarga arquitectónica de herramientas externas. El marco elicita efectivamente las capacidades de razonamiento intrínsecas de los LVLM, permitiéndoles generalizar a estructuras de tablas no vistas y mantener la robustez a través de diseños diversos. Los autores concluyen que el modelado explícito de estructura-contenido y el razonamiento guiado por estructura ligero son clave para avanzar en el rendimiento de los LVLM en dominios de datos estructurados.