Resumen Técnico: TABVERSE

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala (LLMs) y los Modelos de Lenguaje-Visión (VLMs) son evaluados cada vez más en tareas de razonamiento sobre tablas, el papel específico de la representación de tablas sigue estando poco explorado. En escenarios del mundo real, el contenido idéntico de una tabla puede aparecer en diversos formatos estructurales (por ejemplo, HTML, Markdown, LaTeX) o como imágenes renderizadas. Los benchmarks existentes a menudo permiten que el contenido de la tabla, el formato, el diseño y la modalidad varíen simultáneamente, lo que dificulta aislar los efectos de la representación por sí sola. En consecuencia, no está claro si las diferencias de rendimiento se deben a las capacidades de razonamiento del modelo o a su sensibilidad a formatos de serialización e modalidades de entrada específicos.

Metodología

Los autores presentan TABVERSE, un benchmark multimodal controlado diseñado para desentrañar los efectos de la representación de las variaciones de contenido.

Construcción del Conjunto de Datos

TABVERSE se construye a partir de divisiones de evaluación no utilizadas de cinco conjuntos de datos establecidos de TableQA: FEVEROUS, HYBRIDQA, TABFACT, SQA y WikiTableQuestions.

• Alineación: El benchmark alinea el contenido de tablas idénticas a través de tres formatos de texto estructural (HTML, LaTeX, Markdown) y sus imágenes renderizadas correspondientes.
• Normalización: Se adaptaron utilidades de conversión para manejar artefactos de los conjuntos de datos (por ejemplo, valores faltantes, caracteres especiales) y asegurar un orden consistente de filas/columnas. Las imágenes renderizadas se generaron bajo diseños estandarizados (tamaño de fuente, relleno, ancho) para asegurar la alineación visual entre formatos.
• Etiquetado: Cada pregunta se etiqueta con una categoría (Búsqueda Simple, Búsqueda Condicional, Búsqueda de Múltiples Elementos, Agregación/Aritmética, Comparación/Extremo, Verificación Binaria de un Paso/Multipasos) y una etiqueta de dificultad (Fácil/Difícil). La dificultad se estima mediante el rendimiento de QA zero-shot en imágenes renderizadas.
• Conjunto de Evaluación: Se seleccionó un conjunto equilibrado de 700 pares pregunta-tabla que cubren 629 tablas únicas, asegurando una distribución equitativa entre los niveles de dificultad y las categorías de preguntas.

Tareas

TABVERSE evalúa a los modelos en tres tareas complementarias:

1. Preguntas y Respuestas (QA): Predecir una respuesta dado una pregunta y una tabla en forma de texto estructurado o imagen renderizada.
2. Capacidad de Comprensión Estructural (SUC): Sondear la comprensión de la estructura mediante la detección de límites, estimación de tamaño, búsqueda de coordenadas y recuperación basada en índices (fila/columna).
3. Reconstrucción de Estructura (SR): Reconstruir una tabla desde una imagen renderizada hacia un formato de texto objetivo (HTML, Markdown o LaTeX).

Configuración Experimental

El estudio evalúa una gama diversa de LLMs y VLMs (incluyendo modelos de propósito general y especializados en tablas como Qwen, InternVL, Gemma, LLaVA, y modelos propietarios como GPT-5.2 y Gemini-3) utilizando tres pipelines:

• VLM-Imagen: Los modelos reciben imágenes de tablas renderizadas.
• VLM-Texto: Los modelos reciben representaciones de texto estructurado (aislando los efectos de la modalidad dentro de los VLMs).
• LLM-Texto: Modelos de solo texto reciben texto estructurado.

Las métricas de evaluación incluyen la precisión de Coincidencia Exacta (EM) para QA y SUC, y GriTS (Similitud de Tabla de Cuadrícula) para SR, junto con medidas de usabilidad sintáctica (por ejemplo, éxito de compilación de LaTeX).

Contribuciones Clave

1. Marco de Evaluación Controlado: El artículo formula la comprensión de tablas trans-formato y trans-modalidad como un problema controlado donde el contenido de la tabla es fijo mientras que el formato estructural y la modalidad de entrada varían.
2. Benchmark TABVERSE: La introducción de un benchmark multimodal alineado que presenta representaciones HTML, LaTeX y Markdown, imágenes renderizadas correspondientes y un conjunto de evaluación equilibrado de 700 muestras con etiquetas de categoría y dificultad.
3. Benchmarking Exhaustivo: Los autores evalúan LLMs y VLMs a través de entradas de texto y de imagen emparejadas, revelando cómo la elección del formato y la modalidad altera el comportamiento del modelo. Analizan específicamente cómo los errores de SR se separan en calidad de reconstrucción y usabilidad de salida.

Resultados

Preguntas y Respuestas (QA)

• Impacto de la Representación: El texto estructurado suele superar a las imágenes renderizadas, pero la magnitud de esta brecha depende del modelo y la tarea. Por ejemplo, Gemma-3 se beneficia significativamente de las entradas de texto, mientras que SmolVLM2 e InternVL3.5 funcionan de manera similar o mejor con imágenes.
• Sensibilidad al Formato: En los pipelines de texto, el formato simbólico importa significamente (siendo HTML a menudo el más robusto), mientras que el rendimiento de la imagen renderizada es generalmente consistente a través de las fuentes HTML, LaTeX y Markdown.
• Dificultad de la Tarea: Las preguntas de verificación son generalmente más fáciles, mientras que las tareas de búsqueda de múltiples elementos y agregación siguen siendo desafiantes. El rendimiento cae sustancialmente de preguntas Fáciles a Difíciles.

Capacidad de Comprensión Estructural (SUC)

• Modalidad y Formato: La SUC es generalmente más fuerte con texto estructurado que con imágenes renderizadas, particularmente para tareas que involucran límites de fila y manejo de encabezados. Sin embargo, la entrada de texto no resuelve completamente los cuellos de botella; la recuperación de filas y la búsqueda de celdas siguen siendo difíciles en todos los pipelines.
• Convenciones de Indexación: Los modelos son altamente sensibles a las convenciones de indexación. Los prompts explícitos que aclaran la exclusión de encabezados y la indexación basada en cero mejoran significamente el rendimiento en la detección de la primera celda y la partición de tablas, lo que sugiere que muchos errores provienen de que los modelos tratan los encabezados como la primera fila de datos.
• Recuperación Parcial: Las métricas de Precisión de Campo revelan que los bajos puntajes de Coincidencia Exacta a menudo reflejan una localización incompleta o desplazada en lugar de un fallo total en la comprensión de la estructura.

Reconstrucción de Estructura (SR)

• Topología vs. Contenido: Los modelos recuperan la topología de la tabla (diseño) de manera más confiable que el texto exacto de las celdas. Los puntajes de GriTS-Topology son consistentemente más altos que los de GriTS-Content.
• Desafíos de Usabilidad: Altos puntajes de reconstrucción no garantizan la usabilidad sintáctica. Mientras que las salidas de HTML y Markdown son a menudo válidas, la reconstrucción de LaTeX sigue siendo un cuello de botella significativo, con muchos modelos produciendo código no compilable incluso cuando la estructura es parcialmente correcta.
• Conversión de Formato: La conversión entre formatos (por ejemplo, Imagen a LaTeX) introduce poca dificultad adicional en comparación con la reconstrucción del mismo formato para modelos fuertes, lo que sugiere que los errores surgen principalmente de la comprensión de la tabla y la generación del formato objetivo, más que del proceso de conversión en sí.

Significancia y Afirmaciones

El artículo afirma que la representación de la tabla es un factor clave para una evaluación de tablas fiable. Los hallazgos demuestran que:

• El escalado por sí solo no garantiza una mejor comprensión de las tablas; el comportamiento del modelo varía significativamente según la modalidad de entrada y el formato de serialización.
• HTML es a menudo el formato de texto más robusto para los pipelines de entrada de texto, mientras que la reconstrucción de LaTeX sigue siendo un desafío persistente debido a las restricciones sintácticas.
• Las tareas sensibles a las filas y la generación de LaTeX sintácticamente utilizable son puntos de falla actuales incluso para los modelos de vanguardia.

Los autores concluyen que el trabajo futuro debería extender TABVERSE a entornos más realistas (por ejemplo, PDFs ruidosos, documentos de múltiples tablas) y explorar métodos para mejorar la consistencia trans-formato y la decodificación consciente de la representación. El benchmark está destinado a apoyar la evaluación transparente y reproducible de LLMs y VLMs en la investigación académica.