SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables

1. El Problema: Limitaciones de los Benchmarks Actuales

El artículo identifica tres deficiencias críticas en los benchmarks existentes de Respuesta a Preguntas (QA) sobre Tablas y Texto (como HybridQA, OTT-QA, TAT-QA):

• Razonamiento Superficial y Tipos de Pregunta Limitados: Los benchmarks actuales se centran en preguntas de extracción directa o de un solo salto. Raramente requieren más de dos "saltos" (hops) de razonamiento, ni operaciones analíticas avanzadas como agrupación (GROUP BY), filtrado (HAVING) o agregaciones complejas. Las preguntas de múltiples saltos suelen seguir cadenas lineales simples, ignorando estructuras de árbol más complejas y expresivas.
• Ruido en la Anotación: La construcción manual de estos datasets introduce errores significativos. El análisis de los autores en HybridQA reveló un 21% de errores en las muestras, incluyendo:
  • Modo redundante: La tabla y el texto contienen el mismo hecho, pero se etiqueta como pregunta multimodal.
  • Conjunto de respuestas incompleto: Se omite respuestas correctas, distorsionando las métricas de recuperación.
  • Respuestas incorrectas o incontestables: Las respuestas etiquetadas no se derivan de los datos proporcionados.
• Escala Insuficiente: Los benchmarks existentes utilizan tablas web pequeñas (promedio de ~15 filas), lo que no refleja la complejidad de bases de datos reales que contienen miles de filas y esquemas heterogéneos.

2. Metodología: El Framework SPARTA

SPARTA es un marco de construcción de extremo a extremo que genera automáticamente benchmarks a gran escala con validación humana ligera. Su pipeline consta de tres etapas principales:

A. Construcción de la Base de Datos de Hechos de Referencia

En lugar de tratar el texto y las tablas por separado, SPARTA unifica toda la evidencia en un almacén relacional único:

• Tablas Fuente ($ST$): Se mantienen las tablas estructuradas originales (ej. estadísticas de la NBA, salarios).
• Tablas de Anclaje ($GT$): Los pasajes de texto no estructurados se descomponen en "hechos atómicos" y se almacenan como tuplas en tablas SQL.
• Resultado: Unificar $ST$y$GT$ permite que las consultas SQL accedan a hechos textuales y tabulares indistintamente, eliminando la necesidad de punteros a rangos de texto originales.

B. Generación de Consultas (Query Generation)

Un Modelo de Lenguaje Grande (LLM) genera consultas SQL anidadas que corresponden a patrones de razonamiento de árbol. Para garantizar que las consultas sean ejecutables y realistas, SPARTA introduce dos técnicas novedosas:

1. Imposición de Estructura Realista (Realistic-Structure Enforcement): En lugar de generar la consulta de arriba hacia abajo, el sistema fuerza al LLM a construir el grafo de la consulta en orden post-orden (hojas primero, luego nodos superiores). Esto simula cómo un analista humano construye consultas anidadas, asegurando que cada subconsulta intermedia sea ejecutable antes de añadir predicados externos.
2. Refinamiento Basado en Proveniencia (Provenance-based Refinement): Si una consulta generada devuelve un resultado vacío, el sistema utiliza técnicas de "proveniencia de por qué no" (why-not provenance) para identificar qué predicado filtró los resultados esperados. Esta información se retroalimenta al LLM para que reescriba solo la cláusula problemática (ej. relajando un umbral de > 800,000 a > 600,000), evitando llamadas innecesarias al LLM y asegurando que la consulta final tenga resultados.

C. Verbalización de Preguntas

Una vez validada la consulta SQL y obtenido su resultado, un segundo LLM (AST-ICL) traduce la consulta SQL a una pregunta en lenguaje natural fluida y coherente. La validación humana final es ligera, verificando solo la fluidez y la facticidad, lo que reduce el tiempo de anotación a una cuarta parte del requerido por HybridQA.

3. Contribuciones Clave

• Nuevo Benchmark Escalable: SPARTA ofrece miles de pares pregunta-respuesta de alta fidelidad que cubren operaciones de agregación, agrupación y razonamiento multi-salto profundo (hasta 3 saltos) en estructuras de árbol.
• Método de Generación Principista: La combinación de construcción en orden post-orden y refinamiento basado en proveniencia resuelve el problema de las consultas SQL sintácticamente válidas pero semánticamente vacías o no ejecutables.
• Auditoría de Calidad Cero: A diferencia de los benchmarks anteriores, SPARTA reporta un 0% de tasa de error en la anotación tras su proceso de validación, eliminando el ruido que afecta la evaluación de modelos.
• Dominios Múltiples: El framework se ha aplicado exitosamente a dominios de Deportes (NBA), Cine (IMDB) y Medicina, demostrando su agnosticismo de dominio.

4. Resultados Experimentales

Los autores evaluaron modelos de última generación (SOTA) como ODYSSEY y HProPro (que utilizan LLMs como GPT-5 y GPT-3.5) en el benchmark SPARTA:

• Caída Drástica de Rendimiento: Modelos que obtienen >70 F1 en HybridQA o >50 F1 en OTT-QA experimentan una caída de más de 30 puntos F1 en SPARTA.
  • ODYSSEY (GPT-5): De 69.5 F1 en HybridQA a 35.6 F1 en SPARTA.
  • HProPro (GPT-5): De 70.5 F1 en HybridQA a 40.4 F1 en SPARTA.
• Dificultades Específicas:
  • Estructuras de Árbol: El rendimiento se degrada severamente a medida que aumenta la profundidad (depth) o la amplitud (breadth) de la consulta.
  • Operaciones Analíticas: Los modelos luchan con cláusulas GROUP BY, HAVING y agregaciones.
  • Razonamiento Multimodal: La inclusión de texto no estructurado junto con tablas reduce el rendimiento significativamente (ej. HProPro cae un 63.9% al pasar de solo tablas a texto+tablas).
  • Negación y Rangos: Los modelos tienen dificultades notables con operadores lógicos de negación (NOT IN, NOT EXISTS) y condiciones de rango numérico.

5. Significado e Impacto

SPARTA expone debilidades fundamentales en el razonamiento cruzado (cross-modal reasoning) de los modelos actuales. Demuestra que los sistemas SOTA actuales no están preparados para escenarios del mundo real que requieren:

1. Integrar grandes volúmenes de datos heterogéneos.
2. Ejecutar operaciones analíticas complejas.
3. Realizar inferencias profundas a través de múltiples rutas lógicas (árboles de razonamiento).

El benchmark establece un nuevo estándar para evaluar la capacidad de los modelos para razonar sobre datos estructurados y no estructurados, proporcionando un entorno riguroso para el desarrollo futuro de sistemas de QA más robustos. El código, los datos y los modelos base están disponibles públicamente.