TraceBack: Multi-Agent Decomposition for Fine-Grained Table Attribution

1. El Problema

Las preguntas y respuestas (QA) sobre tablas estructuradas requieren no solo respuestas precisas, sino también transparencia sobre qué celdas específicas de la tabla respaldan dichas respuestas.

• Limitaciones actuales: Los sistemas existentes rara vez proporcionan atribución a nivel de celda (fine-grained). A menudo se limitan a atribuciones a nivel de fila/columna o solo al resultado final, ignorando la evidencia intermedia necesaria para el razonamiento.
• Consecuencias: Incluso cuando la respuesta es correcta, la falta de fundamentación verificable (grounding) reduce la confianza en entornos de alto riesgo. Además, las benchmarks existentes (como TabCite) sufren de ruido en las etiquetas, falta de alineación frase-celda y no capturan los pasos intermedios de razonamiento.
• Desafío central: ¿Cómo diseñar un marco interpretable y escalable que trace tanto las respuestas como los pasos de razonamiento intermedios hasta evidencias precisas a nivel de celda en tablas estructuradas?

2. Metodología: TRACEBACK

El artículo propone TRACEBACK, un marco modular basado en agentes de LLM (Large Language Models) diseñado para la atribución de celdas post-hoc en tablas individuales. El sistema opera mediante un flujo secuencial de cinco agentes:

1. Identificación de Relevancia de Columnas: Selecciona el subconjunto de columnas necesarias para derivar la respuesta, incluyendo columnas implícitas requeridas para cálculos intermedios (ej. columnas de "inicio" y "fin" para calcular una duración, aunque la respuesta solo muestre la duración).
2. Extractor de Span de Evidencia: Filtra las filas relevantes aplicando condiciones basadas en el esquema (schema-aware) sobre las columnas seleccionadas, reduciendo la tabla a solo las filas necesarias para el razonamiento.
3. Descomposición de Consultas (Query Decomposition): Descompone la pregunta original en sub-preguntas semánticamente coherentes que corresponden a pasos de razonamiento intermedios. Esto revela dependencias implícitas que la atribución holística suele pasar por alto.
4. Atribución de Sub-consultas: Ancla cada sub-pregunta a sus celdas de soporte específicas (coordenadas fila-columna), capturando tanto evidencia explícita como implícita.
5. Atribución Final: Consolida todas las atribuciones intermedias en un mapeo completo de "frase a celda", alineando las coordenadas con los fragmentos de la respuesta final.

3. Contribuciones Clave

A. CITEBENCH (Benchmark)

Para abordar la falta de datos de evaluación de alta calidad, los autores crearon CITEBENCH:

• Composición: 1,500 ejemplos anotados manualmente extraídos de tres conjuntos de datos: ToTTo, FetaQA y AITQA.
• Innovación: Proporciona alineaciones frase-a-celda (phrase-to-cell) tanto para la respuesta final como para los pasos de razonamiento intermedios.
• Calidad: Corrige el ruido de etiquetas de benchmarks anteriores (como TabCite), donde se marcaban celdas irrelevantes o se carecía de alineación precisa. Incluye un "conjunto de oro" (Gold Set) anotado por humanos y un "conjunto de plata" (Silver Set) para evaluación a gran escala.

B. FAIRSCORE (Métrica de Evaluación)

Dado que la anotación manual de celdas es costosa y subjetiva, proponen FAIRSCORE, una métrica sin referencia (reference-less):

• Funcionamiento:
  1. Convierte las celdas predichas en "hechos atómicos" declarativos.
  2. Descompone la respuesta en hechos atómicos.
  3. Utiliza un LLM para alinear y comparar ambos conjuntos de hechos mediante lógica de implicación (entailment).
• Ventaja: Estima la precisión y el recall de la atribución sin necesidad de etiquetas de celdas humanas, penalizando la omisión de evidencia y las alucinaciones.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos ToTTo, FetaQA y AITQA, comparando TRACEBACK contra baselines fuertes (como Few-shot ICL, Post-hoc Retrieval, INSEQ y GENERATEPROGRAMS).

• Rendimiento Superior: TRACEBACK superó consistentemente a todos los baselines en precisión y recall a nivel de fila, columna y celda.
  • Ejemplo en FetaQA (Nivel Celda): TRACEBACK logró un 89.81% de precisión y 78.84% de recall, superando al mejor baseline (INSEQ) en más de 30 puntos en ambas métricas.
  • Ejemplo en AITQA: Logró una precisión de 96.65% a nivel de fila y 52.37% a nivel de celda, demostrando una mejor capacidad de filtrado de esquemas complejos.
• Análisis de Ablación: Se demostró que tanto el poda de tablas (table pruning) como la descomposición de consultas son componentes críticos. Eliminar la descomposición redujo drásticamente la precisión, confirmando que es esencial para capturar evidencia intermedia.
• Evaluación con FAIRSCORE:
  • FAIRSCORE mostró una alta correlación con las evaluaciones humanas (tracking de tendencias relativas).
  • Aunque tiende a subestimar ligeramente los valores absolutos de precisión/recall en comparación con el "Ground Truth", mantiene el ordenamiento correcto de los métodos, validando su utilidad para la evaluación escalable.

5. Significado e Impacto

• Interpretabilidad y Confianza: TRACEBACK establece un nuevo estándar para la transparencia en QA sobre tablas, permitiendo a los usuarios verificar no solo el "qué" (la respuesta), sino el "cómo" (las celdas y el razonamiento intermedio).
• Avance en Evaluación: La introducción de CITEBENCH y FAIRSCORE resuelve dos cuellos de botella críticos: la falta de benchmarks de alta calidad con anotaciones finas y la dificultad de evaluar atribuciones a gran escala sin costos humanos prohibitivos.
• Aplicabilidad: El enfoque es crucial para dominios de alto riesgo (finanzas, ciencia, legal) donde la trazabilidad de la información es tan importante como la precisión de la respuesta.

Limitaciones Futuras: El marco actual se limita a tablas individuales (no soporta joins entre múltiples tablas) y depende de la calidad de los LLMs subyacentes. El trabajo futuro se centrará en extender esto a razonamiento multi-tabla y mejorar la robustez de FAIRSCORE en dominios diversos.