TraceBack: Multi-Agent Decomposition for Fine-Grained Table Attribution

1. O Problema

A resposta a perguntas (QA) sobre tabelas estruturadas exige não apenas respostas precisas, mas também transparência sobre quais células da tabela sustentam essas respostas.

• Limitações Atuais: Sistemas existentes de QA em tabelas raramente fornecem atribuição em nível de célula (fine-grained attribution). Frequentemente, eles operam em granularidade de linha ou coluna, ou focam apenas na resposta final, ignorando evidências intermediárias e passos de raciocínio implícitos.
• Consequências: Mesmo quando a resposta está correta, a falta de fundamentação verificável (grounding) reduz a confiança do usuário, especialmente em cenários de alto risco. Além disso, benchmarks existentes (como TabCite) sofrem com ruído nas anotações e falta de alinhamento entre frases da resposta e células específicas.
• Desafio de Avaliação: A anotação manual de células é cara e subjetiva, dificultando a avaliação em larga escala.

2. Metodologia

O paper propõe uma abordagem tripartida para resolver esses desafios:

A. CITEBENCH (Novo Benchmark)

Para superar as limitações dos benchmarks anteriores, os autores criaram o CITEBENCH:

• Composição: 1.500 exemplos manualmente anotados derivados dos conjuntos de dados ToTTo, FetaQA e AITQA.
• Inovação: Fornece anotações de alinhamento frase-a-célula (phrase-to-cell), cobrindo tanto a resposta final quanto os passos de raciocínio intermediário (evidência explícita e implícita).
• Estrutura: Divide-se em um "Conjunto Ouro" (anotações humanas precisas) e um "Conjunto Prata" (anotações originais dos datasets para avaliação em larga escala).

B. TRACEBACK (Framework Multi-Agent)

O TRACEBACK é um framework modular baseado em LLMs (Large Language Models) projetado para atribuição de células post-hoc em tabelas únicas. Ele opera através de cinco agentes especializados:

1. Identificação de Relevância de Colunas: Seleciona as colunas necessárias (explícitas ou implícitas para cálculos) usando few-shot prompting.
2. Extrator de Faixas de Evidência: Filtra as linhas relevantes aplicando condições de esquema (ex: WHERE Cost <= 50), reduzindo o ruído e preservando a cadeia de raciocínio.
3. Decomposição de Consulta: Quebra a pergunta original em sub-perguntas semanticamente coerentes que correspondem aos passos de raciocínio intermediários (ex: decompor "duração" em "hora de início" e "hora de fim").
4. Atribuição de Sub-Consulta: Atribui cada sub-pergunta às células específicas que a sustentam, capturando evidências implícitas que não aparecem no texto final da resposta.
5. Atribuição Final: Consolida todas as atribuições intermediárias em um mapeamento completo de "frase para célula", garantindo que cada componente da resposta seja fundamentado.

C. FAIRSCORE (Métrica de Avaliação sem Referência)

Para contornar a necessidade de anotações humanas para cada nova avaliação, os autores propõem o FAIRSCORE:

• Funcionamento: É uma métrica reference-less (sem referência) que compara fatos atômicos extraídos das células previstas com fatos atômicos extraídos da resposta.
• Processo:
  1. Converte células previstas em fatos declarativos.
  2. Decompõe a resposta em fatos atômicos mínimos.
  3. Alinha os dois conjuntos de fatos usando um LLM para determinar precisão (quantos fatos previstos são necessários) e recall (quantos fatos da resposta foram cobertos).
• Vantagem: Permite avaliação escalável e consistente sem depender de rótulos de células humanos.

3. Resultados Principais

Os experimentos foram conduzidos nos datasets ToTTo, FetaQA e AITQA, comparando o TRACEBACK com baselines fortes (como Few-shot ICL, Post-hoc Retrieval, INSEQ e GENERATEPROGRAMS).

• Desempenho Superior: O TRACEBACK superou consistentemente todas as baselines em precisão e recall em todos os níveis de granularidade (linha, coluna e célula).
  • Exemplo: No FetaQA, a precisão em nível de célula saltou de 56,50 (melhor baseline) para 89,81 com o TRACEBACK.
  • Exemplo: No AITQA, a precisão em nível de célula aumentou de 31,96 para 52,37, mantendo um recall extremamente alto (95,22).
• Ablação: A remoção de componentes como a "Decomposição de Consulta" ou o "Poda de Tabelas" resultou em quedas significativas de desempenho, confirmando que a decomposição é crucial para capturar evidências intermediárias e a poda é essencial para eficiência e precisão.
• Validação do FAIRSCORE:
  • A métrica FAIRSCORE mostrou alta correlação com julgamentos humanos, rastreando bem as tendências relativas entre métodos.
  • Embora tenda a subestimar ligeiramente as pontuações absolutas (devido à variabilidade na geração de fatos), ela preservou a ordem de classificação dos métodos, validando seu uso como proxy escalável.

4. Contribuições Chave

1. CITEBENCH: Um novo benchmark de 1.500 exemplos com anotações manuais de nível de célula para respostas finais e raciocínio intermediário.
2. TRACEBACK: Um framework multi-agente inovador que combina poda de esquema, decomposição de perguntas e fundamentação em células para atribuição granular.
3. FAIRSCORE: Uma métrica de avaliação escalável e sem referência baseada em alinhamento de fatos atômicos, eliminando a dependência de anotações humanas para avaliação de atribuição.
4. Análise Empírica: Evidências robustas de que a decomposição de consultas e a atribuição em nível de célula são essenciais para QA transparente em tabelas.

5. Significado e Impacto

Este trabalho avança significativamente o campo de QA estruturado ao:

• Elevar o Padrão de Transparência: Permite que sistemas de IA expliquem não apenas o que responderam, mas exatamente quais dados e quais passos lógicos levaram à conclusão, aumentando a confiança em aplicações críticas.
• Resolver o Problema de Avaliação: Oferece uma solução prática (FAIRSCORE) para o gargalo da avaliação manual em larga escala, permitindo o desenvolvimento e teste rápido de novos métodos.
• Fundamentar Raciocínio Implícito: Diferente de trabalhos anteriores que focavam apenas em dados explícitos, o TRACEBACK consegue rastrear evidências necessárias para cálculos e filtros que não aparecem diretamente no texto da resposta final.

Limitações Futuras: O trabalho atual restringe-se a tabelas únicas e não lida com junções entre múltiplas tabelas ou esquemas hierárquicos complexos. Futuras pesquisas visam expandir o framework para cenários de raciocínio multi-tabela e multimodal.