SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables

Resumo Técnico: SPARTA

1. O Problema

A tarefa de Resposta a Perguntas (QA) sobre Tabelas e Texto (Table-Text QA) exige que os modelos raciocinem através de dados heterogêneos (estruturados e não estruturados), realizando operações complexas como agregação, agrupamento e saltos múltiplos (multi-hop). No entanto, os benchmarks existentes (como HybridQA, OTT-QA, TAT-QA) apresentam limitações críticas:

• Razão Superficial: As perguntas são frequentemente simples, exigindo no máximo dois saltos e raramente envolvendo operações analíticas avançadas (agregação, GROUP BY, HAVING).
• Ruído de Anotação: A construção manual dos dados introduz erros significativos (redundância de modalidades, respostas incompletas ou incorretas), comprometendo a confiabilidade da avaliação.
• Escala Irrealista: Os benchmarks utilizam tabelas pequenas (geralmente < 20 linhas), falhando em capturar a complexidade de bancos de dados reais com milhares de registros.
• Estrutura Linear: A maioria das perguntas segue cadeias lineares, ignorando o raciocínio estruturado em árvore (ramificações múltiplas) essencial para cenários complexos.

2. Metodologia: O Framework SPARTA

O SPARTA é um framework de ponta a ponta para a geração automática de benchmarks de QA em escala, unificando dados estruturados e não estruturados em um único banco de dados relacional de fatos de referência. O processo ocorre em três estágios principais:

A. Construção do Banco de Dados de Fatos de Referência (Reference Fact Database)

• Unificação: Combina tabelas fonte originais ($ST$) com "tabelas de ancoragem" ($GT$).
• Geração de Fatos Atômicos: As passagens de texto não estruturadas são decompostas em fatos atômicos e armazenadas como tuplas em tabelas de ancoragem. Isso permite que o texto seja consultado via SQL, eliminando a necessidade de ponteiros para faixas de texto originais.
• Domínios: O framework foi demonstrado em três domínios: NBA (esportes), Filmes e Medicina, utilizando dados públicos (Kaggle) e corpora validados (como ROTOWIRE).

B. Geração de Consultas (Query Generation)
O objetivo é sintetizar consultas SQL aninhadas que correspondam a um número desejado de "saltos" (hops) e padrões de raciocínio em árvore. Para garantir que as consultas sejam executáveis e realistas, o SPARTA emprega duas técnicas inovadoras:

1. Aplicação de Estrutura Realista (Realistic-Structure Enforcement):
   • As consultas são construídas seguindo uma ordem pós-order (post-order) da árvore de consulta. O modelo de linguagem (LLM) gera primeiro as subconsultas "folhas" (validadas) e depois as envolve em blocos de nível superior.
   • Isso imita como analistas humanos constroem consultas SQL aninhadas, garantindo que cada bloco intermediário seja executável antes de adicionar predicados externos.
2. Refinamento Baseado em Proveniência (Provenance-Based Refinement):
   • Se uma consulta gerada retorna um resultado vazio, o sistema utiliza proveniência "why-not" para identificar quais predicados filtraram indevidamente as tuplas esperadas.
   • O LLM recebe esse feedback e reescreve apenas o predicado problemático (ex: relaxando um limite de salário de > 800.000 para > 600.000), garantindo que a consulta retorne resultados não vazios sem precisar de recriação completa.

C. Verbalização da Pergunta (Question Verbalisation)

• Um segundo LLM (baseado em AST-ICL) traduz a consulta SQL validada em uma pergunta natural fluente.
• Validação Humana Leve: Diferente de benchmarks anteriores que exigem reavaliação completa do raciocínio, o SPARTA utiliza verificação humana apenas para garantir a fluidez e a correção factual da pergunta, reduzindo drasticamente o custo de anotação (1/4 do tempo do HybridQA).

3. Principais Contribuições

• Novo Benchmark em Escala: O SPARTA gera milhares de pares pergunta-resposta de alta fidelidade, cobrindo operações analíticas complexas (agregação, agrupamento) e raciocínio multi-hop profundo (até 3 saltos) em tabelas com milhares de linhas.
• Pipeline de Geração Robusto: A combinação de construção em ordem pós-order com refinamento baseado em proveniência resolve o problema de consultas inválidas ou vazias na geração sintética, garantindo alta taxa de sucesso e diversidade.
• Auditoria de Qualidade: O benchmark apresenta uma taxa de erro de anotação de 0% (em contraste com 21-30% em benchmarks existentes), eliminando ruídos que distorcem a avaliação de modelos.
• Cobertura de Padrões de Consulta: Suporta quatro padrões de aninhamento SQL (Tipos N, A, J, JA), permitindo a avaliação de raciocínio em árvore (estrela e cadeia) e uni-modalidade.

4. Resultados Experimentais

Os autores avaliaram modelos de ponta (SOTA) como ODYSSEY e HProPro no benchmark SPARTA:

• Queda de Desempenho Drástica: Modelos que alcançam >70 F1 no HybridQA ou >50 F1 no OTT-QA sofreram uma queda de mais de 30 pontos F1 no SPARTA.
• Fragilidade em Estruturas Complexas: O desempenho degradou-se significativamente à medida que a profundidade (depth) e a largura (breadth) das árvores de consulta aumentavam.
• Dificuldade com Operações Analíticas: Modelos tiveram desempenho particularmente ruim em consultas com GROUP BY, HAVING e agregações, indicando fraquezas fundamentais no raciocínio numérico e lógico.
• Desempenho em Recuperação: No cenário de recuperação (onde o modelo deve buscar os dados corretos), o desempenho caiu ainda mais, com o melhor método atingindo apenas 22.6 F1, destacando a dificuldade de alinhar modalidades heterogêneas.
• Análise de Erros: Os erros mais comuns foram "dados relevantes ausentes" (falha em recuperar todas as fontes necessárias) e "análise de dados errônea" (falha em executar joins ou agregações corretamente).

5. Significado e Impacto

O SPARTA expõe falhas fundamentais nos atuais sistemas de raciocínio cruzado (cross-modal) e estabelece um novo padrão para a avaliação de QA sobre tabelas e texto.

• Mudança de Paradigma: Demonstra que a capacidade de raciocínio de modelos atuais é limitada a cenários superficiais e que eles falham em tarefas que exigem raciocínio profundo e estruturado em árvore sobre grandes volumes de dados.
• Direção Futura: O benchmark serve como um "campo de provas" rigoroso para o desenvolvimento de futuros modelos que precisam integrar recuperação de informações, execução de código (SQL) e raciocínio lógico complexo.
• Reprodutibilidade: O código de construção, os dados e os modelos baselines estão disponíveis publicamente, permitindo que a comunidade avance na resolução dessas lacunas.

Em suma, o SPARTA não é apenas um novo conjunto de dados, mas uma redefinição metodológica de como benchmarks de QA devem ser construídos: automaticamente, em escala, com garantia de executabilidade e foco em raciocínio complexo e estruturado.