CRAFT: Training-Free Cascaded Retrieval for Tabular QA

Título: CRAFT: Recuperação em Cascada sem Treinamento para Perguntas e Respostas em Tabelas (Tabular QA)

1. Problema

A Resposta a Perguntas em Domínio Aberto sobre Tabelas (Open-Domain Table QA - TQA) envolve recuperar tabelas relevantes de um grande corpus para responder a consultas em linguagem natural. Os desafios principais identificados pelos autores são:

• Custo Computacional: Modelos de recuperação densa tradicionais (como DTR e DPR) exigem alto custo computacional para tarefas de recuperação em larga escala.
• Falta de Adaptabilidade: Esses modelos geralmente exigem re-treinamento ou fine-tuning em novos conjuntos de dados, limitando sua adaptabilidade a domínios e conhecimentos em evolução.
• Perda de Estrutura: Abordagens simples que linearizam tabelas em texto para uso em métodos de recuperação padrão perdem informações sintáticas e estruturais cruciais (linhas e colunas).
• Gargalo de Recuperação: A recuperação eficaz de tabelas é um gargalo crítico para sistemas de QA escaláveis, pois a recuperação inadequada impede o raciocínio posterior.

2. Metodologia: O Framework CRAFT

O CRAFT propõe uma abordagem de recuperação em cascata, zero-shot e sem treinamento (training-free), que combina modelos pré-treinados de forma modular para maximizar a eficiência e a precisão. O pipeline consiste em três estágios principais, seguidos pela geração de respostas:

A. Pré-processamento e Enriquecimento Semântico

• Geração de Sub-consultas: Utiliza o modelo Gemini Flash 1.5 para decompor consultas originais em sub-questões, melhorando a compreensão contextual.
• Descrição de Tabelas: O mesmo modelo gera títulos descritivos e resumos detalhados para cada tabela, enriquecendo a representação semântica da estrutura tabular.
• Ranking de Linhas: As linhas das tabelas são pré-classificadas por relevância semântica usando modelos de Sentence Transformer (para NQ-Tables) ou Jina Embeddings (para OTT-QA).

B. Recuperação em Cascada (Três Estágios)
O sistema transita de modelos leves e de alta cobertura para modelos pesados e de alta precisão:

1. Estágio 1 (Recuperação Esparsa): Utiliza o SPLADE (um modelo de expansão léxica esparsa pré-treinado) para filtrar um corpus massivo (ex: 169k a 419k tabelas). Ele usa títulos, cabeçalhos, células e descrições geradas para reduzir o conjunto de candidatos para as 5.000 melhores tabelas.
2. Estágio 2 (Poda Densa e "Mini-Tabelas"):
   • Constrói "mini-tabelas" anexando cabeçalhos às 5 linhas mais relevantes de cada candidata.
   • Aplica modelos de embeddings densos (Sentence Transformer ou Jina Embeddings v3) para reclassificar semanticamente essas mini-tabelas.
   • Seleciona as top-K mini-tabelas (ex: 100) para o próximo estágio.
   • Benefício: Reduz drasticamente o "footprint" de tokens e o custo de embeddings, focando apenas no conteúdo relevante.
3. Estágio 3 (Reclassificação Neural):
   • Utiliza modelos de embedding de última geração otimizados para precisão semântica (ex: text-embedding-3-large/small da OpenAI ou gemini-embedding-001) para reclassificar as top-K mini-tabelas finais.
   • Garante a máxima precisão semântica antes da geração da resposta.

C. Geração de Resposta (End-to-End)

• As tabelas finais recuperadas são alimentadas em Grandes Modelos de Linguagem (LLMs) pré-treinados (Llama3, Qwen2.5, Mistral) para gerar a resposta final.
• O uso de "mini-tabelas" permite incluir mais evidências (mais tabelas) no contexto sem exceder o limite de tokens do LLM.

3. Principais Contribuições

• Arquitetura Modular e Escalável: Combina sinais de recuperação léxica (esparso) e semântica (denso) em cascata, maximizando o recall mantendo a eficiência.
• Abordagem Zero-Shot: Não requer fine-tuning específico para o conjunto de dados, utilizando apenas modelos pré-treinados, o que facilita a adaptação a novos domínios.
• Design Centrado em "Mini-Tabelas": Reduz o custo de embeddings online em até 33x e encurta o contexto em 70%, melhorando a eficiência sem sacrificar a precisão.
• Robustez: Demonstra estabilidade e adaptabilidade através de estudos de ablação e testes com consultas parafreadas.

4. Resultados e Desempenho

O CRAFT foi avaliado nos benchmarks NQ-Tables (consultas factuais de um único salto) e OTT-QA (raciocínio multi-hop complexo).

• Recuperação (NQ-Tables):
  • Alcançou o estado da arte (SOTA) em Recall@1 (49.84%), superando modelos densos e híbridos treinados especificamente (como THYME e BIBERT+SPLADE).
  • O Recall@50 atingiu 97.17%.
• Recuperação (OTT-QA):
  • Demonstrou forte desempenho zero-shot, alcançando resultados competitivos em Recall@10 e Recall@50, com lacunas mínimas (menos de 1.2 pontos) em relação a modelos treinados no domínio.
• Robustez a Parafraseamento:
  • Em testes com consultas perturbadas, o CRAFT manteve seu desempenho quase intacto (queda de apenas 0.04 pontos no Recall médio), enquanto modelos base como DTR sofreram quedas significativas (até -11.82 pontos).
• Eficiência de QA End-to-End:
  • Com LLMs maiores (ex: GPT-4o, Llama-3.1-70B), o CRAFT superou baselines anteriores (como LI-RAGE) em pontuações F1, mesmo com menos tabelas recuperadas, devido à qualidade do contexto filtrado.
  • A redução de tokens permitiu que os modelos processassem mais evidências relevantes sem custo computacional proibitivo.

5. Significância e Impacto

O trabalho CRAFT estabelece um novo paradigma para a recuperação de tabelas, demonstrando que:

1. Modelos Pré-treinados são Suficientes: É possível alcançar desempenho competitivo de ponta sem o custo e a complexidade de fine-tuning específico para cada domínio.
2. Eficiência e Escalabilidade: A arquitetura em cascata resolve o dilema entre custo computacional e precisão, tornando viável a recuperação em domínios abertos com milhões de tabelas.
3. Adaptabilidade: Oferece uma solução "plug-and-play" para domínios dinâmicos onde dados rotulados são escassos ou inexistentes.

Em resumo, o CRAFT preenche a lacuna entre arquiteturas complexas e treinadas e sistemas de recuperação leves, provando que uma pipeline bem desenhada com modelos off-the-shelf pode superar métodos especializados em tarefas de QA sobre tabelas.