From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

Resumo Técnico: De BM25 a RAG Corretivo

1. Problema e Motivação

Os sistemas de Geração Aumentada por Recuperação (RAG) dependem criticamente da qualidade da recuperação de documentos. No entanto, não existe uma comparação sistemática de métodos de recuperação modernos para documentos heterogêneos que contêm texto e dados tabulares simultaneamente.

• O Desafio: Documentos financeiros (relatórios de lucros, filings regulatórios) misturam contexto textual com tabelas precisas. Perguntas como "Qual foi o crescimento da receita ano a ano?" exigem localizar o documento certo e a célula exata na tabela.
• A Lacuna: Métodos de recuperação semântica (densos) tendem a falhar em alvos numéricos exatos, enquanto métodos lexicais (BM25) podem falhar em contexto parafraseado. Benchmarks existentes (como BEIR) não focam especificamente nesse cenário misto, e o benchmark financeiro original (T2-RAGBench) testou apenas seis métodos com métricas limitadas.

2. Metodologia

Os autores realizaram um benchmark abrangente utilizando o T2-RAGBench, composto por 23.088 consultas sobre 7.318 documentos financeiros (extraídos de filings da SEC e relatórios anuais), contendo texto e tabelas em Markdown.

Estratégia de Avaliação:

• Métricas de Recuperação: Recall@k (k=1,3,5,10,20), MRR (Mean Reciprocal Rank), nDCG e MAP.
• Métricas de Geração: Number Match (correspondência numérica com tolerância relativa), F1, ROUGE-L e BERTScore.
• Teste Estatístico: Testes de bootstrap pareados com correção de Bonferroni para garantir significância (p < 0.05).
• Configuração: Recuperação de documento inteiro (sem chunking para isolar o efeito do método de recuperação) e uso de modelos de ponta (OpenAI text-embedding-3-large, GPT-4.1-mini, Cohere Rerank v4.0 Pro).

Métodos de Recuperação Avaliados (10 Estratégias):

1. BM25: Recuperação esparsa clássica.
2. Dense Retrieval: Embeddings densos (OpenAI).
3. Hybrid (RRF): Fusão por Reciprocal Rank Fusion de BM25 e Dense.
4. Hybrid + Reranking: Pipeline de dois estágios (Recuperação Híbrida + Cross-Encoder Neural).
5. HyDE (Hypothetical Document Embeddings): Geração de uma resposta hipotética para buscar.
6. Multi-Query: Geração de múltiplas variações da consulta.
7. Contextual Retrieval: Enriquecimento do índice com resumos gerados por LLM.
8. CRAG (Corrective RAG): Reescrita adaptativa da consulta se a confiança for baixa.
9. Variações de Fusão: Combinação Convexa vs. RRF.
10. Ablação de Profundidade: Variação do número de candidatos passados ao reranker.

3. Principais Contribuições

1. Benchmark Sistemático: A avaliação mais abrangente até a data de 10 métodos de recuperação em um corpus financeiro misto (texto-tabela).
2. Avaliação Multidimensional: Combinação de métricas de recuperação e geração, com testes de significância estatística rigorosos.
3. Estudos de Ablação: Isolamento dos efeitos de estratégias de fusão e profundidade do reranker.
4. Recomendações Práticas: Diretrizes baseadas em análise de custo-precisão para engenheiros que constroem RAGs para documentos heterogêneos.

4. Resultados Chave

A. Desempenho de Recuperação:

• O Vencedor: Um pipeline de dois estágios combinando Recuperação Híbrida (BM25 + Dense) com Reranking Neural (Cross-Encoder) dominou todos os métodos.
  • Recall@5: 0.816 (vs. 0.695 do híbrido sem rerank).
  • MRR@3: 0.605 (vs. 0.433 do híbrido sem rerank).
• BM25 vs. Densidade: Contrariando a suposição comum de que a busca semântica domina, o BM25 superou o modelo denso de ponta (text-embedding-3-large) em quase todas as métricas. Isso ocorre porque documentos financeiros dependem de terminologia precisa (nomes de empresas, métricas, períodos fiscais) que o matching lexical captura melhor que embeddings semânticos.
• Falhas de Métodos Específicos:
  • HyDE: Desempenhou pior que a busca densa pura. A geração de documentos hipotéticos introduz "alucinações" numéricas que distorcem o embedding, prejudicando a recuperação de dados financeiros precisos.
  • Multi-Query: Ofereceu ganhos negligenciáveis, pois consultas financeiras já são específicas e bem formadas.
  • CRAG: Melhorou moderadamente sobre o BM25, mas não alcançou a fusão híbrida simples.

B. Análise de Subconjuntos e Erros:

• O subconjunto TAT-DQA (focado em operações numéricas complexas em tabelas) foi o mais difícil. A fusão híbrida trouxe o maior ganho relativo aqui (+8.1 pontos percentuais sobre BM25).
• Causa Principal de Falha (73%): Desajuste na estrutura da tabela. Modelos de embedding padrão têm dificuldade em mapear consultas para células específicas em tabelas Markdown quando os termos estão em células separadas.

C. Impacto na Geração:

• Há uma correlação forte (r > 0.98) entre a qualidade da recuperação (Recall@5) e a qualidade da resposta final (Number Match).
• Melhorar a recuperação de BM25 para o pipeline Híbrido + Rerank aumentou o Number Match de 0.251 para 0.282 (com GPT-4.1-mini).

5. Significado e Recomendações Práticas

O estudo desafia a crença de que métodos densos são universalmente superiores, demonstrando que para domínios com dados estruturados precisos (finanças), a fusão híbrida é essencial.

Framework de Decisão Recomendado para RAG em Documentos Heterogêneos:

1. Base: Comece com Recuperação Híbrida (BM25 + Densidade via RRF) como baseline mínimo.
2. Otimização Máxima: Adicione um Reranker Cross-Encoder. É o componente de maior impacto (+17.2 pontos no MRR@3).
3. Enriquecimento: Use Contextual Retrieval (adicionar resumos gerados por LLM ao índice) para ganhos consistentes com custo único.
4. Evitar: Não use HyDE para domínios que exigem precisão numérica ou baseada em entidades.
5. Validação: Avalie sempre em dados específicos do domínio; rankings gerais (como MTEB/BEIR) não preveem desempenho em finanças.

6. Limitações

• Focado apenas em documentos financeiros (pode não generalizar para artigos científicos ou médicos).
• Todas as respostas são numéricas, limitando a avaliação de respostas de texto livre.
• Recuperação de documento inteiro (sem chunking), o que pode diferir em cenários de documentos muito longos.
• Dependência de APIs externas para modelos, o que pode afetar a reprodutibilidade futura.

Em conclusão, o artigo estabelece que para RAG em documentos mistos (texto-tabela), a arquitetura ideal não é um único modelo denso, mas sim um pipeline híbrido com reranking neural, onde a precisão lexical do BM25 é crucial para recuperar dados estruturados exatos.