RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora

Título: RARE: Framework de Avaliação de Recuperação Consciente de Redundância para Corpos de Alta Similaridade

1. O Problema

Os benchmarks atuais de Perguntas e Respostas (QA) e Recuperação Aumentada por Geração (RAG) assumem implicitamente que os documentos no corpus são distintos, com pouca sobreposição de informações. No entanto, em cenários do mundo real (como relatórios financeiros, códigos legais e patentes), os documentos exibem alta redundância e forte similaridade inter-documental.

Essa discrepância gera duas falhas críticas na avaliação:

1. Subavaliação injusta: Recuperadores que encontram evidências válidas em documentos alternativos (redundantes) são penalizados porque os benchmarks tradicionais exigem um único "documento de ouro" canônico.
2. Superestimação de desempenho: Modelos que performam bem em benchmarks de baixa sobreposição (como Wikipedia) falham drasticamente em corpora empresariais complexos, mas essa falha de robustez não é capturada pelas métricas atuais.

2. Metodologia: O Framework RARE

Os autores propõem o RARE (Redundancy-Aware Retrieval Evaluation), um framework modular para construir benchmarks realistas que quantificam e incorporam a redundância e a similaridade de passagem. O pipeline consiste em três etapas principais:

A. Seleção de Informação Válida e Rastreamento de Redundância

• Decomposição em Fatos Atômicos: Os documentos são decompostos em unidades de informação atômica (declarações factuais indivisíveis) para permitir um rastreamento preciso de redundância.
• Filtragem e Classificação: Unidades atômicas são filtradas por critérios mínimos (completude, utilidade, factualidade) e classificadas por cinco critérios de qualidade (Validade, Completude, Especificidade, Clareza, Questionabilidade).
• Rastreamento de Redundância: Utiliza similaridade de embeddings (com um limiar de recall alto) combinada com verificação de LLM para identificar fatos semanticamente equivalentes que aparecem em diferentes chunks. Isso cria um "conjunto de ouro" consciente de redundância, onde múltiplos documentos podem ser considerados corretos.

B. Geração de Dados com CRRF
Para superar a geração de dados triviais ou contraditórios por LLMs, o RARE introduz o CRRF (Criterion-wise Prompting with Reciprocal Rank Fusion):

• Avaliação Desacoplada: Em vez de pedir ao LLM para julgar múltiplos critérios simultaneamente (o que gera instabilidade), o CRRF avalia cada critério de qualidade independentemente através de prompts separados.
• Fusão por Rank: Os resultados são agregados usando Reciprocal Rank Fusion (RRF), ignorando as pontuações de confiança (que são mal calibradas) e focando apenas nas preferências ordinais. Isso estabiliza a geração e melhora a qualidade dos dados sintéticos.

C. Construção do Benchmark: RedQA
O resultado final é o RedQA, um conjunto de dados de QA multi-hop (1 a 4 saltos) construído sobre quatro domínios:

• Finanças (Relatórios SEC 10-K): Alta redundância (63,2%).
• Patentes (USPTO): Alta redundância (49,7%).
• Jurídico (Código dos EUA): Alta similaridade (40,7%).
• General-Wiki: Linha de base de baixa sobreposição (1,4% de redundância).

3. Principais Contribuições

1. Framework RARE: Uma metodologia generalizável para construir benchmarks de RAG específicos de domínio que refletem condições reais de implantação (alta sobreposição).
2. CRRF: Uma receita simples e eficaz para controle de qualidade em geração de dados baseada em LLM, demonstrando superioridade em estabilidade e qualidade em comparação com prompts holísticos ou agregação baseada em pontuação.
3. RedQA e Análise de Lacuna: A introdução de um novo benchmark e a quantificação da lacuna de desempenho. Os autores mostram que a similaridade de documentos (e não apenas a redundância) é o principal fator que degrada o desempenho do recuperador em cenários multi-hop.

4. Resultados Experimentais

Os experimentos foram conduzidos com diversos recuperadores (BM25, modelos de embedding densos e modelos baseados em LLM) no RedQA:

• Degradação de Desempenho em Alta Sobreposição:
  • Em General-Wiki (baixa sobreposição), um recuperador forte (Qwen3-8B) atinge 66,4% de PerfRecall@10 em consultas de 4 saltos.
  • Em corpora empresariais, o desempenho colapsa: 8,5% em Finanças, 5,0% em Jurídico e 27,9% em Patentes para a mesma profundidade de 4 saltos.
• Impacto da Similaridade vs. Redundância:
  • A análise revela que a similaridade (confusão entre documentos quase idênticos) é o principal motor da dificuldade de recuperação, degradando o desempenho de forma monotônica.
  • A redundância (múltiplas fontes da mesma informação) pode, paradoxalmente, ajudar a mitigar erros ao fornecer caminhos de evidência alternativos, embora não seja suficiente para compensar a alta similaridade.
• Eficácia do CRRF:
  • O uso de CRRF (avaliação separada + fusão de rank) resultou em um NDCG@3 significativamente maior (0,467 para GPT-5) em comparação com métodos de prompt único ou agregação de pontuação, confirmando sua estabilidade.
• Avaliação End-to-End:
  • O ganho do RAG é substancial em domínios onde o conhecimento paramétrico do modelo é fraco (ex: +33,40 pontos percentuais em Patentes), mas a capacidade de utilização do contexto recuperado varia drasticamente entre domínios.

5. Significado e Conclusão

O trabalho demonstra que os benchmarks atuais de RAG estão superestimando a robustez dos modelos para cenários de implantação real. A suposição de documentos distintos falha em domínios críticos como Finanças, Direito e Patentes.

O RARE oferece uma ferramenta essencial para pesquisadores e praticantes:

• Permite a construção de avaliações que refletem fielmente as condições de implantação.
• Identifica que a similaridade de documentos é um gargalo crítico para a recuperação multi-hop.
• Sugere que futuros sistemas de RAG precisam de mecanismos que promovam explicitamente a diversidade na recuperação para evitar o "reciclagem" de fatos em corpora redundantes.

Em suma, o RARE redefine como avaliamos a recuperação de informações, movendo o foco de cenários ideais para a complexidade e redundância inerentes aos dados corporativos reais.