Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

Resumo Técnico: Engenharia de Contexto Principiada para RAG via Conformal Prediction

1. O Problema

Os Sistemas de Geração Aumentada por Recuperação (RAG) melhoram a fundamentação factual de Grandes Modelos de Linguagem (LLMs) ao incorporar evidências recuperadas. No entanto, enfrentam desafios críticos:

• Degradação de Longo Contexto: LLMs sofrem com o efeito "lost-in-the-middle" (perdido no meio), onde a atenção ao conteúdo diminui à medida que o contexto aumenta, limitando o uso efetivo a apenas 10–20% da capacidade total.
• Ruído de Recuperação: Bancos de dados vetoriais frequentemente retornam trechos irrelevantes ou marginalmente relacionados baseados em similaridade de cosseno não calibrada.
• Falta de Controle Estatístico: Os filtros pré-geração existentes dependem de heurísticas (ex: top-k) ou pontuações de confiança de LLMs não calibradas, oferecendo nenhuma garantia estatística sobre a retenção de evidências relevantes. Isso resulta em prompts inflados, aumento de custos e redução na precisão factual.

2. Metodologia

Os autores propõem uma abordagem de Engenharia de Contexto baseada em Conformal Prediction (CP) (Predição Conformal) para filtrar o contexto antes da geração, garantindo controle estatístico sobre o que é mantido.

• Formulação do Problema:

  • Dada uma consulta $q$, um recuperador retorna documentos segmentados em snippets (trechos).
  • O objetivo é selecionar um subconjunto filtrado $K_q$ que retenha uma fração especificada de snippets relevantes, controlando a taxa de "não cobertura" (miscoverage) $\alpha$.
  • A garantia formal exige: $P(s \in K_q \mid r(q, s) = 1) \geq 1 - \alpha$, onde $r(q, s)$ é a relevância real.

• Predição Conformal Dividida (Split Conformal Prediction):

  • O método utiliza um conjunto de calibração separado e um conjunto de teste (disjuntos em termos de tópicos para garantir trocabilidade).
  • Função de Pontuação: Define-se uma função $A(q, s)$ que atribui uma pontuação de "não conformidade" (menor pontuação = mais relevante).
    • Abordagem 1 (Embedding): Usa o modelo Qwen3-Embedding-8B. A pontuação é $1 - \cos(\text{emb}(q), \text{emb}(s))$.
    • Abordagem 2 (LLM): Usa o GPT-4o para classificar a relevância em uma escala [0, 1]. A pontuação é $1 - \text{rating}$.
  • Limiar de Filtragem ($\hat{\tau}_\alpha$): Calculado como o quantil $(1-\alpha)$ das pontuações dos snippets relevantes no conjunto de calibração.
  • Filtragem: Um snippet é mantido se sua pontuação for $\leq \hat{\tau}_\alpha$.

• Configuração Experimental:

  • Datasets: NeuCLIR (focado em fatos e argumentos) e RAGTIME (avaliação multilíngue).
  • Anotação: Um LLM (Llama 3.3-70B) atua como anotador para gerar rótulos de relevância binária para calibração e avaliação empírica.
  • Geração: O Llama 3.3-70B gera as respostas com base nos snippets filtrados.
  • Métricas: Cobertura empírica, taxa de remoção de contexto e qualidade factual (ARGUE F1).

3. Contribuições Principais

1. Framework de Engenharia de Contexto: Introduz o uso de Predição Conformal no RAG para garantir cobertura estatística de evidências relevantes antes da geração, transformando a filtragem de uma heurística para um processo fundamentado estatisticamente.
2. Eficiência e Garantia: Demonstra empiricamente que a filtragem conformal atinge a cobertura alvo enquanto reduz o tamanho do contexto em 2 a 3 vezes em comparação com a recuperação sem filtragem, mantendo a precisão factual.
3. Agnosticismo de Modelo: A abordagem é independente do modelo, não requer retreinamento e funciona tanto com funções de pontuação baseadas em embeddings quanto em LLMs.

4. Resultados Chave

• Garantias de Cobertura: Em ambos os datasets (NeuCLIR e RAGTIME), os métodos conformais (Embedding e LLM) cumpriram ou superaram ligeiramente as garantias teóricas de cobertura para taxas de erro $\alpha$ variando de 0,05 a 0,40.
  • Observação: O método baseado em Embedding seguiu a linha alvo de forma mais suave, enquanto o baseado em LLM apresentou degraus discretos devido à quantização das classificações.
• Redução de Contexto:
  • Sob cobertura estrita ($\alpha \leq 0,20$), o filtro conformal removeu 25–55% dos snippets recuperados (Embedding) e 46–70% (LLM), mantendo a cobertura total de evidências relevantes.
  • Em comparação, filtros heurísticos (ex: top-k ou limiares fixos de cosseno) falharam em fornecer controle de cobertura, resultando em coberturas reais muito abaixo do alvo (ex: 68% para um alvo de 90%).
• Qualidade Factual (NeuCLIR):
  • A métrica ARGUE F1 (qualidade factual) melhorou sob filtragem estrita ($\alpha = 0,05$ e $0,10$), atingindo 0,720 (vs. 0,690 do baseline sem filtro).
  • Sob cobertura moderada ($\alpha = 0,20$), a precisão permaneceu estável e estatisticamente indistinguível do baseline, indicando que a maior parte do conteúdo removido era redundante ou irrelevante.

5. Significado e Conclusão

O trabalho estabelece que a Predição Conformal é uma ferramenta prática e robusta para a engenharia de contexto em RAG.

• Mudança de Paradigma: Permite tratar o contexto como um "orçamento de atenção" finito, onde é possível descartar ativamente o ruído com garantias matemáticas de que as evidências críticas não serão perdidas.
• Eficiência Operacional: A redução de 2–3x no tamanho do contexto diminui significativamente os custos de inferência e latência, sem sacrificar (e muitas vezes melhorando) a precisão.
• Futuro: O método oferece uma base leve e agnóstica para sistemas RAG escaláveis, com potencial para futuras extensões que relaxem a suposição de trocabilidade através de recalibração adaptativa em diferentes domínios.

Em suma, o artigo demonstra que é possível filtrar ruído de recuperação de forma "principiada" (com garantias estatísticas), tornando os sistemas RAG mais confiáveis, eficientes e menos propensos a alucinações causadas por sobrecarga de contexto.