Resumo Técnico: Diagnóstico e Reparação de Erros Fatuais em RAG sob Restrições de Orçamento

Declaração do Problema

A Geração Aumentada por Recuperação (RAG) visa melhorar a factualidade de Grandes Modelos de Linguagem (LLMs) ao fundamentar respostas em evidências externas. No entanto, implementações no mundo real permanecem frágeis, falhando frequentemente devido à ausência ou relevância fraca das evidências recuperadas, ou por uma geração que não reflete fielmente o contexto recuperado. Esses modos de falha são particularmente problemáticos em configurações com orçamentos estritos de latência e hardware (ex: memória GPU limitada, APIs com limitação de taxa ou implementações de borda com restrição de custo), onde a recuperação iterativa ou o reclassificação (reranking) intensiva em recursos são computacionalmente proibitivos.

Soluções existentes enfrentam limitações significativas:

• Modificações em tempo de treinamento (ex: Self-RAG) exigem ajuste fino (fine-tuning) e acoplamento arquitetural, limitando o uso em configurações de API ou de caixa-preta.
• Controle em tempo de inferência (ex: DRAGIN) frequentemente depende de sinais internos do modelo, como acesso a logits, que não estão disponíveis em APIs de LLMs de código fechado.
• Políticas baseadas em aprendizado (ex: MBA-RAG, QueryBandits) frequentemente visam estágios específicos do pipeline ou requerem supervisão adicional e componentes de modelagem.

Há uma necessidade de um framework agnóstico ao modelo e consciente de recursos que possa diagnosticar falhas usando apenas artefatos observáveis e selecionar a ação corretiva de menor custo sob restrições explícitas de latência e VRAM.

Metodologia: D2R-RAG

Os autores propõem o D2R-RAG (Diagnose-to-Repair RAG), um framework que aumenta um pipeline padrão de RAG com dois módulos primários: Diagnóstico de Falha e Reparação Adaptativa.

1. Diagnóstico de Falha

Este estágio determina a confiabilidade da saída inicial do RAG e identifica o tipo de falha usando apenas sinais observáveis: a consulta ($q$), a evidência recuperada ($E$), a resposta gerada ($r$) e um rótulo previsto ($y$). O sistema triangula a verificação usando três sinais complementares:

• Entailment da Consulta ($e_q$): Verifica se a evidência implica a consulta.
• Entailment da Resposta ($e_r$): Verifica se a evidência implica a resposta.
• Alinhamento de Grafo de Conhecimento (KG) ($\kappa$): Extrai triplas relacionais da resposta e as alinha contra um KG para identificar discrepâncias de entidade/predicado.

Com base nesses sinais, o sistema classifica as falhas em quatro assinaturas interpretáveis:

• Predicado Errado (WP - Wrong-Predicate): Conflito de KG.
• Evidência Insuficiente (IE - Insufficient-Evidence): A evidência recuperada não implica a consulta ($e_q = \text{neutro}$).
• Resposta Errada (WR - Wrong-Response): A resposta não é implicada pela evidência ($e_r \in \{\text{neutro, contradiz}\}$).
• Discrepância entre Rótulo e Evidência (LEM - Label–Evidence Mismatch): Especificamente para tarefas FEVER, onde o rótulo previsto conflita com o entailment entre consulta e contexto.

Para tarefas FEVER, os casos de IE e LEM disparam um rótulo de abstenção "Não Verificado" para priorizar reparações orientadas à recuperação.

2. Reparação Adaptativa via Bandidos Contextuais

Uma vez identificada uma assinatura de falha, o D2R-RAG formula a seleção de reparação como um problema de Bandido Multi-Braços Contextual (CMAB).

• Espaço de Ação ($A$): Um pequeno conjunto de intervenções implantáveis como caixa-preta:
  1. Reescritas ao nível do prompt: Parafrasear ou simplificar a consulta para reduzir a ambiguidade.
  2. Ativação de Reranker: Usar um cross-encoder para melhorar a precisão da evidência.
  3. Intervenções ao nível de recuperação: Ajustar a profundidade ($k$), alternar entre recuperação BM25 e densa, ou atualizar o índice.
• Aprendizado de Política: O sistema utiliza LinUCB para aprender uma política que equilibra a recuperação factual esperada contra o custo computacional. A política assume um modelo de recompensa linear $\hat{r}(a | x) = x^\top \theta_a$ e seleciona ações maximizando um limite superior de confiança.
• Recompensa Consciente de Recursos: A função de recompensa ($r(a)$) pontua as reparações com base na confiabilidade da saída (SemFalha, consistência de KG, entailment de NLI) e conformidade de orçamento. Ela inclui:
  • Portões rígidos (Hard gates): Zerar recompensas se a latência ($L_a$) ou VRAM ($V_a$) exceder os orçamentos por ação ($B_L, B_V$).
  • Termos multiplicativos: Incentivar ações mais baratas entre as viáveis.

Principais Contribuições

1. Framework Agnóstico ao Modelo: O D2R-RAG opera sem fine-tuning do gerador ou acesso aos logits internos, permitindo a implantação com APIs de LLM de código fechado.
2. Assinaturas de Falha Interpretáveis: O sistema distingue entre insuficiência do lado da recuperação e infidelidade do lado da geração usando apenas artefatos observáveis.
3. Reparação Adaptativa e com Restrição de Orçamento: Ao formular a reparação como um problema de bandido contextual com restrições explícitas de latência e VRAM, o sistema aprende a selecionar a ação corretiva de "menor custo" para tipos de falha específicos.
4. Validação Empírica: O framework é avaliado em verificação de fatos (FEVER) e QA multi-salto (HotpotQA), demonstrando melhorias na confiabilidade e nos equilíbrios de precisão-eficiência em comparação com baselines recentes.

Resultados Experimentais

Os autores avaliaram o D2R-RAG contra Naive-RAG, Paráfrase de Consulta, Expansão de Contexto e Thompson Sampling (uma política livre de contexto) usando GPT-4o-mini.

• FEVER (Verificação de Fatos):
  • O D2R-RAG (Thompson Sampling) alcançou 61,5% de Acurácia, superando o Naive-RAG (56,3%) e a Expansão de Contexto (61,8% com maior latência).
  • Manteve um perfil de custo superior (latência de 1,14s, 0,17 MB de VRAM) em comparação com a variante LinUCB (1,47s, 0,36 MB).
• HotpotQA (QA Multi-salto):
  • O D2R-RAG (Thompson Sampling) atingiu 40,4% de Exact Match (EM) com 71,52% de fidelidade.
  • A variante LinUCB igualou 39,8% de EM, mas incorreu em maior latência (3,41s vs 2,37s) e ocasionalmente excedeu os orçamentos de VRAM.
• Adaptação de Política (RQ2): A análise mostrou que a política condiciona corretamente as ações aos tipos de falha. Por exemplo, casos de "Evidência Insuficiente" no FEVER favoreceram a escalada de recuperação (profundidade maior de densa/BM25), enquanto falhas de "Resposta Errada" e "Predicado Errado" no HotpotQA direcionaram para a ativação do reranker.
• Sensibilidade ao Orçamento (RQ3): Estudos de ablação confirmaram que a formulação de recompensa controla efetivamente os equilíbrios qualidade-custo. Configurações de orçamento "Rígidas" reduziram o uso de VRAM enquanto preservavam o desempenho, enquanto configurações "Relaxadas" reduziram a latência e aumentaram a fidelidade.

Significância e Limitações

O artigo argumenta que a recuperação confiável em configurações de RAG de caixa-preta requer uma dupla capacidade: diferenciação leve de diagnóstico de tipos de falha e a seleção da ação corretiva de menor custo sob restrições de recursos. O D2R-RAG demonstra que a confiabilidade melhora mais quando a reparação é direcionada a assinaturas de falha específicas, em vez de usar uma estratégia uniforme.

Os autores notam modestamente duas limitações:

1. Imperfeições nos Sinais de Diagnóstico: O alinhamento de KG e modelos de NLI podem ter dificuldade com evidências ruidosas e raciocínio multi-salto, potencialmente causando erros em cascata para reparações subótimas.
2. Restrições do Espaço de Ação: A política é limitada às ações de reparação expostas; se alternativas mais baratas não estiverem disponíveis, o sistema pode usar excessivamente patches caros ou carecer de capacidade para resolver falhas complexas.

O trabalho conclui que o D2R-RAG oferece uma abordagem prática e consciente de recursos para aumentar a confiabilidade do RAG em ambientes restritos sem exigir acesso aos parâmetros internos do modelo.