Resumo Técnico: Quantificando o Alinhamento entre Recuperador e Gerador em RAG com Explicações Locais

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) combinam recuperadores densos (RET) e Modelos de Linguagem de Grande Escala (GEN) para fundamentar saídas em documentos externos. Embora essa arquitetura reduza a opacidade dos LLMs ao fornecer material de origem, a interação entre o recuperador e o gerador permanece opaca. Os sistemas RAG atuais frequentemente exibem uma falta de transparência sobre como a informação flui entre os componentes. Especificamente, os métodos de explicabilidade existentes tipicamente analisam RET ou GEN isoladamente, falhando em quantificar o alinhamento entre eles. Isso cria desafios para a implantação em domínios de alto risco, onde entender se um gerador realmente utiliza os documentos recuperados mais relevantes é crítico. Os autores identificam um "desalinhamento" significativo onde os geradores frequentemente ignoram documentos classificados no topo (Recuperação Desperdiçada - Wasted Retrieval) ou dependem de documentos classificados como menos relevantes (Distração por Ruído - Noise Distraction).

Metodologia: O Framework RAG-E

Os autores propõem o RAG-E, um framework de explicabilidade end-to-end projetado para auditar a interação entre os componentes RET e GEN. O framework emprega métodos de atribuição distintos, adaptados às características específicas de cada componente:

1. Análise do Recuperador (Gradientes Integrados):

   • O framework aplica Gradientes Integrados (IG) a recuperadores densos.
   • Uma escolha de design fundamental envolve o embedding de baseline. Através de análise empírica, os autores descobriram que substituir embeddings de tokens não especiais pelo token [unk] do modelo supera significativamente os baselines padrão como [pad] ou [mask] em termos de fidelidade (medida pela Área Dentro das Curvas de Perturbação, AIPC).
   • O IG é escolhido para RETs porque eles são totalmente diferenciáveis, permitindo explicações intrínsecas baseadas em gradiente que não escalam mal com a contagem de tokens de entrada.

2. Análise do Gerador (Valores de Shapley Estabilizados):

   • Para geradores autorregressivos, o framework utiliza Valores de Shapley (SV) para atribuir tokens gerados a documentos de contexto específicos.
   • Para abordar a intratabilidade computacional dos SVs exatos ($O(2^{|D|})$) e a instabilidade das aproximações padrão do Kernel-SHAP (KSHAP), os autores introduzem o PMCSHAP (Paired Monte Carlo Stabilized SHAP).
   • O PMCSHAP combina amostragem de Monte Carlo com amostragem complementar (pareamento de conjuntos de entrada-saída) para alcançar aproximações de Valores de Shapley mais precisas e reproduzíveis do que o KSHAP nativo, mantendo custos computacionais gerenciáveis.
   • O framework emprega Geração de Tokens com Restrição para garantir que, ao avaliar subconjuntos de documentos perturbados ($D'$), a saída do gerador permaneça comparável à saída original, restringindo a sequência de geração com base no prompt original e nos tokens anteriores.

3. Métrica de Alinhamento: WARG:

   • Para responder à questão de pesquisa sobre como quantificar o acordo entre RET e GEN, os autores propõem o Weighted Attribution-Relevance Gap (WARG).
   • O WARG mede a diferença normalizada nas pontuações de importância média de RET entre documentos que o gerador considera "relevantes" (alta atribuição) e aqueles que considera "irrelevantes".
   • Ele utiliza um limiar ($\tau = 1.5$) para identificar documentos de relevância para a geração, normalizando atribuições e atribuindo pesos binários.
   • A métrica é limitada ao intervalo $[-1, 1]$, onde valores mais altos indicam melhor alinhamento (o gerador foca em documentos que o recuperador classificou altamente).

Principais Resultados

Experimentos foram conduzidos em três datasets de domínio aberto (PopQA, QAMPARI, TREC CAST) usando dois recuperadores densos (DRAGON, Arctic Embed 2) e três modelos geradores (Llama 3.1, Qwen 2.5, Gemma 3).

• Desalinhamento Sistemático: O estudo revela um desalinhamento substancial entre RET e GEN. Dependendo do modelo e da configuração, os geradores frequentemente ignoram os documentos classificados no topo. Para os top-3 documentos, o desalinhamento (Recuperção Desperdiçada ou Distração por Ruído) afeta mais de 70% das consultas em algumas configurações.
• Comportamento de Recuperação: A análise quantitativa mostra que mesmo os recuperadores densos dependem fortemente de correspondência de palavras-chave, particularmente substantivos e nomes próprios, em vez de uma compreensão semântica profunda.
• Comportamento do Gerador: Os geradores exibem um padrão de atribuição quase binário: documentos relevantes recebem pontuações consistentemente altas, enquanto documentos irrelevantes agrupam-se próximos de zero.
• Superioridade da Métrica: O WARG supera as correlações padrão de Pearson e Spearman em capturar o alinhamento RET-GEN. Diferente das correlações, o WARG é robusto à estrutura quase binária da importância do gerador e ao ruído nas distribuições de cauda.
• Correlação de Desempenho: Pontuações WARG elevadas correlacionam-se com o desempenho da tarefa downstream. Respostas geradas contendo rótulos de verdade fundamental (ground-truth) são mais de duas vezes mais propensas a atingir um WARG alto ($>0.5$) em comparação com aquelas que não possuem.

Significância e Alegações

O artigo afirma que o RAG-E e o WARG fornecem um framework prático para auditar sistemas RAG, abordando uma lacuna onde trabalhos anteriores focavam em componentes isolados. A significância deste trabalho reside em:

1. Transparência: Tornar a interação entre recuperação e geração explícita e mensurável, o que é crucial para domínios de alto risco como saúde e direito.
2. Capacidade Diagnóstica: Identificar modos de falha específicos (Recuperação Desperdiçada, Distração por Ruído) que métricas padrão podem perder.
3. Potencial de Otimização: Os autores sugerem que o WARG pode servir como um indicador do desempenho de RAG e potencialmente guiar a otimização do sistema, como reduzir custos computacionais ao recuperar menos documentos se o alinhamento for conhecido por ser ruim.
4. Contribuição Metodológica: A introdução do PMCSHAP para estabilizar aproximações de Valores de Shapley em modelos autorregressivos e a validação do token [unk] como um baseline superior para Gradientes Integrados em tarefas de recuperação.

Os autores mantêm modéstia em relação às suas alegações, observando que, embora um WARG alto correlacione-se com respostas corretas, não é uma garantia matemática de correção factual. Eles também reconhecem limitações, incluindo o custo computacional do PMCSHAP para pipelines muito grandes e o foco atual em arquiteturas RAG padrão sem rerankers ou sistemas de recuperação híbrida.