How Retrieved Context Shapes Internal Representations in RAG

Título: Como o Contexto Recuperado Molda as Representações Internas em RAG

Autores: Samuel Yeh e Sharon Li (Universidade de Wisconsin-Madison)

1. O Problema

A Geração Aumentada por Recuperação (RAG) é uma abordagem amplamente adotada para melhorar Modelos de Linguagem de Grande Escala (LLMs) ao condicionar a geração em documentos externos recuperados. Embora o RAG tenha demonstrado melhorar a precisão factual e a cobertura de conhecimento, seu funcionamento em cenários realistas é complexo:

• Ruído e Relevância Variável: Em configurações reais, o conjunto de documentos recuperados frequentemente contém uma mistura de documentos relevantes, documentos "distrativos" (semanticamente similares, mas inúteis ou enganosos) e ruído aleatório.
• Limitação das Análises Atuais: A maioria das pesquisas anteriores focou no comportamento de saída (acurácia, alucinação), sem investigar como diferentes tipos de contexto recuperado moldam as representações internas (estados ocultos) do modelo.
• A Lacuna: Não se sabe claramente se mudanças na saída são devidas à integração efetiva de evidências, supressão de conhecimento paramétrico ou uma resposta deliberada de recusa (abstenção). É necessário entender os mecanismos internos que mediam a interação entre a informação recuperada e o conhecimento interno do modelo.

2. Metodologia

Os autores propõem uma estrutura de análise rigorosa baseada em representações latentes para estudar o RAG sob condições controladas.

• Configuração Experimental:

  • Datasets: Utilizaram quatro conjuntos de dados de perguntas e respostas (Trivia QA, NQ, Pop QA, Strategy QA).
  • Modelos: Testaram três LLMs de tamanhos variados (Gemma3-27B, Llama4-17B, Qwen3-Next-80B).
  • Recuperação: Usaram o banco de dados MassiveDS e o algoritmo Contriever para recuperar os 20 melhores documentos por consulta.
  • Categorização de Documentos: Os documentos recuperados foram classificados em três tipos:
    1. Relevante: Contém a resposta ou informações que a suportam diretamente.
    2. Distrativo: Alta similaridade semântica com a consulta, mas não contém informações úteis (pode enganar).
    3. Aleatório: Baixa similaridade semântica e sem utilidade.
  • Dificuldade da Consulta: As consultas foram divididas em "fáceis" (o modelo responde corretamente sem recuperação) e "difíceis" (o modelo falha sem recuperação).

• Análise de Representações:

  • Focaram nos estados ocultos do último token do prompt através de todas as camadas do Transformer.
  • Realizaram análises em cenários de documento único (isolando o efeito de cada tipo) e múltiplos documentos (cenário realista com mistura de tipos).
  • Utilizaram Análise de Componentes Principais (PCA) para visualizar a distribuição das representações e testes de sonda linear (linear probe) para quantificar a separabilidade entre os tipos de contexto.

3. Contribuições Principais

1. Fornecimento de uma Estrutura de Análise: Um framework controlado para estudar sistematicamente como o contexto recuperado é processado internamente pelos LLMs.
2. Descoberta de Padrões de Representação: Identificação de padrões previamente pouco explorados sobre como a relevância do contexto e o processamento camada por camada influenciam os estados internos.
3. Conexão Mecanística: Ligação direta entre as mudanças nas representações internas e comportamentos observáveis (como alucinação, precisão e abstenção), oferecendo explicações mecanicistas para fenômenos do RAG.

4. Resultados Chave (Observações)

Observação 1: Documentos Aleatórios Causam Grande Desvio de Representação

• Contrariando a intuição, documentos aleatórios (sem relação semântica) causam um grande deslocamento (drift) nas representações internas em relação à linha de base (apenas consulta).
• Correlação com Abstenção: Esse grande desvio está fortemente ligado ao comportamento de abstenção (o modelo se recusa a responder). Modelos instruídos (instruction-tuned) reconhecem internamente a falta de informação útil e mudam para um modo de recusa.
• Implicação Negativa: O fine-tuning de instrução pode suprimir a confiança no conhecimento paramétrico mesmo quando o modelo saberia a resposta, reduzindo a usabilidade do RAG em contextos ruidosos.

Observação 2: Documentos Relevantes Preservam as Representações Internas

• Documentos relevantes causam mudanças relativamente pequenas nas representações em comparação com o estado sem documentos.
• Função de Confirmação: Para consultas fáceis, o documento relevante atua principalmente como um sinal de confirmação, reforçando o conhecimento paramétrico existente e aumentando a confiança (log-likelihood), em vez de introduzir nova informação decisiva.
• Falha em Consultas Difíceis: Para consultas difíceis, mesmo documentos relevantes muitas vezes não conseguem alterar significativamente as representações internas quando o conhecimento paramétrico é insuficiente, limitando a eficácia do RAG exatamente quando ele é mais necessário.

Observação 3: Um Único Documento Relevante Estabiliza o Contexto Múltiplo

• Em cenários com múltiplos documentos, a presença de apenas um documento relevante é suficiente para ancorar as representações internas, mantendo-as próximas ao estado de "apenas relevante".
• O modelo consegue suprimir o ruído de documentos distrativos ou aleatórios adicionais, desde que haja uma base confiável. Isso sugere que a recuperação ampla (para aumentar o recall) pode ser benéfica, desde que haja probabilidade de encontrar pelo menos um documento relevante.

Observação 4 e 5: Processamento Camada por Camada

• Camadas Iniciais: O modelo distingue rapidamente documentos aleatórios dos demais (desvio ocorre cedo). No entanto, documentos relevantes e distrativos permanecem entrelaçados nas camadas iniciais.
• Camadas Intermediárias e Finais: A distinção entre relevante e distrativo ocorre apenas em camadas mais profundas e permanece imperfeita.
• Dominância do Conhecimento Paramétrico: Nas camadas finais, as representações de documentos relevantes convergem de volta para as representações de "sem documento". Isso indica que as camadas finais tendem a priorizar o conhecimento interno do modelo, reduzindo a influência da evidência recuperada. Isso explica por que o RAG falha em consultas difíceis: o modelo "esquece" a evidência externa ao final do processamento.

5. Significado e Implicações Práticas

• Para o Design de Sistemas RAG:

  • Filtragem Agressiva vs. Amplitude: Como um único documento relevante estabiliza o sistema, pode ser mais eficiente aumentar a amplitude da recuperação (trazer mais documentos) do que filtrar agressivamente, desde que a precisão de recuperação (recall) seja garantida.
  • Intervenções para Consultas Difíceis: O fato de as camadas finais priorizarem o conhecimento paramétrico sugere a necessidade de novas arquiteturas ou estratégias de decodificação que amplifiquem o sinal de recuperação nas camadas finais, especialmente para consultas onde o conhecimento interno é insuficiente.
  • Detecção de Ruído: A capacidade do modelo de detectar contextos irrelevantes através de grandes desvios de representação pode ser usada para criar mecanismos de segurança que previnam alucinações.

• Compreensão Teórica:

  • O trabalho oferece uma explicação mecanicista para o "viés de confirmação" em RAG (o modelo usa o documento apenas para confirmar o que já sabe) e para o efeito distrativo (o modelo confunde ruído com informação ou recusa-se a responder).
  • Demonstra que a abstenção em LLMs instruídos é um mecanismo interno de reconhecimento de falta de evidência, mas que pode ser excessivo.

Em resumo, este estudo avança a compreensão do RAG além das métricas de saída, revelando que a eficácia do RAG é limitada pela tendência das camadas finais dos LLMs de reafirmar o conhecimento paramétrico, e que a presença de ruído pode desencadear mecanismos de recusa que, embora úteis para segurança, podem prejudicar a utilidade do sistema em cenários onde o modelo já possui a resposta.