Beyond Black-Box Interventions: Latent Probing for Faithful Retrieval-Augmented Generation

1. O Problema: Falta de Fidelidade Contextual no RAG

Os sistemas de Geração Aumentada por Recuperação (RAG) são fundamentais para equipar Grandes Modelos de Linguagem (LLMs) com conhecimento externo e atualizado. No entanto, eles enfrentam um desafio crítico: a fidelidade contextual.

• O Conflito: Quando o contexto recuperado contém ruído (informações irrelevantes) ou entra em conflito com o conhecimento paramétrico (memória interna) do modelo, o LLM tende a ignorar o contexto e recorrer ao seu conhecimento pré-treinado, gerando alucinações ou respostas inconsistentes com a evidência fornecida.
• Limitações das Abordagens Atuais: Métodos existentes tentam corrigir isso através de intervenções externas ("caixa-preta"), como:
  1. Prompts especializados: Sensíveis ao formato e não generalizam bem.
  2. Calibração de Decodificação: Ajustam os logits, mas são frágeis diante de ruído.
  3. Otimização de Preferência (DPO): Exigem grandes volumes de dados de preferência e funções de recompensa complexas.
• A Lacuna: Todas essas abordagens tratam o LLM como uma caixa-preta, sem entender os mecanismos internos de como o conflito de conhecimento é representado e processado pelo modelo.

2. Metodologia: ProbeRAG

Os autores propõem o ProbeRAG, um framework que abandona as intervenções externas para focar na orientação interna do modelo. A metodologia baseia-se em duas descobertas fundamentais da análise do espaço latente:

1. Separabilidade Linear: Estados de conhecimento alinhado e conflitante são linearmente separáveis no espaço latente do modelo.
2. Entropia e Ruído: O ruído contextual aumenta sistematicamente a entropia dessas representações, obscurecendo a detecção de conflitos.

O framework opera em três etapas principais:

A. Poda de Conhecimento Granular (Fine-Grained Knowledge Pruning)

Para mitigar o ruído antes da análise latente:

• O contexto recuperado é decomposto em afirmações atômicas independentes (frases completas) usando um LLM externo (ex: GPT-4o).
• Calcula-se a similaridade semântica entre essas afirmações e a consulta (query).
• Apenas os top-k itens mais relevantes são mantidos, filtrando informações irrelevantes que poderiam confundir a detecção de conflitos.

B. Sondagem de Conflito Latente (Latent Conflict Probing)

Esta é a etapa central de diagnóstico:

• Um probe (um classificador leve, como uma MLP) é treinado no espaço latente do modelo congelado.
• O probe recebe os estados ocultos (hidden states) das afirmações de conhecimento e prevê se elas estão em conflito ou alinhadas com o conhecimento paramétrico do modelo.
• O probe é treinado no conjunto de dados MQuAKE (edição de conhecimento), que fornece pares naturais de conhecimento alinhado e conflitante.
• Anotação: As afirmações identificadas como conflitantes são marcadas com tokens especiais (<conflict> e </conflict>) no contexto de entrada.

C. Atenção Consciente de Conflito (Conflict-Aware Attention)

Para garantir que o modelo priorize o contexto durante a geração:

• O modelo é ajustado (fine-tuned) com uma função de perda auxiliar que guia a atenção.
• Define-se uma Perda de Orientação de Atenção ($L_{Attn}$) que penaliza o modelo se ele não atribuir peso suficiente aos tokens marcados como conflito.
• A função de perda total é uma soma ponderada: $L_{SFT} = (1 - \lambda)L_{CE} + \lambda L_{Attn}$, onde $\lambda$ equilibra a geração padrão e a atenção ao conflito.

3. Contribuições Chave

1. Análise do Espaço Latente: Demonstração empírica de que conflitos de conhecimento são representados como clusters linearmente separáveis nos estados ocultos do modelo e que o ruído aumenta a entropia dessas representações.
2. Framework ProbeRAG: Uma nova arquitetura que integra poda de conhecimento, detecção de conflito via sondagem latente e ajuste de atenção, movendo-se de correções externas para orientação interna.
3. Generalização Robusta: O método não depende de grandes conjuntos de dados de preferência (como DPO) e funciona eficazmente em diferentes arquiteturas de modelos e tipos de conflito (factual e lógico).

4. Resultados Experimentais

Os autores avaliaram o ProbeRAG em múltiplos benchmarks (ConFiQA, FaithEval, SQuAD) e modelos (LLaMA-3.1-8B, Qwen3-8B, Mistral-7B).

• Desempenho Superior: O ProbeRAG superou consistentemente as melhores linhas de base (baselines) em todas as categorias (baseadas em prompt, decodificação e treinamento).
  • No benchmark FaithEval com LLaMA-3.1-8B, alcançou 74.4% F1 e 64.4% EM, superando o baseline mais forte (CANOE) em aproximadamente +3% F1 e +8% EM.
  • No subconjunto ConFiQA (MC - Multi-Conflicts), alcançou 89.2% F1 e 87.7% EM, uma melhoria significativa sobre métodos existentes.
• Estudos de Ablação:
  • A remoção da Sondagem de Conflito Latente causou a queda mais drástica de desempenho, confirmando que a detecção precisa do conflito é o componente mais crítico.
  • A Poda de Conhecimento também é essencial; sem ela, o ruído degrada a capacidade do modelo de resolver conflitos finos.
• Análise de Atenção: Visualizações de mapas de calor mostraram que, após o treinamento, o modelo atribui significativamente mais peso de atenção aos tokens marcados como conflito, validando a eficácia da perda de orientação.

5. Significado e Conclusão

O trabalho representa uma mudança de paradigma na melhoria de sistemas RAG:

• De "Caixa-Preta" para "Caixa-Transparente": Em vez de apenas ajustar a saída ou o prompt, o ProbeRAG intervém no mecanismo de raciocínio interno do modelo, ensinando-o a reconhecer e priorizar evidências externas quando elas contradizem sua memória interna.
• Eficiência e Generalização: Ao usar sondagem latente e ajuste de atenção, o método evita a necessidade de dados de preferência massivos e caros, oferecendo uma solução mais escalável e robusta para a fidelidade contextual.
• Futuro: Embora limitado atualmente a texto, o trabalho abre caminho para futuras pesquisas em sistemas multimodais e na compreensão profunda de como LLMs integram e resolvem conflitos de conhecimento.

Em resumo, o ProbeRAG demonstra que a fidelidade contextual pode ser drasticamente melhorada ao alinhar o comportamento interno do modelo com a evidência recuperada, utilizando a estrutura geométrica do espaço latente para detectar e resolver conflitos.