How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation

Resumo Técnico: Como os LLMs Citam? Uma Interpretação Mecanística da Atribuição em RAG

Declaração do Problema
Sistemas de Geração Aumentada por Recuperação (RAG) visam mitigar as alucinações de Modelos de Linguagem de Grande Escala (LLMs) fundamentando as saídas em documentos externos e fornecendo citações inline. No entanto, existe uma distinção crítica entre correção da citação (a fonte suporta fatualmente a afirmação) e fidelidade da citação (o modelo realmente utilizou a fonte para gerar a afirmação). Os métodos de avaliação atuais dependem frequentemente do comportamento de entrada-saída, o que não consegue distinguir se um modelo está genuinamente raciocinando sobre um documento recuperado ou se recuperou um documento post-hoc para corresponder a uma memória paramétrica pré-existente. Esta atribuição "cosmética" cria uma falsa sensação de segurança, particularmente em domínios de alto risco como o direito e a medicina, onde os usuários podem carecer da expertise para verificar as fontes de forma independente. O artigo argumenta que compreender os mecanismos internos da geração de citações é necessário para desenvolver frameworks de avaliação confiáveis para a fidelidade.

Metodologia
Os autores empregam a interpretabilidade mecanística para realizar a engenharia reversa do processo de tomada de decisão do Llama-3.1-8B-Instruct em relação às citações inline. O pipeline experimental envolve:

1. Dataset Controlado: Uma adaptação do PopQA focada em citações é utilizada, onde cada pergunta é pareada com um documento de suporte relevante ou um documento distrator irrelevante. Os distratores são estruturalmente combinados para permitir comparações precisas de nível de componente.
2. Patching de Ativação (Activation Patching): A técnica central envolve executar o modelo com um documento relevante (limpo) e um documento irrelevante (corrompido). Ativações intermediárias da execução limpa são injetadas na execução corrompida (e vice-versa) para medir o impacto causal na preferência do modelo em emitir um token de citação ([) versus um token de terminação de sentença (.).
3. Pontuação: Uma pontuação de diferença de logit normalizada é calculada para quantificar a fração de mudança comportamental recuperada ou induzida por patches específicos.
4. Intervenção: Os componentes identificados são manipulados via escalonamento multiplicativo (amplificação ou supressão) para testar se falhas de citação (omitidas ou espúrias) podem ser corrigidas.
5. Generalização: As descobertas são validadas em um cenário mais complexo de múltiplos documentos usando o HotpotQA.

Principais Contribuições

1. Mapeamento do "Ensemble Atribucional": O estudo identifica que as decisões de citação não são governadas por um único módulo especializado, mas por um ensemble distribuído e de múltiplos estágios de cabeças de atenção e camadas MLP específicas.
2. Demonstração de Controlabilidade: Os autores demonstram que intervenções direcionadas neste ensemble podem reparar com sucesso falhas de citação, induzindo citações ausentes e suprimindo as espúrias.
3. Validação de Generalização: Os componentes identificados mostram generalização, melhorando significativamente a precisão da citação no complexo cenário de múltiplos documentos do HotpotQA sem retreinamento.

Principais Resultados

• Mecanismo Distribuído e Frágil: O mecanismo de citação depende de uma estrutura conjuntiva (com porta lógica AND). Embora muitos componentes contribuam, o sistema é "frágil": pequenas corrupções em múltiplos locais reduzem drasticamente o comportamento de citação, enquanto induzir citações via denoising é difícil e requer a acumulação de muitos sinais.
• Heurísticas Rasas Dirigem as Decisões: O mecanismo depende fortemente de correspondência de co-referência de entidades em vez de integração semântica profunda.
  • Camadas Iniciais (0–2): Ocorre uma etapa de "enriquecimento de entidade" onde o modelo identifica a entidade consultada no documento e marca seu token correspondente na pergunta. Isso cria uma flag interna para identidade transcontextual.
  • Camadas Intermediárias (10–20): Uma banda densa de componentes atua como um hub de processamento, realizando verificações conjuntas.
  • Camadas Finais: A agregação final ocorre no token da resposta, onde cabeças e MLPs específicos aumentam o logit do marcador de citação sobre os tokens de terminação.
• Independência da Geração da Resposta: Crucialmente, a representação da própria resposta no momento da geração não é o principal driver da decisão de citação. Isso sugere que a citação é gerada por um processo paralelo baseado em heurísticas (verificando se o documento contém a entidade) em vez de ser um resultado direto do processo de construção da resposta.
• Sucesso da Intervenção:
  • Amplificar os componentes identificados no PopQA recuperou >90% das citações omitidas com impacto negligível na correção da resposta.
  • Suprimir componentes necessários removeu 69% das citações espúrias.
  • No HotpotQA, a amplificação aumentou a taxa de "citação estritamente correta" em mais de 20 vezes (de 0.001 para 0.024), embora o desempenho absoluto tenha permanecido baixo, indicando a complexidade do raciocínio multi-hop.

Significância e Alegações
O artigo alega que os sistemas RAG atuais podem oferecer uma ilusão de verificabilidade. Como as decisões de citação são impulsionadas por heurísticas rasas (como correspondência de entidades) em vez de um vínculo causal genuíno com o conteúdo do documento durante a geração da resposta, um modelo pode produzir uma resposta factualmente correta com uma citação "fiel", mesmo que a resposta tenha sido recuperada da memória paramétrica.

Os autores argumentam que:

• Auditar saídas é insuficiente: A atribuição confiável requer a auditoria do caminho computacional.
• A interpretabilidade mecanística é essencial: Para distinguir a atribuição fiel da não fiel, deve-se olhar dentro do modelo, pois o comportamento de entrada-saída é ambíguo.
• Risco de Desinformação: Citações não fiéis podem aprofundar as disparidades de informação ao conferir credibilidade a informações incorretas, particularmente para usuários que não podem verificar as fontes de forma independente.

O trabalho é apresentado como um passo fundamental em direção à construção de frameworks de avaliação que possam distinguir a atribuição fiel, em vez de uma solução completa. Os autores reconhecem limitações, incluindo o foco em um único modelo de 8B, a falta de mapeamento de caminho direcionado (apenas localização de componentes) e o potencial de uso adversário dessas percepções para gerar citações não fiéis.