Probing for Knowledge Attribution in Large Language Models

Título: Probing for Knowledge Attribution in Large Language Models

Autores: Ivo Brink, Alexander Boer, Dennis Ulmer
Afiliação: KPMG NL / University of Amsterdam

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente geram respostas fluentes, mas infundadas, conhecidas como "alucinações". Essas falhas são tradicionalmente categorizadas em violações de fidelidade (uso incorreto do contexto do usuário) e violações de factualidade (erros provenientes do conhecimento interno do modelo).

O problema central abordado neste trabalho é a falta de visibilidade sobre a proveniência da resposta. Técnicas existentes de detecção de alucinações (como LLMs-as-a-judge ou medidas de incerteza) falham em distinguir se uma resposta foi gerada com base no contexto fornecido pelo usuário (conhecimento contextual) ou nos pesos internos do modelo (conhecimento paramétrico).

• Risco: Um modelo pode estar confiante, mas errado, ou pode ignorar evidências recuperadas (em sistemas RAG) para recorrer a memórias internas conflitantes.
• Definição de Contribuição: O artigo foca na atribuição contributiva, que visa identificar a fonte de conhecimento dominante por trás de cada saída do modelo.

2. Metodologia

2.1. Pipeline de Dados Auto-supervisionado: ATTRIWIKI

Para resolver a falta de conjuntos de dados controlados que isolam o uso de conhecimento, os autores introduzem o ATTRIWIKI. Este é um pipeline de geração de dados auto-supervisionado que cria exemplos pareados onde a fonte de conhecimento é verificável e única.

• Fonte de Dados: Passagens da Wikipedia (20k páginas).
• Mecanismo de Isolamento:
  1. Seleção de Entidades: Identificação de entidades nomeadas usando NER.
  2. Teste de Conhecimento: O modelo alvo é testado para ver se consegue recuperar a entidade sem o contexto da passagem.
     • Se o modelo já conhece a entidade (memória paramétrica), a passagem é modificada para remover a entidade, forçando o modelo a depender da memória.
     • Se o modelo não conhece a entidade (requer contexto), a entidade é mantida na passagem, mas outra é removida para evitar viés lexical, forçando o modelo a depender do contexto.
  3. Geração: O modelo gera a conclusão baseada apenas na fonte disponível (contexto ou memória).
• Extração de Representações: Durante a geração, são extraídos os estados ocultos (hidden states) em dois pontos-chave:
  • FTG (First Token of Generation): O primeiro token gerado.
  • LTE (Last Token of Entity): O último token da entidade mencionada.

2.2. Classificadores de Sonda (Probing)

Os autores treinam classificadores lineares simples (probes) sobre as representações internas do modelo para prever a fonte de conhecimento (Contextual vs. Paramétrico).

• Arquiteturas Testadas:
  1. Final-LR: Regressão logística na camada final.
  2. Layer-LR: Regressão logística ponderada por camadas (agrega informações de múltiplas camadas do transformador).
  3. Layer-MLP: Uma pequena MLP (Multi-Layer Perceptron) sobre a representação agregada.
• Modelos Alvo: Llama-3.1-8B, Mistral-7B e Qwen2.5-7B.

3. Principais Contribuições

1. Dataset ATTRIWIKI: Criação de um dataset escalável e auto-supervisionado que isola o uso de conhecimento paramétrico versus contextual sem necessidade de anotação manual, permitindo análise de atribuição em larga escala.
2. Descodificação Linear: Demonstração de que a informação sobre a fonte de conhecimento (proveniência) é linearmente decodificável a partir dos estados ocultos dos LLMs, especialmente nas camadas médias e superiores.
3. Generalização Robusta: Os classificadores treinados no ATTRIWIKI transferem-se com alta precisão para benchmarks externos (SQuAD e WebQuestions) sem necessidade de fine-tuning.
4. Correlação com Erros: Evidência empírica de que "mismatches" de atribuição (quando o modelo usa a fonte errada) estão diretamente ligados a taxas de erro significativamente mais altas.

4. Resultados

• Desempenho de Atribuição:
  • Os classificadores atingiram até 0.96 Macro-F1 no conjunto de teste ATTRIWIKI (usando o token LTE e o modelo Layer-LR).
  • O uso de agregação de camadas (Layer-LR) melhorou o desempenho em 7-11 pontos percentuais em comparação com o uso apenas da camada final.
  • O token final da entidade (LTE) forneceu sinais mais fortes que o primeiro token gerado (FTG).
• Generalização Out-of-Domain:
  • Ao testar em SQuAD (contextual) e WebQuestions (paramétrico), os modelos atingiram acurácias entre 0.94 e 0.99, demonstrando que o sinal de atribuição é uma propriedade geral dos modelos, não específica do dataset de treino.
• Análise de Camadas:
  • A análise de PCA e os pesos aprendidos mostram que a separação entre sinais contextuais e paramétricos torna-se clara a partir das camadas médias e superiores do transformador.
• Impacto no Erro:
  • Mismatches de atribuição aumentaram as taxas de erro em até 70% em contextos enganosos.
  • No entanto, a atribuição correta não garante a factualidade correta; o modelo pode usar a fonte certa (ex: contexto) e ainda assim gerar uma resposta incorreta.

5. Significado e Conclusão

O trabalho estabelece que a atribuição contributiva é um sinal diagnóstico viável e acessível dentro dos estados internos dos LLMs.

• Implicações Práticas: Em sistemas de Geração Aumentada por Recuperação (RAG), sondas de atribuição podem ser usadas em tempo real para detectar quando um modelo ignora evidências recuperadas ou recorre indevidamente a memórias internas conflitantes, permitindo verificações seletivas ou re-recuperação.
• Limitações: O dataset é baseado na Wikipedia, o que pode limitar a generalização para domínios jurídicos ou diálogos ruidosos. Além disso, a classificação atual é baseada em tokens e pode não capturar nuances em sequências longas sem entidades claras.
• Futuro: A pesquisa sugere que sinais de atribuição podem ser alinhados entre diferentes arquiteturas de modelos, permitindo classificadores de atribuição universais.

Em resumo, o artigo oferece uma ferramenta fundamental para entender "de onde" o modelo está tirando suas informações, complementando as abordagens atuais que focam apenas em "se" a informação está correta.