Resumo Técnico: LUMINA – Detectando Alucinações em Sistemas RAG com Sinais de Contexto–Conhecimento

1. Formulação do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) visam mitigar as alucinações de Grandes Modelos de Linguagem (LLMs) fundamentando as respostas em documentos externos recuperados. No entanto, mesmo quando fornecidos com contexto correto e suficiente, os LLMs baseados em RAG frequentemente alucinam. O artigo postula que essas falhas decorrem frequentemente de um desequilíbrio entre a dependência do modelo em relação ao contexto externo versus seu conhecimento paramétrico interno.

Os métodos existentes para detectar essas alucinações geralmente dependem de heurísticas de interpretabilidade mecanística, como a seleção de cabeças de atenção ou camadas específicas do transformer para quantificar a utilização do sinal. Essas abordagens sofrem de duas limitações principais:

1. Falta de Generalização: Elas exigem um ajuste extensivo de hiperparâmetros específico para cada conjunto de dados (ex: escolher camadas específicas) e frequentemente falham em se transferir para diferentes modelos.
2. Falta de Validação: Embora correlacionem com a alucinação, eles não validam estatisticamente se seus escores realmente refletem a utilização pretendida do contexto externo ou do conhecimento interno.

O artigo define uma alucinação em um sistema RAG como uma resposta onde o sinal de utilização do conhecimento interno ($I$) supera desproporcionalmente o sinal de utilização do contexto externo ($E$), mesmo quando os documentos recuperados contêm a informação correta.

2. Metodologia: O Framework LUMINA

Os autores propõem o LUMINA, um framework agnóstico a camadas que quantifica alucinações através de dois sinais distintos: Utilização de Contexto Externo e Utilização de Conhecimento Interno. O escore de alucinação final é uma combinação ponderada desses dois sinais.

2.1 Quantificando a Utilização de Contexto Externo

Para medir o quanto um LLM depende de documentos recuperados, o LUMINA avalia a sensibilidade do modelo a mudanças semânticas na entrada.

• Mecanismo: O framework compara a distribuição de probabilidade do próximo token condicionada ao documento recuperado ($d$) contra a distribuição condicionada a um documento aleatório e irrelevante ($d'$).
• Métrica: Ele utiliza a Discrepância de Média Máxima (MMD) para medir a distância entre essas duas distribuições em um espaço de embedding.
• Lógica: Uma discrepância maior indica que as previsões do modelo são altamente sensíveis ao conteúdo específico do documento recuperado, implicando alta utilização de contexto externo. Os autores utilizam um kernel de cosseno para o cálculo da MMD, observando que o método é robusto à escolha do kernel.

2.2 Quantificando a Utilização de Conhecimento Interno

Para medir a dependência do conhecimento interno, o framework rastreia a evolução dos estados internos do modelo através das camadas do transformer.

• Mecanismo: O método utiliza técnicas de Logit Lens para projetar os estados ocultos de cada camada no espaço de probabilidade de tokens. Ele observa a "saturação" das previsões — especificamente, como a probabilidade do token mais provável evolui das camadas iniciais até a saída final.
• Métrica: Ele define uma Taxa de Processamento de Informação ($R$). Esta métrica calcula a extensão em que as previsões das camadas intermediárias diferem da saída final, ponderada pela profundidade da camada e normalizada pela entropia da previsão.
• Lógica: Se as previsões internas do modelo não convergem para a saída final até as últimas camadas, isso sugere que um processamento de informação significativo (e, portanto, a dependência do conhecimento interno) ocorreu ao longo do processo por camadas. Uma taxa de processamento de informação mais alta implica uma utilização mais forte do conhecimento interno.

2.3 Validação Estatística

Ao contrário de trabalhos anteriores, o LUMINA inclui um framework para validar estatisticamente se suas medições se alinham com as definições teóricas de utilização. Os autores formulam quatro hipóteses verificáveis (ex: "Gerações com documentos recuperados devem mostrar uma utilização de contexto externo maior do que aquelas sem documentos") e utilizam testes de hipótese estatística (testes t) em grandes conjuntos de tokens para rejeitar as hipóteses nulas, confirmando a solidez de suas métricas.

3. Principais Contribuições

1. Framework Inovador: Introdução do LUMINA, um método para quantificar a utilização de contexto externo e conhecimento interno sem exigir a seleção de camadas ou cabeças de atenção específicas.
2. Validação Estatística: Um framework para validar rigorosamente que os escores propostos correspondem aos comportamentos reais de utilização, abordando uma lacuna na literatura anterior.
3. Desempenho de Estado da Arte: Experimentos extensivos demonstrando que o LUMINA supera métodos de detecção de alucinação baseados em escore e baseados em aprendizado.

4. Resultados Experimentais

Os autores avaliaram o LUMINA em dois benchmarks (RAGTruth e HalluRAG) em quatro LLMs de código aberto ajustados para instrução (Llama2-7B/13B, Llama3-8B, Mistral-7B).

• Desempenho: O LUMINA alcançou consistentemente altos escores de AUROC e AUPRC. No dataset HalluRAG, ele alcançou escores de AUROC superiores a 0,9 entre os modelos, superando o estado da arte anterior (ReDeEP) em até +13% de AUROC.
• Comparação: Superou significativamente os basais baseados em incerteza (ex: Perplexidade, LN-Entropy), métodos baseados em consistência (ex: SelfCKGPT) e métodos de verbalização (ex: P(True)).
• Interpretabilidade: A análise confirmou a conjectura do artigo: as alucinações estão fortemente associadas a baixos escores de contexto externo e escores de conhecimento interno desproporcionalmente altos.
• Robustez:
  • Ruído: O método permaneceu robusto mesmo quando ruído (sentenças aleatórias) foi injetado nos documentos recuperados ou aleatórios, com apenas uma pequena degradação de desempenho.
  • Agnosticismo de Modelo: O LUMINA demonstrou eficácia em um cenário de "proxy", onde um LLM diferente foi usado para detectar alucinações nas respostas geradas por outro modelo. Isso sugere que o método não exige estritamente que o detector e o gerador sejam o mesmo modelo.
• Comparação Supervisionada: Em um cenário não supervisionado, o LUMINA alcançou um desempenho competitivo com, e às vezes superior aos, basais supervisionados (como o SAPLMA) que requerem treinamento em dados rotulados.

5. Significância e Alegações

O artigo afirma que o LUMINA oferece uma solução principiada, generalizável e prática para a detecção de alucinações em sistemas RAG. Sua significância reside em:

• Redução do Overhead de Ajuste: Ao evitar a necessidade de selecionar cabeças de atenção ou camadas específicas, ele remove uma barreira importante para a generalização entre modelos e datasets.
• Fundamentação Teórica: A validação estatística fornece um elo mais forte entre os escores de detecção e os mecanismos subjacentes do comportamento do modelo do que as abordagens heurísticas anteriores.
• Aplicabilidade no Mundo Real: A robustez ao ruído de recuperação e a capacidade de funcionar em cenários cross-model (proxy) tornam-no adequado para implementações do mundo real, onde a qualidade da recuperação varia e o modelo gerador pode não ser conhecido ou acessível para ajuste fino.

Os autores concluem que, ao equilibrar efetivamente os sinais de evidência externa e conhecimento interno, o LUMINA ajuda a aumentar a confiabilidade dos sistemas RAG e reduz o risco de desinformação, ao mesmo tempo em que fornece uma nova lente para pesquisadores entenderem como os LLMs utilizam o conhecimento durante a geração.