Resumo Técnico: TOHA – Detecção de Alucinação Baseada em Topologia em Grafos de Atenção

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs), particularmente quando implantados em cenários de Geração Aumentada por Recuperação (RAG), permanecem propensos a "alucinações" — a geração de conteúdo factual ou contextualmente incorreto. Embora existam métodos de detecção existentes, eles enfrentam restrições práticas significativas: abordagens supervisionadas exigem conjuntos de dados anotados escassos; métodos baseados em consistência (por exemplo, gerar múltiplas amostras) incorrem em altos custos computacionais; e métricas baseadas em incerteza (por exemplo, perplexidade) frequentemente falham em capturar a verdadeira incerteza do modelo ou nuances do estado interno. Há uma necessidade de um mecanismo de detecção que seja eficiente em dados, computacionalmente leve e capaz de aproveitar as propriedades estruturais internas dos LLMs sem exigir retreinamento extensivo.

Metodologia

O artigo introduz o TOHA (um detector de Alucinação baseado em TOpologia), um framework livre de treinamento projetado para detectar alucinações analisando a estrutura topológica dos mapas de atenção dentro dos LLMs.

1. Grafos de Atenção como Objetos Topológicos

O método reformula o mecanismo de autoatenção de LLMs apenas decodificadores como um grafo ponderado completo $G$. Neste grafo:

• Nós representam tokens, divididos em tokens de prompt ($P$) e tokens de resposta ($R$).
• Arestas são ponderadas por $1 - w_{ij}$, onde $w_{ij}$ é a pontuação de atenção do token $i$ para o token $j$, representando pseudo-distâncias.
• O subgrafo de prompt é tratado como uma estrutura de referência, enquanto o subgrafo de resposta representa o conteúdo gerado.

2. Métrica MTop-DivG(R, P)

O núcleo do TOHA é o MTop-DivG(R, P), uma adaptação da Divergência de Topologia de Variedade (MTop-Div) para configurações de grafos.

• Cálculo: O método zera os pesos das arestas entre tokens de prompt ($P$) para isolar a relação estrutural entre o prompt e a resposta. Em seguida, calcula o código de barras de homologia de ordem 0 do grafo modificado resultante.
• Definição: A pontuação de divergência é a soma dos comprimentos dos intervalos no código de barras de ordem 0 ($B_0$).
• Interpretação Geométrica: Esta pontuação é igual ao comprimento da Floresta de Expansão Mínima (MSF) que conecta os tokens de resposta ($R$) aos tokens de prompt ($P$).
• Interpretação Teórico-Informacional: A pontuação serve como um proxy para a "novidade" da resposta em relação ao prompt. Uma divergência mais alta implica que os tokens de resposta estão menos firmemente conectados à estrutura do prompt, sugerindo a introdução de novas informações, potencialmente alucinadas.

3. Cabeças Conscientes de Alucinação

Uma descoberta crítica do artigo é que nem todas as cabeças de atenção contribuem igualmente para a detecção de alucinações.

• Ao analisar os valores de divergência em diferentes camadas e cabeças, os autores identificaram um subconjunto específico de cabeças "conscientes de alucinação".
• Essas cabeças consistentemente produzem pontuações de divergência mais altas para amostras alucinadas em comparação com amostras fundamentadas em diversos conjuntos de dados (por exemplo, MS MARCO, CoQA, SQuAD).
• Curiosamente, essas cabeças específicas frequentemente exibem "comportamento de cópia" (atendendo fortemente ao primeiro token quando ocorrências anteriores estão ausentes), alinhando-se com descobertas anteriores de interpretabilidade mecânica.

4. O Algoritmo TOHA

O algoritmo opera em duas fases:

1. Seleção de Cabeças (Fase de Sonda): Usando um pequeno conjunto de dados de sonda anotado (alucinado vs. fundamentado), o método classifica as cabeças de atenção com base em sua capacidade de separar as duas classes (medida por $\Delta_{ij}$). Seleciona as $N_{opt}$ cabeças principais (limitadas a 10) que maximizam a Área sob a Curva Característica de Operação do Receptor (AUROC).
2. Previsão: Para uma amostra de teste, a pontuação final de alucinação é o valor médio de MTop-DivG(R, P) calculado apenas nas $N_{opt}$ cabeças selecionadas.

Contribuições Principais

1. Framework TOHA: Um detector de alucinação baseado em topologia e livre de treinamento que aproveita as propriedades estruturais dos grafos de atenção. Opera significativamente mais rápido do que métodos de qualidade comparável e requer dados anotados mínimos.
2. MTop-DivG(R, P): Uma métrica novel que adapta a Divergência de Topologia de Variedade para grafos de atenção. Quantifica a dissimilaridade topológica entre prompt e resposta, capturando efetivamente a novidade da resposta em cenários RAG.
3. Descoberta de Cabeças Conscientes de Alucinação: A identificação de um pequeno subconjunto consistente de cabeças de atenção que distinguem confiavelmente alucinações entre conjuntos de dados. Essa descoberta permite detecção robusta usando apenas ~10 cabeças, garantindo transferibilidade entre domínios.
4. Eficiência e Desempenho: O método alcança resultados state-of-the-art ou competitivos em múltiplos benchmarks, sendo computacionalmente eficiente (aproximadamente 70 vezes mais rápido do que métodos baseados em consistência como SelfCheckGPT na prática).

Resultados Experimentais

Os autores avaliaram o TOHA em cinco conjuntos de dados (MS MARCO, CNN/DM, CoQA, SQuAD, XSum) usando cinco LLMs de código aberto (LLaMA-2-7B/13B, LLaMA-3.1-8B, Mistral-7B, Qwen2.5-7B).

• Desempenho: O TOHA superou consistentemente as linhas de base baseadas em incerteza (Perplexidade, Entropia Máxima) e igualou ou superou métodos baseados em consistência (SelfCheckGPT, Entropia Semântica) e métodos baseados em estado interno (ReDEEP, HaloScope).
  • Melhorias notáveis incluíram +11,7% no MS MARCO (Mistral-7B) e +21,6% no CoQA (LLaMA-2-7B) em comparação com linhas de base fortes.
  • No conjunto de dados multi-hop HotpotQA, o TOHA demonstrou desempenho superior, validando sua eficácia em cenários de consulta complexos e do mundo real.
• Eficiência: O TOHA é aproximadamente 7 vezes mais rápido que o SelfCheckGPT com uma única geração e mais de 70 vezes mais rápido quando o SelfCheckGPT requer múltiplas gerações (10-20). Seu tempo de execução é comparável a linhas de base de entropia leves.
• Robustez: O método mostrou forte transferibilidade; o desempenho em conjuntos de dados de transferência (por exemplo, treinamento no MS MARCO, teste no XSum) permaneceu dentro de desvios padrão do desempenho do método em dados de distribuição interna.
• Eficiência de Dados: O método requer apenas um pequeno conjunto de sonda (tão poucos quanto 50 amostras) para selecionar as cabeças ótimas, após o qual opera sem treinamento adicional.

Significado e Alegações

O artigo alega que analisar a estrutura topológica das matrizes de atenção fornece um indicador robusto e eficiente de confiabilidade factual em LLMs. O significado do TOHA reside em sua capacidade de:

• Preencher a lacuna entre a análise de dados topológicos teórica (TDA) e a detecção prática de alucinações.
• Superar a escassez de dados exigindo dados anotados mínimos para calibração, ao contrário de classificadores supervisionados.
• Reduzir a sobrecarga computacional evitando a geração de múltiplas amostras, tornando-o adequado para aplicações em tempo real ou com recursos limitados.
• Fornecer interpretabilidade vinculando sinais de alucinação a cabeças de atenção específicas "conscientes de alucinação", oferecendo insights sobre as origens mecânicas das alucinações (especificamente sua ligação ao comportamento de cópia).

Os autores concluem que o TOHA oferece uma solução prática e escalável para garantir a segurança e confiabilidade dos LLMs em campos sensíveis, particularmente dentro de sistemas RAG onde a precisão factual é primordial. Eles reconhecem limitações relacionadas a dependências específicas do modelo (as cabeças específicas podem variar conforme a arquitetura) e a restrição atual a modalidades apenas de texto.