Resumo Técnico: D-Score para Detecção de Alucinação

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram textos fluentes que contêm afirmações falsas, não sustentadas por evidências ou inconsistentes com o conhecimento interno do modelo, um fenôio conhecido como alucinação. Os métodos de detecção atuais frequentemente dependem de recursos externos (sistemas baseados em recuperação) ou múltiplas passagens de geração (métodos baseados em consistência), o que aumenta os custos de inferência e a complexidade. Há uma necessidade de mecanismos de detecção que operem diretamente nos estados internos de um modelo durante uma única passagem direta (forward pass), sem exigir verificadores externos ou amostragem repetida.

Metodologia: O D-Score

O artigo introduz o D-Score, um estatístico espectral derivado da geometria das ativações ocultas dentro de um modelo transformer. A intuição central é que um texto bem sustentado induz uma trajetória oculta coerente concentrada ao longo de algumas direções dominantes. Por outro lado, quando um modelo processa um texto contendo uma afirmação não sustentada que conflita com seu conhecimento interno, a representação oculta pode codificar tanto o conteúdo assertado quanto traços de contraevidência, incerteza ou falta de suporte. Esse conflito faz com que a trajetória oculta se espalhe por direções singulares adicionais, aumentando a dimensionalidade "efetiva" da matriz de ativação.

Formulação Matemática

Dado um modelo $m$ fixo, uma camada específica $j$ e um texto de entrada $\mathbf{x} = (x_1, \dots, x_T)$, o método constrói uma matriz de ativação oculta $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$, onde as colunas representam os estados ocultos dos tokens na camada $j$.

Sejam $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ os valores singulares não nulos de $H^{(j)}(\mathbf{x}; m)$. O D-Score é definido como o posto numérico relativo desta matriz:
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
onde $\tau > 1$ é um parâmetro de tolerância. O escore conta quantas direções singulares permanecem significativas em relação ao valor singular principal $\sigma_1$.

Regra de Detecção

O detector classifica um dado como alucinado se o D-Score exceder um nível de decisão calibrado $\bar{D}$:
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{se} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
Esta abordagem requer apenas uma única passagem direta e o cálculo dos principais valores singulares (até o ponto em que caem abaixo do limiar relativo), o que pode ser estimado eficientemente usando métodos iterativos como o método da potência na matriz de Gram $H^\top H$, evitando o custo computacional de um SVD completo para modelos de alta dimensão.

Justificativa Teórica

O artigo define alucinação interna do modelo como uma afirmação não sustentada à qual o modelo atribui baixa crença de verdade interna. Ele postula que tais afirmações introduzem "direções de conflito" no espaço de estado oculto. Uma proposição teórica demonstra que, se o conteúdo não sustentado introduzir $q$ direções suficientemente fortes ortogonais à representação coerente, o D-Score aumenta em pelo menos $q$. Assim, um D-Score alto serve como um proxy para a presença dessas direções de conflito.

Principais Contribuições

1. Introdução do D-Score: Um estatístico espectral simples que representa o posto numérico relativo da matriz de ativação oculta, projetado para medir a dispersão da trajetória do estado oculto.
2. Definição Operacional: Uma definição formal de alucinação interna do modelo baseada em afirmações não sustentadas com baixa crença de verdade interna, distinguindo-as de erros que o modelo não consegue detectar internamente.
3. Argumento Geométrico: Uma justificativa teórica mostrando que textos alucinados podem aumentar o D-Score ao espalhar a trajetória oculta através de direções de conflito adicionais (incerteza, contraevidência).
4. Avaliação Empírica: Avaliação abrangente demonstrando que o D-Score é um sinal forte para detecção de alucinação em múltiplos modelos e conjuntos de dados.

Resultados Experimentais

O D-Score foi avaliado em dois benchmarks: FAVA-Annotation (erros fatuais em geração de domínio aberto) e RAGTruth (alucinações em geração aumentada por recuperação). Os experimentos foram conduzidos em três modelos de pesos abertos: Llama-2-7B, Llama-3-8B e Vicuna-7B.

• Desempenho: O D-Score superou consistentemente as linhas de base (baselines) de última geração, incluindo o Hidden Score (um método espectral anterior), escores de perplexidade e métricas de entropia.
  • No FAVA-Annotation, o D-Score alcançou o maior AUROC entre todos os modelos (ex: 66,98% para Llama-3-8B vs. 57,10% para Hidden Score).
  • No RAGTruth, o D-Score manteve um desempenho robusto (ex: 61,53% de AUROC para Llama-3-8B), enquanto o desempenho do Hidden Score caiu significativamente no Vicuna-7B (próximo ao acaso), enquanto o D-Score permaneceu eficaz (60,20%).
• Correlação com Capacidade do Modelo: A lacuna de desempenho entre o D-Score e as linhas de base foi mais pronunciada em modelos mais capazes (ex: Llama-3-8B), sugerindo que o método captura efetivamente alucinações que o modelo reconhece internamente como não factuais.
• Análise de Subconjunto: Quando avaliado em um subconjunto de dados onde a autoavaliação explícita do modelo estava alinhada com as anotações humanas (filtrando casos onde o modelo falhou em reconhecer seus próprios erros), o D-Score alcançou escores de AUROC ainda mais altos (até 72,51% no Llama-3-8B), confirmando que o método depende da representação interna do erro pelo modelo.

Significância e Alegações

O artigo afirma que o D-Score fornece um forte sinal de estado oculto para detecção de alucinação que opera sob estritas restrições de eficiência:

• Eficiência de Passagem Única: Requer apenas uma passagem direta pelo modelo.
• Sem Dependências Externas: Não requer recuperação externa, verificadores externos ou um segundo modelo.
• Sem Múltiplas Gerações: Ao contrário dos métodos baseados em consistência, não requer a amostragem de múltiplas saídas.

Os autores posicionam o D-Score não como uma caracterização universal da verdade, mas como um escore de risco calibrado. É particularmente eficaz para detectar "alucinações internas do modelo" — erros onde o modelo possui a informação necessária para reconhecer a inconsistência, mas falha em suprimi-la na saída final. O método destaca que a topologia da trajetória do estado oculto (especificamente, a dispersão dos valores singulares) contém informações diagnósticas sobre a confiança do modelo e a presença de sinais internos conflitantes.

Limitações

Os autores reconhecem diversas limitações:

• Requisito de Caixa Branca (White-Box): O método requer acesso às ativações ocultas, tornando-o inaplicável a modelos de código fechado, a menos que tal acesso seja fornecido.
• Visibilidade Interna: Pode detectar apenas alucinações que deixam um traço em seu estado interno; se o modelo carece do conhecimento interno para reconhecer um erro, o D-Score pode não sinalizá-lo.
• Confusão de Complexidade: Altos D-Scores também podem resultar de textos longos, diversos ou semanticamente complexos que não são alucinações, necessitando de calibração cuidadosa.
• Sensibilidade de Parâmetros: Embora robusto, o método depende da escolha da camada, da tolerância $\tau$ e do limiar de decisão $\bar{D}$.