Resumo Técnico: Alucinação como Anomalia via Circuitos Probabilísticos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) sofrem com alucinações, gerando saídas fluentes, mas factualmente incorretas. Embora os métodos existentes de detecção (monitoramento de incerteza) e correção (engenharia de representações) mostrem promessa individualmente, sua combinação revela uma limitação fundamental denominada Assimetria Detecção-Correção. As técnicas de correção atuais frequentemente aplicam vetores de direcionamento indiscriminadamente a cada token. Essa edição contínua dos estados latentes empurra as ativações para fora da variedade (manifold) pré-treinada do modelo, degradando a fluência e corrompendo gerações originalmente corretas. O artigo argumenta que a correção sem gate pode corromper entre 26% e 90% das gerações factuais, tornando necessário um framework que desacople a detecção da correção para preservar a integridade das saídas factuais.

Metodologia

Os autores propõem um framework de duas etapas: PCNET para detecção de anomalias tratável e PC-LDCD para correção com gate, preservadora da variedade.

1. PCNET: Detecção de Anomalias Latentes Tratável

O PCNET é um Circuito Probabilístico (PC) treinado como um estimador de densidade sobre uma projeção de baixa dimensão do fluxo residual do LLM.

• Arquitetura: O estado oculto final do LLM ($h \in \mathbb{R}^{D_{LLM}}$) é projetado via um gargalo de Rede Neural Perceptron Multicamada (MLP) em um espaço latente compacto ($z \in \mathbb{R}^{D_{PC}}$). O PCNET modela a distribuição de probabilidade conjunta $P(z)$ sobre este espaço.
• Estrutura: O circuito é um Grafo Acíclico Direcionado (DAG) composto por nós de Entrada, Soma e Produto. Diferentemente dos PCs padrão, os nós de Entrada utilizam uma mistura heterogênea de distribuições Gaussiana, Laplace e Student-T para capturar a geometria complexa e de cauda pesada das representações do LLM.
• Treinamento: O PCNET e o gargalo de projeção são otimizados conjuntamente usando um objetivo composto: um termo generativo (Log-Verossimilhança Negativa em estados factuais) e um termo de margem contrastiva (empurrando estados alucinados para regiões de baixa densidade). O LLM base permanece congelado.
• Inferência: O PCNET calcula a Log-Verossimilhança Negativa (NLL) exata de um estado latente em uma única passagem forward, sem amostragem ou verificadores externos. Um NLL alto indica uma anomalia geométrica, sinalizando um desvio da "variedade factual".

2. PC-LDCD: Correção Preservadora da Variedade

O PC-LDCD (Decodificação Contrastiva de Densidade Latente via Circuito Probabilístico) utiliza o PCNET como um gate dinâmico para intervir apenas quando necessário.

• Gateamento Dinâmico: Em cada etapa de decodificação, o NLL do estado atual é calculado. Se o NLL exceder um limiar calibrado $\tau$, uma intervenção é acionada. Se o estado for considerado factual (baixo NLL), a decodificação padrão prossegue inalterada, preservando o comportamento do modelo base.
• Olheira Discreta: Quando uma anomalia é detectada, o sistema suspende a decodificação padrão. Ele realiza uma busca de olheira com $k$ candidatos no espaço discreto de tokens. O token ótimo é selecionado maximizando uma log-probabilidade penalizada:
  $$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$$
  Aqui, $\beta_t$ é um parâmetro de força dinâmico baseado na pontuação da anomalia, e $\text{SNLL}$ é o NLL do estado futuro hipotético. Esta abordagem contrasta a confiança generativa contra a densidade logarítmica exata da variedade aprendida, intervindo apenas para evitar que a trajetória se aprofunde em regiões alucinadas.

Contribuições Principais

1. Investigação Empírica da Assimetria Detecção-Correção: O artigo demonstra sistematicamente que a engenharia de representações sem gate corrompe gerações factuais, estabelecendo a necessidade matemática de intervenções com gate.
2. Detecção de Anomalias Latentes Tratável (PCNET): Os autores introduzem o PCNET, demonstrando que a estimativa de densidade exata sobre uma variedade latente treinada contrastivamente identifica alucinações com AUROC state-of-the-art em diversos modelos e benchmarks, sem amostragem ou modificações de pesos.
3. Correção Preservadora da Variedade (PC-LDCD): A estratégia de decodificação com gate baseada em densidade proposta alcança a menor taxa de corrupção e a maior taxa de preservação entre os métodos avaliados, corrigindo com sucesso alucinações enquanto deixa gerações corretas intocadas.

Resultados Experimentais

O framework foi avaliado em quatro LLMs (variando de 1B a 8B parâmetros) e quatro benchmarks (CoQA, SQuAD v2.0, TriviaQA e TruthfulQA).

• Desempenho de Detecção: O PCNET alcançou detecção de alucinações quase perfeita no CoQA, SQuAD v2.0 e TriviaQA, com pontuações AUROC atingindo até 99%. Superou significativamente baselines como Token-NLL, Sondas de Entropia Semântica (SEP) e HaloScope, particularmente em benchmarks intensivos em conhecimento e adversários.
• Eficácia da Correção:
  • Preservação: O PC-LDCD reduziu a taxa média de corrupção de gerações factuais para 53,7% e alcançou uma taxa de preservação de 79,3%, superando significativamente as baselines sem gate.
  • Veracidade: No TruthfulQA, o PC-LDCD alcançou as pontuações mais altas em True+Info, MC2 e MC3 em três dos quatro modelos. Notavelmente, melhorou os MC2 e MC3 (métricas que medem incerteza calibrada sobre múltiplas conclusões verdadeiras), sugerindo que produz distribuições de saída mais robustamente verdadeiras, em vez de apenas deslocar a confiança de uma única resposta.
  • QA Padrão: Em benchmarks de QA padrão, o PC-LDCD permaneceu competitivo, igualando ou ficando ligeiramente atrás das melhores baselines (por exemplo, alcançando EM SQuAD 0,87 no Mistral-7B).
• Eficiência: O método não requer recuperação externa ou atualizações de pesos. Estudos de ablação mostraram que desempenho de detecção próximo ao ótimo é alcançável com tão poucos quanto 100 amostras de treinamento e uma dimensão de projeção de 128.

Significado e Alegações

O artigo alega que, ao enquadrar alucinações como anomalias geométricas em uma variedade factual e utilizar Circuitos Probabilísticos para estimativa de densidade exata, é possível resolver a tensão entre detecção e correção. O principal significado reside no mecanismo de gate: ao rotear correções exclusivamente para o espaço discreto de tokens apenas quando a geometria latente se desvia, o método evita o "colapso semântico" causado pela edição contínua indiscriminada.

Os autores posicionam seu trabalho como um passo em direção à implantação confiável de LLMs em domínios de alto risco, oferecendo um sinal de incerteza principiado e de passagem única que não depende da superconfiança das probabilidades de tokens ou da sobrecarga computacional de amostragem de múltiplas passagens. Eles reconhecem limitações, incluindo a necessidade de um pequeno conjunto de calibração de estados rotulados e o escopo de avaliação atual limitado a modelos de até 8B parâmetros, deixando em aberto a questão da separação geométrica em modelos maiores.