Resumo Técnico: Assinaturas Termodinâmicas de Raciocínio

Declaração do Problema

A alucinação em Grandes Modelos de Linguagem (LLMs) continua sendo uma barreira crítica para a implementação. Embora trabalhos recentes tenham identificado que o espectro de Laplacianos de grafos derivados da atenção contém sinais sobre a qualidade do raciocínio, os diagnósticos espectrais existentes são limitados. Métodos anteriores tipicamente resumem o espectro de alta resolução do Laplaciano usando apenas um punhado de autovalores top-$K$ ou escalares escolhidos à mão (ex: valor de Fiedler, entropia espectral). Os autores argumentam que essa abordagem descarta informações estruturais significativas, deixando "sinal sobre a mesa". O objetivo é desenvolver um mecanismo de detecção que seja livre de treinamento (ou exija calibração mínima), opere em uma única passagem de inferência e utilize plenamente a estrutura espectral dos mapas de atenção sem retreinar o LLM subjacente.

Metodologia: Assinaturas de Energia Livre (FES)

O artigo propõe as Assinaturas de Energia Livre (FES), um descritor espectral que trata o Laplaciano da atenção de cada camada como um Hamiltoniano para um sistema quântico fictício. O método extrai potenciais termodinâmicos e estatísticas de Teoria de Matrizes Aleatórias (RMT) do espectro.

1. Construção do Laplaciano de Atenção

Para um LLM congelado com $L$ camadas e $H$ cabeças de atenção, a matriz de atenção pós-softmax $A^{(\ell,h)}$ na camada $\ell$ é simetrizada e média sobre as cabeças para formar $\tilde{A}^{(\ell)}$. O Laplaciano de grafo combinatório é então construído como:
$$L^{(\ell)} = D^{(\ell)} - \tilde{A}^{(\ell)}$$
onde $D^{(\ell)}$ é a matriz de grau. Os autovalores $\{\lambda_k\}$ de $L^{(\ell)}$ formam a medida espectral empírica.

2. Funcionais Termodinâmicos

O espectro é analisado através da lente da termodinâmica de equilíbrio usando um parâmetro de temperatura inversa $\beta$. Os seguintes potenciais são computados para cada camada:

• Função de Partição ($Z$): $Z(\beta) = \text{Tr}(e^{-\beta L}) = \sum e^{-\beta \lambda_k}$.
• Energia Livre ($F$): $F(\beta) = -\frac{1}{\beta} \log Z(\beta)$.
• Entropia Espectral ($S$): Calculada via a distribuição de Boltzmann $p_k = e^{-\beta \lambda_k}/Z(\beta)$.
• Capacidade Térmica ($C$): $C(\beta) = \beta^2 \text{Var}_p[\lambda]$.

Esses funcionais são avaliados sobre uma grade logarítmica de $m$ temperaturas inversas, fornecendo uma visão multiescala do espectro (concentrando-se em pequenos autovalores em altos $\beta$ e realizando a média do bulk em baixos $\beta$).

3. Fator de Forma Espectral (SFF) e RMT

Para capturar correlações de espaçamento de níveis, o método computa o Fator de Forma Espectral (SFF):
$$g(t) = \frac{1}{n^2} \left| \sum_k e^{-it \hat{\lambda}_k} \right|^2$$
onde $\hat{\lambda}_k$ são autovalores nãofaturados (mapeados para uma densidade local média unitária). O SFF é analisado contra as previsões da Teoria de Matrizes Aleatórias (RMT):

• Wigner-Dyson (GOE): Estrutura característica "dip-ramp-plateau" (mergulho-rampa-platô), indicando sistemas caóticos e bem misturados.
• Poisson: Decaimento monotônico suave, indicando sistemas integráveis ou localizados.

4. O Descritor FES e Detectores

O descritor por camada $\Phi^{(\ell)}$ concatena os funcionais termodinâmicos e o SFF sobre grades de $\beta$ e $t$. A concatenação através de todas as camadas produz o vetor de características final $\Phi(x)$.
Duas estratégias de detecção são instanciadas:

1. Sonda Supervisionada: Uma regressão logística leve treinada em um pequeno conjunto de calibração rotulado.
2. Pontuação de Desvio RMT Não Supervisionada: Uma pontuação livre de rótulos $D(x)$ que mede a distância $L_2$ entre o SFF empírico e uma curva de referência GOE de tamanho correspondente.

Principais Contribuições

1. Resultados Teóricos

O artigo fornece três provas formais:

• Estabilidade Lipschitz: É provado que o FES é Lipschitz estável sob perturbações de norma de operador do Laplaciano de atenção, garantindo robustez contra ruído numérico e pequenas perturbações de atenção.
• Expressividade: O componente da função de partição é a transformada de Laplace da medida espectral. Os autores provam que, em um limite idealizado de transformada exata, a função de partição identifica o espectro (recuperando todos os momentos). Na prática, o FES de grade finita fornece um enriquecimento multiescala sobre resumos compactos (como os top-$K$ autovalores), aproximando funcionais derivados de momentos com precisão controlada pela densidade da grade.
• Limite PAC de Amostra Finita: Um limite é derivado para o AUROC do detector de desvio RMT não supervisionado, mostrando que uma lacuna mensurável nos fatores de forma espectrais entre gerações válidas e alucinadas é suficiente para uma garantia de desempenho não vácua.

2. Achados Empíricos

• Assinaturas Espectrais de Raciocínio: O artigo apresenta a primeira evidência de que os espectros de atenção de LLMs exibem estatísticas de Wigner-Dyson (semelhantes a GOE) durante o raciocínio válido e estatísticas tipo Poisson durante alucinações. Isso é quantificado via a razão média de espaçamento de níveis $\langle r \rangle$, que aproxima 0,536 para gerações válidas e 0,386 para alucinações.
• Desempenho: Em seis LLMs de pesos abertos (7B–14B) e seis benchmarks (incluindo TruthfulQA, HaluEval, GSM8K e MATH-500), o FES atinge o maior AUROC agregado entre as linhas de base espectrais de atenção.
  • Ele supera o LAPEIG (autovalores top-$K$) em +6,5 pontos de AUROC.
  • Ele supera o GOR-4 (escalares espectrais escolhidos à mão) em +2,4 pontos de AUROC.
• Eficiência de Rótulo: A sonda supervisionada atinge o desempenho quase assintótico com apenas algumas centenas de exemplos rotulados por tarefa.
• Transferência de Arquitetura: Uma sonda treinada no Llama-3-8B transfere-se efetivamente para outras arquiteturas (Mistral, Qwen, Gemma, Phi-3) com AUROC médio > 0,82.

Significância e Alegações

O artigo afirma que o FES oferece um diagnóstico de amostra única e livre de treinamento que captura sinais de factualidade além de autovalores brutos ou resumos espectrais compactos. Ao reformular os mapas de atenção através da termodinâmica e RMT, o método:

1. Retém Informação Multiescala: Diferente de métodos que truncam o espectro, o FES captura a forma de todo o espectro através de múltiplas escalas.
2. Fornece Fundamentação Teórica: Conecta a detecção de alucinação a propriedades fundamentais de matrizes aleatórias (repulsão de níveis vs. integrabilidade), oferecendo uma interpretação física de raciocínio "saudável" vs. "quebrado".
3. Eficiência Operacional: Não requer atualizações no LLM subjacente e adiciona um overhead computacional negligenciável (aprox. 0,4s por amostra em uma A6000 para sequências de até 512 tokens).

Os autores observam limitações, incluindo o custo $O(n^3)$ da decomposição de autovalores densos (exigindo aproximações para contextos muito longos) e a necessidade de acesso de caixa branca aos pesos de atenção. Eles também reconhecem que o sinal da pontuação de desvio não supervisionada pode inverter dependendo da tarefa (ex: raciocínio matemático vs. QA de texto aberto), necessitando de calibração por tarefa para o modo não supervisionado. No entanto, a sonda supervisionada permanece robusta a essas variações.