Resumo Técnico: Autoatenção como Transporte: Limites de Diagnósticos Espectrais Simétricos

Declaração do Problema

Modelos de linguagem grandes (LLMs) alucinam através de patologias distintas de roteamento: falhas de gargalo, onde a atenção se concentra excessivamente em um conjunto estreito de posições, e falhas difusas, onde a atenção se espalha tão finamente que a relevância é diluída. Embora esses modos pareçam quantitativamente semelhantes sob lentes espectrais padrão, são mecanicamente opostos. Diagnósticos espectrais existentes (por exemplo, LLM-Check, EigenTrack, LapEigvals) frequentemente falham em distingui-los ou confundem falhas de capacidade com falhas direcionais. Além disso, muitas características espectrais herdam dependências de confusão relacionadas ao comprimento da sequência, obscurecendo o sinal estrutural verdadeiro do roteamento de atenção. Este artigo busca caracterizar os limites estruturais do que os diagnósticos baseados em atenção podem e não podem medir, abordando especificamente as limitações dos métodos espectrais simétricos na detecção da direção do fluxo de informações.

Metodologia

Os autores formalizam as cabeças de atenção como operadores de transporte bipartidos normalizados por grau ($M$) entre consultas e chaves. Esta representação produz um operador invariante de escala, cujas propriedades espectrais codificam a qualidade do roteamento. A metodologia repousa sobre três pilares:

1. Decomposição Ortogonal: O operador de transporte $M$ é decomposto sob o produto interno de Hilbert–Schmidt em um componente simétrico ($M_{sym}$) que governa a capacidade de transporte e um componente antissimétrico ($M_{asym}$) que governa a direção do transporte.
2. Diagnósticos Espectrais:
   • Condutância ($\phi$): Derivada do componente simétrico via desigualdade de Cheeger, $\phi$ mede a eficiência do transporte de informações. Um $\phi$ baixo indica gargalos; um $\phi$ alto indica mistura difusa.
   • Coeficiente de Assimetria ($G$): Definido como a distância de Frobenius normalizada de $M$ ao subespaço simétrico ($G = \|M_{asym}\|_F / (\|M\|_F + \epsilon)$), $G$ serve como o complemento mínimo necessário para recuperar informações direcionais perdidas por resumos simétricos.
   • Gap Espectral ($1-\sigma_2$): O segundo valor singular de $M$ atua como um proxy para a condutância.
3. Avaliação Controlada por Comprimento: Para abordar a confusão, os autores introduzem um protocolo de AUROC Controlada por Comprimento (LC-AUROC). Isso envolve estratificar amostras por comprimento de resposta em faixas, residualizar as pontuações contra o comprimento dentro das faixas e agregar via AUROC ponderada por pares. Isso isola sinais de roteamento estruturais de artefatos dependentes do comprimento.
4. Benchmarks Teóricos: O artigo deriva paisagens de condutância de forma fechada para arquiteturas causais canônicas (causal uniforme, atenção em janela) para estabelecer "pisos" arquitetônicos e formas esperadas de modos de falha.

Contribuições Principais

1. Limites Estruturais de Diagnósticos Simétricos (Cegueira de Orientação)

O artigo prova o Teorema 4 (Cegueira de Orientação): qualquer diagnóstico espectral que dependa exclusivamente de valores singulares ou do componente simétrico do operador de atenção é invariante à transposição. Consequentemente, tais diagnósticos são estruturalmente "cegos à orientação" e não podem distinguir um operador de sua transposta, tornando-os incapazes de detectar a direção do fluxo de informações. Um inverso quantitativo (Proposição 6) estabelece que qualquer diagnóstico Lipschitz sensível à direção deve depender do componente antissimétrico, com sensibilidade limitada por $\|M_{asym}\|_F$.

2. Teoria de Condutância de Dois Lados

Ao contrário de métricas que detectam apenas um modo de falha, o quadro de condutância fornece um diagnóstico de dois lados:

• Gargalos: Baixa condutância ($\phi$) certifica roteamento superconcentrado.
• Mistura Difusa: Condutância anormalmente alta (relativa a baselines arquitetônicos) certifica roteamento subconcentrado.
  Os autores derivam uma paisagem bipartida de Cheeger de forma fechada para atenção causal uniforme, provando um piso independente de $n$ de $\phi \ge 1/5$ com um corte no pior caso em $t^*/n \approx 0,32$. A atenção em janela é mostrada a perfurar este piso como $O(w/n)$.

3. Suficiência de Grau e Estrutura de Acoplamento

O Teorema 2 (Suficiência de Grau) formaliza quando a estrutura de acoplamento contribui para propriedades espectrais além da heterogeneidade de grau. Estabelece que, para atenção quase regular ($\kappa \approx 1$), o gap espectral é totalmente contabilizado pelas distribuições de grau. Apenas quando a heterogeneidade de grau se desvia significativamente a estrutura de acoplamento fornece sinal independente.

4. Predição Empírica de Polaridade

O quadro produz uma predição falseável: benchmarks dominados por gargalos e dominados por difusão devem exibir polaridades opostas nas pontuações de condutância.

• HaluEval: Alucinações agrupam-se no regime de baixa condutância (gargalo).
• MedHallu: Alucinações agrupam-se no regime de alta condutância (difuso).
  Essa reversão de polaridade é observada empiricamente sob avaliação controlada por comprimento, validando a teoria de dois lados.

Resultados Empíricos

• Desempenho Diagnóstico: Sob LC-AUROC, características de transporte mantêm sinal interpretável (0,62–0,84) em modelos de até 8B de parâmetros.
  • Condutância ($\phi$): Captura falhas de capacidade. O sinal dominante muda com a escala do modelo: em 70M de parâmetros, estatísticas de localização (média) dominam (depressão uniforme); em 1,4B, estatísticas de dispersão (desvio padrão) dominam (heterogeneidade de roteamento).
  • Assimetria ($G$): Geralmente esparsa (desempenho próximo ao acaso) em modelos apenas decodificadores, refletindo que o roteamento direcional dependente de conteúdo não é o modo de falha primário. Exceções incluem Flan-T5 (onde $G$ detecta falhas de fundamentação em atenção cruzada) e Pythia (onde $G$ detecta desvios do decaimento posicional induzido por RoPE).
• Comparação com Baselines:
  • Probes de estado oculto (LLM-Check): Alcançam forte detecção geral (0,62–0,72 LC-AUROC) mas são estruturalmente agnósticos a modos de falha e mostram confusão moderada por comprimento.
  • Classificadores Espectrais Supervisionados (EigenTrack): Mostram sinal marginal e generalização pobre entre conjuntos de dados, provavelmente devido a sobreajuste a assinaturas espectrais específicas do conjunto de dados e dependência irreduzível de comprimento via razões de aspecto.
• Escalonamento: Diagnósticos de transporte persistem através das escalas do Pythia (70M a 1,4B) e LLaMA 3.1 8B, embora o método de agregação necessário para capturar o sinal mude de baseado em média para baseado em variância à medida que a capacidade do modelo aumenta.

Significado e Alegações

O artigo alega estabelecer uma fronteira estrutural para diagnósticos de atenção em vez de propor um único "melhor" detector de alucinação. Seu significado primário reside em:

1. Decomposição: Particionar falhas de roteamento em eixos ortogonais (capacidade vs. direção) com garantias formais (desigualdade de Cheeger, teorema da cegueira de orientação).
2. Interpretabilidade: Fornecer uma explicação mecânica para por que diferentes conjuntos de dados exibem modos de falha diferentes (gargalo vs. difuso) com base na forma da paisagem de condutância.
3. Rigor Metodológico: Demonstrar que a confusão por comprimento pode inflar o AUROC bruto em até 0,28 pontos e estabelecer um protocolo (LC-AUROC) para isolar sinais estruturais.
4. Insight Arquitetônico: Mostrar que a "esparsidade" de sinais direcionais ($G$) em modelos apenas decodificadores é uma propriedade arquitetônica (dominância da estrutura posicional sobre direção dependente de conteúdo) e não uma falha do diagnóstico.

Os autores enfatizam que, embora o quadro caracterize como o roteamento de atenção falha, não alega resolver a detecção de alucinação em todos os casos (por exemplo, lacunas de conhecimento sem patologia de roteamento podem permanecer indetectáveis). A contribuição é um quadro principiado para entender os limites estruturais da análise espectral de atenção.