Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

Resumo Técnico: Estrutura Intrínseca: Identificabilidade Espectral para Interpretabilidade Mecanística

Enunciado do Problema
A interpretabilidade mecanística (MI) visa explicar o comportamento de redes neurais identificando circuitos internos. No entanto, existe uma lacuna fundamental: os métodos atuais, como os Autoencoders Esparsos (SAEs), sofrem de variabilidade entre execuções, onde diferentes sementes de treinamento ou larguras de dicionário recuperam características materialmente diferentes das mesmas ativações. Não há garantia teórica de que essas estruturas descobertas sejam propriedades intrínsecas do modelo ou meros artefatos do procedimento de descoberta. Este artigo aborda a questão da identificabilidade: podemos definir um primitivo mecanístico que seja unicamente determinado pelo próprio modelo, independentemente do sistema de coordenadas ou do algoritmo de recuperação específico?

Metodologia
Os autores reformulam a passagem forward do transformer como um sistema dinâmico controlado, onde a profundidade atua como o tempo.

1. Formulação de Sistema Dinâmico: Seja $x_\ell$ o estado do fluxo residual na camada $\ell$ e $u_\ell$ a entrada de controle exógena (escritas de atenção). A atualização da camada é modelada como $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$, onde $m$ representa a subcamada MLP.
2. Levantamento de Koopman (Koopman Lifting): A dinâmica não linear $F$ é elevada a um operador linear $\mathcal{K}$ atuando sobre um espaço de observáveis $\Psi$. Se o span do dicionário $\mathcal{H}_N$ é K-invariante (fechado sob a dinâmica), o operador restringe-se a uma matriz de dimensão finita $A$.
3. Realização de Koopman: O sistema é representado por uma tripla $(A, B, C)$, onde $A$ é a matriz de transição, $B$ codifica a resposta ao controle e $C$ é a leitura (read-out). O espectro $\sigma(A)$ (autovalores) é proposto como o objeto intrínseco e livre de coordenadas de interesse.
4. Estimação: Os autores utilizam a Decomposição de Modos Dinâmicos Estendida com Controle (EDMDc) para estimar $(A, B)$ a partir de dados de calibração (estados residuais e escritas de atenção).
5. Estrutura Teórica: O artigo estabelece condições (riqueza do dicionário, excitação persistente, separação espectral) sob as quais o espectro é recuperável.

Principais Contribuições

• Teorema da Identificabilidade Espectral (Teorema 6.1): O artigo prova que o espectro da realização de Koopman é identificável a partir de $M$ amostras de calibração à taxa paramétrica $M^{-1/2}$, até uma permutação. É o primeiro teorema de identificabilidade para um primitivo de interpretabilidade mecanística.
  • Os autovalores são únicos até uma permutação e invariantes sob qualquer mudança de base do dicionário.
  • Um limite inferior minimax correspondente (Teorema 7.1) confirma que nenhum estimador pode atingir uma taxa melhor em $M$.
  • Uma garantia de autovalor sem lacunas (Teorema 6.8) é derivada usando correspondência ótima (Wasserstein-$\infty$), removendo a necessidade de separação espectral estrita para a recuperação de autovalores, embora a separação continue sendo necessária para a recuperação de autovetores.
• Robustez a Caudas Pesadas (Teorema 7.2): Os autores estendem a garantia de identificabilidade para ativações de cauda pesada usando um estimador de mediana de médias (median-of-means), mostrando que a taxa $M^{-1/2}$ se mantém sob condições de quarto momento.
• Dissociação Modal-Principal (Teorema 8.1): O artigo prova uma dissociação estrutural: se a realização é não-normal (o que medições empíricas confirmam), as direções principais das ativações (maximizadoras de variância) não podem coincidir com os modos de Koopman (portadores de dinâmica). Isso implica que o "objeto identificável" (espectro) e o "objeto legível" (componentes principais) são distintos.
• Completude Algébrica do Cálculo de Intervenção (Teorema 9.2): Os projetores espectrais de $A$ geram uma álgebra comutativa que é completa para intervenções de primeira ordem (patching de ativação, patching de caminho, etc.), fornecendo um representante de forma fechada único para qualquer intervenção na dinâmica elevada.
• Origem Estrutural da Variabilidade dos SAEs (Teorema 9.5): O artigo demonstra que a variabilidade de execução dos SAEs é uma consequência estrutural de sua função objetivo, que falha em impor a K-invariância (DR2). Uma penalidade de invariância explícita é proposta como remédio.
• Redução Dependente de Instância (Teorema 10.1): Um limite de redução de modelo certificado é derivado, explorando o baixo rank efetivo das escritas de atenção, oferecendo um certificado de erro estritamente mais agudo que os limites clássicos de Enns–Glover no regime de transformer.

Resultados Experimentais
A teoria foi avaliada em três transformers pré-treinados: GPT-2 small, Gemma-2-2B e Qwen3-8B-Base.

• Convergência: A distância espectral entre estimativas de metades divididas converge conforme $M$ aumenta. No Qwen3-8B-Base, o dicionário espectral alcançou o expoente previsto de $-0.506 \pm 0.031$, correspondendo à taxa teórica $M^{-1/2}$.
• Gap de Invariância de SAE: Os dicionários de SAE exibiram resíduos de projeção significativamente maiores (violações de invariância) em comparação com os dicionários espectrais e aleatórios, confirmando o Teorema 9.5. Esse gap mostrou-se sensível às regras de seleção de características (ex: variância vs. frequência).
• Desempenho de Intervenção: Quando testado no circuito de Identificação de Objeto Indireto (IOI), os modos de Koopman superaram direções aleatórias, mas foram inferiores à Análise de Componentes Principais (PCA) na ablação do comportamento do circuito. O gap de desempenho diminuiu $4.1\times$ conforme a distância de profundidade aumentava, consistente com o teorema de dissociação.
• Critério de Universalidade: Um teste espectral de universalidade cruzada falhou em distinguir entre réplicas de sementes da mesma arquitetura, indicando que o viés de incompatibilidade de dicionário (não apenas erro de amostragem) limita as atuais reivindicações de universalidade.
• Caudas Pesadas: Contrariamente às expectativas, o processo de "levantamento" (funções de Fourier aleatórias) removeu efetivamente as caudas pesadas do fluxo residual, tornando o estimador robusto de mediana de médias desnecessário para os dicionários específicos testados (exceto em uma camada específica do Qwen3).

Significância e Alegações
O artigo afirma colocar a interpretabilidade mecanística em um fundamento rigoroso de identificabilidade.

1. Impressão Digital Intrínseca: O espectro de Koopman é uma impressão digital intrínseca do modelo, que é recuperável com uma barra de erro declarada, distinguindo-se de artefatos do método de descoberta.
2. Limites da Legibilidade: O artigo afirma explicitamente que identificabilidade não implica legibilidade. Como as realizações de transformer são não-normais, os modos matematicamente identificáveis (espectro de Koopman) são estruturalmente distintos das direções baseadas em variância (PCA) que os humanos frequentemente consideram interpretáveis.
3. Estrutural vs. Algorítmico: A variabilidade observada nos SAEs não é um problema de ajuste de hiperparâmetros, mas uma falha estrutural da função objetivo em impor invariância dinâmica.
4. Implicações de Segurança: Para argumentos de segurança que exigem a identificação de um mecanismo $Y$ responsável pelo comportamento $X$, este trabalho fornece um certificado de que $Y$ é uma propriedade do modelo, e não do procedimento. No entanto, ele adverte que este certificado não garante cobertura comportamental ou legibilidade humana.

Os autores concluem que, embora o espectro de Koopman forneça uma decomposição matematicamente sólida da dinâmica de profundidade do transformer, ele não é um substituto direto para a descoberta de circuitos legíveis por humanos, e os dois objetos (identificável vs. legível) são fundamentalmente diferentes no regime não-normal ocupado por esses modelos.