📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

Este artigo introduz um diagnóstico inédito, de apenas passagem direta (forward-pass-only), para Transformers com LayerNorm que identifica uma direção morta algébrica exata no espaço de parâmetros utilizando apenas os parâmetros de escala do LayerNorm, um método validado em 14 modelos para prever estruturas singulares e distinguir arquiteturas de LayerNorm de RMSNorm sem autodecomposição.

Autores originais: Tejas Pradeep Shirodkar, P. J. Narayanan

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tejas Pradeep Shirodkar, P. J. Narayanan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de aprendizado de máquina massivo e complexo (um Transformer) como um gigantesco arranha-céu de vários andares feito de equações matemáticas. Quando os engenheiros treinam esses modelos, eles ajustam bilhões de pequenos botões (parâmetros) para fazer o edifício ficar perfeitamente reto e funcionar bem.

Este artigo apresenta uma nova maneira de olhar dentro desse arranha-céu para encontrar "direções mortas".

O que é uma "Direção Morta"?

Pense nos parâmetros do modelo como uma paisagem de colinas e vales. Normalmente, se você empurrar o modelo levemente em qualquer direção, ele muda a forma como funciona. Mas nessas "direções mortas", a paisagem é perfeitamente plana. Se você empurrar o modelo ao longo de uma direção morta, nada acontece. É como caminhar em um lago congelado: você pode deslizar para sempre sem afundar ou mudar seu caminho.

Encontrar essas direções é geralmente difícil. Isso normalmente requer rodar o modelo através de milhares de casos de teste, realizar cálculos matemáticos complexos sobre os resultados ou simular como o modelo aprende. É como tentar encontrar uma rachadura escondida em uma parede batendo nela milhares de vezes.

A Grande Descoberta: O "Bússola Mágica"

Os autores encontraram um atalho, mas apenas para modelos que usam um componente específico chamado LayerNorm (uma ferramenta padrão em IA).

Eles descobriram que você não precisa rodar o modelo ou fazer nenhum cálculo pesado para encontrar essas direções mortas. Você só precisa olhar para um número específico dentro das configurações do modelo, chamado parâmetro "gamma" ( $\gamma$ ).

A Analogia: Imagine que o componente LayerNorm tem um mostrador com números nele. Os autores descobriram que, se você simplesmente pegar o inverso desses números (virá-los de cabeça para baixo) e normalizá-los, você obtém um mapa perfeito apontando diretamente para a direção morta.
A Magia: Você pode ler este mapa instantaneamente. Sem forward pass (rodar o modelo), sem backward pass (calcular erros) e sem decomposições de autovalores complexas. É como olhar para a planta e saber imediatamente onde estão os pontos fracos, sem sequer construir a casa.

Os Dois Tipos de Edifícios

O artigo testou isso em 14 modelos diferentes de grande escala (alguns para texto, outros para imagens). Eles encontraram uma divisão clara:

Modelos LayerNorm (Os que têm o mapa): Em 9 de 9 modelos que usam LayerNorm, a "bússola mágica" funcionou perfeitamente. A direção prevista pelo número simples coincidiu com a direção morta real encontrada pela matemática pesada até a quarta casa decimal. Foi uma correspondência perfeita.
Modelos RMSNorm (Os que não têm o mapa): Em 5 modelos que usam uma ferramenta diferente chamada RMSNorm, esse truque não funcionou. Não havia uma direção morta universal que você pudesse encontrar apenas olhando para os números. Isso faz sentido porque o RMSNorm carece de um "projetor" matemático específico que cria a direção morta no LayerNorm.

O Que Acontece Quando Você Treina?

O artigo também observou o que acontece enquanto o modelo aprende.

No início (Aleatório): A direção morta existe por causa da arquitetura (a planta), e a "bússola mágica" a encontra imediatamente.
Após o treinamento: O modelo fica ainda mais "plano" nessa direção. A direção morta torna-se um cânion profundo. A lacuna entre o início aleatório e o modelo treinado mostra o quanto o processo de treinamento aprofundou esses pontos planos.

Uma Verificação de Segurança para o Arranha-Céu

Os autores também usaram este método para verificar se o "fluxo residual" (o corredor principal por onde a informação flui através do edifício) permanece forte.

A Regra: Em um edifício saudável, o "ponto mais fraco" do corredor não deve ficar mais fraco à medida que você sobe os andares.
O Resultado: Em 13 de 14 modelos, essa regra se manteve. O corredor permaneceu forte.
A Exceção: Um modelo (Gemma 4-31B) apresentou uma "direção morta" genuína onde o corredor ficou de fato mais fraco. O método dos autores apontou essa falha instantaneamente, mostrando que não era apenas um erro de medição, mas um problema estrutural real naquele modelo específico.

Por Que Isso Importa (Segundo o Artigo)

É Gratuito: Você pode diagnosticar a "estrutura singular" (os pontos planos) de um modelo apenas lendo seus parâmetros. Nenhuma computação pesada é necessária.
É um Classificador: Você pode dizer se um modelo usa LayerNorm ou RMSNorm apenas verificando se esta "bússola mágica" funciona.
É um Diagnóstico: Se você vir um modelo onde esta bússola falha ou onde o corredor fica mais fraco, isso sinaliza uma potencial anomalia estrutural digna de investigação.

Em resumo, o artigo diz: "Se você tem um modelo LayerNorm, não precisa rodar o modelo para encontrar suas direções mais fracas e planas. Basta olhar para um número, invertê-lo e você terá a resposta."

Resumo Técnico: Direções Mortas Algébricas em Transformers com LayerNorm

Enunciado do Problema
Transformers pré-treinados operam próximos a mínimos singulares de seu landscape de perda, onde a métrica de informação de Fisher degenera ao longo de direções "mortas" específicas no espaço de parâmetros. Ao longo dessas direções, a perda é plana e a informação de Fisher direcional desaparece. Identificar essas direções é crucial para compreender a geometria do modelo e a teoria do aprendizado singular, mas os métodos existentes são computacionalmente caros ou indiretos. Localizar uma direção morta tipicamente requer uma passagem direta (forward pass) combinada com a decomposição em autovalores das ativações, estimativas de complexidade baseadas em amostragem (ex: Coeficiente de Aprendizado Local) ou acesso extensivo a gradientes. Crucialmente, nenhum método prévio fornece uma direção morta específica computável unicamente a partir dos parâmetros da rede sem uma passagem direta ou reversa (backward pass).

Metodologia
Este artigo desenvolve um diagnóstico de forma fechada para Transformers com LayerNorm (LN) baseado no framework de Shirodkar (2026), que deriva direções mortas a partir de uma fatoração KFAC (aproximação de curvatura fatorada por Kronecker) da informação de Fisher. O insight central é que o projetor de subtração de média inerente ao mapeamento direto da LayerNorm força algebricamente uma direção de kernel específica na covariância de ativação pós-normalização.

Os autores propõem que, para qualquer Transformer equipado com LayerNorm, a direção de escala inversa do parâmetro afim da LayerNorm, definida como $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , é um kernel algébrico exato da covariância de ativação centrada pós-normalização final para qualquer distribuição de entrada. Esta direção é lida diretamente apenas do parâmetro de escala aprendido $\gamma$ .

A metodologia envolve três testes diagnósticos primários em 14 transformers pré-treinados (variando de 160M a 35B de parâmetros, incluindo modelos de linguagem e visão com LayerNorm e RMSNorm):

Validação de Baseline Algébrica: Na inicialização aleatória, a direção prevista $v^*$ é comparada contra a medida direção singular inferior ( $u_\perp$ ) da covariância de ativação.
Dicotomia de Lado de Norma: A presença ou ausência desta direção de kernel universal é usada para classificar o esquema de normalização (LayerNorm vs. RMSNorm).
Gap Induzido pelo Treinamento: O "razão de Schur" $R(h)$ e seu complemento $\Delta_\gamma = 1 - R(h)$ são medidos para quantificar o quanto as direções mortas reais se tornam mais profundas após o treinamento em comparação com o baseline arquitetural.
Invariância de Profundidade: O artigo testa se o menor valor singular da corrente residual ( $\sigma_{\min}$ ) é preservado bloco a bloco, uma propriedade derivada das conexões de salto de identidade e da hipótese de não-cancelamento.

Todas as medições são realizadas usando uma única passagem direta por checkpoint, sem acesso a gradientes ou cadeias de amostragem, utilizando acumulação de covariância centrada em fp64 para evitar ruídos numéricos.

Principais Contribuições

Direção Morta Algébrica para LayerNorm: O artigo prova e valida empiricamente que, para qualquer Transformer com LayerNorm, a direção $\gamma^{-1}/\|\gamma^{-1}\|$ é uma direção morta da covariância de ativação centrada pós-normalização final. Esta direção é legível apenas pela inspeção do parâmetro afim $\gamma$ , sem necessidade de uma passagem direta.
Diferencial Negativo de RMSNorm: É provado que o RMSNorm, carecendo do projetor de subtração de média, não possui tal direção morta universal dependente exclusivamente de $\gamma$ . Isso cria uma dicotomia algébrica estrita entre os dois tipos de normalização.
Invariância de Profundidade da Corrente Residual ( $\sigma_{\min}$ ): Um corolário de forma fechada prevê que o menor valor singular da corrente residual não pode diminuir bloco a bloco ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ) sob a hipótese de não-cancelamento.
Diagnóstico de Razão de Schur: O artigo introduz uma métrica quantitativa ( $\Delta_\gamma$ ) que mede o gap entre o baseline arquitetural (inicialização aleatória) e a estrutura singular treinada. Este gap serve como um diagnóstico de passagem direta apenas para a estrutura singular acumulada.

Resultados
As previsões foram testadas em 14 modelos (9 LayerNorm, 5 RMSNorm) através de vários objetivos (predição de próximo token, classificação de imagem, aprendizado auto-supervisionado).

Correspondência Algébrica: Na inicialização aleatória, a direção prevista $\gamma^{-1}/\|\gamma^{-1}\|$ coincide com a direção singular inferior medida para quatro casas decimais ( $|\cos| \ge 0.9999$ ) em todos os 9 modelos LayerNorm. O alinhamento médio foi de 0.99999.
Ausência de RMSNorm: Os 5 modelos RMSNorm mostraram corretamente nenhuma correspondência com qualquer direção derivada de $\gamma$ ( $|\cos| \le 0.10$ ), situando-se no nulo de direção aleatória.
Gap de Treinamento: Em checkpoints treinados, a razão de Schur $\Delta_\gamma$ satura em $\approx 1$ em todos os tamanhos de modelo, indicando que o treinamento abre direções mortas aproximadamente $10^3$ vezes mais profundas do que o baseline arquitetural estabelecido pela LayerNorm.
Invariância de Profundidade: A invariância de profundidade $\sigma_{\min}$ $σ_{m i n}$ mantém-se para 13 de 14 modelos quando lida em suas próprias distribuições de entrada.
- A única exceção, o Gemma 4-31B, exibe uma direção morta intrínseca genuína onde o $\sigma_{\min}$ da corrente residual diminui em $\sim 18\times$ na saída.
- A outra variante do Gemma 4 (Gemma 4-E4B) mostrou um declínio sob calibração apenas de texto que se dissolveu sob calibração multimodal (texto+imagem+áudio), identificando-o como uma direção morta relativa à distribuição, em vez de uma intrínseca.
Validação Dinâmica: Na trajetória de pré-treinamento do Pythia-1B, a razão $\sigma_{\min}$ permaneceu $\ge 1$ em cada passo, enquanto o alinhamento com a direção de kernel prevista permaneceu alto ( $\ge 0.998$ ) mesmo conforme $\gamma$ se dispersava, confirmando que a previsão rastreia o $\gamma$ aprendido em vez da inicialização.

Significância e Alegações
O artigo afirma fornecer a "leitura de direção morta mais barata" específica para LayerNorm, exigindo apenas a inspeção de um único parâmetro ( $\gamma$ ) sem necessidade de passagens diretas ou reversas. Isso permite que profissionais:

Identifiquem Subespaços Mortos: Detectar direções mortas em modelos congelados sem amostragem ou acesso a gradientes.
Classifiquem Arquiteturas: Determinar o esquema de normalização (LN vs. RMSNorm) de um modelo pré-treinado puramente através de seus parâmetros.
Diagnostiquem Patologias: Usar o perfil de profundidade de $\sigma_{\min}$ como um sinal em tempo real para detectar anomalias arquiteturais (ex: o colapso localizado no MLP do Gemma 4) que pipelines padrão podem perder devido a ruídos numéricos.
Informem o Design: Fornecer um teste estrutural para novos esquemas de normalização para prever se eles carregarão um kernel universal derivado de $\gamma$ .

Os autores enfatizam que o framework distingue entre direções mortas garantidas arquiteturalmente (presentes na inicialização aleatória em LayerNorm) e direções mortas induzidas pelo treinamento (que aprofundam o kernel tanto em modelos LN quanto RMSNorm). O gap entre esses dois estados serve como um diagnóstico da estrutura singular acumulada durante o treinamento. O artigo não afirma resolver a origem da anomalia do Gemma 4, mas localiza-a com sucesso no subcamada MLP e a distingue de artefatos de calibração.