Sumário Técnico: Assinaturas de Direções Mortas (DDS)

Declaração do Problema

A Teoria de Aprendizado Singular (SLT) caracteriza a complexidade de redes profundas sobreparametrizadas através da geometria local de suas singularidades de perda. O invariante primário nesta estrutura é o Limiar Log Canônico Real (RLCT, denotado por $\lambda$), que mede a complexidade efetiva de um modelo próximo a um mínimo singular. Na prática, o Coeficiente de Aprendizado Local (LLC) emergiu como o estimador canônico para $\lambda$. No entanto, a estimativa do LLC é computacionalmente proibitiva, exigindo de $10^4$ a $10^6$ passagens de forward-backward por checkpoint via amostragem por Dinâmica de Langevin de Gradiente Estocástico (SGLD) para integrar sobre o posterior local. Esse custo torna o LLC impraticável para modelos de larga escala (ex: LLMs) ou monitoramento de alta frequência durante o treinamento.

O artigo aborda a necessidade de uma alternativa "barata" para ler a estrutura singular sem o overhead da integração do posterior. Especificamente, busca-se um método para detectar e quantificar "direções mortas" — direções de parâmetros ao longo das quais o landscape de perda é plano (singular) — usando leituras espectrais de forma fechada das ativações e gradientes da rede.

Metodologia: Assinaturas de Direções Mortas (DDS)

Os autores introduzem as Assinaturas de Direções Mortas (DDS), uma família de observáveis espectrais de forma fechada derivados de um framework teórico (Shirodkar, 2026) que vincula a taxa de decaimento da informação de Fisher ao longo de direções mortas ao RLCT.

Fundamentação Teórica

O framework postula que, em um mínimo singular, a matriz de informação de Fisher $F(\theta)$ perde o posto ao longo de direções mortas específicas $u$. Se a divergência de Kullback-Leibler (KL) decai como $K(\theta_0 + tu) \sim t^{2k}$ (onde $k$ é a ordem de KL), a informação de Fisher direcional decai como $\Theta(t^{2(k-1)})$. A regra de seleção conecta este expoente de decaimento à contribuição direcional do RLCT ($1/2k$).

O framework estabelece uma correlação estrutural entre o espectro de ativação e o espectro de Fisher-Gram em qualquer mínimo singular. Para uma rede de $L$ camadas com informação de Fisher decomponível por KFAC $F_\ell \approx A_\ell \otimes G_\ell$:

1. Lado de Fisher: O menor autovalor positivo da matriz Fisher-Gram de gradiente por amostra, $\lambda^+_{\min}(G_\ell)$, decai como $\Theta(t^{2(L-\ell)})$.
2. Lado de Ativação: O quadrado do menor valor singular da matriz de ativação, $\sigma^2_{\min}(X_\ell)$, decai como $\Theta(t^{2\ell})$.
3. Correlação: Estas duas quantidades são comonotônicas, implicando uma correlação de rank de Spearman aproximando-se de $+1$ no limite assintótico.

Os Três Observáveis DDS

A DDS substitui a cadeia de posterior SGLD por três leituras baratas de forma fechada em uma camada escolhida $\ell$:

1. Observável de Taxa ($\lambda^+_{\min}(G_\ell)$): O menor autovalor estritamente positivo da Fisher-Gram. Ele detecta a presença de direções mortas e as localiza em camadas específicas (ex: gargalos/bottlenecks).
2. Observável de Volume ($\log \det^+(G_\ell)$): O log-volume do espectro de Fisher ativo (soma dos logs dos autovalores positivos). Este observável é sensível ao número de direções mortas (déficit de posto $r$).
3. Observável Dual ($\sigma_{\min}(X_\ell)$): O menor valor singular da matriz de ativação. Fornece um proxy de ativação para a taxa do lado de Fisher, computável via um único forward pass e SVD.

Principais Contribuições

1. Detecção e Contagem de Déficit de Posto:

   • Detecção: $\lambda^+_{\min}(G_\ell)$ colapsa por ordens de magnitude (ex: $\sim 246\times$) no instante em que uma direção morta aparece, permitindo a detecção a partir de um único backward pass.
   • Contagem: O artigo introduz uma identidade de volume multiplicativa de posto. Enquanto monitores de autovalor único são "cegos ao posto", a inclinação de $\log \det^+(G_\ell)$ escala linearmente com o déficit de posto $r$. Especificamente, a razão de inclinação em relação a uma linha de base de posto-1 é igual a $r$ (ex: inclinações de 2.0, 3.1, 4.0 para $r=2, 3, 4$). Isso permite que a DDS conte direções mortas, uma capacidade que monitores de autovalor único não possuem.

2. Validação Contra RLCT de Forma Fechada:

   • No âncoras de regressão de posto reduzido de Aoyagi (2005) (onde o $\lambda$ analítico é conhecido), os observáveis DDS rastreiam o rank do $\lambda$ analítico com alta correlação ($|\rho| \in [0.95, 0.98]$).
   • Os autores demonstram que, embora o rastreamento de rank entre células seja um "filtro de sanidade" (até proxies de capacidade ingênuos passam por ele), a identidade de volume multiplicativa de posto serve como um teste discriminante que proxies ingênuos não conseguem reproduzir.

3. Extensão para Transformers Não Lineares:

   • Em um sweep de largura de transformer de adição modular de Nanda, os observáveis DDS separam as larguras do modelo ($d_{\text{model}}$) através de 18 ordens de magnitude com coerência de sinal ($|\rho| \in [0.62, 0.96]$).
   • Em contraste, o LLC calibrado no mesmo orçamento de protocolo é "flat de rank" (incapaz de distinguir larguras), e mesmo um aumento de 9x no orçamento de SGLD falha em resolver as larguras.

4. Eficiência de Custo:

   • Os observáveis DDS são ordens de magnitude mais baratos que o LLC. $\sigma_{\min}(X_\ell)$ requer um forward pass e um SVD ($O(Nh^2)$). $\lambda^+_{\min}(G_\ell)$ e $\log \det^+(G_\ell)$ requerem um backward pass e autodecomposição ($O(h^3)$).
   • Em modelos pequenos, a DDS é $\sim 300\times$ mais barata que o LLC calibrado; em larguras de LLM, a correlação estrutural permite recuperar a ordenação do lado de Fisher através do $\sigma_{\min}$ barato do lado de ativação, contornando o caro eigendecomposição de Fisher $O(h^3)$.

Resultados

• Âncora de Forma Fechada: Nos 14 cells do âncora Aoyagi 2005, o LLC calibrado recupera o $\lambda$ analítico com 99% de média. Os observáveis DDS rastreiam o rank do $\lambda$ com $|\rho| \ge 0.95$.
• Identidade de Volume: Através de 7 configurações de ponte ruidosa, a razão de inclinação $\log \det^+(G)$ rastreia o déficit de posto $r$ com médias de 2.0, 3.1 e 4.0 para $r=2, 3, 4$ (previsto 2, 3, 4).
• Sweep de Largura de Transformer: Os observáveis DDS mostram um descenso monotônico com o aumento de $d_{\text{model}}$ (abrangendo 5–15 ordens de magnitude), enquanto o LLC permanece flat.
• Correlação Estrutural: A identidade estática $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ mantém-se em diversos testbeds (pontes canônicas, Barak sparse parity, Nanda modular addition) com correlações $\rho \ge +0.75$, mesmo em regimes onde ajustes de taxa de trajetória falham (ex: AdamW+CE).
• Dinâmica de Grokking: No Barak sparse parity, os observáveis DDS detectam o descenso geométrico para o mínimo singular (caindo $\sim 10$ ordens de magnitude) durante a fase de "limpeza" (cleanup), enquanto o LLC estabiliza (plateau).

Significância e Escopo

O artigo afirma que a DDS fornece o primeiro controle direcional e local de parâmetros sobre a complexidade singular que é computacionalmente viável em escala.

• Complementaridade: A DDS é apresentada como complementar ao LLC. Enquanto o LLC integra sobre o posterior para fornecer resumos Bayesianos (ex: WAIC, flutuações singulares, plateaus de desenvolvimento), a DDS oferece uma leitura "direcional e local por camada" da estrutura singular de forma fechada.
• Limitações: Os autores são modestos quanto ao escopo. A DDS é validada em modelos singulares paramétricos com RLCT de forma fechada e um sweep de largura de transformer não linear. As previsões de taxa de trajetória (ex: expoentes específicos de lei de potência) requerem "alinhamento canônico" (tipicamente SGD em métricas G-invariantes) e podem falhar sob otimizadores da classe Adam devido à não-equivariância. No entanto, a correlação estrutural estática mantém-se mesmo sob AdamW+CE.
• Trabalhos Futuros: O artigo identifica a extensão dessas leituras para arquiteturas de transformer mais amplas, cadeias apenas de atenção e outras tarefas algorítmicas como trabalho empírico aberto. Sugere também que as mesmas leituras de direções mortas poderiam eventualmente estender-se ao restante do trio de Watanabe (multiplicidade $m$, flutuação $\nu$) e WAIC sem SGLD.

Em resumo, a DDS troca a leitura do posterior integrado do LLC por leituras espectrais de forma fechada e baratas, permitindo a detecção e contagem de direções mortas a uma fração do custo computacional, tornando a análise de complexidade singular tratável para modelos maiores e monitoramento de alta frequência.