Resumo Técnico: Condicionadores de Direção Morta (DDC)

1. Declaração do Problema

As perdas de redes neurais profundas exibem simetrias contínuas (simetrias de calibre ou gauge symmetries) em seus espaços de parâmetros. Estas incluem deslocamentos de logit, reescalonamentos de ReLU/SwiGLU, invariâncias de escala de LayerNorm e rotações de cabeças de atenção. Ao longo das órbitas dessas simetrias, o landscape de perda é plano (direções mortas), o que significa que a métrica de informação de Fisher se anula.

Otimizadores adaptativos padrão como o Adam falham em respeitar essas simetrias. O condicionador por coordenada do Adam ($1/\sqrt{\hat{v}}$) é apenas equivariante sob permutações de coordenadas. Quando grupos arquiteturais misturam coordenadas (por exemplo, escalando um par de pesos inversamente ou rotacionando um espaço vetorial), o update do Adam "vaza" para a órbita de calibre. Esse vazamento causa dois problemas primários:

1. Drift (Deriva): A trajetória do otimizador deriva ao longo da órbita plana em vez de permanecer em uma seção fixa do quociente de simetria $\bar{\Theta} = \Theta/G$. Esse drift move o otimizador para um mínimo diferente do que ele alcançaria se a simetria fosse respeitada.
2. Leitura de Taxa Borrada (Blurred Rate Readability): Resultados teóricos (Shirodkar, 2026) estabelecem que a taxa singular de aprendizagem (o decaimento do menor autovalor de Fisher) é legível a partir da trajetória apenas se o otimizador descer limpa no quociente. O vazamento do Adam introduz ruído e viés, borrando essa taxa e tornando a geometria do mínimo ilegível.

2. Metodologia: Condicionadores de Direção Morta (DDC)

O artigo introduz o DDC, um framework de precondicionamento que eleva um otimizador base (ex: Adam ou Muon) para um otimizador $G$-equivariante. O mecanismo central envolve a decomposição do espaço de parâmetros e dos updates de gradiente em componentes verticais (tangentes à órbita) e horizontais (quociente) usando uma métrica de Riemann $G$-invariante $\rho$.

A Regra de Atualização

Para um gradiente $g_t$, o DDC divide-o em $g_t = \Pi_V g_t + \Pi_H g_t$. Ele mantém estimadores de segundo momento separados:

• Componente Vertical ($\hat{v}_V$): O gradiente vertical é colapsado para um único escalar por dimensão de órbita (ex: via média de linha para deslocamentos de CE). Este escalar é usado para normalizar o update vertical, tratando efetivamente toda a dimensão da órbita como uma única unidade.
• Componente Horizontal ($\hat{v}_H$): O gradiente horizontal é precondicionado por coordenada, mas estritamente dentro de um frame $G$-equivariante horizontal. Crucialmente, após a divisão por coordenada, o update é reprojetado ($\Pi_H$) para garantir que a trajetória permaneça horizontal.

O passo de atualização é:
$$\theta_{t+1} = \theta_t - \eta \left[ \Pi_H \left( \frac{\Pi_H \hat{m}_t}{\sqrt{\hat{v}_H} + \epsilon} \right) + \text{lift}_V \left( \frac{\text{vert-to-scalar}(\Pi_V \hat{m}_t)}{\sqrt{\hat{v}_V} + \epsilon} \right) \right]$$

Calibres Arquiteturais Tratados

O DDC constrói projetores e reduções específicos para quatro calibres arquiteturais:

1. Deslocamento de Cross-Entropy: Deslocamentos aditivos em logits (bias ou pesos de unembedding).
2. Reescalonamento de ReLU/SwiGLU: Escalonamento multiplicativo de pares de pesos adjacentes ($W_\ell, W_{\ell+1} \to cW_\ell, c^{-1}W_{\ell+1}$).
3. Escala de LayerNorm/RMSNorm: Escalonamento por canal de parâmetros de normalização e pesos subsequentes.
4. Rotação de Cabeça de Atenção: Rotações não-abelianas $O(d_{head})$ de pesos QK e VO.

Para o calibre de rotação não-abeliana, o $\hat{v}$ por coordenada padrão falha. O DDC propõe quatro construções conscientes de $O(d_{head})$, sendo que a construção padrão implantada é body_frame_topk. Isso mantém a adaptatividade por coordenada no eigenbasis da matriz de Gram $M = W_Q^T W_Q + W_K^T W_K$, mas apenas em direções próprias "vivas" (aquelas com autovalores acima de um limiar), enquanto trata as direções mortas apenas com momento.

Composição do Otimizador Base

• DDCAdam: Aplica a construção completa do DDC ao Adam. Ele lida com todos os quatro calibres exatamente (ou de ordem superior para rotações de body-frame).
• DDCMuon: Aplica o DDC ao otimizador Muon (que ortogonaliza updates). A ortogonalização do Muon comuta exatamente com calibres de rotação, tornando o DDCMuon exato para rotações. No entanto, a ortogonalização do Muon remove a liberdade de escala por canal, o que significa que o DDCMuor não pode condicionar os calibres de reescalonamento (ReLU/escala LN) e utiliza o Adam para esses componentes.

3. Principais Contribuições

1. Precondicionamento Equivariante: Uma construção geral que eleva otimizadores adaptativos para respeitar simetrias arquiteturais contínuas, garantindo que a trajetória permaneça como um fluxo de gradiente precondicionado no quociente de simetria $\bar{\Theta}$.
2. Leitura de Taxa (Rate Readability): Prova teórica (Teorema 1) de que o DDC restaura a propriedade de "legibilidade de taxa da trajetória". No quociente, o menor autovalor de Fisher decai como $\bar{t}^{2(k-1)}$, permitindo que a ordem singular $k$ seja lida diretamente da trajetória, uma propriedade obscurecida no Adam padrão.
3. Contenção de Calibre (Gauge Containment): Demonstração empírica de que o DDC evita o drift de modos de calibre (ex: deslocamentos de logit, reescalonamentos de peso) que assombra o Adam, mantendo esses modos em seus valores iniciais ou pontos fixos.
4. Melhoria nos Resultados de Otimização:
   • Resistência ao Over-training: Em modelos de linguagem treinados além do ponto de ajuste (fit), o DDCAdam resiste ao colapso de over-training onde a perda de validação diverge da perda de treino.
   • Confiabilidade de Grokking: Em Transformers profundos (profundidade 24), o DDCMuon permite o "grokking" (generalização súbita) em 10/11 sementes onde o Muon vanilla falha completamente (0/11).
   • Compressão: Em Vision Transformers, o DDCAdam comprime a capacidade ociosa de feed-forward de forma mais agressiva sob weight decay do que o AdamW, atingindo uma perda de validação menor.

4. Resultados Experimentais

• Modelos de Linguagem (Profundidade-12, Over-training):
  • Leitura de Taxa: O DDCAdam lê a taxa singular em 32 de 65 células observáveis por camada, enquanto o AdamW lê em apenas 7. No AdamW, os autovalores de Fisher sobem ao se afastar do mínimo; no DDCAdam, eles colapsam em direção ao piso.
  • Over-training: O DDCAdam mantém uma diferença entre perda de validação e treino de 0.67, comparado a 5.88 para o AdamW.
• Grokking em Transformers:
  • Profundidade-24: O DDCMuon alcança 10/11 sementes de grokking com precisão >0.9, enquanto o Muon vanilla alcança 0/11.
  • Profundidade-8 (RoPE): Ajustar o calibre de rotação para a simetria específica de toro de Rotary Position Embeddings ($SO(2)^{d/2}$) produz maior precisão (0.977) e menor variância do que calibres genéricos de $O(d_{head})$ (0.955).
• Vision Transformers (ViT):
  • Treinado do zero no ImageNet-100, o DDCAdam alcança menor perda de validação (1.71 vs 2.12 nats) e comprime a rede (autovalores singulares de ativação 4x menores) no mesmo weight decay onde o AdamW deixa a capacidade intacta.
• Contenção de Calibre:
  • Em tarefas sintéticas, o DDCAdam reduz o drift entre sementes de modos de calibre em 14x (reescalonamento ReLU) e 65x (escala LayerNorm) comparado ao AdamW, mantendo a perda final da tarefa.

5. Significância e Alegações

O artigo afirma que construir a simetria dentro do otimizador muda fundamentalmente a geometria da solução encontrada. Ao respeitar a simetria de calibre:

• O Mínimo é Mais Agudo: O otimizador estabiliza-se em um mínimo menos degenerado (maiores autovalores de Fisher fora do piso singular).
• A Geometria é Mensurável: A trajetória torna-se um sinal legível do coeficiente de aprendizagem singular subjacente, permitindo o diagnóstico da complexidade do modelo diretamente a partir da dinâmica de treinamento.
• A Confiabilidade Aumenta: O otimizador torna-se robusto ao "drift" que causa falhas em regimes profundos ou de over-training, particularmente em tarefas que exigem "grokking".

Os autores enfatizam que a construção é genérica ao precondicionador, elevando Adam, Muon e Shampoo, e que os benefícios não se devem apenas ao weight decay, mas à restrição geométrica de permanecer no quociente. O artigo conclui que a simetria de calibre de uma rede, quando respeitada pelo otimizador, "afia o mínimo que ela encontra e transforma a geometria desse mínimo em algo que a trajetória pode medir".

Limitações Observadas:

• A aceleração do Muon-base no grokking é parcialmente atribuída ao weight decay agrupado inerente ao update equivariante, embora a projeção própria forneça confiabilidade e estrutura mais limpa.
• A equivariância exata para a construção de rotação de body-frame é aproximada (ordem superior) devido à ambiguidade de sinal dos autovetores, embora esse drift seja pequeno ($\sim 10^{-3}$ sobre 20 passos).
• Ler a estrutura singular completa (ordem e multiplicidade) via alinhamento canônico requer maquinário não totalmente desenvolvido neste trabalho.