🤖 machine learning

Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning

Este artigo introduz o Zeta, um otimizador de branqueamento duplo que aborda a vulnerabilidade crítica dos métodos existentes orientados a matrizes ao aplicar o branqueamento de coordenadas antes do branqueamento espectral para corrigir a heterogeneidade de escala, melhorando assim a convergência e a generalização em modelos de linguagem e visão de grande escala.

Autores originais: Kaiwen Chen, Shuhai Zhang, Qiuwu Chen, Zimo Liu, Linxiao Li, Ying Sun, Yuchen Li, Yifan Zhang, Bo Han, Mingkui Tan

Publicado 2026-06-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kaiwen Chen, Shuhai Zhang, Qiuwu Chen, Zimo Liu, Linxiao Li, Ying Sun, Yuchen Li, Yifan Zhang, Bo Han, Mingkui Tan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô massivo e complexo (uma rede neural) a aprender uma nova habilidade, como escrever poesia ou reconhecer gatos. Para fazer isso, você precisa de um "treinador" (um otimizador) que diga ao robô como ajustar suas células cerebrais (parâmetros) após cada erro.

Por muito tempo, os melhores treinadores tratavam cada célula cerebral como um indivíduo. Eles olhavam para cada célula, viam o quanto ela errou e davam um pequeno empurrãozinho. Isso funcionava razoavelmente bem, mas ignorava o fato de que as células cerebrais trabalham em equipe.

Recentemente, um novo tipo de treinador chamado Muon chegou. Em vez de olhar para as células uma por uma, o Muon olhava para equipes inteiras (matrizes) de uma só vez. Ele tentava garantir que a equipe se movesse de uma forma perfeitamente equilibrada e coordenada, como uma equipe de natação sincronizada. Isso funcionou muito bem para robôs gigantes, mas os autores do artigo descobriram uma falha oculta na lógica do Muon.

O Problema: Os Colegas "Tagarelas"

Os autores descobriram que, na equipe de natação sincronizada do Muon, alguns colegas gritavam tão alto que abafavam todos os outros.

Em termos técnicos, o "momentum" (a memória dos erros passados) para algumas partes da matriz era enorme, enquanto para outras era minúsculo. Quando o Muon tentava realizar sua elegante "dança sincronizada" (chamada de iteração de Newton–Schulz), os tagarelas atrapalhavam o ritmo. A equipe não conseguia se coordenar adequadamente porque a entrada estava desequilibrada. É como tentar reger uma orquestra onde os trompetes estão tocando no volume máximo enquanto os violinos estão sussurrando; a música soa terrível, não importa o quão bom seja o regente.

Os autores provaram isso executando um "teste de uniformidade" (uma verificação estatística). Eles descobriram que, antes de qualquer correção, os "níveis de volume" por toda a matriz estavam totalmente desordenados.

A Solução: Zeta (O Treinador de Dois Passos)

Os autores propõem um novo treinador chamado Zeta. O Zeta percebe que você não pode consertar o ritmo da orquestra até que primeiro ajuste os níveis de volume. Assim, o Zeta utiliza um processo rigoroso de dois passos:

Passo 1: O Botão de Volume (Branqueamento de Coordenadas)
Antes de a equipe tentar dançar, o Zeta caminha pelo ambiente e abaixa o volume dos trompetes barulhentos e aumenta o volume dos violinos que sussurram. Ele normaliza a "intensidade" de cada entrada individual na matriz. Agora, todos estão em pé de igualdade. A equipe não é mais dominada por algumas vozes altas.
Passo 2: A Dança Sincronizada (Branqueamento Espectral)
Agora que o volume está equilibrado, o Zeta deixa a equipe realizar sua elegante dança sincronizada. Como a entrada está agora calma e equilibrada, a dança funciona perfeitamente. A equipe se move em um padrão geomético belo e coordenado que o Muon tentou fazer, mas falhou por causa do volume desequilibrado.

Por que a ordem importa: O artigo enfatiza que você não pode inverter esses passos. Se você tentar dançar primeiro (Passo 2) e depois consertar o volume (Passo 1), a dança ainda será arruinada pelos gritos iniciais. O ajuste do volume deve acontecer primeiro para criar a base estável de que a dança precisa.

Os Resultados: Mais Rápido e Mais Inteligente

Os autores testaram o Zeta em vários "robôs" (modelos de IA) que variam de pequenos (0,6 bilhão de parâmetros) a massivos (8 bilhões de parâmetros), e até em modelos que utilizam "mistura de especialistas" (onde diferentes partes do cérebro lidam com diferentes tarefas).

Aprendizado Mais Rápido: O Zeta aprendeu mais rápido que os antigos treinadores (AdamW e Muon). Ele alcançou o mesmo nível de habilidade em menos etapas de treinamento.
Melhor Generalização: Os modelos treinados com o Zeta foram melhores em tarefas que não tinham visto antes, como responder perguntas difíceis ou reconhecer imagens.
Eficiência: O Zeta não tornou o processo lento. Ele aprendeu mais rápido sem tomar muito tempo extra por etapa.

A Conclusão

Pense no Zeta como um treinador que percebeu que, antes de ensinar uma equipe a se mover em perfeita harmonia, você primeiro tem que garantir que todos estejam falando no mesmo volume. Ao corrigir o "desequilíbrio de volume" primeiro, a equipe pode finalmente realizar a "dança da harmonia" corretamente, levando a uma IA mais inteligente e que aprende mais rápido.

O artigo afirma que isso é um conserto fundamental para um problema estrutural na forma como esses otimizadores avançados funcionam, provando que equilibrar as escalas antes de tentar otimizar a geometria é a chave para o sucesso.

Resumo Técnico: Zeta – Branqueamento Duplo para Otimização de Matrizes via Pré-condicionamento Adaptativo de Coordenadas

Declaração do Problema

O treinamento de redes neurais de larga escala tem migrado cada vez mais para otimizadores conscientes de matrizes que exploram as propriedades estruturais dos parâmetros de peso, indo além da adaptação elemento a elemento. Um exemplo proeminente é o Muon, que impõe restrições ortogonais nas atualizações de peso via branqueamento espectral (especificamente, iteração de Newton–Schulz) para equalizar os valores singulares e evitar que qualquer direção única domine a atualização.

No entanto, este artigo identifica uma vulnerabilidade crítica e subestimada no Muon e em métodos espectrais semelhantes: a iteração de Newton–Schulz é altamente sensível ao condicionamento da entrada. Embora a iteração funcione bem quando os valores singulares estão bem distribuídos, as matrizes de momento brutas no treinamento de redes profundas frequentemente exibem uma severa heterogeneidade de escala por coordenada. Nessas matrizes, algumas coordenadas possuem magnitudes desproporcionalmente grandes, enviesando o espectro singular. Quando tais matrizes não condicionadas entram na etapa de Newton–Schulz, o processo de ortogonalização degrada-se, levando a direções de atualização distorcidas que não refletem fielmente a geometria do gradiente. Os autores argumentam que o branqueamento espectral exige implicitamente uma entrada com escala normalizada, uma condição que o momento bruto viola sistematicamente.

Metodologia: Otimizador Zeta

Para abordar essa lacuna estrutural, os autores propõem o Zeta, um otimizador de branqueamento duplo que organiza o branqueamento de coordenadas e o branqueamento espectral em um pipeline estritamente ordenado e não ajustável. O insight central é que o branqueamento espectral deve ser construído sobre a estabilização estatística; o branqueamento de coordenadas estabelece a isotropia estatística necessária para que o branqueamento espectral funcione de forma confiável.

O pipeline Zeta opera da seguinte forma:

Branqueamento de Coordenadas (Pré-condicionamento):
Antes de entrar na etapa espectral, o Zeta aplica uma normalização por coordenada à matriz de momento. Ele mantém médias móveis exponenciais do primeiro momento ( $M_t$ ) e do segundo momento ( $V_t$ ), de forma semelhante ao Adam. A matriz de momento é então normalizada elemento a elemento pelo segundo momento corrente:
$\tilde{G}_t = \frac{M_t}{\sqrt{V_t} + \epsilon}$
Esta etapa homogeneíza a disparidade de escala entre as coordenadas, transformando a matriz em um estado estatisticamente isotrópico. Teoricamente, isso atua como um pré-condicionador diagonal aproximado, abordando o desequilíbrio de escala que, de outra forma, enviesaria o espectro singular.
Branqueamento Espectral (Ortogonalização):
A matriz homogeneizada $\tilde{G}_t$ é então alimentada na iteração de Newton–Schulz. Como a entrada está agora livre de disparidades extremas de escala entre entradas, seu espectro singular é melhor condicionado. A iteração converge para uma aproximação ortogonal fiel, equalizando os valores singulares para produzir uma direção de atualização equilibrada.
Construção da Atualização:
A matriz ortogonal resultante $U_t$ é escalonada usando um fator de normalização RMS para garantir que a magnitude da atualização seja compatível com as configurações padrão de otimizadores (ex: ramos AdamW) sem alterar a direção espectral.
Execução de Via Dupla:
Para parâmetros de valor matricial (ex: projeções de atenção e de feed-forward), o pipeline duplo completo é aplicado. Para parâmetros não matriciais (ex: vieses, escalas de LayerNorm), a etapa espectral é ignorada, e o otimizador retorna a uma atualização do tipo AdamW.

Contribuições Teóricas

O artigo fornece três garantias teóricas fundamentais que sustentam o design:

Branqueamento Aproximado: A etapa de normalização de coordenadas é provada como uma aproximação diagonal eficiente da transformação de branqueamento ideal (Teorema 1), indo além do escalonamento heurístico para um passo de pré-condicionamento principiado.
Redução do Erro de Ortogonalização: Os autores provam que o branqueamento de coordenadas melhora estritamente o número de condição da entrada para a iteração de Newton–Schulz. Consequentemente, o erro de ortogonalização da etapa espectral é estritamente reduzido em comparação com a operação sobre o momento bruto (Teorema 2).
Preservação de Escala: O escalonamento RMS final preserva a direção espectral da atualização enquanto sincroniza sua magnitude global com o restante da rede (Teorema 3).

Resultados Empíricos

O Zeta foi avaliado em tarefas de modelagem de linguagem (0.6B a 8B parâmetros), arquiteturas de mistura de especialistas (MoE) e tarefas de visão, superando ou igualando consistentemente bases fortes (AdamW, Muon e AdaMuon).

Velocidade de Convergência: Em tarefas de pré-treinamento, o Zeta demonstrou convergência mais rápida que o Muon e o AdamW. Por exemplo, em um modelo de 1.7B de parâmetros, o Zeta alcançou um aceleração de 1.67× (em relação ao AdamW) para atingir o mesmo nível de perda, superando o Muon (1.52×) e o AdaMuon (1.61×). Em um modelo de 8B, o Zeta alcançou uma aceleração de 1.25× contra o 1.19× do Muon.
Eficiência: O custo de tempo por iteração do Zeta permaneceu comparável ao AdamW (ex: 25.47s vs. 24.46s para o modelo de 8B em 16 GPUs), indicando que o processo de branqueamento duplo não acarreta penalidades significativas de tempo de execução.
Desempenho em MoE: Em arquiteturas MoE, onde a ativação esparsa de especialistas cria uma substancial heterogeneidade de gradiente, o Zeta manteve uma vantagem clara, convergindo para uma perda menor com menos flutuaçãoção do que os competidores.
Tarefas de Downstream: Em 12 benchmarks de compreensão de linguagem (ex: MMLU, GSM8k), os modelos treinados com Zeta alcançaram a maior precisão média tanto na escala de 1.7B quanto na de 8B. Da mesma forma, em tarefas de visão CIFAR-100, o Zeta alcançou a maior precisão de validação Top-1 para ambos ViT-Tiny e ViT-Base.
Robustez de Hiperparâmetros: Uma busca em grade nos coeficientes de momento ( $\beta_1, \beta_2$ ) mostrou que o Zeta é robusto às escolhas de hiperparâmetros, com a perda final de treinamento variando em menos de 1.2% ao longo do intervalo testado.

Significância e Alegações

O artigo afirma que o Zeta resolve um descompasso fundamental nos otimizadores conscientes de matriz existentes: a aplicação de operações geométricas poderosas (branqueamento espectral) a sinais com escalas de coordenadas não controladas. Ao verificar a prevalência do desequilíbrio de escala intra-matriz através de testes de uniformidade qui-quadrado e demonstrar que o branqueamento de coordenadas corrige isso efetivamente, os autores estabelecem que resolver o desequilíbrio de escala antes da ortogonalização é um pré-requisito para métodos espectrais estáveis.

A significância do Zeta reside na unificação de dois paradigmas de otimização anteriormente concorrentes (escalonamento adaptativo de coordenada e ortogonalização espectral) em um único pipeline logicamente necessário. A ordem das operações não é um hiperparâmetro ajustável, mas uma dependência matemática: o branqueamento de coordenadas deve preceder o branqueamento espectral para garantir que a entrada esteja bem condicionada. Esta abordagem leva a uma convergência mais rápida e melhor generalização sem sacrificar os benefícios geométricos da otimização de nível de matriz.