🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

Este artigo resolve observações conflitantes sobre otimizadores de norma Schatten- $p$ ao demonstrar que, embora métodos Schatten- $\infty$ como o Muon se destaquem em configurações de alta dimensão, geometrias Schatten- $p$ menores são, na verdade, ótimas em regimes de baixa dimensão, como o escalonamento Chinchilla, um achado sustentado por novos resultados de aceleração robustos ao ruído para $p>2$ que também explicam a ausência de requisito de warmup do Muon e sua preferência por lotes grandes.

Autores originais: Thomas Pethick

Publicado 2026-06-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thomas Pethick

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Questão: Qual "Régua" Devemos Usar?

Imagine que você está tentando encontrar o ponto mais baixo em um vasto vale nebuloso (este é o modelo de IA tentando aprender). Para fazer isso, você precisa de uma "régua" para medir o quão íngreme é o terreno e decidir em qual direção dar o próximo passo.

No mundo do aprendizado profundo (deep learning), existem diferentes tipos de réguas, chamadas normas Schatten-p.

Schatten-2 (Euclidiana): Esta é a régua padrão, de linha reta, que costumamos usar (como o otimizador chamado Adam).
Schatten-∞ (A régua "Muon"): Esta é uma régua especial e rígida que só se importa com o único penhasco mais íngreme do cenário. Recentemente, um método chamado Muon (usando esta régua) tornou-se muito popular porque parecia funcionar incrivelmente rápido em alguns testes.
Schatten-p (As réguas "Goldilocks"): Estas são réguas intermediárias, que medem a inclinação de uma forma que não é nem muito suave, nem muito rígida.

A Confusão:
As pessoas estavam discutindo sobre qual régua é a melhor.

Alguns diziam: "Muon (Schatten-∞) é incrível! É o mais rápido!"
Outros diziam: "Não, Muon é superestimado. Métodos padrão funcionam melhor quando treinamos com enormes quantidades de dados."

A Resposta do Artigo:
O autor, Thomas Pethick, diz: "Vocês estão ambos certos, mas estão olhando para tamanhos diferentes de vale."

A melhor régua depende inteiramente do tamanho do problema em relação à quantidade de dados que você tem.

Os Dois Regimes: Pequenas Piscinas vs. Grandes Oceanos

O artigo divide o mundo em dois cenários principais:

1. O Regime "Baixa-Dimensionalidade" (A Pequena Piscina)

O que é: Isso acontece quando você tem um modelo relativamente pequeno ou uma execução de treinamento curta (como os "speedruns" em jogos pequenos mencionados no artigo). O número de passos que você dá (dados) é muito maior do que a complexidade do modelo.
A Analogia: Imagine que você está caminhando por um pequeno jardim bem iluminado. Você consegue ver todo o caminho.
A Melhor Régua: Neste cenário, a régua Schatten-∞ (Muon) não é, na verdade, a melhor. Surpreendentemente, uma régua p menor (mais próxima da régua euclidiana padrão) é mais rápida.
Por quê? Porque em um jardim pequeno, você não precisa estar hiperfocado no único penhasco mais íngreme. Você precisa de uma abordagem mais suave e equilibrada para acelerar rapidamente. O artigo prova que usar uma régua "mais suave" aqui proporciona um aumento de velocidade.

2. O Regime "Alta-Dimensionalidade" (O Grande Oceano)

O que é: Estas são as execuções de treinamento massivas usadas para grandes modelos de IA (como LLMs), onde o modelo é incrivelmente complexo e os dados são vastos.
A Analogia: Imagine que você está navegando em um oceano enorme e escuro com milhares de ilhas. Você não consegue ver o mapa inteiro.
A Melhor Régua: Aqui, a régua Schatten-∞ (Muon) brilha. Ela é projetada para lidar com a "rugosidade" específica desses cenários massivos e complexos.
A Armadilha: Para fazer o Muon funcionar neste grande oceano, você precisa de um tamanho de lote (batch size) enorme (olhando para uma fatia muito larga do oceano de uma só vez). Se você tentar usar o Muon com um tamanho de lote pequeno neste regime, ele falhará.

O Segredo do "Tamanho de Lote" (Batch Size)

Uma das principais descobertas do artigo é sobre o Tamanho de Lote (quantos exemplos a IA observa antes de dar um passo).

A Regra: O artigo deriva uma regra matemática mostrando que, conforme você muda sua régua (de $p=2$ para $p=\infty$ ), o tamanho de lote ideal também deve mudar.
A Metáfora: Pense na régua como um barco.
- Um barco pequeno (Régua Padrão) pode navegar com uma tripulação pequena (tamanho de lote pequeno).
- Um navio de cruzeiro massivo (Muon/Schatten-∞) precisa de uma tripulação enorme (tamanho de lote massivo) para manter a estabilidade e se mover rápido. Se você tentar navegar um navio de cruzeiro com apenas duas pessoas, ele apenas girará em círculos.
O Insight: Isso explica por que o Muon funciona bem para "speedruns" (onde as pessoas usam lotes massivos em modelos pequenos), mas tem dificuldades em alguns benchmarks de larga escala (onde o tamanho do lote pode não ter sido escalado o suficiente para a geometria específica).

Por que Precisamos de "Warmups"?

Você já deve ter ouvido falar que alguns treinadores de IA precisam de um "warmup" (começar devagar e depois acelerar).

A Descoberta do Artigo: A régua Schatten-∞ (Muon) é tão robusta que não precisa de um warmup. Ela pode começar na velocidade máxima imediatamente.
O Contraste: Se você usar uma régua $p$ menor no regime de baixa dimensionalidade, você realmente se beneficia de uma fase de warmup para iniciar a aceleração.

A Conexão com o "Chinchilla"

O artigo conecta isso a uma regra famosa em IA chamada escalonamento Chinchilla, que diz: "À medida que você obtém mais dados, você deve tornar seu modelo maior."

A Reviravolta: O artigo argumenta que, mesmo com o escalonamento Chinchilla, muitas vezes ainda estamos no "Regime de Baixa Dimensionalidade" (o pequeno jardim).
O Resultado: Como muitas vezes estamos nesse regime de "pequeno jardim", usar o Muon padrão (Schatten-∞) pode ser, na verdade, menos eficiente do que usar um otimizador de norma $p$ finita (como HTMuon ou Soft-Muon). Isso explica por que novos métodos que usam réguas "mais suaves" estão começando a vencer o Muon em alguns testes de larga escala.

Resumo: Como Escolher Sua Régua

O artigo conclui com um guia simples:

Se você estiver em um regime de "Baixa Dimensionalidade" (modelos pequenos, ou quando a quantidade de dados é enorme em relação ao tamanho do modelo):
- Não use automaticamente o extremo Schatten-∞ (Muon).
- Considere usar uma norma Schatten- $p$ finita (uma régua "mais suave"). Ela acelera mais rápido e lida melhor com o ruído.
- Nota: Você pode até querer trocar de régua enquanto treina! Comece com uma régua "dura" e mude para uma "mais suave" mais tarde.
Se você estiver em um regime de "Alta Dimensionalidade" (complexidade massiva):
- O Schatten-∞ (Muon) é provavelmente a escolha certa, MAS você deve usar um tamanho de lote muito grande para fazê-lo funcionar.

A Conclusão Final: Não existe um otimizador único que seja o "melhor". A melhor ferramenta depende do tamanho do problema e de quanta data você tem. A confusão na comunidade existiu porque as pessoas estavam testando as ferramentas em diferentes "regimes" sem perceber.

Resumo Técnico: "Quando usar qual norma de Schatten- $p$ em deep learning?"

Declaração do Problema

Otimizadores baseados em Schatten- $\infty$ , como o Muon, demonstraram um desempenho empírico promissor em configurações específicas de deep learning, particularmente aquelas envolvendo execuções de treinamento curtas ou grandes tamanhos de lote (batch sizes). No entanto, existem observações conflitantes em relação à sua utilidade geral. Embora se destaquem em certos regimes (ex: speedruns de CIFAR-10), eles não superam consistentemente métodos padrão como Adam ou SGD em cenários de treinamento de larga escala com orçamentos de tokens extensos. Além disso, variantes recentes que utilizam normas de Schatten- $p$ finitas (ex: HTMuon, Soft-Muon) têm mostrado resultados competitivos ou superiores, desafiando a necessidade de utilizar exclusivamente a norma de Schatten- $\infty$ .

A questão central abordada é: Qual norma de Schatten- $p$ um otimizador deve usar, e sob quais regimes de treinamento ela é ótima? Os frameworks teóricos existentes, especificamente o framework SODA (Schedule-free Optimistic Dual Averaging), careciam da capacidade de analisar geometrias de $p$ -normas para $p > 2$ sob ruído estocástico, deixando o mecanismo por trás do sucesso do Muon e suas limitações teoricamente não explicados.

Metodologia

O artigo estende o framework SODA (Pethick et al., 2026), que unifica componentes modernos de otimização como dual averaging otimista, momentum de Nesterov e weight decay. Os autores generalizam a análise do SODA para funções de referência $p$ -uniformemente convexas para $p \ge 2$ , cobrindo tanto geometrias vetoriais $\ell_p$ quanto de matrizes Schatten- $p$ .

Componentes metodológicos principais incluem:

Template Algorítmico: A análise utiliza uma regra de atualização primal-dual onde o mapa dual é definido pelo gradiente do conjugado de Fenchel de uma função de referência $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ .
- Para $p=2$ , isso recupera a geometria Euclidiana.
- Para $p \to \infty$ , recupera o oráculo de minimização linear (LMO) usado no Muon ( $UV^\top$ ).
- Para $p > 2$ finito, corresponde a métodos como HTMuon e Soft-Muon.
Suposições de Ruído: A análise incorpora suposições de ruído de cauda pesada (heavy-tailed noise), especificamente assumindo que os gradientes satisfazem uma condição de momento $r$ ( $r \in (1, 2]$ ). Isso permite a derivação de taxas de convergência que dependem do expoente dual $q = p/(p-1)$ .
Análise de Regimes: Os autores derivam limites de complexidade de oráculo sob dois regimes distintos:
- Determinístico: Onde o ruído é negligenciável.
- Estocástico: Onde o ruído está presente e os tamanhos de lote são escalonados para gerenciar a variância.
Leis de Escalonamento (Scaling Laws): Os limites teóricos são aplicados às regras de escalonamento modernas de deep learning (ex: Chinchilla), relacionando o orçamento total de tokens $N$ à dimensão efetiva $d$ das matrizes do modelo.

Principais Contribuições

1. Aceleração Robusta ao Ruído para Arbitrário $p$

Os autores provam que o SODA alcança taxas de convergência aceleradas para otimização sobre geometrias de $p$ -norma enquanto permanece robusto ao ruído estocástico. Eles estabelecem uma taxa livre de dimensão:
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
Este resultado revela uma conexão fundamental entre a escolha da geometria $p$ e a "pesantez" das caudas do ruído (via expoente dual $q$ ). Isso é apresentado como o primeiro resultado de aceleração robusto ao ruído para geometrias de $p$ -norma arbitrárias.

2. Regras de Escalonamento de Tamanho de Lote (Batch Size)

Ao analisar a complexidade de oráculo sob variância limitada ( $r=2$ ), o artigo deriva uma regra de escalonamento de tamanho de lote dependente da norma. Para um orçamento total de oráculo $N$ fixo, o tamanho de lote ideal $B_p$ escala como:
$B_p \asymp N^{2(p-1)/(3p-2)}$

Para $p=2$ (Euclidiana), $B_2 \asymp N^{1/2}$ .
Para $p \to \infty$ (Schatten- $\infty$ ), $B_\infty \asymp N^{2/3}$ .
Isso explica por que métodos de Schatten- $\infty$ como o Muon empiricamente requerem tamanhos de lote maiores para realizar seus benefícios.

3. Otimalidade Dependente de Regime

O artigo resolve o conflito em relação à utilidade do Muon mostrando que a escolha ideal de $p$ é dependente do regime, determinada pela relação entre a dimensão efetiva $d$ e o orçamento de oráculo $N$ :

Regime de Alta Dimensão ( $N \lesssim d$ ): Combinar a geometria com a suavidade do problema é favorável. Se o objetivo é suave na norma de Schatten- $\infty$ , usar $p \to \infty$ é ótimo.
Regime de Baixa Dimensão ( $N \gtrsim d$ ): Valores menores de $p$ $p$ são preferíveis.
- Em configurações determinísticas, $p=2$ (Euclidiana) oferece aceleração mais forte.
- Em configurações estocásticas com ruído de cauda pesada, a menor geometria admissível $p = r/(r-1)$ é a ótima devido ao melhor alinhamento com as suposições de ruído.

4. Implicações para Leis de Escalonamento (Scaling Laws)

Os autores conectam esses regimes teóricos às leis de escalonamento modernas (ex: Chinchilla). Sob receitas típicas de escalonamento onde o tamanho do modelo escala linearmente com os tokens ( $N$ ), o rank efetivo das matrizes de peso cresce como $d \propto N^{1/3}$ . Consequentemente, $N \gg d$ , colocando o treinamento de larga escala padrão firmemente no regime de baixa dimensão.

Conclusão: Neste regime, um $p$ menor (Schatten- $p$ finito) é teoricamente preferível ao Schatten- $\infty$ . Isso fornece uma explicação teórica para o motivo de o Muon diminuir sua vantagem em escala e por que otimizadores de $p$ -finito (HTMuon, Soft-Muon) estão surgindo como fortes competidores.

Resultados e Significância

O artigo afirma resolver a contradição aparente no desempenho empírico de otimizadores de Schatten- $\infty$ . A significância do trabalho reside em:

Unificação Teórica: Fornecer um framework único (SODA) que explica o comportamento do Muon, Soft-Muon e otimizadores Euclidianos através da lente da geometria de $p$ -norma.
Explicação de Fenômenos Empíricos:
- Warmup: A análise explica por que métodos de Schatten- $\infty$ não requerem warmup de stepsize (o stepsize efetivo decai como $k^{-1}$ ), enquanto geometrias de $p$ menor exibem uma fase de warmup.
- Tamanho de Lote (Batch Size): Quantifica a necessidade de grandes lotes para métodos de Schatten- $\infty$ e fornece uma regra de escalonamento para qualquer $p$ .
- Escalonamento: Oferece uma base teórica para a observação de que métodos de Schatten- $\infty$ podem não escalar tão bem quanto o esperado sob receitas tipo Chinchilla, sugerindo que a natureza de "baixa dimensão" do treinamento de LLMs modernos favorece o $p$ finito.
Orientação Prática: Os resultados sugerem uma potencial estratégia de troca (switching) onde o $p$ poderia ser ajustado durante o treinamento (começando próximo a $\infty$ e mudando para um $p$ finito conforme o orçamento $N$ excede a dimensão $d$ ), alinhando-se com cronogramas empíricos recentes como o Soft-Muon.

Os autores mantêm um tom modesto, observando que sua análise depende de conversões de norma de pior caso e que relações mais precisas e dependentes do problema poderiam refinar as fronteiras entre os regimes. Eles deixam a exploração prática de troca dinâmica de $p$ como trabalho futuro.