📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

Este artigo demonstra que o expoente de escalonamento nas leis de escalonamento neural não é uma constante fixa, mas depende sistematicamente do otimizador, com métodos pré-condicionados produzindo ganhos de desempenho significativamente mais acentuados do que o gradiente descendente padrão, particularmente sob condições espectrais características da linguagem natural.

Autores originais: Vansh Ramani, Shourya Vir Jain

Publicado 2026-05-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vansh Ramani, Shourya Vir Jain

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Não É Apenas Sobre Tamanho, É Sobre Como Você Aprende

Imagine que você está tentando aprender uma quantidade massiva de informações (como ler todos os livros de uma biblioteca). No mundo da Inteligência Artificial (IA), temos uma regra chamada Lei de Escala. Esta regra diz: "Se você tornar o cérebro da IA maior (adicionar mais neurônios), ele fica mais inteligente, mas a quantidade de melhoria segue uma curva específica e previsível."

Por muito tempo, os cientistas pensaram que essa curva era fixa. Eles acreditavam que, se você dobrasse o tamanho da IA, obteria uma quantidade específica e imutável de melhoria, não importava qual ferramenta fosse usada para ensiná-la.

Este artigo diz: "Na verdade, a ferramenta que você usa para ensinar a IA muda a curva."

A "ferramenta" é chamada de otimizador. Pense no otimizador como o professor ou o método de estudo. O artigo argumenta que alguns professores são tão melhores em organizar o processo de aprendizado que não apenas fazem a IA aprender mais rápido; eles realmente mudam a matemática fundamental de quanto a IA melhora à medida que fica maior.

A Analogia: A Biblioteca e o Bibliotecário

Para entender as descobertas do artigo, vamos usar uma analogia de uma Biblioteca e um Bibliotecário.

1. A Biblioteca (Os Dados)

Imagine que os dados que a IA precisa aprender são uma biblioteca.

A Biblioteca "Íngreme": A maioria dos livros é sobre um tópico popular (como "Como assar pão"), e muito poucos livros são sobre tópicos obscuros (como "Agricultura de musgo do século XVIII"). No mundo real, isso é como a linguagem: algumas palavras são usadas constantemente, e milhões são usadas raramente. Isso é chamado de espectro íngreme.
A Biblioteca "Plana": Cada tópico tem exatamente o mesmo número de livros. Isso é raro na natureza, mas fácil de imaginar.

2. O Estudante (O Modelo de IA)

A IA é um estudante tentando ler esses livros para passar em uma prova. O estudante tem uma quantidade limitada de tempo (poder de computação) e uma memória limitada (tamanho do modelo).

3. Os Professores (Os Otimizadores)

É aqui que o artigo fica interessante. Os autores testaram diferentes "professores" (otimizadores) para ver como eles ajudam o estudante a aprender.

Professor A (Descida de Gradiente Padrão / GD): Este professor é como um estudante que lê a biblioteca em ordem. Ele lê os livros populares de "pão" primeiro porque são fáceis de encontrar. Quando chega aos livros de "agricultura de musgo", ele fica sem tempo.
- Resultado: Ele fica bom em pão, mas péssimo em musgo. À medida que a biblioteca cresce, ele fica preso nas coisas populares e ignora o resto. Sua curva de melhoria se achata rapidamente.
Professor B (Otimizadores Precondicionados como Muon/Full NG): Este professor é um organizador genial. Ele percebe que, embora os livros de "musgo" sejam raros, eles ainda são importantes. Ele usa um mapa especial (chamado de precondicionador) para tornar os livros de "musgo" tão fáceis de alcançar quanto os livros de "pão". Ele força o estudante a aprender tudo uniformemente.
- Resultado: O estudante aprende um pouco de tudo. Como ele não está desperdiçando tempo apenas nas coisas populares, ele fica muito mais inteligente à medida que a biblioteca cresce.

A Descoberta Chave: O "Multiplicador Mágico"

O artigo realizou experimentos computacionais (usando um modelo matemático simplificado chamado "regressão de recursos aleatórios") para medir exatamente o quanto os estudantes ficaram mais inteligentes.

Eles descobriram que, quando a biblioteca tem um espectro íngreme (como a linguagem humana real, onde algumas coisas são muito comuns e muitas são raras):

Professor A (Padrão) bate em um muro. O estudante para de melhorar muito após certo tamanho.
Professor B (Avançado) continua subindo. O estudante fica significativamente mais inteligente a cada passo de aumento de tamanho.

O Número "Mágico":
O artigo mediu um número chamado $\alpha$ (alfa). Este número representa a "taxa de melhoria".

Para o professor padrão, $\alpha$ era baixo (cerca de 0,12).
Para o professor avançado, $\alpha$ era muito mais alto (cerca de 0,31).

Por que isso importa?
Como esses números são expoentes, uma pequena diferença cria uma lacuna enorme ao longo do tempo.

Se você dobrar o tamanho da IA com o professor padrão, você obtém um pequeno impulso.
Se você dobrar o tamanho com o professor avançado, você obtém um impulso 2,6 vezes maior.
Se você continuar dobrando o tamanho, o professor avançado se afasta cada vez mais. É como juros compostos: a vantagem cresce a cada passo.

O Problema: Depende da Biblioteca

O artigo também descobriu uma condição crucial: Essa vantagem só acontece se a biblioteca for "íngreme".

Se a biblioteca for íngreme (como a linguagem real): O professor avançado é um fator de mudança. Ele corrige o desequilíbrio e permite que a IA aprenda com eficiência.
Se a biblioteca for plana (tudo é igual): O professor padrão já está fazendo um bom trabalho, pois não há desequilíbrio para corrigir. O professor avançado não oferece muita ajuda extra aqui.

E a IA Real? (A "Questão Aberta")

Os autores têm o cuidado de dizer que seus resultados vêm de um modelo matemático simplificado, não de uma IA real e gigante como as usadas pelo Google ou OpenAI hoje.

Eles reconhecem um conflito no mundo real:

Alguns estudos recentes dizem que professores avançados (como Muon) são ótimos em pequenas escalas, mas sua vantagem desaparece à medida que a IA fica enorme.
Este artigo sugere que, em seu modelo simplificado, a vantagem deveria continuar crescendo.

A Conclusão:
O artigo propõe que a "vantagem que desaparece" vista na vida real pode acontecer porque a IA real aprende recursos por conta própria (mudando a estrutura da biblioteca), enquanto seu modelo assume que a biblioteca permanece a mesma.

Resumo para o Público Geral

O Mito: "IA maior sempre fica mais inteligente a uma taxa fixa."
A Realidade: A taxa na qual a IA fica mais inteligente depende fortemente da ferramenta matemática (otimizador) usada para treiná-la.
A Descoberta: Ferramentas avançadas podem atuar como um "equalizador espectral". Elas impedem que a IA ignore informações raras, mas importantes, permitindo que ela aprenda muito mais eficientemente à medida que cresce.
A Condição: Esse superpoder funciona melhor quando os dados são "desbalanceados" (como a linguagem humana). Se os dados estiverem perfeitamente balanceados, as ferramentas sofisticadas não ajudam muito.
O Futuro: Precisamos testar isso em modelos de IA reais e gigantes para ver se o "multiplicador mágico" se mantém ou se desaparece à medida que os modelos ficam massivos.

Em resumo: Escolher o professor certo não apenas faz o estudante aprender mais rápido; muda o teto de quão inteligente o estudante pode se tornar.

Resumo Técnico: Sobre a Dependência do Otimizador nas Leis de Escala Neural

Declaração do Problema
As leis de escala neural postulam que a perda de teste $L$ diminui conforme uma lei de potência com o tamanho do modelo $N$ ( $L(N) \propto N^{-\alpha}$ ), onde o expoente $\alpha$ é tradicionalmente tratado como uma constante fixa determinada pela arquitetura e pela distribuição dos dados. Essa suposição fundamenta estratégias de alocação de computação para modelos de fronteira. No entanto, resultados empíricos recentes sobre otimizadores de segunda ordem (por exemplo, Muon, SOAP, Shampoo) apresentam evidências conflitantes: alguns sugerem acelerações significativas de computação em relação ao AdamW, enquanto outros indicam que esses ganhos se atenuam à medida que o tamanho do modelo aumenta. Este artigo investiga uma questão fundamental: os otimizadores avançados apenas melhoram o fator constante da lei de escala, ou alteram fundamentalmente o próprio expoente de escala $\alpha$ ? Se $\alpha$ mudar, as implicações para as previsões de escala são profundas, pois mudanças no expoente se compostam a cada duplicação do tamanho do modelo, ao passo que melhorias de fator constante não o fazem.

Metodologia
Os autores investigam essa questão dentro do framework de regressão de características aleatórias (Maloney et al., 2022; Bordelon et al., 2024). Esse cenário teórico isola a interação entre a estrutura espectral dos dados, o pré-condicionamento do otimizador e a capacidade do modelo, fixando os pesos das características e treinando apenas os pesos lineares da camada superior.

Configuração Experimental: O estudo simula tarefas de regressão com entradas extraídas de uma distribuição Gaussiana com autovalores de lei de potência $\lambda_i \propto i^{-(1+s)}$ , onde $s$ é o expoente espectral. Dados de linguagem natural são caracterizados por $s \approx 0,8\text{--}1,2$ .
Variantes de Otimizador: Cinco otimizadores são implementados como pré-condicionadores de gradiente:
1. GD: Linha de base (pré-condicionador Identidade).
2. Diagonal: Proxy para AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG: Proxy para Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD: Um controle negativo usando atualizações de sinal.
5. Matrix-Sign: Proxy para Muon ( $P = (F^\top F)^{-1/2}$ ), que equaliza os valores singulares.
Protocolo: Os experimentos variam seis condições espectrais ( $s \in [0,25, 2,0]$ ) e oito tamanhos de modelo ( $N \in [25, 5000]$ ). Os expoentes de escala $\alpha$ são ajustados via Mínimos Quadrados Ordinários (OLS) em gráficos log-log de perda versus tamanho do modelo para $N \ge 200$ .

Principais Contribuições

Medição Sistemática: O artigo fornece a primeira medição sistemática de $\alpha$ como uma função conjunta do tipo de otimizador e do decaimento espectral dos dados em cinco variantes de pré-condicionador.
Explicação Mecanística: Oferece uma heurística espectral (Proposição 1) explicando que otimizadores pré-condicionados equalizam as taxas de aprendizado por modo. Enquanto o Gradiente Descendente (GD) "gasta em excesso" em modos de alta variância e "gasta de menos" em modos de baixa variância, os pré-condicionadores resgatam modos subatendidos, aumentando a capacidade efetiva utilizada em um dado $N$ .
Diagnóstico Espectral: Os autores propõem uma regra de diagnóstico: o benefício do pré-condicionamento depende da inclinação espectral $s$ . A vantagem é negligenciável para espectros planos ( $s < 0,3$ ), mas cresce significativamente à medida que $s$ aumenta.
Previsão Falseável: O artigo prevê que o treinamento em dados com espectro artificialmente achatado (por exemplo, via branqueamento) deve fazer com que a vantagem de otimizadores avançados como o Muon diminua ou desapareça.

Resultados

Dependência do Otimizador de $\alpha$ : Otimizadores pré-condicionados produzem consistentemente uma escala mais íngreme (maior $\alpha$ ) do que o GD. A ordenação é geralmente $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
Dependência Espectral: A lacuna $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ aumenta com o expoente espectral $s$ $s$ .
- Em $s \approx 1,0$ (característico de linguagem natural), o Gradiente Natural Completo alcança $\alpha \approx 0,31$ versus $\alpha \approx 0,12$ para o GD, representando um expoente ajustado $2,6\times$ maior.
- Em $s \approx 0,5$ , as curvas são quase paralelas, e a vantagem diminui.
- Em $s \approx 2,0$ , o expoente do GD colapsa para próximo de zero ( $\alpha \approx 0,01$ ), enquanto otimizadores pré-condicionados degradam-se graciosamente ( $\alpha \approx 0,20$ ).
Multiplicadores de Computação: Traduzindo a mudança de $\alpha$ para um multiplicador de computação efetivo, o modelo de características aleatórias prevê uma vantagem substancial equivalente a parâmetros para pré-condicionadores fortes em $s \approx 1,0$ . Isso alinha-se direcionalmente com relatórios empíricos recentes de acelerações de computação de $\sim 1,4\times$ para Muon sobre AdamW em escalas moderadas (Chen et al., 2025).

Significância e Afirmativas
O artigo argumenta que previsões de leis de escala devem levar em conta a escolha do otimizador. Se otimizadores pré-condicionados alterarem o expoente $\alpha$ , previsões calibradas sob AdamW podem subestimar significativamente os retornos à escala para modelos treinados com otimizadores avançados.

No entanto, os autores mantêm uma postura modesta quanto à transferência dessas descobertas para LLMs em grande escala:

Limitações: O modelo de características aleatórias opera em um regime "preguiçoso" (características fixas) e omite profundidade, atenção e tokenização.
Decaimento de Escala: O artigo reconhece evidências conflitantes (Wen et al., 2025) sugerindo que a vantagem do Muon/SOAP pode se atenuar em escalas muito grandes (por exemplo, 1,2 bilhão de parâmetros). Os autores propõem que essa atenuação pode ser devido a efeitos de $N$ finito, ao aprendizado de características mitigando naturalmente o desequilíbrio espectral, ou a mudanças no espectro de dados efetivo em escala.
Conclusão: A contribuição primária é estabelecer que o expoente de escala não é uma constante fixa do par arquitetura/dados, mas depende sistematicamente da interação do otimizador com o espectro dos dados. O artigo solicita validação em modelos reais para determinar se essa mudança de expoente persiste ou se atenua no regime "rico" de aprendizado de características.