🤖 machine learning

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

Este artigo de posição argumenta que, embora os expoentes das leis de escala neural sejam fixados por mecanismos universais como a não linearidade Softmax e a superposição representacional, os coeficientes — que ditam o desempenho prático e as configurações de modelos ideais — são sensíveis a detalhes específicos de dados e arquitetura, tornando sua compreensão a chave para melhorias de IA a curto prazo.

Autores originais: Yizhou Liu, Jeff Gore

Publicado 2026-06-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yizhou Liu, Jeff Gore

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: A "Receita" vs. Os "Ingredientes"

Imagine que você está tentando assar o pão perfeito (um Modelo de Linguagem de Grande Escala - LLM). Por muito tempo, os cientistas notaram um padrão: se você dobrar a quantidade de farinha, água ou tempo de forno, o pão melhora de uma forma previsível. Isso é chamado de "lei de escala" (scaling law).

Este artigo argumenta que as regras de como o pão melhora (a matemática por trás da receita) são, na verdade, fixas e imutáveis, como as leis da física. No entanto, a qualidade dos ingredientes (os dados e as escolhas de design específicas) muda o quão bom o pão fica, mesmo que as regras permaneçam as mesmas.

Os autores chamam isso de "Universalidade de Escala Neural" (Neural Scaling Universality). Isso significa que, não importa como você ajuste o modelo, a "velocidade" com que ele aprende segue três regras fixas. A única coisa que muda é o "ponto de partida" ou a "eficiência" do processo.

As Três Regras Fixas (Os Expoentes)

O artigo diz que, conforme você treina um modelo, os erros (equívocos) que ele comete caem seguindo três padrões específicos. Pense nisso como três diferentes "limites de velocidade" para o aprendizado:

1. O Limite de Velocidade do "Softmax" (Tempo)

A Analogia: Imagine que você está tentando encontrar uma agulha em um palheiro, mas o palheiro é feito de ímãs que ficam mais fortes à medida que você se aproxima. No início, você se move lentamente. Mas, conforme chega perto da agulha, os ímãs te puxam cada vez mais rápido.
A Ciência: O artigo diz que, devido a uma função matemática específica chamada "Softmax" (usada para fazer previsões), o modelo aprende de uma forma específica. Os erros caem a uma taxa fixa relacionada ao tempo (especificamente, a raiz cúbica do tempo). Isso acontece porque a matemática se torna muito "não linear" (curva) quando o modelo está confiante.
A Conclusão: Você não pode mudar esse limite de velocidade. Ele está embutido na matemática de como o modelo pensa.

2. O Limite do "Quarto Lotado" (Largura)

A Analogia: Imagine um quarto pequeno (a memória do modelo) onde você está tentando acomodar um milhão de pessoas diferentes (conceitos/palavras). Se o quarto for muito pequeno, as pessoas terão que ficar umas sobre as outras ou compartilhar espaço. Isso causa "interferência geométrica" — pessoas esbarrando umas nas outras, dificultando a audição clara.
A Ciência: Isso é chamado de "superposição" (superposition). O modelo tenta compactar mais características em menos dimensões. Os erros caem à medida que você torna o "quarto" mais largo (aumenta a largura do modelo), mas a melhoria segue uma regra estrita: dobre a largura, reduza o erro pela metade.
A Conclusão: O limite aqui é o quanto de informação você consegue espremer no "cérebro" do modelo sem que ele fique bagunçado.

3. O Limite do "Trabalho em Equipe" (Profundidade)

A Analogia: Imagine uma corrida de revezamento com muitos corredores (camadas no modelo). Se cada corredor cometer um erro minúsculo, a equipe ainda pode vencer se eles compensarem esses erros. Mas, se os corredores estiverem todos fazendo exatamente a mesma coisa, eles não ajudam muito uns aos outros.
A Ciência: O artigo sugere que as camadas do Transformer funcionam como uma equipe compensando seus erros. Quanto mais camadas você adiciona, melhor a equipe fica em corrigir erros, mas, novamente, isso segue uma regra fixa: dobre as camadas, reduza o erro pela metade.
A Conclusão: Adicionar mais camadas ajuda, mas o benefício segue um padrão previsível e fixo.

O Problema Real: Os Coeficientes (Os "Ingredientes")

Se as regras (expoentes) são fixas, por que alguns modelos têm um desempenho melhor do que outros? A resposta reside nos coeficientes.

A Analogia: Pense nas regras fixas como as leis da física para assar pão. Você não pode mudar o fato de que o calor cozinha a massa. Mas o coefiente é a qualidade da sua farinha, a temperatura do seu forno e a habilidade do seu padeiro.
O Que o Artigo Diz: Os "coeficientes" são os números na matemática que dizem quanto de erro você ainda tem. Esses números dependem inteiramente de:
- Os Dados: Quão diversos e de alta qualidade é o texto.
- A Arquitetura: As escolhas de design específicas (como o modelo lida com atenção ou normalização).
Por Que Isso Importa: Como os "limites de velocidade" (expoentes) são fixos, a única maneira de criar um modelo melhor agora é melhorar esses coeficientes. Se você conseguir ajustar seu design ou seus dados para diminuir o coeficiente, você obtém um modelo melhor sem quebrar as leis da física.

Resultados Práticos: Encontrando o "Ponto Ideal"

O artigo usa essas regras para descobrir a forma perfeita de um modelo.

A Forma: Qual deve ser a largura do modelo em relação à sua profundidade?
- O artigo calcula que existe uma proporção "Goldilocks" (nem muito, nem pouco). Se você tem um orçamento fixo de poder computacional, não deve apenas tornar o modelo enorme em uma direção. Você precisa de um equilíbrio específico (aproximadamente 64 vezes mais largo do que profundo, de acordo com os dados sobre modelos Chinchilla).
- Boa Notícia: O artigo diz que o "cenário" (landscape) é plano. Isso significa que você não precisa ser perfeito. Estar perto da proporção correta é quase tão bom quanto ser exato.
Dados vs. Passos (Steps):
- Muitas pessoas se preocupam que estamos "ficando sem dados". Este artigo argumenta que o pré-treinamento é, na verdade, limitado por passos (step-limited), não por dados.
- A Analogia: Não é que você ficou sem livros para ler; é que você parou de ler antes de terminar a frase. Você pode obter melhores resultados dando mais "passos" (passos de otimização) com os dados que já possui, em vez de apenas acumular mais dados únicos.
A Fronteira Computacional:
- O artigo confirma que, se você equilibrar perfeitamente o tamanho do modelo e o tamanho dos dados, o erro cai a uma taxa de um sexto do total de poder computacional usado. Esta é a "fronteira de computação ideal" (compute-optimal frontier).

Resumo

As Regras são Fixas: A maneira como os modelos de IA aprendem segue três padrões matemáticos imutáveis (Tempo, Largura, Profundidade) causados pela natureza da matemática (Softmax) e pela forma como as camadas trabalham juntas.
As Variáveis são Flexíveis: A qualidade do aprendizado (os coeficientes) depende de seus dados e escolhas de design.
O Objetivo: Para construir uma IA melhor, não devemos apenas procurar por novas "leis da física". Em vez disso, devemos focar em ajustar nossos "ingredientes" (dados e arquitetura) para diminuir os coeficientes de erro, encontrando o equilíbrio perfeito entre o tamanho do modelo e os dados para obter o máximo de proveito pelo que investimos.

O artigo conclui que estamos atualmente em uma "classe de universalidade" específica (um conjunto específico de regras). Para obter uma IA ainda melhor no futuro, talvez precisemos encontrar uma maneira de romper essas regras atuais, mas, por enquanto, dominar os coeficientes é a chave para a melhoria imediata.

Resumo Técnico: Universalidade de Escalonamento Neural

Declaração do Problema

As leis de escalonamento neural descrevem o decaimento da perda de pré-treinamento como leis de potência em relação ao tempo de treinamento, tamanho do modelo e computação. Embora essas leis tenham sido instrumentais para o sucesso dos Grandes Modelos de Linguagem (LLMs), suas origens mecanísticas permanecem amplamente empíricas. A visão predominante atribui essas leis de potência às distribuições de lei de potência inerentes aos dados de treinamento (ex: frequências de características), sugerindo que os expoentes de perda são sensíveis a estruturas de dados específicas. Isso deixa questões em aberto sobre a generalizabilidade das leis de escalonamento em escalas maiores e o potencial para novos aceleramentos. O artigo aborda a necessidade de determinar se os expoentes de escalonamento são fixados por mecanismos arquitetônicos genéricos ou se são contingentes aos detalhes dos dados, e se os coeficientes dessas leis detêm a chave para melhorias de desempenho a curto prazo.

Metodologia

O artigo sintetiza e estende uma trilogia de trabalhos recentes [15–17] para propor uma hipótese de Universalidade de Escalonamento Neural. A metodologia envolve:

Decomposição Teórica: Os autores decompõem a perda de pré-treinamento ( $L$ ) em três termos assintóticos distintos baseados em mecanismos genéricos:
- Escalonamento de Tempo: Impulsionado pela forte não linearidade da função Softmax ao aprender distribuições de pico (baixa entropia), levando a um decaimento de perda de $L \sim \tau^{-1/3}$ , onde $\tau$ é o tempo dinâmico.
- Escalonamento de Largura: Impulsionado pela "superposição", onde modelos codificam mais características do que dimensões disponíveis, causando interferência geométrica. Isso resulta em uma perda residual $L \sim m^{-1}$ , onde $m$ é a dimensão de embedding (largura).
- Escalonamento de Profundidade: Impulsionado pela média de erros através das camadas Transformer, que atualizam estados ocultos incrementalmente em vez de hierarquicamente. Isso produz $L \sim \ell^{-1}$ , onde $\ell$ é a profundidade.
Fórmula de Perda Unificada: Esses mecanismos são combinados em uma fórmula de perda assintótica aditiva:
$L = \frac{c_\tau}{\tau^{1/3}} + \frac{c_m}{m} + \frac{c_\ell}{\ell} + L_0$
onde $c_\tau, c_m, c_\ell$ são coeficientes que absorvem especificidades de dados e arquitetura, e $L_0$ é a perda irredutível.
Validação Empírica: Os autores ajustam essa fórmula de expoente fixo a dados empíricos de múltiplas famílias de modelos, incluindo Pythia, Chinchilla, GPT-3 e Farseer.
- Eles tratam os expoentes como fixos (ex: $1/3$ para tempo, $1$ para largura/profundidade) e variam apenas os coeficientes.
- Eles analisam a relação entre o tamanho do conjunto de dados ( $D$ ) e o tempo dinâmico ( $\tau$ ), argumentando que em regimes de treinamento online, $D \propto \tau$ , permitindo a transferência do escalonamento de tempo para o escalonamento de tamanho de conjunto de dados.
- Eles derivam formas de modelos ideais e fronteiras de computação otimizadas minimizando a função de perda em relação aos parâmetros do modelo ( $N$ ) e computação ( $C$ ).

Principais Contribuições

1. A Hipótese da Universalidade de Escalonamento Neural

O artigo postula que as leis de escalonamento neural pertencem a uma classe de "universalidade" específica definida por expoentes fixos determinados por mecanismos genéricos (não linearidade do Softmax, superposição e média de camadas). Dentro desta classe, variações nas estruturas de dados ou detalhes arquitetônicos alteram primariamente os coeficientes ( $c_\tau, c_m, c_\ell$ ) em vez dos expoentes.

2. Origens Mecanísticas de Expoentes Fixos

O artigo fornece explicações mecanísticas específicas para os expoentes observados:

Escalonamento de Tempo $1/3$ : Surge da dinâmica não linear do Softmax ao atingir distribuições de pico, análogo à expansão de baixa temperatura.
Escalonamento de Largura Inverso ($1$): Surge da interferência geométrica de características superpostas.
Escalonamento de Profundidade Inverso ($1$): Surge da média de erros entre camadas com atualizações funcionais semelhantes.

3. Derivação de Arquiteturas e Fronteiras Otimizadas

Ao tratar os coeficientes como as variáveis primárias, o artigo deriva:

Forma de Modelo Ótima: A razão ideal de largura para profundidade ( $m/\ell$ ) é determinada pela razão dos coeficientes $c_m / c_\ell$ . No ótimo, as contribuições de perda de largura e profundidade seguem uma razão de $2:1$ .
Escalonamento de Tamanho de Modelo: No formato ideal, a perda decai como $N^{-1/3}$ (onde $N$ é a contagem de parâmetros).
Fronteira de Computação Otimizada: Ao minimizar a perda para uma computação fixa ( $C \approx 6ND$ ), o artigo deriva uma razão ótima de tokens para parâmetros ( $D/N$ ) e um escalonamento de perda de computação otimizada de $C^{-1/6}$ .

4. Mudança de Pré-treinamento Limitado por Dados para Limitado por Passos

Os autores argumentam que o pré-treinamento é fundamentalmente limitado por passos (restrito pelas dinâmicas de otimização) em vez de limitado por dados. Como o escalonamento do tamanho do conjunto de dados é uma consequência secundária do escalonamento de tempo ( $D \propto \tau$ ), uma maior redução de perda pode ser alcançada realizando mais passos de otimização (potencialmente reutilizando dados) em vez de apenas aumentar o volume de dados únicos, desde que a qualidade e a diversidade dos dados sejam suficientes.

Resultados

O artigo valida a classe de universalidade proposta através de ajustes extensivos de dados empíricos:

Modelos Pythia: O decaimento da perda através do tempo de treinamento, largura e profundidade alinha-se bem com a fórmula de expoente fixo ( $1/3, 1, 1$ ).
Modelos Chinchilla: Os dados apoiam o derivado escalonamento de tamanho de conjunto de dados de $1/3$ e o escalonamento de tamanho de modelo de $1/3$ . A razão de aspecto ideal prevista pelos coeficientes ajustados ( $m/\ell \approx 64$ ) aproxima-se muito das formas reais dos modelos Chinchilla. Os pontos de computação otimizada seguem o previsto $N \propto C^{1/2}$ e $L \propto C^{-1/6}$ .
Modelos Farseer: Esta família, que segue estritamente $m \propto \ell$ , cai precisamente na linha prevista de ótimo. Apesar da degenerescência em identificar coeficientes individuais de largura/profundidade, os componentes de tamanho de modelo e tamanho de conjunto de dados da perda ainda concordam bem com o escalonamento de $1/3$ .
Variabilidade de Coeficientes: A análise entre diferentes famílias de modelos (Pythia, GPT-3, Farseer, Chinchilla) mostra que, embora os expoentes permaneçam fixos, os coeficientes ( $c_\tau, c_m, c_\ell$ ) e as razões ótimas derivadas variam, confirmando sua sensibilidade a escolhas de dados e arquitetura.

Significância e Alegações

O artigo afirma que compreender os coeficientes é a chave para melhorias de desempenho a curto prazo em LLMs, em vez de buscar novos expoentes.

Prescrição de Design: Os coeficientes fornecem uma base principiológica para o design de arquitetura (ex: determinar a razão ótima $m/\ell$ ) e alocação de computação (determinar a razão ótima $D/N$ ).
Universalidade vs. Dependência de Dados: O artigo desafia a visão convencional de que os expoentes de perda dependem de leis de potência de dados. Em vez disso, argumenta que os expoentes são robustos e fixos por propriedades de alto nível (uso de Softmax, alvos de baixa entropia), enquanto as estruturas de dados influenciam principalmente os coeficientes.
Caminhos para Melhoria: Ao examinar de perto os coeficientes, pesquisadores podem identificar caminhos para melhores classes de universalidade ou melhorias dentro da classe atual. O artigo sugere que modificar arquiteturas (funções de ativação, mecanismos de atenção) ou a composição de dados pode deslocar os coeficientes, melhorando assim o piso de perda e a eficiência de computação sem alterar os expoentes de escalonamento fundamentais.

Os autores concluem que, embora a hipótese de expoentes fixos exija mais verificação, as evidências de [15–17] e os atuais ajustes empíricos a tornam plausível. Consequentemente, o foco da comunidade deve mudar para a caracterização e otimização dos coeficientes que definem a atual classe de universalidade.