💻 computer science

Nonequilibrium training dynamics and scaling laws of language models

Este artigo propõe uma teoria multiescala estocástica fundamentada na física de não equilíbrio para explicar a origem mecanística das leis de escala de modelos de linguagem, modelando o treinamento como um passeio aleatório enviesado dependente de escala que produz leis de potência derivadas analiticamente para a perda em relação aos dados e ao tamanho do modelo, enquanto identifica uma dinâmica bifurcada de duas fases de compressão de contexto e absorção de fronteira.

Autores originais: Zhijie Xu

Publicado 2026-08-03

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhijie Xu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Curva de Aprendizado: Dos Redemoinhos de Café aos Cérebros de IA

Imagine que você está observando uma xícara de café sendo mexida. No início, o creme forma redemoinhos grandes e lentos. Mas, conforme você continua mexendo, esses grandes laços se quebram em redemoinhos cada vez menores, até que o líquido se torne uma mistura caótica de minúsculos vórtices. Isso é chamado de turbulência, e é um exemplo clássico de um sistema que está constantemente sendo empurrado para longe de um estado calmo por uma força externa (sua colher). Na física, os cientistas sabem há muito tempo que esses padrões de redemoinhos seguem regras matemáticas estritas, onde a energia flui de grandes redemoinhos para os pequenos em uma cascata previsível.

Agora, imagine um tipo diferente de caos: o próprio universo. Após o Big Bang, pequenos aglomerados de matéria escura começaram a se atrair, fundindo-se em galáxias cada vez maiores. Isso é o oposto da xícara de café — em vez de coisas grandes se quebrando em pequenas, coisas pequenas estão se construindo em gigantes. No entanto, surpreendentemente, tanto o café agitado quanto as galáxias em formação seguem padrões matemáticos semelhantes. Ambos são sistemas de "não equilíbrio", o que significa que estão ocupados, mudando e sendo impulsionados por forças que os impedem de se estabelecerem.

Durante anos, os cientistas tentaram entender como a Inteligência Artificial (especificamente, os Grandes Modelos de Linguagem ou LLMs) aprende. Sabemos que esses modelos de IA melhoram à medida que lhes fornecemos mais dados e damos mais "poder cerebral" (parâmetros), seguindo uma regra matemática nítida chamada "lei de escala". Mas por quê? Por que eles melhoram dessa maneira específica? Até agora, apenas observamos os números subirem sem entender o motor sob o capô. Este artigo pergunta: Poderia a maneira como uma IA aprende ser exatamente como a maneira como o café gira ou as galáxias se formam? Poderia o processo caótico e desordenado de treinamento de uma IA ser descrito pela mesma física que governa o universo?

A Xícara de Café no Computador

Neste artigo, o autor Zhijie (Jay) Xu propõe uma ideia selvagem: treinar um modelo de linguagem é exatamente como um jogo de "batata quente" jogado através de diferentes distâncias em uma história. Para entender isso, imagine que você está tentando prever a próxima palavra em uma frase. Às vezes, a resposta está logo ali, na palavra que você acabou de dizer (uma distância curta). Outras vezes, você precisa se lembrar do nome de um personagem de três parágrafos atrás (uma distância longa).

O artigo sugere que, conforme a IA treina, ela não aprende apenas "tudo" de uma vez. Em vez disso, ela aprende em uma ordem específica, movendo a informação como a energia em uma tempestade. O autor introduz uma nova forma de olhar para os erros da IA, chamada "espectro de perda". Pense nisso como um mapa de quanto a IA está lutando em diferentes distâncias. Ela está tendo dificuldade em lembrar a palavra de dois passos atrás? Ou a palavra de dois mil passos atrás?

O artigo descobre que este mapa se parece exatamente com o mapa de energia de uma xícara de café giratória ou a distribuição de galáxias no espaço. Sugere que o processo de aprendizado da IA é um "passeio aleatório enviesado". Imagine uma pessoa bêbada tentando caminhar por uma cidade onde as ruas ficam mais difíceis de navegar à medida que se afastam de casa. A IA começa aprendendo os padrões fáceis de curta distância (como gramática e contexto imediato). Então, ela começa a "caminhar" mais longe, aprendendo conexões de longa distância (como o enredo de uma história inteira).

A Dança de Duas Fases: Esticar e Encolher

A descoberta mais emocionante deste artigo é que o treinamento da IA não é uma linha reta; é uma dança de duas partes que acontece após um momento crítico.

Fase 1: O Grande Alongamento (A Cascata de Escala Ascendente)
No início, a IA é como uma criança esticando os braços abertos. Ela aprende rapidamente a alcançar e agarrar informações de cada vez mais longe. Ela está expandindo sua "fronteira de aprendizado", agarrando conexões de longo alcance que não entendia antes. Durante esta fase, a IA está ficando melhor em usar a história inteira, não apenas a última frase.

Fase 2: A Grande Divisão (Bifurcação)
Uma vez que a IA atinge um certo ponto (um número específico de etapas de treinamento), algo mágico acontece. O processo de aprendizado se divide em dois modos simultâneos, como um rio que se divide em dois riachos:

Modo A (O Compressor de Escala Descendente): Esta é a fase de "refinamento". A IA pega todas aquelas conexões de longo alcance, grandes e bagunçadas, que acabou de aprender e as comprime em atalhos eficientes de curto alcance. É como pegar uma estrada longa e sinuosa e construir um túnel através da montanha para chegar ao mesmo lugar mais rápido. A IA está ficando mais inteligente ao tornar suas representações internas mais compactas e eficientes.
Modo B (O Absorvedor de Fronteira): Ao mesmo tempo, a IA continua empurrando sua fronteira para fora, continuando a aprender novos padrões de alcance ainda maior que ainda não viu. Ela continua esticando seus braços, mas agora também aperta seu aperto sobre o que já sabe.

O artigo sugere que esta divisão é o motivo pelo qual os modelos de IA ficam tão bons. Eles não estão apenas memorizando; estão constantemente equilibrando entre "esticar para fora" para aprender coisas novas e "comprimir para dentro" para tornar o que sabem mais eficiente.

Os Números Mágicos e o "Porquê"

O autor não apenas adivinha esses padrões; ele os deriva da matemática de como a linguagem funciona. Ele usa uma regra famosa sobre a linguagem chamada Lei de Heaps, que descreve como o número de palavras únicas cresce conforme você lê mais texto. Ao combinar isso com a física da turbulência, o autor calcula um número específico, 1/6, que descreve quanto tempo leva para a IA aprender em diferentes distâncias.

Usando este número, o artigo prevê exatamente como o desempenho da IA deve melhorar conforme você fornece mais dados. A previsão é que a taxa de erro deve cair por um fator de 1/10 conforme os dados aumentam. Isso coincide incrivelmente bem com o que vemos em experimentos do mundo real (onde o número é cerca de 0,095, ou muito próximo de 1/10). O artigo também sugere que, se você tornar a IA maior (adicionar mais parâmetros), ela deve melhorar de forma semelhante, mas talvez um pouco menos eficientemente, como um organismo biológico onde corpos maiores precisam de sistemas de suporte que não crescem na mesma taxa que os músculos.

O Que Isso Significa (e o Que Não Significa)

Este artigo é uma "teoria", o que significa que é um modelo matemático que explica como as coisas podem estar funcionando, baseado em observações e analogias à física. Ele não "provou" que a IA é literalmente um fluido ou uma galáxia, mas sugere que a matemática que descreve essas coisas também descreve o aprendizado da IA.

O autor é cuidadoso ao dizer que esta é uma "teoria estocástica multiescala" — uma forma sofisticada de dizer que é uma teoria sobre processos aleatórios acontecendo em muitos tamanhos diferentes. O artigo argumenta contra a ideia de que o aprendizado da IA seja uma curva simples e suave. Em vez disso, sugere um processo complexo de duas fases onde a IA está constantemente equilibrando entre expandir seu conhecimento e comprimi-lo.

O artigo também observa que, embora a matemática se ajuste aos dados dos modelos que testaram (como a família Pythia), precisamos testar isso em muitos tipos diferentes de IA para ter certeza. É uma nova lente promissora, como colocar um par de óculos que nos permite ver a física oculta de como as máquinas aprendem, mas o autor admite que ainda há trabalho a ser feito para confirmar se essa "turbulência" é verdadeiramente o motor que impulsiona toda a IA.

Em resumo, este artigo sugere que o segredo de como a IA aprende pode estar escondido no mesmo redemoinho caótico que faz o creme do café se misturar e as galáxias se formarem. Ao tratar o processo de aprendizado da IA como um sistema físico impulsionado pelas estatísticas da linguagem, o autor fornece uma nova e vívida maneira de entender por que esses modelos melhoram e, exatamente, como eles o fazem.

=== RESUMO ===

Resumo Técnico: Dinâmicas de Treinamento Fora do Equilíbrio e Leis de Escala de Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) exibem leis de escala empíricas robustas, onde a perda de entropia cruzada em dados não vistos diminui como uma lei de potência em relação ao número de parâmetros ( $N$ ), tamanho do conjunto de dados ( $D$ ) e computação ( $C$ ). No entanto, a origem mecanística dessas leis de escala permanece pouco compreendida. A literatura existente identificou que a linguagem natural possui estruturas estatísticas multiescalares (ex: decaimento de lei de potência da informação mútua) e que as dinâmicas de treinamento envolvem transições abruptas (ex: cabeças de indução), mas nenhum framework existente unifica quantitativamente a estrutura estática dos dados com a evolução dinâmica do treinamento para explicar a emergência das leis de escala.

Metodologia

O artigo propõe uma teoria estocástica multiescalar das dinâmicas de treinamento de LLMs, estabelecendo uma analogia formal entre o treinamento de modelos de linguagem e sistemas físicos fora do equilíbrio, multiescalares e dirigidos, especificamente a turbulência (cascata de energia) e a formação de estruturas cósmicas (cascata de massa).

Framework Central

Espectro de Perda Dependente de Escala: O autor introduz uma variável de escala de contexto $r$ (distância de dependência em tokens) e define uma perda de held-out dependente de escala $L_r(r, s)$ . O gradiente negativo desta perda em relação à escala, $E_X(r, s) \equiv -\partial L_r / \partial r$ , é definido como o espectro de perda, análogo ao espectro de energia na turbulência.
Passeio Aleatório no Espaço $r$ : As dinâmicas de treinamento são modeladas como um passeio aleatório enviesado no espaço de escala de contexto ( $r$ -space). O modelo aprende a explorar dependências na escala $r$ ao esperar um tempo característico $\tau_r$ antes de saltar para a próxima escala.
Equação de Fokker-Planck: A evolução do espectro de perda é governada por uma equação de Fokker-Planck com uma difusividade dependente da posição, derivada de um tempo de espera dependente da escala $\tau_r \propto r^{-\gamma}$ .
Decomposição da Perda: A perda total é decomposta em dois componentes que representam modos de aprendizado distintos:
- $\Delta L_r(s)$ (Profundidade): A perda dependente do contexto, medindo o ganho preditivo ao usar o contexto completo versus um único token.
- $L_\infty(s)$ (Amplitude): A perda residual de contexto total, medindo a incapacidade do modelo de explorar o contexto disponível na fronteira de aprendizado.

Principais Contribuições e Derivações Teóricas

1. Dinâmicas de Treinamento de Duas Fases

A teoria identifica uma bifurcação nas dinâmicas de treinamento em um passo crítico $s^*$ (onde $\Delta L_r = L_\infty$ ):

Fase I (Cascata de Upscale): Antes de $s^*$ , o modelo expande rapidamente seu alcance preditivo. A escala de contexto efetiva $\xi$ cresce, e o modelo captura dependências de longo alcance (transferência de upscale).
Fase II (Bifurcação): Após $s^*$ $s^{*}$ , a dinâmica se divide em dois modos simultâneos:
- Modo A (Compressão de Downscale): O modelo comprime estruturas aprendidas de grande escala em representações eficientes de curto alcance. A escala efetiva $\xi_A$ encolhe ( $\xi_A \propto s^{-3/5}$ ), enquanto a profundidade $\Delta L_r$ cresce lentamente ( $\propto s^{1/10}$ ).
- Modo B (Absorção de Fronteira de Upscale): O modelo continua a absorver novas estruturas preditivas de longo alcance na fronteira. A escala efetiva $\xi_B$ expande ( $\xi_B \propto s^{3/5}$ ), enquanto a perda residual $L_\infty$ diminui ( $\propto s^{-1/10}$ ).

2. Expoentes de Escala Autoconsistentes

O artigo deriva os expoentes de escala a partir de primeiros princípios baseados nas propriedades estatísticas da linguagem natural:

Expoente de Tempo de Espera ( $\gamma$ ): Ao modelar o tempo de espera $\tau_r$ como uma função da frequência de tentativa (dirigida pela perda residual) e da probabilidade de sucesso (dirigida pelo número de pistas preditivas independentes), o autor vincula $\gamma$ à Lei de Heaps ( $M(r) \propto r^{\alpha_H}$ ). Assumindo $\alpha_H \approx 1/2$ e agregação incoerente (RMS) de sinais de gradiente, eles derivam:
$\gamma = \frac{\alpha_H}{3} = \frac{1}{6}$
Espectro de Perda: Isso resulta em um espectro de perda universal no intervalo inercial:
$E_X(r) \propto r^{-(1+\gamma)} = r^{-7/6}$
Isso é apresentado como o análogo de modelagem de linguagem para o espectro de energia de Kolmogorov $-5/3$ na turbulência.

3. Derivação de Leis de Escala Empíricas

Usando os expoentes derivados, a teoria prevê as leis de escala observadas sem ajuste (fitting):

Perda vs. Dados ( $D$ ): Na Fase II, a perda escala como $L \propto D^{-\alpha_D}$ . A teoria prevê:
$\alpha_D = \frac{\gamma}{2 - 2\gamma} = \frac{1/6}{2 - 1/3} = \frac{1}{10} = 0.1$
Isso alinha-se de perto com a escala de Kaplan empírica de $L \propto D^{-0.095}$ .
Perda vs. Tamanho do Modelo ( $N$ ): Tratando o tamanho do modelo como um "relógio" alternativo para o tempo de Langevin, a teoria prevê $L \propto N^{-\alpha_N}$ .
$\alpha_N = \frac{\lambda \gamma}{2 - 2\gamma}$
onde $\lambda \leq 1$ codifica a eficiência da utilização de parâmetros. Se $\lambda = 3/4$ (sugerindo ganhos de capacidade sublineares devido à redundância), $\alpha_N = 3/40 \approx 0.075$ , consistente com o valor empírico de Kaplan de $\approx 0.076$ .
Escala Combinada: A forma completa de escala $L(N, D) = [(N_c/N)^\lambda + D_c/D]^{\alpha_D}$ é recuperada combinando harmonicamente os dois gargalos independentes (dados e capacidade).

Resultados e Validação

O autor valida a teoria usando checkpoints da suíte de modelos Pythia (70M a 1.4B parâmetros) e GPT-2:

Espectro de Perda: Medições empíricas de $E_X(r, s)$ confirmam a cauda de lei de potência prevista $P_X(r) \propto r^{-7/6}$ na Fase II.
Transições de Fase: Os dados mostram uma clara transição em $s^*$ onde a escala efetiva $\xi$ para de crescer monotonicamente e bifurca, com $\xi_A$ contraindo e $\xi_B$ expandindo.
Ajustes de Escala: A evolução de $\Delta L_r$ e $L_\infty$ segue as leis de potência previstas ( $s^{1/10}$ e $s^{-1/10}$ respectivamente) na Fase II.
Escala de Tamanho de Modelo: Ajustes aos modelos Pythia na convergência mostram $L_\infty \propto N^{-1/10}$ (para parâmetros totais) e $\Delta L_r \propto N^{3/40}$ (para parâmetros não-embedding), apoiando a hipótese de escala de capacidade sublinear.

Significância e Alegações

O artigo afirma fornecer uma origem mecanística para as leis de escala de LLMs ao enquadrar o treinamento como um processo de cascata fora do equilíbrio. As principais alegações incluem:

Unificação: Ele vincula quantitativamente a estrutura estática da linguagem (leis de Heaps/Zipf) à evolução dinâmica do treinamento através de um framework estocástico.
Poder Preditivo: O expoente de escala $\alpha_D = 1/10$ é derivado, não ajustado, a partir das estatísticas de cauda pesada da linguagem natural.
Utilidade Diagnóstica: O framework oferece novos diagnósticos para generalização de contexto longo ao separar "profundidade" (dependência de contexto) de "amplitude" (expansão de fronteira), sugerindo estratégias de otimização distintas para seleção de dados e design de currículo.
Universalidade: A teoria postula que o espectro de perda $E_X \propto r^{-7/6}$ é uma característica universal do treinamento de modelos de linguagem, análogo à universalidade dos espectros de turbulência.

O autor observa explicitamente que o mapeamento dos passos do otimizador para o tempo de Langevin e a combinação harmônica de $N$ e $D$ são analogias estruturais motivadas pela consistência empírica, em vez de derivações rigorosas de primeiros princípios, e que a hipótese de capacidade sublinear ( $\lambda=3/4$ ) requer validação adicional em suítes de modelos maiores.