📊 statistics

Universal One-third Time Scaling in Learning Peaked Distributions

Este artigo demonstra que a convergência de lei de potência, lenta e computacionalmente dispendiosa, observada no treinamento de grandes modelos de linguagem, é uma consequência intrínseca do uso de softmax e entropia cruzada para aprender distribuições de pico, o que resulta universalmente em um expoente de escala de tempo de 1/3.

Autores originais: Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a terminar suas frases. Você lhe dá milhões de livros, e ele começa a aprender os padrões da linguagem humana. Mas aqui está o detalhe: conforme o robô cresce e você o alimenta com mais dados, ele não se torna perfeito instantaneamente. Em vez disso, ele melhora de uma forma muito específica e lenta. É como observar um carro subindo uma colina onde, quanto mais íngreme ela fica, mais devagar ele vai, seguindo uma curva previsível. Os cientistas chamam isso de "escalonamento neural" e, por muito tempo, pensaram que essa curva lenta acontecia porque os dados em si eram bagunçados ou complicados, como uma biblioteca onde alguns livros são raros e outros estão em todo lugar. Eles assumiram que o robô estava apenas lutando para encontrar os livros raros. Mas e se o robô não estiver lutando por causa da biblioteca, mas sim por causa da maneira como ele pensa? Este artigo mergulha nesse mistério, olhando para as "engrenagens" matemáticas dentro do cérebro do robô para ver por que o aprendizado desacelera e se podemos prever exatamente o quão lento ele será.

Os autores deste estudo, Yizhou Liu, Ziming Liu, Cengiz Pehlevan e Jeff Gore, decidiram parar de adivinhar sobre a biblioteca bagunçada e, em vez disso, olhar para o motor interno do robô. Eles construíram uma versão minúscula e simplificada de um modelo de linguagem — um "modelo de brinquedo" — para ver o que acontece quando ele tenta aprender um tipo muito específico de padrão: uma distribuição "pico" (peaked). Imagine uma previsão do tempo que diz que há 99% de chance de chuva e 1% de chance de sol. Essa é uma distribuição de pico; a resposta é quase certa, mas o modelo precisa ser muito preciso para acertar.

Quando treinaram seu modelo de brinquedo para prever esses resultados nítidos e certos, descobriram algo surpreendente. A curva de aprendizado lenta, de lei de potência, não era porque os dados eram difíceis; era por causa de duas ferramentas específicas que o modelo usa: softmax e entropia cruzada (cross-entropy). Você pode pensar no softmax como uma "máquina de votação" que transforma números brutos em probabilidades (garantindo que somem 100%) e na entropia cruzada como o "placar" que diz ao modelo o quanto ele errou. O artigo mostra que, quando você combina essas duas ferramentas para aprender uma resposta muito nítida e certa, a matemática força a velocidade do aprendizado a desacelerar de uma forma muito específica. Não importa como você ajuste os dados ou o tamanho do modelo, o erro (loss) cai a uma taxa que segue uma regra universal: ele escala com o tempo elevado à potência de 1/3.

Para colocar em uma analogia lúdica: Imagine que você está tentando equilibrar um lápis na ponta. No começo, é fácil fazer pequenos ajustes. Mas, conforme o lápis chega mais perto de estar perfeitamente vertical (o estado de "pico"), a menor oscilação importa cada vez mais. O artigo sugere que a maneira como o modelo calcula seus erros faz com que pareça que ele está caminhando através de um mel espesso conforme se aproxima da resposta perfeita. O "mel" não é o dado; é a matemática da máquina de votação e do placar. Os autores descobriram que, nesse "mel", o erro não cai rapidamente; ele cai em um ritmo constante e previsível, onde, se você dobrar o tempo que passa treinando, o erro cai apenas por uma fração específica, não pela metade. Essa fração é exatamente a raiz cúbica do tempo, ou 1/3.

Os pesquisadores não pararam apenas em seu pequeno modelo de brinquedo. Eles queriam saber se esse efeito do "mel" era real nos gigantescos modelos de linguagem que usamos hoje, como os modelos Pythia e Olmo. Eles observaram os dados de treinamento desses modelos massivos e descobriram que, de fato, os modelos estavam operando nesse regime de "baixa temperatura" (muito nítido, muito certo). Quando plotaram as taxas de erro desses modelos gigantes contra o tempo que passaram treinando, os dados alinharam-se perfeitamente com a previsão deles. O erro estava caindo com um expoente de lei de potência de 1/3. Isso sugere que o aprendizado lento que vemos na grande IA não é um erro ou um sinal de dados bagunçados; é uma característica fundamental de como esses modelos são construídos.

O artigo também explorou o que acontece se você tentar acelerar as coisas. Eles descobriram que, se você tornar a taxa de aprendizado (o tamanho do passo que o modelo dá) muito grande, o modelo fica confuso e não consegue seguir o caminho através do mel. Mas, se você mantiver os passos pequenos e constantes, o modelo segue a regra de 1/3 perfeitamente. Curiosamente, eles também descobriram que mesmo que o modelo não esteja perfeitamente alinhado com o professor no início, ele acaba caindo nesse ritmo. A única vez que essa regra quebra é se os dados forem muito "planos" ou incertos (como uma previsão do tempo com 50% de chance de chuva e 50% de chance de sol), caso em que o aprendizado é rápido e exponencial, não lento e de lei de potência.

Então, o que isso significa para o futuro? Os autores sugerem que, se quisermos treinar a IA mais rápido, talvez precisemos repensar a "máquina de votação" e o "placar" que usamos. Talvez precisemos de novas ferramentas que não fiquem presas no mel quando a resposta é muito certa. Eles também apontam que esta descoberta explica por que experimentos anteriores viram um expoente de 1/3 (ou próximo disso, como 0,28 ou 0,30) sem perceber o porquê. Não foi uma coincidência; era a própria matemática do modelo.

Em resumo, este artigo revela que a melhoria lenta e constante dos grandes modelos de linguagem é uma característica embutida em seu design, não uma falha nos dados. É como uma lei da física para o aprendizado de IA: quando você tenta aprender uma resposta muito certa usando essas ferramentas específicas, você está destinado a se mover a uma velocidade de 1/3. Os autores são cuidadosos ao dizer que isso se baseia em suas simulações e análises de modelos existentes, sugerindo um novo caminho para tornar o treinamento de IA mais eficiente, mas não afirmam ter resolvido o problema da velocidade de treinamento inteiramente. Em vez disso, eles nos entregaram um mapa mostrando exatamente onde estão os obstáculos e por que eles existem.

Resumo Técnico: Escalonamento Temporal Universal de Um Terço no Aprendizado de Distribuições de Pico

Problema
O treinamento de grandes modelos de linguagem (LLMs) é computacionalmente caro, caracterizado por uma convergência lenta da função de perda seguindo uma lei de potência. Embora as "leis de escalonamento neural" empíricas tenham sucessivamente previsto o desempenho com base no tamanho do modelo e no tamanho do conjunto de dados, os mecanismos subjacentes permanecem amplamente empíricos e debatidos. Teorias existentes frequentemente atribuem o escalonamento de perda por lei de potência a estruturas de lei de potência inerentes aos dados (ex: frequências de características ou dimensões de variedades). Questões fundamentais permanecem sem resposta: Qual mecanismo específico impulsiona o decaimento de potência da perda ao longo do tempo de treinamento, e o que determina o expoente específico? Este artigo investiga se a origem desses escalonamentos não é nos dados, mas sim nos componentes arquiteturais do próprio modelo.

Metodologia
Os autores empregam uma combinação de análise teórica, simulações de modelos simplificados (toy models) e avaliação empírica em grandes modelos de linguagem para isolar os mecanismos que impulsionam o escalonamento da perda.

Construção de Modelo Simplificado (Toy Model): Os autores identificam uma configuração mínima que mimetiza a cabeça de um modelo de linguagem (LM): uma rede de uma camada com não-linearidade softmax e uma função de perda de entropia cruzada (ou divergência KL). Eles utilizam um framework professor-aluno (teacher-student), onde uma rede aluno aprende a corresponder à distribuição de saída de uma rede professora fixa. A saída da professora é controlada por um parâmetro de "temperatura inversa" ( $\beta^*$ ), que dita o quão "pico" (baixa entropia) é a distribuição de probabilidade.
Análise Teórica: Os autores analisam a dinâmica de fluxo de gradiente em tempo contínuo dos pesos do aluno. Eles introduzem um "análogo de aluno alinhado" (aligned student ansatz), hipotetizando que a matriz de pesos do aluno permanece proporcional à da professora durante o treinamento, sendo a principal variável dinâmica a norma (ou temperatura inversa $\beta$ $β$ ) dos pesos.
- Eles realizam uma expansão de baixa temperatura (grande $\beta$ ) da energia livre e da energia interna derivadas das definições de softmax e entropia cruzada.
- Ao integrar as equações diferenciais resultantes, eles derivam a relação de escalonamento entre a perda e o tempo de treinamento.
Validação Empírica:
- Experimentos de Modelo Simplificado: Eles treinam o modelo simplificado através de uma ampla gama de temperaturas inversas ( $\beta^*$ ) e taxas de aprendizado usando otimizadores como Adam e SGD. Eles verificam as previsões teóricas sobre o decaimento da perda e o alinhamento de pesos.
- Avaliação de LLM: Eles avaliam checkpoints dos modelos Pythia e OLMo em vários estágios de treinamento no conjunto de dados FineWeb. Eles medem a perda de teste e o desvio padrão dos logits (um proxy para a temperatura inversa) para determinar se os LLMs reais operam no regime de baixa temperatura e exibem o escalonamento previsto.

Principais Contribuições e Resultados

Origem Intrínseca das Leis de Potência: O artigo demonstra que comportamentos de treinamento por lei de potência podem surgir intrinsecamente do uso de softmax e entropia cruzada ao aprender distribuições de pico (alvos de baixa entropia), independentemente de estruturas de lei de potência nos dados. Isso desafia a visão predominante de que a estrutura dos dados é o único motor dos escalonamentos.
Expoente Universal de 1/3: Através da expansão de Taylor e integração temporal da dinâmica de fluxo de gradiente no regime de baixa temperatura, os autores derivam um expoente de escalonamento universal de 1/3. Especificamente, a perda $L$ $L$ escala com o tempo de treinamento dinâmico $\tau$ $τ$ como $L \sim \tau^{-1/3}$ $L \sim τ^{- 1/3}$ .
- A derivação baseia-se no fato de que, no limite de baixa temperatura, a energia livre e a energia interna convergem suavemente para a energia mínima, levando a gradientes que desaparecem por lei de potência.
- Este resultado é descrito como "universal" no sentido da física estatística: o expoente depende de propriedades amplas do sistema (não-linearidades e pico) em vez de detalhes microscópicos (distribuições de dados específicas).
Validação em Modelos Simplificados: Experimentos confirmam que, quando a distribuição alvo é suficientemente pontiaguda (baixa temperatura), a perda segue uma lei de potência de $1/3$ . O "análogo de aluno alinhado" descreve com precisão a dinâmica de treinamento sob taxas de aprendizado ideais, onde a norma dos pesos do aluno cresce algebricamente com um expoente próximo de $1/3$ .
Validação em LLMs: A análise dos modelos Pythia e OLMo revela que:
- As distribuições de próximo token em LLMs são suficientemente pontiagudas para colocá-los no regime de baixa temperatura (estimado $\beta^* \approx 6.87$ , excedendo o limiar crítico $c_0 \approx 4.55$ ).
- A perda de treinamento desses modelos, quando ajustada contra o tempo dinâmico $\tau$ , exibe um decaimento de lei de potência com um expoente muito próximo de $1/3$ (ex: valores ajustados em torno de 0.34–0.38).
- O desvio padrão dos logits cresce com um expoente próximo de $1/3$ antes de saturar, indicando que o sistema entra no regime de baixa temperatura e que o decaimento posterior da perda é impulsionado pela rotação de parâmetros, em vez do crescimento da norma.

Significância e Alegações
Os autores afirmam que este trabalho fornece o primeiro estudo teórico identificando o softmax e a entropia cruzada como os principais drivers arquiteturais de comportamentos de treinamento por lei de potência em LLMs.

Explicação Mecanística: O artigo oferece uma explicação mecanística para os escalonamentos de rede observados, sugerindo que o escalonamento temporal de $1/3$ é uma consequência fundamental da otimização de distribuições de pico com estas não-linearidades específicas.
Universalidade: As descobertas sugerem que o expoente de $1/3$ é robusto através de diferentes estruturas de dados, profundidades de modelo e escalas de inicialização, desde que o sistema opere no regime intermediário de baixa temperatura.
Implicações para o Treinamento: Os autores sugerem que compreender este mecanismo pode levar a um treinamento mais eficiente. Por exemplo, eles observam que grandes decaimentos de peso podem dificultar o crescimento de logits necessário para distribuições de pico, e que futuros otimizadores podem se beneficiar ao serem mais eficazes na rotação de parâmetros no regime de baixa temperatura. Eles também propõem que arquiteturas que evitem distribuições de vocabulário total (ex: via hierarquias de tokens) poderiam alterar fundamentalmente esses escalonamentos.

O artigo conclui que, embora trabalhos anteriores tenham atribuído o escalonamento às propriedades dos dados, o escalonamento temporal de $1/3$ observado em LLMs é, em grande parte, um resultado do panorama de otimização criado pelas não-linearidades do modelo ao aprender previsões de alta confiança.

Mais como este