🤖 machine learning

The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training

Este artigo identifica a Estabilidade da Distribuição Singular (SoSD) como um fenômeno espectral fundamental no pré-treinamento de modelos de linguagem, demonstrando que a estabilização precoce do espectro normalizado dos valores singulares governa a transição para a fase de descida lenta da perda e fornece uma estrutura teórica para compreender e otimizar a dinâmica de treinamento em arquiteturas e estratégias diversas.

Autores originais: Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um cérebro digital gigante (um Modelo de Linguagem de Grande Escala) para falar a linguagem humana. Você poderia esperar que esse cérebro aprendesse a um ritmo constante e previsível. No entanto, pesquisadores notaram um padrão estranho: o cérebro aprende incrivelmente rápido no início e, depois, por um longo tempo, parece arrastar-se para frente, fazendo apenas melhorias mínimas.

Este artigo, "A Estabilidade da Distribuição Singular", tenta descobrir por que isso acontece. Os autores propõem uma nova maneira de observar os mecanismos internos do cérebro usando um conceito que chamam de SoSD (Estabilidade da Distribuição Singular).

Aqui está a explicação usando analogias simples:

1. A Jornada em Duas Fases: O Sprint e o Arrasto

Pense em treinar um modelo de linguagem como correr uma maratona.

Fase 1 (O Sprint): No início, o modelo aprende coisas enormes e óbvias muito rapidamente. A "perda" (uma medida de quão errado o modelo está) cai como uma pedra.
Fase 2 (O Arrasto): Depois de um tempo, o modelo bate em uma parede. Ele continua correndo, mas avança apenas centímetros. A perda diminui muito lentamente.

A grande pergunta que o artigo faz é: O que causa a mudança do sprint para o arrasto?

2. O Ingrediente Secreto: A "Forma" do Cérebro

Dentro do modelo, existem enormes grades de números chamadas matrizes de pesos. Estes são os "pesos" que determinam como o modelo pensa.

Geralmente, pensamos que o modelo aprende porque esses números mudam constantemente.
Os autores descobriram algo surpreendente: A forma geral desses números (especificamente, sua "distribuição de valores singulares") para de mudar muito cedo.

A Analogia: Imagine uma escultura de argila sendo moldada.

Os Pesos: Estes são os grãos individuais de argila. Eles continuam se deslocando e se movendo por um longo tempo.
A Distribuição Singular: Esta é a silhueta geral ou a forma geral da estátua.
A Descoberta: Os autores descobriram que a silhueta se estabiliza (para de mudar de forma) muito rapidamente, mesmo que os grãos individuais de argila continuem se deslocando por dentro.

Eles chamam esse fenômeno de SoSD (Estabilidade da Distribuição Singular).

3. A Sincronização: Quando a Forma Para, a Velocidade Para

A descoberta mais importante é que o momento em que a "silhueta" para de mudar (SoSD), a velocidade de aprendizado do modelo imediatamente muda do "Sprint" para o "Arrasto".

Antes do SoSD: A forma ainda está sendo reorganizada. Isso permite que o modelo faça grandes e rápidas melhorias.
Depois do SoSD: A forma se estabeleceu em um padrão estável. Mesmo que o modelo continue treinando, ele não pode mais fazer grandes mudanças estruturais. Agora, ele apenas refina os detalhes dentro de uma forma fixa. É por isso que o progresso desacelera tanto.

4. Por Que Isso Acontece? (A Física do Aprendizado)

O artigo usa matemática para provar que isso é inevitável.

À medida que o modelo treina, o "tamanho" (ou norma) de seus números internos cresce naturalmente.
Pense nisso como uma caixa de câmbio. Quando as engrenagens são pequenas (treinamento inicial), um pequeno empurrão (etapa de aprendizado) move o carro por uma longa distância.
À medida que as engrenagens ficam enormes (treinamento posterior), esse mesmo pequeno empurrão mal move o carro.
Como as "engrenagens" (as normas dos pesos) continuam crescendo, a capacidade do modelo de mudar sua "forma" (distribuição singular) fica matematicamente restrita. Assim que atinge certo tamanho, a forma trava e o aprendizado rápido termina.

5. Como Hackear o Sistema (Estratégias de Aprendizado)

Os autores explicam que truques comuns de treinamento funcionam manipulando essa "caixa de câmbio" ou a "estabilidade da forma".

Programações de Taxa de Aprendizado (Desacelerando):
- O que é: Reduzir gradualmente o tamanho do "empurrão" durante o treinamento.
- A Visão do Artigo: Ao tornar o empurrão menor, você força a "forma" a mudar mais lentamente. Isso impede que o modelo trave em uma forma ruim muito cedo, permitindo que ele continue aprendendo efetivamente por mais tempo. É como trocar para uma marcha mais baixa para continuar subindo uma colina.
Decaimento de Pesos (Mantendo-o Leve):
- O que é: Uma penalidade que impede que os números internos fiquem muito grandes.
- A Visão do Artigo: Se os números não ficarem muito grandes, as "engrenagens" não ficam muito pesadas. Isso mantém viva a capacidade do modelo de mudar sua forma por mais tempo, permitindo que ele continue melhorando mesmo na fase lenta.
Otimizadores Diferentes (Muon vs. Adam):
- O artigo testou um novo otimizador chamado Muon. Descobriu-se que o Muon mantém a "forma" mudando de forma mais eficiente do que o otimizador Adam padrão, permitindo que o modelo aprenda mais rápido e atinja uma taxa de erro menor, mesmo que o fenômeno da "estabilidade da forma" ainda ocorra.

Resumo

O artigo argumenta que o padrão "rápido-depois-lento" no treinamento de IA não é um erro; é uma característica fundamental de como esses modelos evoluem.

Fase Rápida: O modelo está ativamente remodelando sua estrutura interna.
Fase Lenta: A estrutura interna se estabilizou (SoSD), e o modelo agora apenas polui os detalhes.

Entender essa "Estabilidade da Distribuição Singular" dá aos cientistas uma nova lente para ver por que o treinamento desacelera e como ajustar as configurações (como taxas de aprendizado) para manter o modelo aprendendo de forma eficiente por mais tempo.

Resumo Técnico: A Estabilidade da Distribuição Singular (SoSD)

Declaração do Problema

O pré-treinamento de Modelos de Linguagem de Grande Escala (LLMs) exibe consistentemente uma trajetória característica de duas fases "rápida-então-lenta": um regime inicial de decaimento precipitado da perda seguido por um período prolongado de melhoria assintótica e de cauda pesada. Embora esse padrão empírico seja bem documentado em principais relatórios técnicos, os mecanismos teóricos subjacentes que ditam a transição da fase de aprendizado rápido para a fase de saturação lenta permanecem fundamentalmente pouco explorados. Análises existentes frequentemente dependem de formulações de tarefas restritas (por exemplo, aprendizado em contexto ou regressão linear) ou focam em fenômenos estruturais específicos como o colapso de posto, falhando em fornecer uma perspectiva espectral unificada sobre a evolução temporal macroscópica do panorama da perda em cenários gerais de pré-treinamento.

Metodologia

Os autores investigam a dinâmica de otimização de LLMs ao deslocar a lente analítica da convergência da matriz de parâmetros para a evolução temporal de suas propriedades espectrais.

Abordagem Empírica

O estudo conduz experimentos de pré-treinamento em duas famílias de modelos apenas com decodificador:

GPT-2 (Pequeno e Médio) treinado no conjunto de dados FineWeb.
LLaMA (0,5B e 2B) treinado no conjunto de dados C4.

Os autores monitoram a similaridade cosseno entre os estados atuais e os estados finais treinados tanto para as matrizes de parâmetros ( $W$ ) quanto para suas matrizes de valores singulares ( $\Sigma$ ). Eles definem a Distribuição Singular (DS) como o espectro normalizado pelo traço ( $\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$ ) e medem a Variação da Distribuição Singular (Variação DS) como a norma de Frobenius da atualização desse espectro normalizado ( $\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$ ).

Marco Teórico

Para explicar os fenômenos observados, os autores analisam um Transformer simplificado de uma única camada e uma única cabeça sob Descida de Gradiente em lote completo com inicialização pequena. Eles estabelecem um marco teórico baseado em:

Normas Estritamente Crescentes: As normas dos pesos crescem monotonicamente durante o treinamento (na ausência de decaimento de pesos).
Não Degenerescência e Limitação do Gradiente: Os parâmetros permanecem de posto completo com números de condição limitados, e os gradientes são não nulos, mas limitados.
Condições de Suavidade e Margem: Suposições sobre a suavidade local do panorama da perda e margens positivas nas distribuições de atenção e logit durante o regime tardio de treinamento.

Principais Contribuições

1. Identificação da Estabilidade da Distribuição Singular (SoSD)

O artigo identifica um fenômeno denominado Estabilidade da Distribuição Singular (SoSD). Resultados empíricos demonstram que o espectro de valores singulares normalizado pelo traço ( $\hat{\Sigma}$ ) estabiliza-se significativamente mais cedo do que as próprias matrizes de parâmetros ( $W$ ).

Desacoplamento Espectral: Enquanto as entradas dos pesos permanecem distantes de sua configuração final, a forma relativa do espectro de valores singulares satura próximo a 1.
Sincronização: O início da SoSD (onde a Variação DS cai para um piso metastável) alinha-se precisamente com a transição da perda de validação da fase de descida rápida para o regime de descida lenta (assintótica). Essa sincronização é observada em diversas arquiteturas (GPT-2, LLaMA), módulos (Atenção, MLP) e configurações de otimização.

2. Análise Teórica da SoSD e Dinâmica de Duas Fases

Os autores provam que o surgimento da SoSD é inevitável sob condições padrão de treinamento e que ela limita mecanicamente a taxa de redução da perda.

Teorema 4.5 (Surgimento da SoSD): Sob a suposição de normas de pesos monotonicamente crescentes, o limite de estabilidade para a distribuição singular escala como $\varepsilon \propto \eta / \|W\|$ . À medida que o treinamento progride e $\|W\|$ cresce, a variação permitida na distribuição singular encolhe, forçando o sistema para um estado estável.
Teorema 4.9 (Dinâmica de Duas Fases):
- Fase I (Descida Rápida): Antes do limiar da SoSD ( $t < T^*$ ), normas de parâmetros moderadas permitem deslocamentos espectrais significativos, permitindo uma diminuição da perda de ordem constante ( $\Delta L(t) = O(1)$ ).
- Fase II (Descida Lenta): Após o limiar da SoSD ( $t > T^*$ ), a distribuição singular estabiliza-se. A diminuição da perda torna-se cineticamente restrita e é teoricamente limitada pela magnitude da variação da DS ( $\Delta L(t) \le O(\varepsilon^p)$ ). A estabilização de $\hat{\Sigma}$ atua como um gargalo, forçando a perda para um platô assintótico.

3. Interpretação de Estratégias de Pré-treinamento

O artigo interpreta estratégias padrão de otimização através da lente de modular o limite de estabilidade da SoSD ( $\varepsilon \propto \eta / \|W\|$ ):

Programações de Taxa de Aprendizado: Estratégias como Decaimento por Etapas, Aquecimento-Estável-Decaimento (WSD) e Decaimento Cosseno funcionam reduzindo a taxa de aprendizado $\eta$ . Isso apertar o limite de estabilidade, forçando o sistema para fora de seu atual quase-equilíbrio e permitindo maior minimização da perda ao resolver características de grão mais fino.
Decaimento de Pesos: Ao suprimir o crescimento da norma do peso $\|W\|$ , o decaimento de pesos relaxa a restrição de estabilidade (aumentando $\varepsilon$ ). Isso permite atualizações maiores na distribuição singular, efetivamente elevando o limite superior teórico para a redução da perda e prevenindo a saturação prematura.
Otimizadores (Muon vs. Adam): O fenômeno SoSD persiste mesmo com o otimizador Muon, confirmando-o como uma característica fundamental do pré-treinamento de Transformers. No entanto, o Muon mantém uma magnitude significativamente menor de variação da DS em comparação com o Adam, sugerindo que ele navega pelo panorama espectral com maior eficiência.

Resultados

Validação Empírica: Experimentos em modelos GPT-2 e LLaMA confirmam que as distribuições singulares estabilizam-se cedo (frequentemente dentro dos primeiros 10-20% dos passos de treinamento), enquanto os parâmetros continuam a evoluir. Essa estabilização coincide com a perda de validação entrando em um regime de descida lenta, de cauda pesada.
Correlação: Uma sincronização estreita é observada entre o decaimento da Variação DS e a transição para a fase de descida lenta da curva de perda.
Eficácia das Estratégias:
- Reduzir a taxa de aprendizado induz um declínio acentuado na Variação DS, sincronizando-se com uma renovação da descida da perda.
- Modelos com decaimento de pesos alcançam perdas finais mais baixas do que as bases não regularizadas, correlacionando-se com uma Variação DS sustentada mais alta (devido a restrições relaxadas sobre $\|W\|$ ).
- O otimizador Muon alcança perda mais baixa e convergência mais rápida enquanto mantém magnitudes de Variação DS mais baixas do que o Adam.

Significado e Afirmações

O artigo afirma oferecer uma compreensão mecânica nova das trajetórias de otimização de Transformers ao vincular comportamentos espectrais microscópicos à dinâmica macroscópica de treinamento.

Perspectiva Unificada: Fornece uma lente espectral para explicar o padrão de convergência ubíquo "rápido-então-lento", postulando que a transição não é meramente um artefato de camadas específicas, mas uma restrição cinética global caracterizada pela saturação da distribuição singular.
Fundamentação Teórica: O trabalho estabelece um marco teórico provando que o crescimento das normas de pesos precipita inevitavelmente um limiar precoce de SoSD, após o qual a taxa de diminuição da perda é estritamente limitada pela variação na distribuição singular.
Insight Prático: Ao enquadrar programações de taxa de aprendizado e decaimento de pesos como mecanismos para modular a escala da SoSD, o artigo oferece uma racionalização para o porquê essas estratégias facilitam o pré-treinamento eficiente, sugerindo que superar a barreira espectral é fundamental para alcançar perdas de treinamento mais baixas.

Os autores mantêm uma postura modesta, observando que, embora a SoSD atue como uma caracterização da dinâmica de valores singulares e um indicador do regime de descida lenta, um valor de SoSD mais baixo não implica inerentemente melhor desempenho (como evidenciado pelos experimentos de decaimento de pesos, onde uma SoSD mais alta coexiste com perda mais baixa). A contribuição primária é a identificação da sincronização entre estabilidade espectral e saturação de otimização.