🤖 machine learning

A Defense of the Quadratic Model

Este artigo demonstra que o modelo quadrático simples, quando aplicado via expansão de Taylor em pontos de verificação intermediários, pode surpreendentemente prever com precisão a dinâmica de otimização em grandes modelos de linguagem, revelando espectros de Hessiana estruturados e confirmando que o treinamento ocorre tipicamente em uma borda de estabilidade estocástica dependente do tamanho do lote.

Autores originais: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

Publicado 2026-07-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando navegar por uma cordilheira massiva e enevoada durante a noite. Esta montanha é o "panorama de perda" (loss landscape) de uma Inteligência Artificial gigante, um terreno complexo onde cada passo que a IA dá é uma tentativa de encontrar o vale mais baixo (o melhor desempenho possível). O problema é que a montanha é tão vasta e retorcida que ninguém consegue ver o mapa inteiro de uma só vez. Durante anos, cientistas tentaram prever como a IA se move usando mapas simples e planos ou modelos idealizados. Às vezes, esses mapas funcionam, mas muitas vezes são simples demais para serem úteis ou complicados demais para calcular. A grande questão é: Podemos usar um mapa simples e plano para prever a jornada da IA através desta montanha caótica?

Para entender isso, você precisa saber algumas coisas. Primeiro, os modelos de IA aprendem por meio de "otimização", o que significa apenas dar pequenos passos para reduzir seus erros. Segundo, o "Hessiano" é uma forma matemática de descrever o quão íngreme ou curvo é o terreno em qualquer ponto específico. Se você conhece a curva, pode prever se um passo o levará para baixo, em um vale, ou para cima, em um penhasco. Finalmente, existe o conceito de "borda de estabilidade", que é como caminhar bem na beira de um precipício onde o chão é tão íngreme que um passo em falso te faz despencar, mas a IA, de alguma forma, continua caminhando sem cair. Este artigo pergunta se o mapa mais simples possível — uma aproximação quadrática (em forma de tigela) e plana — pode realmente prever o comportamento de uma IA gigante no mundo real.

Os autores deste artigo decidiram testar o estresse desse modelo "quadrático" simples em um Modelo de Linguagem Grande (LLM) com 150 milhões de parâmetros, treinado com 3 bilhões de palavras. Eles queriam ver se, em vez de tentar entender toda a montanha maluca, poderiam apenas olhar para um pequeno pedaço de terreno plano ao redor de onde a IA está atualmente, e usar isso para prever os próximos passos.

Eles descobriram algo surpreendentemente legal: o mapa simples em forma de tigela funciona! Quando eles interromperam o treinamento a cada 10% do percurso e criaram uma versão quadrática e plana do problema naquele ponto exato, esse modelo simples conseguiu prever com precisão o comportamento da IA para os próximos 10% do treinamento. É como se, embora a montanha seja um caos irregular, a IA passe tanto tempo em vales específicos "em forma de tigela" que um mapa simples de uma tigela é suficiente para dizer para onde ela irá a seguir. A previsão foi ainda melhor perto do fim do treinamento do que no início.

Depois de provarem que o mapa simples funcionava, eles usaram isso para espiar sob o capô do processo de aprendizado da IA. Eles observaram o "espectro do Hessiano", que é como uma lista de todas as diferentes inclinações e curvas no cenário. Eles descobriram que essa lista não é aleatória; ela possui uma estrutura muito específica. A parte superior da lista é dominada pela parte da IA que lida com o vocabulário (a camada de "unembedding"), enquanto a parte longa e residual segue uma "lei de potência" universal. Isso significa que a forma da cauda é idêntica quer a IA esteja usando um lote minúsculo de dados ou um lote enorme, e não importa os truques específicos (precondicionadores) que o otimizador usa para acelerar as coisas. É um padrão universal escondido no caos.

Finalmente, eles investigaram a "borda de estabilidade". Eles queriam saber se a IA está caminhando cuidadosamente no meio do vale ou dançando na beira de um precipício. Ao ajustar a taxa de aprendizado e o tamanho do lote (o tamanho dos blocos de dados), descobriram que a IA está, de fato, dançando na borda. Quando a IA usa lotes pequenos, ela dança em uma "borda de estabilidade estocástica", o que significa que ela está se equilibrando devido ao ruído aleatório nos dados. Quando usa lotes enormes, ela se equilibra em uma "borda determinística", onde a instabilidade é causada pela própria matemática dos passos. Em ambos os casos, a IA está operando exatamente no limite do que é estável, o que sugere que esse equilíbrio precário é, na verdade, como esses modelos aprendem melhor.

O artigo conclui que, embora o mundo da IA seja incrivelmente complexo, podemos entendê-lo tratando-o como uma sequência de problemas quadráticos locais e simples. Em vez de precisar de uma única teoria impossível para toda a montanha, podemos apenas olhar para a tigela local onde a IA está pisando. Este modelo simples não é apenas um brinquedo; é um substituto surpreendentemente preciso para como o pré-treinamento de IA do mundo real realmente funciona, oferecendo uma maneira nova e tratável de entender e melhorar esses sistemas massivos.

Resumo Técnico: Uma Defesa do Modelo Quadrático

Definição do Problema

A teoria de otimização para Grandes Modelos de Linguagem (LLMs) frequentemente recorre a modelos idealizados para navegar na complexidade dos landscapes de perda não convexos. No entanto, existe uma lacuna significativa entre a tratabilidade teórica e a precisão empírica: modelos que são matematicamente simples muitas vezes falham em descrever a dinâmica do mundo real, enquanto modelos que capturam estruturas específicas de problemas são frequentemente intratáveis teoricamente. A questão central abordada por este trabalho é: Até que ponto o modelo de otimização mais simples possível — o modelo quadrático — realmente captura a dinâmica de treinamento de LLMs?

Metodologia

Os autores conduzem um "teste de estresse" rigoroso do modelo quadrático utilizando um transformer de 150 milhões de parâmetros treinado em 3 bilhões de tokens da FineWeb. A metodologia envolve três componentes principais:

1. Aproximação Quadrática Local (Seção 3)

Os autores avaliam o poder preditivo de expansões de Taylor locais em checkpoints intermediários (a cada 10% do treinamento). Eles definem dois proxies de perda:

Prox (Linearizado): Lineariza o modelo $f_\theta$ em torno de um ponto de referência $\theta_{ref}$ mantendo o objetivo original de entropia cruzada. Isso é equivalente à regressão logística multiclasse sob o regime do Kernel de Tangente Neural (NTK).
Quad (Quadrático): Realiza a expansão de Taylor do Prox em relação à perda até a segunda ordem, resultando em um objetivo quadrático convexo. Crucialmente, eles utilizam a matriz de Gauss-Newton ( $G$ ) em vez da Hessiana completa ( $H$ ) para garantir que o objetivo quadrático permaneça convexo (semidefinido positivo), evitando a indeterminação em direções de curvatura negativa.

Eles treinam esses modelos proxy por 10% do orçamento total de tokens partindo de cada checkpoint e comparam as trajetórias de otimização resultantes com a dinâmica de treinamento real do LLM.

2. Estimativa do Espectro da Hessiana (Seção 4)

Para analisar a estrutura desses problemas quadráticos locais, os autores estimam os espectros das matrizes Hessiana e de Gauss-Newton (ambas brutas e pré-condicionadas por Adam) ao longo da trajetória de treinamento.

Técnica: Eles empregam a Quadratura de Lanczos Estocástica (SLQ) com sondagens extremamente profundas ( $m=1200$ ) e bandas de erro rigorosas (limites de Gauss-Radau).
Escala: As sondagens são executadas em checkpoints em 10%, 50% e 100% do treinamento através de tamanhos de lote $B \in \{1, 64, 1024\}$ .
Análise: Eles examinam o decaimento espectral (leis de potência), a distribuição de autovetores entre as camadas da rede e o alinhamento entre o gradiente e os autovetores (condições de fonte).

3. Análise da Borda da Estabilidade (EOS) (Seção 5)

Os autores testam empiricamente se o treinamento de LLMs opera na "borda da estabilidade".

Configuração: Eles congelam o pré-condicionador Adam e executam SGD pré-condicionado no proxy quadrático local.
Perturbação: Eles variam os multiplicadores de taxa de aprendizado ( $\eta$ ) e tamanho de lote ( $B$ ) em uma grade para determinar o limite de estabilidade.
Métrica: Uma execução é considerada divergente se a perda exceder um limiar (100). Eles distinguem entre Estabilidade de Média Quadrática (sensível a caudas pesadas) e Estabilidade de Lyapunov (comportamento típico).

Principais Resultados

1. Poder Preditivo de Modelos Quadráticos

Janela de Concordância: O modelo quadrático local e o modelo linearizado preveem com precisão a dinâmica de otimização real para janelas que duram até 10% do orçamento total de treinamento.
Precisão Temporal: A qualidade da aproximação é significativamente melhor nos estágios intermediários e tardios do treinamento em comparação aos estágios iniciais.
Prox vs. Quad: O modelo linearizado (Prox) geralmente combina melhor com a perda real do que o modelo quadrático (Quad) no início do treinamento, enquanto o Quad converge para alta precisão apenas após 60% do treinamento.

2. Estrutura do Espectro da Hessiana

Divisão Cabeça-Cauda: O espectro exibe uma transição nítida em torno do índice $i \approx 8192$ (o tamanho do vocabulário). A "cabeça" (autovalores superiores) é dominada pela camada de unembedding, consistente com o fenômeno de "colapso neural".
Cauda Universal: A "cauda" do espectro (índices $> 10^5$ ) segue uma lei de potência que é universal: é idêntica em diferentes tamanhos de lote e não é afetada pelo pré-condicionamento de Adam.
Expoentes:
- Expoente de Capacidade ( $\alpha$ ): Estimado em $\alpha \approx 0.96$ para a cauda de Gauss-Newton e $\alpha \approx 0.65$ para a cauda da Hessiana.
- Expoente de Fonte ( $\beta$ ): A condição de fonte (alinhamento do gradiente) resulta em $\beta \in [0.1, 0.2]$ para Gauss-Newton e $\beta \in [0.3, 0.6]$ para a Hessiana. Isso contradiz a suposição comum na literatura de $\beta > 1$ , sugerindo que o problema se comporta como se fosse de dimensão finita com decaimento exponencial de viés após um tempo crítico.
Autovalores Negativos: A Hessiana pré-condicionada exibe grandes autovalores negativos, particularmente em tamanhos de lote maiores, localizados na camada de up-projection do MLP. Os autores hipotetizam que estes estão ligados a "neurônios mortos" e ao efeito de tokens raros.

3. Dinâmica da Borda da Estabilidade

Estocástico vs. Determinístico:
- Em tamanhos de lote pequenos a médios ( $B=1, 64$ ), o treinamento ocorre em uma borda de estabilidade estocástica. O limite de estabilidade segue uma linha diagonal no espaço $(\eta, B)$ , indicando que a instabilidade é impulsionada pela estocasticidade (ruído).
- Em grandes tamanhos de lote ( $B=1024$ ), o treinamento opera na borda de estabilidade determinística, caracterizada por um corte plano na região de estabilidade, consistente com o comportamento de gradiente descendente de lote total.
Proximidade da Fronteira: Em todas as configurações, o treinamento opera dentro de um fator de 2 da fronteira de estabilidade.

Significância e Alegações

O artigo argumenta que o modelo quadrático não é meramente um brinquedo teórico, mas um proxy válido e experimentalmente verificado para a dinâmica de pré-treinamento de LLMs.

Tratabilidade Teórica: As descobertas sugerem que a otimização complexa de LLMs pode ser compreendida localmente como uma sequência de problemas quadráticos estruturados. Isso permite que pesquisadores utilizem o rico conjunto de ferramentas da teoria de otimização quadrática (ex: análise de estabilidade, escalonamento de taxa de aprendizado) para raciocinar sobre o treinamento de LLMs.
Revisão de Suposições: Os resultados desafiam suposições padrão na literatura, especificamente a somabilidade das condições de fonte ( $\beta > 1$ ) e a universalidade da cauda da Hessiana sob pré-condicionamento.
Implicações Práticas: A identificação da "borda de estabilidade estocástica" em pequenos tamanhos de lote fornece uma compreensão refinada de por que o treinamento diverge sob configurações específicas de hiperparâmetros, distinguindo entre erros de discretização e ruído estocástico.

Os autores concluem que, embora os landscapes de perda globais sejam não convexos, a aproximação quadrática local oferece um framework poderoso e tratável para analisar e projetar pipelines de treinamento para modelos de grande escala.