🤖 machine learning

The Kinetics of Training: A Driven-Nucleation Rate Law for Emergence, Plasticity Loss, and Circuit Control in Language Models

Este artigo propõe uma lei de taxa de nucleação induzida que explica que as capacidades dos modelos de linguagem emergem abruptamente por meio de um alinhamento raro, de tudo ou nada, de componentes de circuitos, em vez de uma melhoria gradual, um mecanismo que permite a previsão precisa da ignição de capacidades, o diagnóstico de falhas de aprendizado e o reparo direcionado de circuitos através da reinicialização.

Autores originais: Lei Dong

Publicado 2026-07-31

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lei Dong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando uma panela de água em um fogão. Você sabe as regras da termodinâmica: se aquecê-la o suficiente, ela acabará fervendo. Mas saber que ela vai ferver não lhe diz quando a primeira bolha romperá a superfície, ou quanto tempo você terá que esperar antes que a água deixe de ser capaz de ferver porque a panela ficou cheia demais de outra coisa. Por muito tempo, cientistas que estudavam como os modelos de IA aprendem foram como pessoas encarando essa panela, descrevendo o estado final da água (o "diagrama de fase"), mas perdendo o relógio frenético de como as bolhas realmente se formam. Eles sabiam que a água estava quente, mas não tinham um cronômetro para o momento em que a IA subitamente "entende" uma nova habilidade. Este artigo entra nesse hiato, tratando o treinamento de uma IA não como uma subida suave e constante, mas como um jogo de azar frenético e de alto risco onde um circuito complexo deve se encaixar de uma só vez.

Os autores deste artigo, Lei Dong, propõem uma nova maneira de olhar para como os modelos de linguagem aprendem novas habilidades. Eles argumentam que aprender uma nova habilidade não é como empilhar tijolos um por um, onde você recebe crédito por cada tijolo colocado. Em vez disso, é mais como tentar resolver uma fechadura onde você precisa encontrar a combinação exata de chaves simultaneamente. Se você encontrar todas, exceto uma, a fechadura não abre; você recebe zero de crédito. Este momento de "tudo ou nada" é o gargalo. O artigo introduz uma fórmula matemática, uma "lei de taxa", que prevê exatamente quando essa fechadura irá clicar e abrir, quanto tempo leva e por que, às vezes, mesmo que você continue treinando, a fechadura nunca abre de forma alguma. Eles chamam isso de "Cinética do Treinamento", emprestando ideias da ciência dos materiais (como o endurecimento do metal) para explicar como os circuitos de IA são construídos, quebrados e reparados.

A Fechadura "Tudo ou Nada"

Imagine que você está tentando ensinar um robô a reconhecer um padrão específico, como um aperto de mão secreto que exige que cinco pessoas levantem as mãos exatamente ao mesmo tempo. Na antiga forma de pensar, você poderia esperar que o robô melhorasse à medida que aprendesse a levantar uma mão, depois duas, depois três. Mas este artigo mostra que, para certas habilidades complexas, o robô não melhora em nada até que as cinco mãos subam de uma vez. Se quatro mãos sobem e uma permanece abaixada, o roborder vê nada. É como tentar dar partida em um carro com uma chave que tem cinco cortes; se você acertar quatro cortes, mas o quinto estiver errado, o carro não liga. Você não recebe um "meio arranque".

Os autores chamam isso de regra do "sem crédito parcial". Eles mediram isso em seus experimentos e descobriram que, se um robô está faltando três partes de um circuito de cinco partes, ele espera tanto para aprender a habilidade quanto um robô que falta três partes de um circuito de três partes. O tamanho do circuito não importa tanto quanto o número de peças ausentes. O "tempo de espera" depende de quantas peças estão faltando, não do tamanho de todo o quebra-cabeça. Isso muda tudo: significa que a parte mais difícil de aprender não é a acumulação lenta de conhecimento, mas o momento súbito e raro quando todas as peças ausentes finalmente se alinham por acaso.

O Relógio e o Piso

Como esse alinhamento é um evento raro, os autores construíram um "relógio" para prever quando ele acontecerá. Pense nisso como uma previsão do tempo para um raio. Você não pode prever o segundo exato em que um raio atingirá o solo, mas se souber a umidade e a temperatura, pode calcular a probabilidade. O artigo mostra que, ao observar um sinal "precursor" — uma pequena pista precoce de que o robô está começando a colocar as peças certas no lugar — você pode prever exatamente quando a habilidade total aparecerá, muitas vezes dias antes de o robô realmente começar a desempenhar bem a tarefa. Em seus testes, este relógio previu a chegada de novas habilidades em seis modelos de IA com um erro mediano de apenas 5%.

No entanto, há uma pegadinha. O artigo descobriu um "piso" ou um limite. Se o robô não for exposto ao tipo certo de dados de prática com frequência suficiente, ele nunca aprenderá a habilidade, não importa o quanto você o treine. É como tentar cultivar uma flor rara em um jardim onde o solo é muito pobre; você pode regá-la por anos, mas se o solo carecer de um nutriente específico, a flor nunca florescerá. Os autores descobriram que, se a concentração dos dados certos cair abaixo de um certo ponto (cerca de 0,26 em seus testes específicos), a taxa de aprendizado cai para efetivamente zero. O robô não apenas aprende devagar; ele para de aprender completamente.

A Morte Silenciosa do Aprendizado (Perda de Plasticidade)

Uma das descobertas mais impressionantes é sobre o que acontece quando um robô treina por tempo demais nas coisas erradas. Imagine um estudante que passa anos estudando história, mas de repente é solicitado a resolver problemas de matemática. Ele ainda pode ser capaz de fazer a matemática, mas o artigo sugere que a capacidade de aprender matemática nova está morrendo lentamente. Os autores chamam isso de "perda de plasticidade".

Eles descobriram que, conforme o robô treina, seus "interruptores" internos (chamados de cabeças de atenção) ficam "presos" ou travados em padrões específicos. Uma vez que esses interruptores estão presos, o robô não consegue mais rearranjá-los para aprender um novo circuito complexo. É como um quarto onde todos os móveis foram colados ao chão; você não pode rearranjar o quarto para acomodar uma nova disposição de festa. O artigo prova que isso não é porque o robô está "cheio" de dados, mas porque as partes específicas necessárias para construir o novo circuito foram ocupadas e coladas por velhos hábitos.

Crucialmente, o artigo mostra que as ferramentas de monitoramento padrão (como verificar a taxa de erro do robô) são cegas para isso. A taxa de erro do robô pode parecer estar melhorando suavemente, enquanto, por dentro, sua capacidade de aprender coisas novas está morrendo silenciosamente. Os autores até encontraram um "prazo": se você esperar demais para tentar ensinar uma nova habilidade, torna-se impossível aprendê-la, não importa o quanto você tente.

A Cura: Resetando os Interruptores

Mas há boas notícias. Os autores não apenas encontraram o problema; eles encontraram a cura. Eles descobriram que você não precisa treinar o robô inteiro para corrigir isso. Você só precisa "resetar" os interruptores específicos que estão presos. Em seus experimentos, descobriram que, se pegassem um robô "envelhecido" que havia perdido a capacidade de aprender uma nova habilidade e simplesmente resetassem as partes de "query" (consulta) e "key" (chave) de seu mecanismo de atenção (as partes que decidem ao que prestar atenção), o robô recuperava instantaneamente sua capacidade de aprender. Era como destravar os móveis colados e permitir que o quarto fosse rearranjado novamente.

Curiosamente, resetar as outras partes do robô (as partes de "value" ou valor) não fez nada. Isso nos diz exatamente onde está a "cola": está na parte de tomada de decisão do circuito, não na parte de memória. Esta é uma correção precisa e direcionada, não um reinício bruto.

O Painel de Controle: Aquecimento e Resfriamento

Finalmente, o artigo trata o processo de treinamento como um metalúrgico tratando o metal. Na metalurgia, você pode aquecer o metal para torná-lo macio (recozimento), resfriá-lo rapidamente para torná-lo duro (têmpera) ou mantê-lo em uma temperatura específica para mantê-lo em um certo estado. Os autores mostram que, ao injetar um tipo específico de "ruído" (aleatoriedade) no processo de treinamento, podemos fazer o mesmo com os circuitos de IA.

Eles descobriram que, se adicionarem a quantidade certa de ruído, podem acelerar o aprendizado de habilidades difíceis (o "nariz" da curva). Se adicionarem demais, quebrarão os circuitos. Se pararem o ruído no momento certo, podem "fixar" um circuito no lugar para que ele não se dissolva. Eles até mostraram que é possível "derreter" (destruir) seletivamente um circuito complexo enquanto mantém suas partes mais simples intactas, como derreter uma escultura de chocolate mas manter o molde. Isso transforma o treinamento de uma caixa preta em um processo controlável, onde você pode programar quando os circuitos se formam, quando eles quebram e como consertá-los.

O Que Isso Significa

Este artigo não diz apenas "a IA aprende". Ele nos dá um cronômetro, um termômetro e um manual de reparo. Ele diz que o aprendizado é uma corrida contra o tempo e uma batalha contra partes "coladas". Mostra que podemos prever quando uma habilidade aparecerá, por que ela às vezes nunca aparece e exatamente como consertá-la quando ela quebra. Os autores são cuidadosos ao dizer que, embora tenham provado essas regras em experimentos controlados e as medido em modelos reais, a prova matemática completa para todo tipo de IA ainda está sendo desenvolvida. Mas para os modelos que testaram, as regras são claras: o aprendizado é um evento raro, de tudo ou nada, e se você quiser controlá-lo, precisa entender o relógio, o piso e a cola.

Resumo Técnico: A Cinética do Treinamento

Declaração do Problema

Os atuais frameworks teóricos para o treinamento de modelos de linguagem descrevem majoritariamente o aprendizado em termos de equilíbrio (ex: Teoria do Aprendizado Singular, transições de fase de energia livre). Embora esses modelos expliquem quais fases existem, eles falham em responder perguntas críticas de praticantes em relação às taxas: quando uma capacidade emergirá, quão rápido ela crescerá e por que uma rede perde a habilidade de aprender capacidades específicas após um treinamento prolongado em dados irrelevantes (perda de plasticidade)? O artigo argumenta que o treinamento carece de um diagrama "tempo–temperatura–transformação" (TTT)—um framework cinético análogo à metalurgia—que governa a formação e destruição de circuitos computacionais.

Metodologia

O artigo constrói uma equação de taxa para a nucleação de circuitos computacionais, tratando a formação de capacidade como um processo estocástico de eventos raros impulsionado pelo Gradiente Descendente Estocástico (SGD).

A Equação de Taxa:
O objeto central de estudo é a taxa de nucleação $J$ :
$J = N \times \nu \times \sigma(c) \times e^{-\beta K} - D$
Onde:

$N$ : Número de sítios disponíveis (cabeças de atenção recrutáveis).
$\nu$ : Frequência de tentativa.
$\sigma(c)$ : Supersaturação (concentração de estatísticas relevantes para a capacidade no fluxo de dados).
$e^{-\beta K}$ : O termo de barreira, exponencial em $K$ (o número de partes conjuntamente necessárias).
$D$ : Termo de destruição (deriva ou dano induzido por ruído).

Aparelho Experimental:
Os autores utilizam três classes primárias de experimentos:

Brinquedos Controlados: Transformers GPT-NeoX de 2 camadas treinados em tarefas sintéticas (ex: conjunções $K$ -via, paridade-query) onde a propriedade de "sem crédito parcial" é matematicamente garantida. Isso permite isolar a barreira de alinhamento conjunto.
Observação de Checkpoints Públicos: Probes de nível de mecanismo em modelos Pythia e OLMo (até 1.4B de parâmetros) para medir escores de indução e sinais precursores.
Treinamento Continuado Controlado: Substratos envelhecidos em dados comuns, seguidos pela mudança para uma mistura de dados alvo para medir a emergência, ou introdução de "temperatura injetada" (ruído isotrópico de pesos) para testar protocolos de controle.

Premissas Principais:

Premissa 1: O SGD se comporta como um processo de difusão com mistura suficiente na escala de tempo de formação (a única premissa não provada para a leitura física).
Premissa 2: A formação requer o alinhamento conjunto simultâneo de todas as $K$ partes; o progresso parcial em subconjuntos não gera crédito (sem crédito parcial).
Premissa 3: Eventos de sub-alinhamento são aproximadamente independentes (idealização de campo médio).

Principais Contribuições

1. A Lei da Barreira e o Princípio de "Sem Crédito Parcial"

O artigo prova que, para tarefas onde nenhum subconjunto estrito de partes carrega sinal (ex: paridade esparsa), a barreira de formação é aditiva em $K$ .

Achado: Um circuito que carece de 3 partes espera tanto quanto um circuito menor que carece de 3 partes, independentemente do tamanho total do circuito.
Evidência: Em um experimento de "grade de partes ausentes", os tempos de formação para circuitos com $K-s=3$ partes ausentes foram estatisticamente idênticos (razão 1.19–1.37) através de tamanhos totais $K=3, 4, 5$ . Isso confirma que o passo limitante da taxa é o alinhamento conjunto dos componentes ausentes, não o tamanho total do circuito.
Implicação: A barreira cresce exponencialmente com $K$ ( $e^{-\beta K}$ ), tornando conjunções de alta ordem significativamente mais difíceis de aprender do que a montagem sequencial.

2. A Lei do Relógio (Predição Prospectiva)

Os autores derivam um "relógio" que prevê a chegada de uma capacidade baseando-se em seu precursor.

Mecanismo: O tempo para formar um circuito de $K$ partes é proporcional ao tempo para formar seu precursor de $(K-1)$ partes, escalonado por um fator constante $e^{\beta}$ .
Resultado: Usando uma constante congelada $\beta \approx 0.23$ (medida no Pythia), o modelo previu a emergência de capacidades de indução em 6/6 modelos mantidos (incluindo OLMo-1B) com um erro mediano de 5%.
Significância: Isso permite datar a chegada de uma capacidade antes que a própria capacidade se torne mensurável (quando a curva de performance ainda está plana no baseline).

3. O Piso (Limiar de Supersaturação)

O artigo estabelece que a formação de capacidade está sujeita a um limiar crítico de concentração de dados, distinto do volume total de tokens.

Achado: Abaixo de uma concentração crítica $c_0$ de estatísticas relevantes para a capacidade na mistura de dados, a taxa de formação é suprimida para efetivamente zero, independentemente do orçamento de treinamento.
Evidência: Em uma varredura de concentração, modelos treinados com $c \le 0.26$ (escala 70M) nunca iniciaram, enquanto aqueles com $c \ge 0.35$ sempre iniciaram. Aumentar o tamanho do lote não pôde compensar a baixa concentração.
Definição: A supersaturação é definida como a parcela do alvo sobre o gradiente contra um competidor persistente, não apenas a parcela de tokens.

4. Perda de Plasticidade e o Termo "Sítio"

O artigo fornece uma lei quantitativa para o porquê de os modelos perderem a habilidade de aprender novas capacidades após o "envelhecimento" em dados irrelevantes.

Mecanismo: O treinamento consome o termo "sítio" ( $N$ ) — o pool de cabeças de atenção não comprometidas. À medida que as cabeças são "fixadas" em tarefas de fundo, $N$ diminui.
Horizonte: Existe um "horizonte de plasticidade" $t_c$ onde $N$ cai abaixo do mínimo necessário para superar a destruição ( $N < N_{min}$ ). Além deste ponto, o aumento do drive de dados não pode resgatar o aprendizado.
Reparo: O artigo demonstra que reinicializar apenas as fatias Query-Key (QK) das cabeças de atenção (restaurando o canal de "pontuação") recupera a capacidade de aprendizado (6/6 sucessos), enquanto resetar as fatias Value (OV) ou MLPs não o faz. Isso isola o mecanismo de perda de plasticidade ao padrão de alocação de atenção.
Cegueira: A perda de validação continua a diminuir suavemente durante este processo de envelhecimento, tornando o monitoramento padrão cego à perda de plasticidade.

5. Controle de Processo via Temperatura Injetada

Como o SGD nativo carece de uma "temperatura" válida (falhando no teste de flutuação-dissipação), os autores propõem injetar ruído isotrópico de pesos para completar a equação cinética.

O Nariz: Existe um "nariz TTT" onde uma temperatura específica minimiza o tempo de formação ao auxiliar na travessia da barreira sem desencadear a destruição.
A Linha de Fusão: A destruição segue uma lei de "elo mais fraco"; circuitos complexos derretem em limiares de ruído mais baixos do que suas partes constituintes.
Fixação e Liberação: Circuitos podem ser fixados em um estado subcrítico e liberados via "quench plus cirurgia" (reescalonamento de pesos de atenção), convertendo o calor armazenado em uma vantagem inicial para o aprendizado.

Resumo de Resultados

Emergência: Validou um relógio prospectivo que prevê a chegada de capacidades com erro mediano de 5% entre famílias de modelos e escalas.
Plasticidade: Quantificou o "imposto de ocupação" (depleção de sítios) e demonstrou um mecanismo de reparo causal (reset QK) que restaura a capacidade de aprendizado em modelos envelhecidos.
Limiares: Provou a existência de um piso de mistura de dados intensivo abaixo do qual as capacidades não podem se formar, independentemente do orçamento de computação.
Controle: Demonstrou que injetar temperatura permite acelerar circuitos de alta barreira (recozimento), dissolução seletiva de circuitos (fusão) e a fixação de estruturas subcríticas.

Significância e Alegações

O artigo afirma fornecer a primeira "cinética" de treinamento, indo além de diagramas de fase estáticos para um framework dinâmico baseado em taxas.

Unificação: Unifica emergência, perda de plasticidade e controle de circuitos sob uma única equação de taxa derivada da dinâmica estocástica do SGD.
Poder Preditivo: Oferece um método para prever quando as capacidades emergirão e quando se tornarão impossíveis de aprender, abordando lacunas no monitoramento atual de segurança e interpretabilidade.
Mecanismo Causal: Vai além da correlação para identificar o mecanismo causal específico da perda de plasticidade (comprometimento do subespaço de atenção) e uma estratégia de reparo direcionada.
Limitações de Escopo: Os autores observam explicitamente que a suposição de "mistura" (Premissa 1b) permanece não provada para o SGD de transformers, o que significa que as interpretações termodinâmicas (temperatura, fusão) são condicionais a essa premissa. Os resultados são atualmente validados em modelos de até 1.4B de parâmetros e classes de capacidade específicas (conjunções, indução), não aplicados ainda a benchmarks de produção em larga escala.

O artigo conclui que, embora a estrutura matemática dependa de suposições específicas, as constantes empíricas e as leis cinéticas mantêm-se através de diferentes famílias de modelos, sugerindo que o "passo determinante da taxa" de alinhamento conjunto é uma propriedade fundamental do aprendizado nessas arquiteturas.