Resumo Técnico: Transporte de Gradiente de Tamanho Finito no Pré-treinamento de Modelos de Linguagem Grandes

Declaração do Problema

Enquanto as leis de escala neural estabeleceram dependências robustas de lei de potência entre a perda de pré-treinamento de Modelos de Linguagem Grandes (LLMs) e fatores externos (escala do modelo, tamanho do conjunto de dados, computação), elas não revelam a organização interna do campo de gradiente à medida que o treinamento progride. Curvas de desempenho escalar podem mascarar reorganizações internas que se desenrolam ao longo do tempo e através das escalas. Estudos existentes sobre "grokking" (generalização tardia) e propagação de sinais críticos sugerem que transições comportamentais podem ser precedidas por mudanças internas mais suaves, contudo as métricas atuais carecem de uma sonda resolvida em escala para medir como a organização do campo de gradiente evolui. Os autores argumentam que um único expoente (como o expoente de tamanho de cascata $D$) é insuficiente para caracterizar regimes reais de treinamento de LLMs, necessitando de um framework multicanal para distinguir entre diferentes dinâmicas de treinamento que podem compartilhar estruturas básicas de escala de tamanho semelhantes.

Metodologia

O artigo introduz um framework de transporte de gradiente de tamanho finito fundamentado na mecânica estatística fora do equilíbrio, adaptando especificamente a sonda de avalanche Atualização de Difusão com Limiar–Olami-Feder-Christensen (TDU-OFC).

1. A Sonda TDU-OFC

O método trata o campo de gradiente (ou campo de atualização de parâmetros) como um campo de carga submetido a uma regra de redistribuição controlada em um grafo Barabási–Albert (BA) fixo.

• Entrada: Em cada passo de treinamento $t$, é capturado um instantâneo do campo $u(t)$. Para o Pico-LM, trata-se do vetor de gradiente bruto $g_t$; para o Pythia, é o campo de atualização de diferença de checkpoint $\Delta\theta_t$.
• Limiar: Um limiar fixo $\tau(t)$ é definido no percentil 90 da magnitude do campo.
• Relaxação: Nós ativos (onde $|u_i| > \tau$) relaxam sincronamente, redistribuindo valores assinados para os vizinhos com base na normalização pelo grau. Este processo itera até que nenhum nó ativo permaneça ou que um limite de passos (500) seja atingido.
• Saídas: A sonda produz o tamanho da cascata $s(t)$ (total de eventos ativos) e a duração da cascata $n_{steps}(t)$.

2. Caracterização de Cinco Quantidades

O framework estende o expoente único $D(t)$ para um fechamento algébrico de cinco quantidades:

1. $D(t)$ (Expoente de tamanho de cascata): Descreve a extensividade espacial ($s_{max} \sim N^D$).
2. $z(t)$ (Expoente de duração): Descreve a persistência temporal ($n_{steps} \sim N^z$).
3. $\beta$ (Expoente de transporte absoluto): Derivado de $D - z$.
4. $\delta$ (Expoente de transporte intensivo): Descreve a eficiência por parâmetro ($v_{rel} \sim N^\delta$).
5. $v_{rel}$ (Eficiência de transporte relativa): Uma observável medida diretamente definida como $s_{max} / (N \cdot n_{steps})$.

Estas quantidades satisfazem as relações de fechamento algébrico: $\beta = D - z$ e $\delta = \beta - 1 = D - z - 1$.

3. Famílias Empíricas e Controles Nulos

O framework é aplicado a duas famílias complementares:

• Pico-LM: Quatro escalas (11M–570M) com instantâneos diretos de gradiente bruto em 125 passos alinhados.
• Pythia/PolyPythias: Cinco escalas sub-1B (14M–410M) usando campos de diferença de checkpoint (proxy para atualizações) em 153 passos alinhados.

Para garantir comparabilidade, os autores empregam uma hierarquia de decomposição nula:

• $N_0/N_1$: Nulos Gaussianos (padrão ou ajustados por momentos) para estabelecer uma linha de base.
• $N_2$: Um nulo de permutação que preserva a distribuição marginal assinada, mas randomiza a atribuição de valor para nó.
• Isso permite a separação de "efeitos de distribuição" de "efeitos de atribuição" (a organização específica dos valores no grafo).

4. Compressibilidade Passo a Passo

Uma contribuição novel é tratar a compressibilidade passo a passo (o $R^2$ do ajuste de lei de potência em cada passo) como uma observável de organização interna, e não meramente como uma nota de rodapé sobre qualidade de ajuste. Isso mede se um canal de transporte admite uma inclinação de lei de potência única e limpa em um dado passo de treinamento.

Resultados Principais

1. Estrutura Básica de Tamanho Compartilhada, Regimes de Transporte Distintos

Tanto o Pico-LM quanto o Pythia exibem uma estrutura básica de tamanho de cascata próxima à unidade ($D \approx 1$) ao longo da janela de treinamento estável. No entanto, eles ocupam regimes de transporte distintos:

• Pico-LM: Apresenta escalamento de duração positivo ($z > 0$) e escalamento de eficiência intensiva negativo ($\delta < 0$). Modelos menores exibem maior eficiência de transporte por parâmetro, e as cascatas duram mais tempo em modelos maiores.
• Pythia: Permanece em uma faixa estreita próxima à linha de base $D=1$ com escalamento de eficiência positivo fraco ($\delta > 0$) e escalamento de duração próximo de zero ($z \approx 0$). Ele se aproxima de uma faixa de eficiência comum através das escalas.

2. Alinhamento com a Linha de Base Nula

Controles de campo randomizados ($N_0$) revelam que ambas as famílias compartilham pisos nulos quase idênticos nos canais intensivo ($v_{rel}$) e de duração ($z$). Os contrastes observados são, portanto, interpretados como desvios reais distintos de um esqueleto nulo compartilhado e não como artefatos de calibrações nulas diferentes. No canal de duração, o Pico mostra um desvio positivo em relação ao nulo, enquanto o Pythia mostra um desvio negativo.

3. Compressibilidade como Observável

• Pico-LM: Exibe alta compressibilidade passo a passo ($R^2 \approx 0,97-0,99$) através dos canais de tamanho, duração e eficiência, indicando organização de lei de potência limpa em cada passo.
• Pythia: Embora a estrutura básica de tamanho ($D$) permaneça altamente compressível ($R^2 \approx 1,0$), os canais de duração e eficiência mostram compressibilidade de inclinação única fraca ($R^2 \approx 0,55-0,65$). Isso sugere que os canais de transporte internos do Pythia não são bem descritos por uma única inclinação de lei de potência em cada passo, embora o comportamento agregado seja estável.

4. Associação com Desempenho Externo

O artigo encontra associações ao nível de canal, mas nenhuma associação significativa ao nível de expoente:

• Nível de Canal: O desempenho externo (perplexidade para o Pico, precisão zero-shot para o Pythia) está fortemente associado à observável de eficiência intensiva ($v_{rel}$) e à duração normalizada ($n_{steps}/N$). Melhor desempenho correlaciona-se com menor $v_{rel}$ e maior duração normalizada. Essas associações persistem após o controle do cronograma de taxa de aprendizado.
• Nível de Expoente: O expoente de tamanho $D(t)$ atua como uma estrutura básica compartilhada, mas não correlaciona significativamente com os expoentes de desempenho externo ($\beta_{PPL}$ ou $\alpha_{acc}$) ao longo de toda a trajetória em nenhuma das famílias.

Significado e Alegações

O artigo alega fornecer um framework de medição de transporte reutilizável para comparar regimes reais de treinamento de LLMs sem afirmar um ponto fixo universal ou uma derivação de primeiros princípios das leis de escala neural.

• Mudança no Papel de $D(t)$: Em benchmarks controlados de "grokking" (trabalho anterior), $D(t)$ atuava como um marcador localizado na transição (cruzando $D=1$ na generalização). No pré-treinamento real de LLMs, $D(t)$ torna-se uma coordenada de estrutura básica estável ($D \approx 1$) que não distingue regimes; a distinção reside em como essa estrutura básica é decomposta em canais de duração e eficiência.
• Natureza Observacional: Os resultados são observacionais e de escala finita. Os autores afirmam explicitamente que não alegam que o treinamento de LLMs realiza um mecanismo clássico de Criticalidade Auto-Organizada (SOC) ou uma classe de universalidade completa de ruído de estalidos.
• Contribuição Metodológica: O trabalho eleva a "compressibilidade passo a passo" ao status de observável primária, argumentando que o grau em que os canais internos admitem leis de potência limpas é uma propriedade fundamental da organização das dinâmicas de treinamento.
• Limitações: Os autores alertam que o contraste Pico/Pythia envolve múltiplas variáveis (gradiente bruto vs. campo de atualização, arquiteturas diferentes, otimizadores). Alegações quantitativas fortes são restritas a análises dentro da família, enquanto comparações entre famílias são limitadas a estruturas ao nível de regime.

Em resumo, o artigo argumenta que o pré-treinamento real é melhor descrito por uma estrutura de transporte multi-observável (tamanho, duração, eficiência e compressibilidade) do que por qualquer estatística de cruzamento única, oferecendo uma linguagem inspirada na física para resolver reorganizações internas que curvas de perda escalar escondem.