Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws

Resumo Técnico: Emergência Previsível em Aritmética Multidigitais

Enunciado do Problema
O artigo aborda uma tensão central no estudo de Grandes Modelos de Linguagem (LLMs): a discrepância entre as leis de escala neurais suaves e as capacidades "emergentes" relatadas. Enquanto a perda de pré-treinamento segue uma lei de potência previsível em relação ao tamanho do modelo ($N$), dados ($D$) e computação ($C$), os profissionais frequentemente observam que as capacidades subsequentes (ex: aritmética multidigital, seguimento de instruções) parecem saltar abruptamente de quase zero para um alto desempenho em limiares de escala específicos. A questão central é se esses saltos agudos são fenômenos genuínos e invariantes de métrica, indicando uma nova capacidade, ou se são artefatos de métricas de avaliação descontínuas (como a precisão de correspondência exata) aplicadas a melhorias subjacentes suaves.

Metodologia
Os autores conduzem um estudo empírico de inferência apenas, totalmente controlado e estreito, para testar uma versão falseável desta questão: É possível prever quantitativamente, com antecedência, a localização e a forma de um salto "emergente" na precisão de correspondência exata a partir da escala suave da precisão por token?

• Tarefa: Adição de inteiros multidigitais. Esta tarefa foi escolhida porque é um exemplo canônico de emergência e, crucialmente, o comprimento da resposta ($L$) é um parâmetro exatamente controlável que dita a não linearidade da métrica.
• Modelos: O estudo utiliza checkpoints públicos e liberados de três famílias de modelos sem qualquer treinamento ou ajuste fino:
  • Pythia: 8 tamanhos variando de 70M a 12B de parâmetros (treinados no "The Pile").
  • Pythia-deduped: Uma variante deduplicada do acima mencionado.
  • OPT: 5 tamanhos variando de 125M a 6.7B de parâmetros (arquitetura/pipeline de treinamento diferente).
• Métricas:
  • Métricas Suaves: Precisão de dígito por token ($p$), entropia cruzada por token (NLL), escore de Brier e distância de edição normalizada. Estas são medidas sob teacher forcing no prefixo correto.
  • Métrica Descontínua: Precisão de correspondência exata (EM), onde toda a string de saída deve coincidir com o alvo.
• Modelo Composicional: Os autores propõem um modelo onde a precisão de correspondência exata é a probabilidade de todos os $L$ tokens estarem corretos.
  • Modelo Independente: Assume que os erros por token são independentes, prevendo $EM \approx p^L$.
  • Modelo Corrigido por Correlação: Introduz um único parâmetro $\rho$ para contabilizar a correlação positiva fraca entre erros de token (ex: um modelo acerta todo o número ou falha em vários dígitos devido a cadeias de transporte/carry chains). Isso resulta em um comprimento efetivo $L_{eff} = 1 + (L-1)(1-\rho)$, prevendo $EM \approx p^{L_{eff}}$.
• Protocolo de Previsão: A lei de escala por token é ajustada usando apenas os quatro menores modelos ($N \le 1B$). Este ajuste é então usado para extrapolar e prever as curvas de correspondência exata e os limiares de emergência para os modelos maiores, mantidos fora do conjunto de treino.

Resultados Principais

1. Escala Subjacente Suave: A precisão de dígito por token aumenta de forma suave e monotônica com a escala (de 0,47 em 70M a 0,91 em 12B para Pythia), seguindo uma lei de potência limpa com expoente $\alpha \approx 0,36$. Nenhum salto é observado em métricas contínuas (NLL, Brier, distância de edição).
2. Previsão Quantitativa de Saltos: O modelo composicional com um único parâmetro de correlação ajustado ($\rho = 0,17$) reproduz toda a grade $6 \times 8$ de curvas de correspondência exata (através de 6 comprimentos e 8 tamanhos de modelo) com um $R^2$ de 0,999 e um erro absoluto mediano de 0,004.
   • O modelo independente ingênuo ($\rho=0$) alcança $R^2 = 0,98$, mas subestima sistematicamente, confirmando que a correlação positiva fraca é a principal correção necessária.
3. Colapso de Dados: Ao plotar a precisão de correspondência exata contra a coordenada reescalonada $u = L_{eff} \cdot (-\ln p)$, todos os pontos de dados de todos os comprimentos, tamanhos de modelo e famílias de modelos colapsam em uma única curva mestra $EM = e^{-u}$ (RMSE de colapso $\le 0,013$). Isso demonstra que a família de curvas de "emergência" é uma única lei suave reparametrizada pelo comprimento.
4. Previsão Bem-Sucedida: O ajuste da lei por token em modelos $\le 1B$ prevê com sucesso os saltos dos modelos maiores. Os limiares de emergência previstos coincidem com os limiares observados dentro de um erro absoluto médio de 0,01 em precisão de correspondência exata e 0,01 dex na localização do limiar.
5. Teste de Falseabilidade: O estudo não encontra evidências de comportamento "super-composicional" (onde a correspondência exata sobe mais rápido que $p^{L_{eff}}$ próximo ao limiar) ou saltos em métricas contínuas. Isso sugere que nenhuma mudança de capacidade genuína e invariante de métrica ocorre dentro do intervalo de escala estudado.

Significância e Alegações
O artigo afirma fornecer uma resolução quantitativa para o debate da emergência para o caso específico de aritmética multidigital dentro da faixa de 70M–12B de parâmetros.

• Natureza da Emergência: Os autores concluem que, para esta tarefa, a "emergência" não é uma nova capacidade aparecendo em um limiar, mas sim uma lei de escala suave por token vista através de uma não linearidade de comprimento-$L$ (a métrica de correspondência exata).
• Previsibilidade: Os saltos agudos são previsíveis com antecedência a partir de medições baratas de pequena escala. O estudo fornece uma receita: meça métricas por unidade em modelos abaixo do limiar, ajuste a lei de escala, estime o número de subdecisões ($L$) e uma única correlação ($\rho$), e extrapole.
• Escopo: Os autores declaram explicitamente que não pretendem resolver o debate da emergência para todas as tarefas (ex: raciocínio de código aberto ou seguimento de instruções podem não admitir um mapeamento tão simples). No entanto, argumentam que para tarefas pontuadas por sucesso de "tudo ou nada" sobre um número conhecido de subdecisões que melhoram suavemente, o fenômeno é um problema de extrapolação, não um jogo de adivinhação.

O estudo enfatiza que o "miragem" da emergência é criada pela escolha da métrica, e que métricas contínuas de alta resolução revelam a suavidade subjacente da melhoria de capacidade.