💬 NLP

Neural Neural Scaling Laws

Este artigo introduz as Leis de Escala Neural (NeuNeu), uma abordagem baseada em redes neurais que supera os modelos paramétricos tradicionais ao enquadrear a previsão de desempenho em tarefas downstream como um problema de extrapolação de séries temporais, alcançando taxas de erro significativamente menores e generalização zero-shot em diversas famílias de modelos e tarefas.

Autores originais: Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando prever o quão bem um aluno se sairá em sua prova final com base no desempenho dele nas tarefas diárias.

Por muito tempo, pesquisadores usaram uma regra simples (chamada de "Leis de Escala") para fazer essas previsões. Eles assumiam que, se você apenas olhasse para a média das notas das tarefas, poderia traçar uma curva suave e previsível para adivinhar a nota final. Eles pensavam: "Se a média sobe, a nota final subirá em uma linha reta e agradável."

Mas os autores deste artigo, Michael Y. Hu e sua equipe, afirmam que essa regra simples está quebrada. Eis o porquê e o que eles fizeram para corrigi-la.

O Problema: A "Média" Mente

O artigo argumenta que olhar para uma nota média esconde a verdade.

A Analogia: Imagine dois alunos que ambos têm uma média de 80%.
- Aluno A acertou todas as questões, exceto uma. Seu desempenho é estável e confiável.
- Aluno B acertou metade das questões com 100% e a outra metade com 60%. Seu desempenho é caótico e imprevisível.
- Se você olhar apenas para a "média de 80%", não consegue distinguir a diferença. Mas se você olhar para as questões individuais (os dados em nível de "token"), você vê que o Aluno A provavelmente se sairá melhor na prova final do que o Aluno B.

Os métodos antigos (chamados de "Leis de Escala Logística") descartavam todas essas informações detalhadas. Eles apenas pegavam a média, suavizavam e tentavam ajustar uma curva matemática simples a ela. Os autores descobriram que isso falha quando o aluno (ou modelo de IA) começa a agir de forma estranha — às vezes melhorando, às vezes piorando, ou atingindo um platô.

A Solução: NEUNEU (O Preditor "Neural")

A equipe criou uma nova ferramenta chamada NEUNEU (Leis de Escala Neural Neural). Pense no NEUNEU não como uma calculadora simples, mas como um tutor superobservador.

Em vez de olhar apenas para a nota média, o NEUNEU olha para:

A História: Como as notas do aluno mudaram ao longo do tempo.
Os Detalhes: O desempenho específico em cada questão individual, não apenas a média.

Como funciona (A Metáfora):
Imagine que você está tentando adivinhar como um carro se sairá em uma longa viagem de estrada.

O Jeito Antigo: Você verifica a velocidade média do carro até agora e assume que ele continuará indo nessa velocidade para sempre.
O Jeito NEUNEU: Você observa a vibração do motor, a mistura de combustível, o tempo de reação do motorista e os solavancos específicos na estrada que o carro acabou de passar. Você usa um computador inteligente (uma rede neural) para aprender com milhares de outros carros e prever exatamente como este carro específico lidará com o restante da viagem.

O Que Eles Encontraram

A equipe treinou o NEUNEU com dados de muitos modelos de IA de código aberto (como alunos de diferentes escolas). Eles o testaram em 66 tarefas diferentes (como responder perguntas de ciências, escrever histórias ou resolver quebra-cabeças de lógica).

Aqui estão suas principais descobertas:

É Muito Mais Preciso: O NEUNEU foi 44% mais preciso do que os antigos métodos baseados em "média". Cometeu menos erros ao adivinhar quão bem a IA se sairia no futuro.
Lida com o Estranho: Às vezes, tornar uma IA maior ou treiná-la por mais tempo a torna pior em certas tarefas (um fenômeno chamado "escala inversa"). Os métodos antigos não conseguiam prever isso; eles apenas assumiam que as coisas sempre melhorariam. O NEUNEU aprendeu a identificar esses padrões e prevê-los corretamente.
É um Gênio "Zero-Shot": O NEUNEU foi treinado em um conjunto específico de modelos e tarefas. Mas quando mostraram a ele um novo tipo de modelo ou uma nova tarefa que ele nunca tinha visto antes, ele ainda funcionou melhor do que os métodos antigos. É como um tutor que pode ensinar uma nova matéria que nunca estudou apenas observando os hábitos de estudo do aluno.
Sabe Quando Está Adivinhando: O NEUNEU não dá apenas uma resposta; ele dá uma faixa de possibilidades (como dizer: "Há 90% de chance de a nota estar entre 75 e 85"). Isso ajuda os pesquisadores a saber quando podem confiar na previsão e quando devem ter cautela.

A Conclusão

O artigo afirma que tentar prever o desempenho futuro de modelos de IA usando fórmulas simples e pré-escritas (como o antigo método de "nota média") é um beco sem saída. Em vez disso, devemos usar um sistema de computador inteligente e flexível (o NEUNEU) que aprende diretamente dos dados desordenados e detalhados de como os modelos realmente se comportam.

Ao fazer isso, eles podem prever o desempenho futuro da IA com muito mais precisão, ajudando os pesquisadores a decidir quais modelos de IA valem o tempo e o dinheiro para serem construídos.

Resumo Técnico: Leis de Escala Neural (NEUNEU)

Declaração do Problema

As leis de escala neural tradicionalmente preveem como o desempenho de modelos de linguagem (LM) melhora com o aumento de computação, dados e parâmetros, modelando tipicamente a relação entre a perda de treinamento e o desempenho downstream usando formas paramétricas simples (por exemplo, leis de potência ou funções logísticas). No entanto, os autores identificam duas limitações críticas nas abordagens atuais:

Oscurecimento do Sinal: Métricas agregadas, como a perda de validação média, suavizam distribuições ricas de perda ao nível de token, obscurecendo sinais que podem ser preditivos de capacidades downstream.
Rigidez Funcional: Tarefas downstream individuais exibem comportamentos de escala diversos (melhoria monótona, estabilização ou escala inversa) que não podem ser capturados por uma única família paramétrica.

Consequentemente, prever o desempenho downstream a partir da perda de validação usando formas funcionais fixas sofre de alto viés e baixa generalização para arquiteturas de modelo não vistas, contagens de parâmetros ou tarefas.

Metodologia: NEUNEU

Os autores propõem as Leis de Escala Neural (NEUNEU), uma abordagem baseada em rede neural que enquadra a previsão de leis de escala como um problema de extrapolação de séries temporais. Diferentemente dos métodos paramétricos, o NEUNEU aprende a prever o desempenho futuro sem assumir uma forma funcional específica.

Arquitetura e Representação de Entrada

O NEUNEU combina contexto temporal de trajetórias de precisão observadas com informações de validação ao nível de token.

Representação de Perda: Para preservar informações distribucionais e lidar com perdas de entropia cruzada ilimitadas, o modelo converte perdas token a token ( $\ell$ ) em probabilidades token a token ( $p = e^{-\ell}$ ).
Sequência de Entrada: O modelo processa uma sequência de precisões downstream históricas ( $y_{1:t}$ $y_{1 : t}$ ) e lacunas de computação ( $g_{1:t}$ $g_{1 : t}$ ), juntamente com um vetor de probabilidades de token ( $p_t$ $p_{t}$ ) do conjunto de validação.
- Lacunas: Intervalos de computação entre etapas de avaliação são abstraídos para garantir invariância entre diferentes escalas de modelo.
- Probabilidades de Token: O modelo ingere um vetor de $N=256.000$ probabilidades de token (aproximadamente o tamanho de um minibatch), em vez de um único valor de perda média.
Componentes do Modelo:
1. Codificador de Perda: Uma CNN 1D hierárquica (4 camadas) processa o vetor de probabilidades de token para produzir um embedding $e$ .
2. Backbone Transformer: Um transformer padrão estilo BERT (6 camadas, atenção bidirecional, RoPE) processa uma sequência contendo um token [CLS], o embedding de perda $e$ e tokens de contexto formados pela concatenação de precisões projetadas e lacunas.
3. Cabeça de Previsão: A saída do token [CLS] é projetada para prever uma distribuição sobre a precisão futura usando regressão de quantis. O modelo produz 5 quantis ( $\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$ ).

Estratégia de Treinamento

Dados: O modelo é treinado inteiramente em trajetórias de treinamento de modelos de linguagem de código aberto do HuggingFace, especificamente o conjunto de modelos DataDecide. Isso inclui 144 trajetórias de pré-treinamento únicas em 6 tamanhos de modelo (90M a 1B de parâmetros) e 24 conjuntos de dados.
Objetivo: O modelo é treinado usando perda de pinball somada entre os 5 quantis para produzir estimativas de incerteza calibradas.
Aumento: Para garantir robustez a dados ausentes, o processo de treinamento remove aleatoriamente tuplas da sequência de precisão, absorvendo a lacuna na tupla precedente.

Principais Contribuições

Previsão Livre de Parâmetros: O NEUNEU é o primeiro modelo a prever desempenho de escala downstream sem suposições paramétricas ou conhecimento prévio de formas funcionais específicas.
Precisão Superior: Em 66 tarefas downstream, o NEUNEU alcança um Erro Absoluto Médio (MAE) de 1,99%, representando uma redução de 44% no erro em comparação com leis de escala logísticas amplamente utilizadas (3,56% de MAE).
Calibração de Incerteza: Ao utilizar regressão de quantis, o NEUNEU fornece estimativas de incerteza calibradas. Seu intervalo interquantílico previsto de 10%-90% captura 77,6% dos dados reais, correspondendo estreitamente aos 80% esperados.
Generalização Zero-Shot: O modelo generaliza zero-shot para:
- Sementes aleatórias não vistas.
- Conjuntos de dados de pré-treinamento não vistos (por exemplo, C4).
- Famílias e arquiteturas de modelo não vistas, incluindo modelos não-transformer (por exemplo, OLMo-Hybrid-7B) e contagens de parâmetros maiores (até 12B) não vistos durante o treinamento.
- Tarefas downstream não vistas (tarefas retidas durante o meta-treinamento).

Resultados e Avaliação

Os autores avaliaram o NEUNEU contra várias linhas de base:

Leis de Escala Logísticas: Ajustes paramétricos por tarefa.
BNSL (Leis de Escala Neural Quebradas): Modelos paramétricos que permitem rupturas de regime.
LC-PFN: Um transformer meta-aprendido para extrapolação de curvas de aprendizado em contexto.
Ablações: Variantes do NEUNEU usando apenas perda média (AVERAGE) ou nenhuma informação de perda (NOLOSS).

Principais Descobertas:

Generalização: O NEUNEU supera significativamente todas as linhas de base em avaliações fora de distribuição (OOD), particularmente em novas arquiteturas (Pythia, OLMo-Hybrid) onde leis paramétricas falham catastróficamente (incorrendo em ~4x mais erro).
Agnosticismo de Tarefa: Diferentemente das leis de escala logísticas, que exigem o ajuste de um modelo separado por tarefa, um único modelo NEUNEU prevê precisão para qualquer tarefa, incluindo aquelas nunca vistas durante o treinamento, frequentemente superando leis logísticas ajustadas diretamente a essas tarefas específicas.
Utilidade de Decisão: O NEUNEU classifica corretamente o desempenho final de configurações de modelo concorrentes com 76,6% de precisão, uma melhoria de 12,9% sobre as leis de escala logísticas. Isso sugere que o NEUNEU pode orientar efetivamente a alocação de recursos e a seleção de hiperparâmetros.
Valor da Informação: As ablações AVERAGE e NOLOSS performam pior que o NEUNEU completo, confirmando que distribuições de perda ao nível de token contêm sinal preditivo que a média descarta.

Significado e Alegações

O artigo argumenta que as limitações das leis de escala existentes não são fundamentais para o problema de previsão, mas sim artefatos de classes de hipóteses restritas (ou seja, assumir formas funcionais específicas). Ao substituir o viés paramétrico pela flexibilidade de uma rede neural treinada em trajetórias diversas de código aberto, o NEUNEU demonstra que prever escala downstream diretamente a partir de dados supera alternativas paramétricas.

Os autores posicionam o NEUNEU como um passo em direção a "Modelos de Fundação de Dinâmicas de Treinamento". Em vez de tratar modelos de linguagem como caixas pretas, o NEUNEU atua como um modelo nascente de dinâmicas de treinamento, capaz de simular estados futuros dados o desempenho atual e ações de computação. Essa capacidade poderia permitir que praticantes explorassem espaços de hiperparâmetros e escolhas de arquitetura sem o custo proibitivo de execuções de treinamento no mundo real. O trabalho alinha-se ao princípio de que métodos que escalam com computação e dados tendem a superar aqueles que dependem de estruturas desenhadas por humanos.