💬 NLP

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

Este artigo introduz a lei Skaling, uma estrutura de escalonamento generalizada que acopla a capacidade do modelo e os dados por meio de um único expoente de interação para melhorar significativamente a precisão da previsão de perda e permitir a alocação eficiente de orçamento de computação para o treinamento de modelos de linguagem em larga escala.

Autores originais: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Publicado 2026-08-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Equilíbrio: Como a IA Aprende

Imagine que você está tentando ensinar um cére-digital gigante a falar todas as línguas do mundo. Para fazer isso, você precisa de dois ingredientes principais: um cérebro maior (mais neurônios, ou "parâmetros") e mais livros didáticos (mais dados, ou "tokens"). Durante anos, cientistas usaram um conjunto de regras chamado "leis de escala" para prever o quão bem esse cérebro se sairia. Pense nessas regras como um livro de receitas que lhe diz exatamente quanto de cada ingrediente você precisa para obter um bolo perfeito.

A receita mais famosa, conhecida como "lei da Chinchilla", sugeria que o tamanho do cérebro e a quantidade de dados agem como dois amigos separados trabalhando em salas diferentes. Ela assumia que, se você dobrasse o tamanho do cérebro, a melhoria seria a mesma, independentemente de quanta data você tivesse, e vice-versa. Isso tornava a matemática fácil e ajudava os pesquisadores a decidir como gastar seus enormes orçamentos. No entanto, assim como uma receita real, essa suposição pode ser simples demais. E se o cérebro e os dados precisarem conversar entre si? E se um cérebro maior aprender de forma diferente quando tiver mais livros para ler? Se errarmos essa relação, podemos desperdiçar milhões de dólares treinando modelos que são pequenos demais para seus dados ou grandes demais para seus cérebros, levando a resultados decepcionantes.

A Nova Lei "Skaling": Quando os Ingredientes se Misturam

Neste artigo, os pesquisadores do laboratório FAIR da Meta introduzem uma receita nova e melhorada chamada lei Skaling (pronuncia-se "ske-Í-ling"). Eles descobriram que a antiga receita da "Chinchilla" tinha uma falha oculta: ela tratava o tamanho do modelo e os dados como se fossem completamente independentes, ignorando o fato de que eles realmente influenciam um ao outro.

Para visualizar isso, imagine que você está tentando prever a velocidade de um carro. A regra antiga dizia: "A velocidade depende do tamanho do motor E da quantidade de combustível, separadamente". Mas a nova pesquisa mostra que um motor maior na verdade muda a forma como ele usa o combustível de maneira eficiente. Se você tem um motor minúsculo, adicionar mais combustível não ajuda muito. Mas se você tem um motor enorme, esse combustível extra faz uma diferença massiva. A matemática antiga perdeu esse efeito de "acoplamento", levando a grandes erros ao prever o desempenho nos extremos — como quando você tem um modelo enorme com pouquíssimos dados, ou um modelo minúsculo com uma montanha de dados.

Os autores descobriram que, ao adicionar apenas um único número (um "expoente de acoplamento") à equação, poderiam corrigir isso. Este novo número atua como um "dial de mistura" que conecta o tamanho do cérebro e o volume de dados. Em vez de somar seus efeitos como dois montes separados de areia, a nova lei os multiplica de uma forma que reconhece que eles trabalam como um time.

O Que Eles Descobriram: Previsões Mais Inteligentes com Menos Trabalho

Os pesquisadores testaram esta nova lei usando dois enormes conjuntos de dados de treinamento que chamaram de Farseer e SK-Grid. Esses conjuntos de dados continham centenas de experimentos diferentes, variando de modelos pequenos de 100 milhões de parâmetros até gigantes com bilhões, treinados em tudo, de 1 bilhão a centenas de bilhões de palavras.

Aqui está o que eles descobriram:

A Lei Antiga Estava Errada nas Extremidades: Quando observaram os erros, a antiga lei da Chinchilla era aceitável no meio dos dados, mas falhava miseravelmente nos cantos. Ela superestimava ou subestimava drasticamente o desempenho quando o tamanho do modelo e a quantidade de dados estavam desequilibrados. A nova lei Skaling, porém, manteve-se precisa em todos os lugares, reduzindo o erro de previsão em 1,5 a 3 vezes em comparação com o método antigo.
Uma Forma "Esparsa" de Treinar: Uma das descobertas mais legais é que você não precisa treinar cada combinação possível de tamanho de cérebro e dados para entender as regras. O modo antigo exigia uma "grade completa" de experimentos, o que é incrivelmente caro. A nova lei Skaling funciona tão bem se você treinar apenas nas bordas em "forma de L" da grade — ou seja, você testa apenas modelos pequenos com muitos dados e modelos grandes com poucos dados. Essa estratégia "esparsa" permite que os pesquisadores prevejam o desempenho de modelos massivos e caros usando cerca de 10 vezes menos poder computacional do que antes.
Melhor Alocação de Recursos: Como a nova lei entende como o cérebro e os dados interagem, ela dá uma resposta mais precisa à pergunta: "Quanto dado devo alimentar meu modelo?". A lei antiga sugeria uma proporção fixa (como 20 palavras por neurônio), mas a nova lei sugere que essa proporção deve realmente mudar dependendo da escala. Para alguns conjuntos de dados, a proporção ideal muda significavelmente conforme os modelos ficam maiores, o que significa que o conselho antigo poderia estar levando as empresas a desperdiçar dinheiro.

Por Que Isso Importa

O artigo não afirma ter resolvido toda a IA, mas sugere que a maneira como planejamos nossos orçamentos de treinamento pode estar ligeiramente errada. Ao perceber que o tamanho do modelo e os dados são um time acoplado, em vez de trabalhadores independentes, a lei Skaling oferece uma estrutura mais robusta e eficiente em termos de recursos. Ela permite que os pesquisadores façam estimativas melhores sobre como seus modelos de próxima geração irão performar sem ter que realizar milhares de experimentos caros.

Em suma, os autores mostram que um simples ajuste na matemática — adicionar um parâmetro de "mistura" — remove os erros sistemáticos que têm assolado o campo. Isso significa que podemos construir modelos melhores, mais rápidos e mais baratos, entendendo que, no mundo da IA, o tamanho do cérebro e a quantidade de material de leitura estão intrinsecamente ligados.

Resumo Técnico: Skaling – O Encontro dos Expoentes de Chinchilla com o Acoplamento de Kaplan

Definição do Problema
As leis de escalonamento neural são fundamentais para prever o desempenho de Grandes Modelos de Linguagem (LLMs) e otimizar orçamentos de computação. No entanto, a formulação padrão, a lei de Chinchilla (Hoffmann et al., 2022), baseia-se em uma suposição estrutural de que o tamanho do modelo ( $N$ ) e o volume de dados de treinamento ( $D$ ) impactam a perda de forma independente. Matematicamente, esta forma aditiva ( $L = A/N^\alpha + B/D^\beta + E$ ) impõe uma derivada mista nula ( $\partial^2 L / \partial N \partial D = 0$ ).

Os autores demonstram que essa suposição de independência leva a erros sistemáticos de previsão. Embora a lei de Chinchilla apresente um bom desempenho no interior da grade de treinamento, ela exibe um erro residual em formato de "sela" nas fronteiras (extremos de $N$ e $D$ ). Especificamente, ela subestima sistematicamente a perda em alguns casos de borda e a superestima em outros, falhando em capturar a interação entre a capacidade do modelo e o volume de dados. Essa falha é crítica para a alocação de recursos, pois leva a extrapolações imprecisas para modelos de fronteira, onde $N$ e $D$ são frequentemente desbalanceados.

Metodologia
Para abordar isso, os autores introduzem a lei Skaling, uma forma funcional generalizada que acopla o tamanho do modelo e os dados através de um único expoente de interação ( $k$ ). A formulação é definida como:

$L(N, D) = \left( \frac{A}{N^\alpha} + \frac{B}{D^\beta} \right)^k + E$

Mecanismo de Acoplamento: Quando $k=1$ , a lei recupera a forma puramente aditiva de Chinchilla. Quando $k \neq 1$ , ela reintroduz o acoplamento encontrado na forma anterior de Kaplan (Kaplan et al., 2020), mas retém os expoentes internos independentes interpretáveis de Chinchilla ( $\alpha, \beta$ ).
Justificativa Teórica: Os autores analisam as derivadas da superfície de perda usando estimadores de Mínimos Quadrados Móveis (MLS) no conjunto de dados Farseer. Eles mostram que a derivada mista $\partial^2 L / \partial N \partial D$ é não-nula e segue uma lei de potência, indicando um efeito sinérgico onde o escalonamento conjunto de $N$ e $D$ reduz a perda de forma mais eficaz do que o escalonamento isolado de cada um. A forma Skaling reproduz naturalmente essa derivada mista não-nula.
Estratégia de Perfilamento Esparso (L-shape): Os autores propõem uma estratégia de amostragem eficiente para ajustar essas leis. Em vez de uma grade densa e quadrada, eles utilizam uma grade em formato de "L" que restringe o treinamento às bordas de baixo custo computacional: varrendo o volume de dados ( $D$ ) para modelos pequenos e varrendo o tamanho do modelo ( $N$ ) para pequenos orçamentos de dados. A análise teórica sugere que o comportamento assintótico da função de perda permite que essas execuções de fronteira restrinjam suficientemente os parâmetros para toda a grade.

Principais Contribuições

Formulação Skaling: Introdução de um único expoente de acoplamento ( $k$ ) que corrige os vieses de fronteira das leis aditivas, preservando a interpretabilidade e a regra de alocação ótima de computação em forma fechada.
Validação de Perfilamento Esparso: Demonstração de que a lei Skaling mantém alta precisão preditiva quando ajustada em uma grade em formato de "L", exigindo aproximadamente 10 vezes menos computação do que uma varredura de grade completa, enquanto iguala ou aproxima-se da precisão dos ajustes de grade completa de Chinchilla em interpolação e extrapolação de eixo único.
Validação Empírica: Validação rigorosa através de dois conjuntos de dados (Farseer e um SK-Grid customizado), mostrando que o Skaling reduz o Erro Médio Percentual Absoluto (MAPE) em 1,5 a 3 vezes comparado ao Chinchilla, particularmente em regimes de extrapolação.

Resultos

Redução de Erro: No conjunto de dados Farseer, o Skaling reduziu o MAPE para extrapolação de eixo único de 1,48% (Chinchilla) para 0,47% e para extrapolação distante de 2,46% para 2,31%. No SK-Grid, as melhorias foram ainda mais pronunciadas, com o erro de extrapolação distante caindo de 5,17% para 0,70% na grade completa e de 14,63% para 1,15% na grade em formato de "L".
Estabilidade de Parâmetros: O expoente de acoplamento ajustado $k$ cai consistentemente na faixa de 0,31–0,45 (sub-unidade), confirmando uma interação não-aditiva. O piso de perda irredutível ( $E$ ) também é sistematicamente menor do que nos ajustes de Chinchilla, muitas vezes aproximando-se de zero nos dados Farseer, sugerindo que o termo de acoplamento absorve a curvatura anteriormente atribuída a um piso de perda.
Extrapolação de Computação: Em um teste prevendo as execuções mais caras a partir de dados baratos (fatias de razão iso), o Skaling alcançou um MAPE agrupado de 0,60%, superando a lei aditiva de Chinchilla (2,34%) e a lei de nove parâmetros mais complexa do Farseer (0,80%).
Implicações de Alocação: A razão ideal de tokens para parâmetros ( $D^*/N^*$ ) derivada do Skaling difere significativamente da previsão de Chinchilla. Para o conjunto de dados Farseer, o Skaling prevê uma razão que diminui com a escala de computação, enquanto o Chinchilla prevê uma razão quase constante. Em escalas de fronteira, isso leva a uma discrepância de 10 vezes na alocação recomendada.

Significância
O artigo argumenta que a suposição de independência nas leis de escalonamento padrão é uma falha estrutural que causa erros sistemáticos exatamente onde eles mais importam: nos extremos desbalanceados do treinamento de modelos. Ao introduzir um parâmetro de acoplamento mínimo, a lei Skaling fornece um framework mais robusto para a previsão de desempenho.

Crucialmente, os autores afirmam que a previsão de escalonamento confiável não requer mais varreduras empíricas massivas e densas. A combinação da forma Skaling e a estratégia de amostragem em formato de "L" permite a extrapolação precisa de grade completa usando uma fração do orçamento computacional. Isso oferece um caminho eficiente em termos de recursos para alocar orçamentos de computação no treinamento de modelos de próxima geração, permitindo que pesquisadores tomem decisões confiantes baseadas em experimentos de pequena escala.

O Grande Equilíbrio: Como a IA Aprende

A Nova Lei "Skaling": Quando os Ingredientes se Misturam

O Que Eles Descobriram: Previsões Mais Inteligentes com Menos Trabalho

Por Que Isso Importa

Mais como este