💬 NLP

Domain-Aware Scaling Laws Uncover Data Synergy

Este artigo formaliza e quantifica a "sinergia de dados" no pré-treinamento de modelos de linguagem ao aproveitar dados observacionais de diversos LLMs de pesos abertos para estimar como diferentes combinações de domínios interagem, demonstrando que o framework proposto supera as leis de escala agnósticas a domínios e prevê com precisão os rankings de desempenho de modelos com base em misturas de dados ótimas versus anti-ótimas.

Autores originais: Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assando o bolo mais delicioso do mundo. Por muito tempo, todos pensaram que a única coisa que importava era o quanto de farinha você usava. Quanto maior a pilha de farinha (dados), melhor o bolo (modelo de IA) seria. Mas este novo artigo sugere que isso é apenas metade da história. Acontece que o que você mistura nessa farinha importa tanto quanto a quantidade total.

Os pesquisadores chamam isso de "sinergia de dados". Pense nisso como uma receita secreta onde certos ingredientes não apenas se somam; eles multiplicam a magia uns dos outros. Se você misturar "Código" e "Matemática", o bolo crescerá mais alto do que se você os assasse separadamente. Mas se você misturar "Livros" e "Código", a massa pode ficar estranha e o bolo pode solar. O artigo argumenta explicitamente contra a antiga ideia de que todos os tokens de dados são intercambiáveis, como peças de Lego idênticas. Em vez disso, eles mostram que a combinação específica de dados altera a velocidade com que a IA aprende.

A "Matemática Mágica" da Mistura
A equipe não apenas adivinhou isso; eles construíram um novo conjunto de regras (chamadas de "leis de escala") para medir isso. Eles observaram 52 modelos de IA diferentes que já estavam no mundo real, treinados em diferentes "misturas" de dados, como páginas da web, livros, código e problemas matemáticos.

Eles encontraram dois tipos de magia:

O Efeito "Impulso" (Boost): Alguns dados simplesmente tornam a IA melhor em tarefas específicas. Por exemplo, treinar em dados de código torna a IA significamente melhor em resolver problemas de matemática. O artigo descobriu que, para um teste de codificação chamado HumanEval, o coeficiente de sinergia para dados de matemática foi de +1,34, enquanto o de dados de código foi de +0,47. Esses valores indicam o quanto esses tipos de dados aceleram a taxa de aprendizado em comparação com a linha de base, em vez de serem apenas um aumento multiplicativo simples na pontuação final.
O Efeito "Impulso Duplo": Esta é a parte realmente legal. Às vezes, dois tipos de dados precisam estar no mesmo pote ao mesmo tempo para desbloquear um superpoder. O artigo sugere que, quando os dados de "Código" e "Ciência" aparecem juntos, eles criam um efeito de "bônus" que é mais forte do que apenas somar seus benefícios individuais. É como como manteiga de amendoim e geleia são boas, mas juntas elas fazem um sanduíche que é maior do que a soma de suas partes.

O Que Eles Descartaram
O artigo é muito claro sobre o que não funciona. Eles rejeitam explicitamente a ideia de que você pode simplesmente jogar quaisquer dados aleatórios na mistura e esperar o mesmo resultado. Eles também mostram que simplesmente contar o número total de palavras (tokens) não é suficiente para prever o quão inteligente a IA se tornará. Na verdade, quando tentaram prever o desempenho usando apenas a quantidade total de dados, suas previsões estavam todas erradas (com uma pontuação de precisão baixa de 0,17). Mas assim que começaram a considerar a mistura dos dados, suas previsões tornaram-se quase perfeitas (atingindo uma precisão de 1,00).

O Quão Certos Eles Estão?
Os autores são cuidadosos para não afirmar que "resolveram" o treinamento de IA. Em vez disso, eles sugerem e estimam esses efeitos com base na observação de modelos existentes. Eles não apenas simularam isso em um computador; eles realmente testaram sua teoria no mundo real.

Para provar que sua "receita" funcionava, eles treinaram dois novos modelos minúsculos (um com 30 milhões de parâmetros e outro com 150 milhões de parâmetros).

Eles alimentaram um modelo com a mistura "ótima" (muita matemática e código para tarefas de codificação).
Eles alimentaram o outro com a mistura "anti-ótima" (muitos livros e enciclopédias para tarefas de codificação).

Os resultados? O modelo "ótimo" esmagou o "anti-ótimo". No teste de codificação HumanEval, a mistura ótima foi 16,9% melhor que a linha de base equilibrada na escala maior, enquanto a mistura anti-ótima teve um desempenho 21,9% pior em relação ao desempenho da linha de base. Isso confirma que suas estimativas de "sinergia" previram corretamente qual mistura venceria.

A Conclusão
O artigo sugere que o futuro da construção de IAs mais inteligentes não é apenas sobre reunir mais dados, mas sobre reunir a mistura certa de dados. É como perceber que, para construir um foguete, você não precisa apenas de mais combustível; você precisa da proporção certa de combustível para oxigênio. Se você errar a proporção, o foguete falha. Se acertar, você pode simplesmente alcançar as estrelas. Os autores descobriram que, para tarefas de codificação e matemática, misturar dados de código e matemática é essa proporção perfeita, enquanto misturar livros e código pode, na verdade, atrasar você. É um lembrete lúdico de que, no mundo da IA, a qualidade e a combinação são tão importantes quanto a quantidade.

Resumo Técnico: Leis de Escalonamento Sensíveis ao Domínio Revelam Sinergia de Dados

Declaração do Problema

Embora o progresso do aprendizado de máquina seja frequentemente atribuído ao escalonamento do tamanho do modelo e do volume de dados, a composição dos dados de pré-treinamento é frequentemente tratada como uma contagem de tokens indiferenciada. Evidências empíricas sugerem que a composição dos dados é crítica: combinar conjuntos de dados de diferentes domínios (ex: código, matemática, web) gera interações não triviais onde a contribuição conjunta dos domínios pode exceder ou ficar aquém da soma de seus efeitos isolados. Essas interações, denominadas sinergia de dados, são atualmente negligenciadas pelas leis de escalonamento padrão (ex: Chinchilla), que assumem que todos os tokens contribuem igualmente, independentemente da origem. Métodos existentes ou tratam os corpora como homogêneos ou modelam a composição sem capturar as interações específicas entre domínios, falhando em distinguir entre o benefício agregado de mais dados e o efeito específico de sua composição.

Metodologia

Os autores propõem leis de escalonamento sensíveis ao domínio (domain-aware scaling laws), um framework que formaliza e quantifica a sinergia de dados no pré-treinamento de modelos de linguagem. Em vez de depender de experimentos controlados com um grande conjunto de modelos treinados, a abordagem aproveita a variação observacional através de 52 Grandes Modelos de Linguagem (LLMs) de pesos abertos com misturas de pré-treinamento diversas e documentadas.

O framework estende as leis de escalonamento padrão introduzindo dois tipos distintos de coeficientes de sinergia:

Sinergia de Primeira Ordem Domínio $\to$ Benchmark ( $\gamma_{j,k}$ ):
Esta captura como os dados de pré-treinamento de um domínio específico $k$ modifica a taxa de diminuição da perda em um benchmark específico $j$ , além do esperado pelo número total de tokens.
- Um $\gamma_{j,k}$ positivo indica um efeito sinérgico onde os tokens do domínio $k$ reduzem a perda mais rapidamente do que o expoente de escalonamento base $\beta_j$ .
- Um $\gamma_{j,k}$ negativo implica interferência, onde os tokens reduzem a perda mais lentamente.
- Matematicamente, isso modifica o expoente de escalonamento de dados para $\beta_j + \gamma_{j,k}$ , reescalonando efetivamente o termo de dados com base na participação do domínio e na contagem absoluta de tokens.
Sinergia de Segunda Ordem Domínio-Domínio ( $\sigma_{kk'}$ ):
Esta captura efeitos não aditivos que surgem quando dois domínios $k$ e $k'$ coocorrem na mistura de treinamento.
- Essas interações são modeladas como "tokens bônus" que só existem quando ambos os domínios estão presentes, escalando com o menor dos orçamentos de log-tokens de ambos.
- O termo de interação desaparece se qualquer um dos domínios estiver ausente, garantindo que o modelo capture dependências de coocorrência reais em vez de simples efeitos aditivos.
- Esses coeficientes são compartilhados entre todos os benchmarks, refletindo complementaridades ou interferências fundamentais internas ao próprio corpus de pré-treinamento.

Estratégia de Estimativa:
Os parâmetros são estimados a partir de dados observacionais usando um procedimento de ajuste em duas etapas:

Estágio 1: Ajustar uma linha de base Chinchilla agnóstica ao domínio para estabelecer priors para os expoentes de escalonamento.
Estágio 2: Ajustar o modelo de sinergia completo (Primeira Ordem ou Segunda Ordem) usando uma perda de Huber para robustez contra metadados ruidosos, regularização $\ell_1$ e $\ell_2$ para impor esparsidade e lidar com colinearidade, e um prior sobre o expoente de escalonamento de dados para evitar trocas (trade-offs) entre $\beta$ e $\gamma$ .
Validação: A incerteza é quantificada via reamostragem de bootstrap, e a seleção do modelo baseia-se na estabilidade dos parâmetros através de dobras de validação cruzada.

Principais Resultados

1. Melhoria na Precisão Preditiva

Os modelos sensíveis ao domínio superam significativamente a linha de base Chinchilla agnóstica ao prever o desempenho em dados não utilizados (held-out).

Modelo de Primeira Ordem (FO): Alcança um $R^2$ mediano de validação cruzada de 0,906 em benchmarks. A melhoria é mais pronunciada em benchmarks de código (HumanEval e MBPP), onde o $R^2$ da linha de base era tão baixo quanto 0,20–0,41, enquanto o modelo FO atingiu 0,88–0,92.
Modelo de Segunda Ordem (SO): Alcança um $R^2$ mediano de 0,912, melhorando ainda mais as previsões em benchmarks como GSM8K e IFEval, onde os efeitos de primeira ordem já eram fortes.

2. Sinergias e Interferências Identificadas

O framework recupera estimativas estáveis e interpretáveis de interações de dados:

Fortes Sinergias Positivas: O achado mais robusto é o reforço mútuo entre os domínios de Código e Matemática. Por exemplo, no HumanEval, $\gamma_{\text{código}} = +0,47$ e $\gamma_{\text{matemática}} = +1,34$ . A análise de segunda ordem revela uma forte sinergia pareada ( $\sigma_{\text{código,matemática}} = +2,40$ ), indicando que sua coocorrência gera benefícios maiores do que a soma de seus efeitos individuais. Código e Ciência também mostram forte sinergia positiva ( $\sigma_{\text{código,ciência}} = +2,55$ ).
Interferência Negativa: O framework identifica interferência consistente, particularmente entre Livros/Enciclopédia e benchmarks de Código, onde a presença desses domínios retarda os ganhos de desempenho em tarefas de programação.
Especificidade do Benchmark: O expoente de escalonamento $\beta$ não é estático; ele varia significativamente com base na composição. Por exemplo, remover o código de uma mistura reduz o expoente de escalonamento de dados no HumanEval de 0,45 para 0,18.

3. Validação via Otimização de Mistura

Para testar a aplicabilidade dessas estimativas observacionais, os autores treinaram modelos (30M e 150M de parâmetros) em misturas previstas como ótimas (maximizando os coeficientes de sinergia) e anti-ótimas (minimizando-os) para três tarefas: HumanEval, GSM8K e IFEval.

Resultados: As misturas previstas como ótimas superaram consistentemente as misturas anti-ótimas em todas as tarefas e escalas.
Magnitude: No HumanEval com 30M de parâmetros, a mistura ótima alcançou uma melhoria de 12,4% em bits-por-byte (BPB) sobre a linha de base equilibrada, enquanto a anti-ótima foi 18,6% pior. Com 150M, a lacuna aumentou, com a mistura ótima mostrando uma melhoria de 16,9% sobre a linha de base.
Conclusão: As estimativas de sinergia derivadas puramente de dados observacionais previram com sucesso os rankings de desempenho, confirmando que as interações identificadas são acionáveis para a curadoria de dados.

Significância e Alegações

O artigo afirma fornecer a primeira definição formal e quantificável de sinergia de dados que separa o benefício agregado do volume de dados do efeito da composição. Ao ir além das leis de escalonamento agnósticas ao domínio, os autores demonstram que:

Tokens não são intercambiáveis: O valor de um token depende fortemente dos outros domínios presentes na mistura de treinamento.
A sinergia é recuperável por observação: Apesar da falta de intervenções controladas, coeficientes de sinergia estáveis e interpretáveis podem ser estimados a partir de modelos de pesos abertos existentes.
Insights Acionáveis: Essas estimativas fornecem uma ferramenta fundamentada para a curadoria de dados, permitindo que profissionais projetem misturas de pré-treinamento que maximizem capacidades específicas (ex: raciocínio ou codificação) ao aproveitar as sinergias identificadas e evitar interferências.

Os autores observam limitações, incluindo a dependência de dados observacionais (que estabelece associação, não causalidade estrita) e a escala pequena dos experimentos de validação. Eles sugerem que trabalhos futuros verifiquem esses achados em escalas de modelos maiores e explorem se essas sinergias persistem sob ajuste fino supervisionado ou aprendizado por reforço.