⚛️ high-energy experiments

Predict before you train: Scaling Laws for particle physics foundation models

Este artigo demonstra que as leis de escala conjuntas de modelo e dados ajustadas em pequenos modelos transformer podem prever com precisão o desempenho de modelos de fundação de física de partículas muito maiores antes do treinamento, permitindo a tradução de orçamentos de computação em resultados físicos esperados e validando a abordagem contra benchmarks de estado da arte.

Autores originais: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar o bolo perfeito, mas não sabe quanto de farinha, açúcar ou calor você precisa. No mundo da física de partículas, os cientistas estão constantemente construindo "cérebros digitais" (modelos de aprendizado de máquina) para analisar os detritos caóticos de colisões de partículas, esperando encontrar padrões ocultos que revelem novas leis da natureza. Esses cérebros digitais são como fornos gigantes: quanto maior o forno (o modelo) e mais ingredientes você o alimenta (os dados), melhor o bolo costuma ficar. No entanto, assar esses bolos é incrivelmente caro; requer quantidades massivas de eletricidade e supercomputadores. Durante anos, os cientistas tinham que adivinhar o tamanho do seu forno antes de começarem a assar. Eles gastavam milhões de dólares em um forno enorme, apenas para descobrir mais tarde que um de tamanho médio teria feito o trabalho tão bem quanto, ou que precisariam de um muito maior para obter o resultado desejado. A grande questão era: Podemos prever o sabor do bolo antes mesmo de ligarmos o forno?

Este artigo, intitulado "Predict before you train" (Prever antes de treinar), aborda exatamente esse problema. Os pesquisadores queriam ver se conseguiam descobrir uma "regra de receita" (chamada de lei de escala) que lhes diga exatamente quanta potência de computação eles precisam para obter um resultado específico, sem ter que construir o modelo gigante primeiro. Eles se concentraram em um tipo específico de cérebro digital chamado "transformer", que é geralmente usado para ler texto, mas aqui o ensinaram a ler partículas saindo de um colisor. Ao treinar uma série de modelos pequenos e baratos primeiro, eles tentaram traçar uma linha em um gráfico que prevê o que aconteceria se eles construíssem um modelo cem vezes maior. Eles também queriam saber se um "pré-treinamento" melhor (aprender padrões gerais) realmente ajudaria o modelo a ficar melhor em tarefas de física específicas, como identificar um quark top ou distinguir um quark de um glúon.

A "Bola de Cristal" para a Física de Partículas

A equipe, liderada por pesquisadores de Stanford e SLAC, decidiu testar uma ideia ousada: seria possível prever o desempenho de um modelo de aprendizado de máquina massivo apenas olhando para os resultados de modelos minúsculos e baratos? Para fazer isso, usaram um conjunto de dados chamado "OmniLearned", que contém cerca de um bilhão de jatos de partículas simulados (jatos de partículas). Eles construíram uma família de modelos chamada ParticleViT. Pense nesses modelos como um conjunto de detetives digitais. O menor é um detetive novato, e o maior é um superdetetive com uma memória massiva.

Os pesquisadores começaram treinando os detetives novatos com uma pequena quantidade de poder de computação (menos de $10^{19}$ FLOPs, que é uma unidade de cálculo). Eles observaram o quão bem esses pequenos detetives aprendiam. Então, usaram uma fórmula matemática (uma "lei de escala") para desenhar uma linha em um gráfico, prevendo o que aconteceria se treinassem um detetive com uma memória cem vezes maior.

A Previsão se Confirmou
O resultado foi como ter uma bola de cristal. Quando eles realmente treinaram os modelos gigantes (usando até $3,4 \times 10^{20}$ FLOPs), os resultados caíram quase exatamente onde a previsão dizia que ficariam. O desempenho real ficou dentro de um por cento do previsto. Isso é algo grandioso porque, até agora, ninguém havia conseguido prever o desempenho de um modelo que ainda não havia sido treinado na física de partículas. Isso significa que os cientistas agora podem fazer um "teste de corrida" com modelos pequenos e baratos para descobrir exatamente quanta potência de computação precisam comprar antes de se comprometerem com as execções de treinamento gigantes e caras.

A Surpresa da "Densidade de Informação"

Uma das descobertas mais interessantes foi sobre quanto "poder cerebral" (tamanho do modelo) é realmente necessário. No mundo dos modelos de linguagem (como os que escrevem ensaios ou conversam com você), a regra geral é que você precisa de um modelo enorme para lidar com muitos dados. Mas para a física de partículas, os pesquisadores descobriram algo diferente.

Eles descobriram que uma única partícula em um jato carrega muito menos "informação" do que uma única palavra em uma frase. Uma palavra pode significar um milhão de coisas diferentes dependendo do contexto, mas uma partícula é apenas uma partícula com alguns números específicos anexados a ela. Como os dados são menos "densos" em informação, o tamanho ideal do modelo para este conjunto de dados de um bilhão de partículas é, na verdade, muito menor do que os especialistas em linguagem supõem. O artigo sugere que, para este trabalho específico, você não precisa de um céreão gigante; você só precisa alimentar o cérebro com muitos exemplos. O "ponto ideal" para o tamanho do modelo foi encontrado para ser muito menor do que as regras padrão para modelos de linguagem, sugerindo que, para a física de partículas, é melhor gastar seu orçamento em mais dados do que em um modelo maior.

Um Melhor "Conhecimento Geral" Ajuda?

A equipe também verificou se ter um bom desempenho na tarefa de pré-treinamento genérico (aprender sobre todas as partículas) realmente ajudava o modelo a ser melhor em tarefas de física específicas mais tarde. Eles testaram duas tarefas comuns:

Top Tagging: Identificar se um jato de partículas veio de um "quark top" pesado.
Quark/Gluon Tagging: Distinguir entre jatos feitos por quarks e aqueles feitos por glúons.

Eles encontraram uma linha reta clara: os modelos que tiveram um "loss" (perda) menor (significando que aprenderam melhor os padrões gerais durante o pré-treinamento) também tiveram um desempenho melhor nessas tarefas específicas após serem ajustados (fine-tuning). Em outras palavras, se o seu detetive digital é um gênio na física de partículas geral, ele também será um gênio em identificar quarks top. Isso confirma que o "orçamento de computação" pode ser diretamente traduzido em um desempenho de física esperado. Se você sabe quanta potência de computação tem, agora pode prever o quão bom seu modelo será em encontrar nova física.

O Confronto Final

Finalmente, os pesquisadores compararam seus novos modelos genéricos "ParticleViT" contra o OmniLearned, um modelo famoso e altamente especializado que foi construído com regras de física específicas incorporadas em seu design (como conhecer as leis da relatividade). Os resultados foram surpreendentes. Os modelos genéricos ParticleViT, que não possuíam regras de física especiais dentro deles, tiveram um desempenho tão bom quanto o modelo especializado OmniLearned na maioria das métricas.

O único lugar onde o modelo especializado teve uma leve vantagem foi nos casos mais difíceis e extremos de "top tagging" (a "cauda de alta pureza"), onde foi cerca de 5% melhor em rejeitar ruídos de fundo. Mas para quase tudo o resto, o modelo simples e genérico que aprendeu do zero foi tão bom quanto. Isso sugere que, para muitas tarefas de física, você não precisa necessariamente construir arquiteturas complexas e específicas de física; um transformer padrão, bem escalado e treinado com dados suficientes, pode realizar o trabalho de forma igualmente eficaz.

O Que Isso Significa para o Futuro

O artigo conclui lançando cinco desses modelos (do pequeno ao extra-grande) e o código completo, para que outros cientistas possam utilizá-los. A principal lição é que a era do "adivinhar e esperar" acabou para este campo. Os cientistas agora podem usar um experimento pequeno e barato para prever o resultado de um enorme e caro. Eles podem calcular exatamente quanta potência de computação precisam para atingir um objetivo específico, economizando tempo e recursos. Embora o artigo não pretenda ter resolvido toda a física, ele forneceu um mapa confiável para navegar na custosa paisagem do treinamento de modelos de aprendizado de máquina na física de partículas, provando que, às vezes, a melhor maneira de ver o futuro é começar pequeno.

Resumo Técnico: Prever Antes de Treinar: Leis de Escalonamento para Modelos de Fundação de Física de Partículas

Definição do Problema
Na física de partículas, os maiores modelos de aprendizado de máquina são também os mais computacionalmente caros de treinar. Existe uma lacuna crítica no campo: embora as leis de escalonamento tenham sido ajustadas retrospectivamente para dados de jets, elas não foram demonstradas para prever o desempenho de modelos para os quais não foram ajustadas. Consequentemente, o retorno sobre o investimento de escalar uma arquitetura específica não pode ser estimado antes que os recursos computacionais sejam comprometidos. Além disso, nenhum estudo conectou com sucesso uma lei de escalonamento de perda de pré-treinamento a métricas de física de jusante (downstream) (como rejeição de fundo), deixando os praticantes incapazes de traduzir um orçamento de computação em desempenho físico esperado antecipadamente.

Metodologia
Os autores introduzem o ParticleViT, uma arquitetância de transformer genérica aplicada a constituintes de jets com mínima indução de viés físico (omitindo equivariância de Lorentz ou características de interação par a par). O estudo emprega um protocolo de "ajuste-e-previsão" (fit-then-forecast):

Dados e Objetivo: Os modelos são pré-treinados no corpus OmniLearned, uma coleção de aproximadamente $1,06 \times 10^9$ jets. O objetivo de pré-treinamento é uma classificação de 210 classes (processos de jets, sabores e categorias de conjuntos de dados).
Varredura de Escalonamento: Uma escada geométrica de modelos ParticleViT é treinada em uma grade IsoFLOP, variando o tamanho do modelo ( $N$ ) e o tamanho do conjunto de dados ( $D$ ) enquanto mantém o computacional de treinamento constante. A varredura cobre dez orçamentos computacionais variando até $3 \times 10^{18}$ FLOPs.
Ajuste da Lei de Escalonamento: Os autores ajustam um modelo conjunto de modelo-e-dados (estilo Chinchilla) à perda de pré-treinamento de modelos treinados abaixo de $10^{19}$ FLOPs. A forma funcional é:
$L(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_\infty$
Extrapolação de Dados Não Utilizados: Usando apenas os dados de modelos menores, os autores preveem a perda de cinco modelos maiores treinados com até $113\times$ mais computação (até $3,4 \times 10^{20}$ FLOPs).
Validação de Jusante: Os modelos pré-treinados são refinados (fine-tuned) em dois benchmarks padrão: Identificação de Quark Top (Top Quark Tagging) e discriminação de Quark/Glúon. Os autores analisam a correlação entre a perda de pré-treinamento e a perda de ajuste fino de jusante/rejeição de fundo.
Benchmarking: O maior modelo de "fronteira" ParticleViT é comparado ao OmniLearned, um modelo de fundação de ponta, consciente da física, treinado no mesmo corpus.

Principais Contribuições

Previsão Validada: O estudo apresenta a primeira previsão validada de uma lei de escalonamento em física de partículas. Ao ajustar a lei em modelos treinados abaixo de $10^{19}$ FLOPs, os autores previram a perda de modelos treinados com mais de $100\times$ mais computação. As perdas medidas ficaram dentro de 1% das previsões (erro relativo médio de 0,26%).
Cadeia Computação-Desempenho: Os autores estabelecem uma ligação direta entre o orçamento de computação e o desempenho físico. Eles demonstram que uma menor perda de pré-treinamento resulta sistematicamente em menor perda de ajuste fino de jusante e maior rejeição de fundo em ambas as tarefas de identificação (tagging). Isso permite que um alvo de desempenho físico seja traduzido em um orçamento de computação estimado antes de treinar um modelo grande.
Alocação Computacionalmente Ótima: A lei de escalonamento ajustada revela que o tamanho de modelo computacionalmente ótimo para o corpus de um bilhão de jets é significativamente menor do que a regra prática derivada de modelos de linguagem (que sugere $\sim 1$ parâmetro por 20 tokens). O expoente ajustado para dados ( $\beta \approx 0,06$ ) é muito menor do que para o tamanho do modelo ( $\alpha \approx 0,23$ ), implicando que, para a física de partículas, a computação é melhor gasta predominantemente no aumento do número de exemplos de treinamento, em vez de aumentar a capacidade do modelo.
Liberação Aberta: Cinco modelos ParticleViT pré-treinados (S através de XL), a receita completa de treinamento e os protocolos de ajuste fino são liberados para a comunidade.

Resultos

Precisão de Escalonamento: As previsões de perda extrapoladas para os cinco modelos não utilizados (variando de 16M a 397M de parâmetros) foram altamente precisas, com um erro relativo máximo de 0,66%.
Desempenho de Jusante: Menores perdas de pré-treinamento correlacionaram-se consistentemente com melhor desempenho de jusante. O maior modelo ParticleViT (397M de parâmetros) alcançou desempenho consistente com os números publicados para o modelo consciente da física OmniLearned (423M de parâmetros) em termos de acurácia, AUC e rejeição de quark/glúon.
Comparação com Modelo Consciente da Física: O transformer genérico (ParticleViT) igualou-se ao baseline consciente da física (OmniLearned) em métricas globais. O modelo consciente da física manteve uma vantagem mensurável apenas na cauda de alta pureza de identificação de top (rejeição de fundo em $\epsilon_S=0,5$ e $0,3$), onde padrões de radiação raros são mais críticos.
Densidade de Informação: Os autores interpretam o pequeno expoente de dados e a preferência por modelos menores como um reflexo do menor conteúdo de informação de um "particle token" em comparação a um "language token".

Significância e Alegações
O artigo afirma fechar o ciclo entre o orçamento de computação e o desempenho físico esperado. Ao demonstrar que uma lei de escalonamento ajustada em modelos pequenos pode prever com precisão a perda de modelos muito maiores, e que essa perda prevê métricas físicas de jusante, os autores argumentam que os praticantes podem agora planejar execuções de treinamento de grande escala com confiança.

Os autores declaram explicitamente que esta metodologia não é específica para jets; qualquer domínio científico rico em dados capaz de executar uma varredura de modelos pequenos poderia aplicar este protocolo de "ajuste-e-previsão". Eles enfatizam a modéstia em relação às suas alegações: a lei de escalonamento prevê o desempenho dentro da família de modelos e tarefas específicas estudadas, e a conexão com métricas de jusante é uma transferência observada, não uma garantia para novas questões de física arbitrárias. O estudo não afirma que o modelo consciente da física é obsoleto, mas sim que um transformer genérico, quando escalado de acordo com a lei derivada, pode atingir um desempenho consistente com bases conscientes da física em benchmarks padrão, sendo que o modelo especializado oferece apenas uma vantagem marginal em regimes extremos de alta pureza.

A "Bola de Cristal" para a Física de Partículas

A Surpresa da "Densidade de Informação"

Um Melhor "Conhecimento Geral" Ajuda?

O Confronto Final

O Que Isso Significa para o Futuro

Mais como este