⚛️ high-energy experiments

Predict before you train: Scaling Laws for particle physics foundation models

Este artículo demuestra que las leyes de escala conjuntas de modelo y datos ajustadas en modelos transformer pequeños pueden predecir con precisión el rendimiento de modelos fundacionales de física de partículas mucho más grandes antes del entrenamiento, permitiendo la traducción de presupuestos de cómputo en resultados de física esperados y validando el enfoque frente a los estándares de referencia del estado del arte.

Autores originales: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear el pastel perfecto, pero no sabes cuánta harina, azúcar o calor necesitas. En el mundo de la física de partículas, los científicos construyen constantemente "cerebros digitales" (modelos de aprendizaje automático) para analizar los escombros caóticos de las colisiones de partículas, con la esperanza de encontrar patrones ocultos que revelen nuevas leyes de la naturaleza. Estos cerebros digitales son como hornos gigantes: cuanto más grande sea el horno (el modelo) y más ingredientes le suministres (los datos), mejor suele saber el pastel. Sin embargo, hornear estos pasteles es increíblemente costoso; requiere cantidades masivas de electricidad y supercomputadoras. Durante años, los científicos tuvieron que adivinar qué tan grande debía ser su horno antes de empezar a hornear. Gastaban millones de dólares en un horno enorme, solo para descubrir más tarde que uno de tamaño mediano habría cumplido el trabajo igual de bien, o que necesitaban uno mucho más grande para obtener el resultado que deseaban. La gran pregunta era: ¿Podemos predecir el sabor del pastel incluso antes de encender el horno?

Este artículo, titulado "Predict before you train" (Predecir antes de entrenar), aborda exactamente ese problema. Los investigadores querían ver si podían determinar una "regla de receta" (llamada ley de escala) que les diga exactamente cuánta potencia de cómputo necesitan para obtener un resultado específico, sin tener que construir el modelo gigante primero. Se centraron en un tipo específico de cerebro digital llamado "transformer", que normalmente se usa para leer texto, pero aquí le enseñaron a leer partículas que salen disparadas de un colisionador. Al entrenar una serie de modelos pequeños y económicos primero, intentaron trazar una línea en un gráfico que prediga qué sucedería si construyeran un modelo cien veces más grande. También querían saber si un mejor "pre-entrenamiento" (aprender patrones generales) realmente ayudaría al modelo a mejorar en tareas de física específicas más adelante, como detectar un quark top o distinguir un quark de un gluón.

La "Bola de Cristal" para la Física de Partículas

El equipo, liderado por investigadores de Stanford y SLAC, decidió probar una idea audaz: ¿podían predecir el rendimiento de un modelo de aprendizaje automático masivo simplemente mirando los resultados de modelos diminutos y económicos? Para hacer esto, utilizaron un conjunto de datos llamado "OmniLearned", que contiene aproximadamente mil millones de chorros (jets) de partículas simuladas. Construyeron una familia de modelos llamada ParticleViT. Piensa en estos modelos como un conjunto de detectives digitales. El más pequeño es un detective novato, y el más grande es un superdetective con una memoria masiva.

Los investigadores comenzaron entrenando a los detectives novatos con una pequeña cantidad de potencia de cómputo (menos de $10^{19}$ FLOPs, que es una unidad de cálculo). Observaron qué tan bien aprendían estos pequeños detectives. Luego, utilizaron una fórmula matemática (una "ley de escala") para dibujar una línea en un gráfico, prediciendo qué pasaría si entrenaran a un detective con una memoria cien veces mayor.

La predicción se cumplió
El resultado fue como tener una bola de cristal. Cuando entrenaron realmente los modelos gigantes (usando hasta $3.4 \times 10^{20}$ FLOPs), los resultados aterrizaron casi exactamente donde la predicción decía que estarían. El rendimiento real estuvo dentro del uno por ciento del pronóstico. Esto es algo enorme porque, hasta ahora, nadie había logrado predecir con éxito el rendimiento de un modelo que aún no habían entrenado en la física de partículas. Significa que los científicos ahora pueden realizar una "prueba de ensayo" con modelos pequeños y económicos para determinar exactamente cuánta potencia de cómputo necesitan comprar antes de comprometerse con las costosas ejecuciones de entrenamiento gigantes.

La sorpresa de la "Densidad de Información"

Uno de los hallazgos más interesantes fue sobre cuánta "potencia cerebral" (tamaño del modelo) se necesita realmente. En el mundo de los modelos de lenguaje (como los que escriben ensayos o chatean contigo), la regla general es que necesitas un modelo enorme para manejar mucha información. Pero para la física de partículas, los investigadores descubrieron algo diferente.

Descubrieron que una sola partícula en un chorro (jet) transporta mucha menos "información" que una sola palabra en una oración. Una palabra puede significar un millón de cosas distintas dependiendo del contexto, pero una partícula es solo una partícula con unos pocos números específicos asociados a ella. Debido a que los datos son menos "densos" en información, el tamaño óptimo del modelo para este conjunto de datos de mil millones de partículas es en realidad mucho más pequeño de lo que los expertos en lenguaje suponerían. El artículo sugiere que para este trabajo específico, no necesitas un cerebro gigante; solo necesitas alimentar al cerebro con muchos ejemplos. El "punto ideal" para el tamaño del modelo resultó ser mucho más pequeño que las reglas estándar para los modelos de lenguaje, lo que sugiere que para la física de partículas, es mejor gastar tu presupuesto en más datos que en un modelo más grande.

¿Ayuda tener un mejor "Conocimiento General"?

El equipo también comprobó si el hecho de tener un buen desempeño en la tarea general de pre-entrenamiento (aprender sobre todas las partículas) ayudaba al modelo a ser mejor en tareas de física específicas más adelante. Probaron dos tareas comunes:

Top Tagging: Identificar si un chorro de partículas provenía de un pesado "quark top".
Quark/Gluon Tagging: Distinguir entre chorros creados por quarks y aquellos creados por gluones.

Encontraron una línea recta y clara: los modelos que tenían un "loss" (pérdida) más bajo (lo que significa que aprendieron mejor los patrones generales durante el pre-entrenamiento) también desempeñaban mejor en estas tareas específicas tras ser ajustados (fine-tuned). En otras palabras, si tu detective digital es un genio en la física de partículas general, también será un genio detectando quarks top. Esto confirma que el "presupuesto de cómputo" puede traducirse directamente en un rendimiento físico esperado. Si sabes cuánta potencia de cómputo tienes, ahora puedes predecir qué tan bueno será tu modelo para encontrar nueva física.

El Duelo Final

Finalmente, los investigadores compararon sus nuevos modelos genéricos "ParticleViT" contra OmniLearned, un modelo famoso y altamente especializado que fue construido con reglas de física específicas integradas en su diseño (como conocer las leyes de la relatividad). Los resultados fueron sorprendentes. Los modelos genéricos ParticleViT, que no tenían reglas de física especiales en su interior, funcionaron tan bien como el modelo especializado OmniLearned en la mayoría de las métricas.

El único lugar donde el modelo especializado tuvo una ligera ventaja fue en los casos más difíciles y extremos de "top tagging" (la "cola de alta pureza"), donde fue aproximadamente un 5% mejor rechazando el ruido de fondo. Pero para casi todo lo demás, el modelo simple y genérico que aprendió desde cero fue igual de bueno. Esto sugiere que para muchas tareas de física, no es estrictamente necesario construir arquitecturas complejas específicas de la física; un transformer estándar y bien escalado, entrenado con suficientes datos, puede hacer el trabajo de manera igualmente efectiva.

Qué significa esto para el futuro

El artículo concluye lanzando estos cinco modelos (desde el pequeño hasta el extra grande) y el código completo, para que otros científicos puedan utilizarlos. La conclusión principal es que la era de "adivinar y esperar" ha terminado para este campo. Los científicos ahora pueden usar un experimento pequeño y económico para predecir el resultado de uno masivo y costoso. Pueden calcular exactamente cuánta potencia de cómputo necesitan para alcanzar un objetivo específico, ahorrando tiempo y recursos. Aunque el artículo no afirma haber resuelto toda la física, ha proporcionado un mapa confiable para navegar el costoso paisaje del entrenamiento de modelos de aprendizaje automático en la física de partículas, demostando que, a veces, la mejor manera de ver el futuro es empezar de forma pequeña.

Resumen Técnico: Predecir antes de entrenar: Leyes de escala para modelos fundacionales de física de partículas

Planteamiento del problema
En la física de partículas, los modelos de aprendizaje automático más grandes son también los más costosos de entrenar computacionalmente. Existe una brecha crítica en el campo: si bien se han ajustado leyes de escala de forma retrospectiva para datos de jets, no se ha demostrado que estas puedan predecir el rendimiento de modelos sobre los cuales no fueron ajustadas. En consecuencia, el retorno de la inversión al escalar una arquitectura específica no puede estimarse antes de comprometer los recursos computacionales. Además, ningún estudio ha conectado con éxito una ley de escala de pérdida de preentrenamiento con métricas de física posteriores (como el rechazo de fondo), lo que deja a los profesionales sin la capacidad de traducir un presupuesto de cómputo en un rendimiento de física esperado de antemano.

Metodología
Los autores presentan ParticleViT, una arquitectura de transformador genérica aplicada a constituyentes de jets con un sesgo inductivo mínimo específico de la física (omitiendo la equivariancia de Lorentz o características de interacción por pares). El estudio emplea un protocolo de "ajuste y pronóstico" (fit-then-forecast):

Datos y objetivo: Los modelos se preentrenan en el corpus OmniLearned, una colección de aproximadamente $1.06 \times 10^9$ jets. El objetivo de preentrenamiento es una tarea de clasificación de 210 clases (procesos de jets, sabores y categorías de conjuntos de datos).
Barrido de escala: Se entrena una escalera geométrica de modelos ParticleViT en una cuadrícula de IsoFLOP, variando el tamaño del modelo ( $N$ ) y el tamaño del conjunto de datos ( $D$ ) mientras se mantiene constante el cómputo de entrenamiento. El barrido cubre diez presupuestos de cómputo que alcanzan hasta $3 \times 10^{18}$ FLOPs.
Ajuste de la ley de escala: Los autores ajustan un modelo de escala conjunto de modelo y datos (estilo Chinchilla) a la pérdida de preentrenamiento de los modelos entrenados por debajo de $10^{19}$ FLOPs. La forma funcional es:
$L(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_\infty$
Extrapolación de datos no utilizados: Utilizando únicamente los datos de los modelos pequeños, los autores predicen la pérdida de cinco modelos más grandes entrenados con hasta $113\times$ más cómputo (hasta $3.4 \times 10^{20}$ FLOPs).
Validación posterior: Los modelos preentrenados se ajustan finamente (fine-tuning) en dos estándares de referencia: Etiquetado de quarks top (Top Quark Tagging) y discriminación de quarks/gluones. Los autores analizan la correlación entre la pérdida de preentrenamiento y la pérdida de ajuste fino posterior/rechazo de fondo.
Evaluación comparativa: El modelo "frontera" más grande de ParticleViT se compara contra OmniLearned, un modelo fundacional de vanguardia con conocimiento de física entrenado en el mismo corpus.

Contribuciones clave

Pronóstico validado: El estudio presenta el primer pronóstico validado de una ley de escala en física de partículas. Al ajustar la ley en modelos entrenados por debajo de $10^{19}$ FLOPs, los autores predijeron la pérdida de modelos entrenados con más de $100\times$ más cómputo. Las pérdidas medidas se situaron dentro del 1% de las predicciones (error relativo medio de 0.26%).
Cadena de cómputo-a-rendimiento: Los autores establecen un vínculo directo entre el presupuesto de cómputo y el rendimiento de la física. Demuestran que una menor pérdida de preentrenamiento produce sistemáticamente una menor pérdida de ajuste fino posterior y un mayor rechazo de fondo en ambas tareas de etiquetado. Esto permite que un objetivo de rendimiento de física se traduzca en un presupuesto de cómputo estimado antes de entrenar un modelo grande.
Asignación de cómputo óptima: La ley de escala ajustada revela que el tamaño de modelo computacionalmente óptimo para el corpus de mil millones de jets es significativamente más pequeño que la regla general derivada de los modelos de lenguaje (que sugiere $\sim 1$ parámetro por cada 20 tokens). El exponente ajustado para los datos ( $\beta \approx 0.06$ ) es mucho menor que el del tamaño del modelo ( $\alpha \approx 0.23$ ), lo que implica que, para la física de partículas, el cómputo se debe emplear predominantemente en aumentar el número de ejemplos de entrenamiento en lugar de aumentar la capacidad del modelo.
Lanzamiento abierto: Se liberan al estudio cinco modelos ParticleViT preentrenados (S hasta XL), la receta completa de entrenamiento y los protocolos de ajuste fino.

Resultados

Precisión de la escala: Las predicciones de pérdida extrapoladas para los cinco modelos no utilizados (que van de 16M a 397M de parámetros) fueron altamente precisas, con un error relativo máximo de 0.66%.
Rendimiento posterior: Una menor pérdida de preentrenamiento se correlacionó consistentemente con un mejor rendimiento posterior. El modelo ParticleViT más grande (397M de parámetros) alcanzó un rendimiento consistente con las cifras publicadas del modelo OmniLearned (423M de parámetros) con conocimiento de física en términos de precisión, AUC y rechazo de quarks/gluones.
Comparación con modelos de conocimiento físico: El transformador genérico (ParticleViT) igualó al modelo base con conocimiento de física (OmniLearned) en métricas generales. El modelo con conocimiento de física retuvo una ventaja mensurable solo en la cola de alta pureza del etiquetado de top (rechazo de fondo en $\epsilon_S=0.5$ y $0.3$), donde los patrones de radiación raros son más críticos.
Densidad de información: Los autores interpretan el pequeño exponente de los datos y la preferencia por modelos más pequeños como un reflejo del menor contenido de información de un "token de partícula" en comparación con un "token de lenguaje".

Significancia y afirmaciones
El artículo afirma cerrar el ciclo entre el presupuesto de cómputo y el rendimiento de física esperado. Al demostrar que una ley de escala ajustada en modelos pequeños puede pronosticar con precisión la pérdida de modelos mucho más grandes, y que esta pérdida predice las métricas de física posteriores, los autores argumentan que los profesionales pueden ahora planificar ejecuciones de entrenamiento de gran escala con confianza.

Los autores declaran explícitamente que esta metodología no es específica para jets; cualquier dominio científico rico en datos capaz de ejecutar un barrido de modelos pequeños podría aplicar este protocolo de "ajuste y pronóstico". Enfatizan la modestia respecto a sus afirmaciones: la ley de escala predice el rendimiento dentro de la familia de modelos y las tareas específicas estudiadas, y la conexión con las métricas posteriores es una transferencia observada, no una garantía para nuevas preguntas de física arbitrarias. El estudio no pretende que el modelo con conocimiento de física sea obsoleto, sino que un transformador genérico, cuando se escala según la ley derivada, puede alcanzar un rendimiento consistente con las bases de referencia especializadas en conocimiento de física en los bancos de pruebas estándar, ofreciendo el modelo especializado solo una ventaja marginal en regímenes extremos de alta pureza.

La "Bola de Cristal" para la Física de Partículas

La sorpresa de la "Densidad de Información"

¿Ayuda tener un mejor "Conocimiento General"?

El Duelo Final

Qué significa esto para el futuro

Más como este