⚛️ phenomenology

Towards Foundation Models on Hardware Accelerators for Particle Physics

Cet article démontre que la distillation de connaissances d'un modèle de fondation étendu vers un réseau Deep Sets efficace et sans attention améliore significativement le rejet du bruit de fond pour l'étiquetage en temps réel des jets de quarks top sur les accélérateurs matériels, particulièrement dans le régime de faible efficacité de signal critique pour les déclencheurs de collisionneurs.

Auteurs originaux : Maya Benyas, Julia Gonski, Qibin Liu, P. Alex May, Vinicius Mikuni, Benjamin Nachman, Tanvi Wamorkar, Liangyu Wu

Publié 2026-09-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maya Benyas, Julia Gonski, Qibin Liu, P. Alex May, Vinicius Mikuni, Benjamin Nachman, Tanvi Wamorkar, Liangyu Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la physique des particules à enjeux élevés, les scientifiques font s'entrechoquer des particules à des vitesses incroyables pour découvrir les constituants fondamentaux de l'univers. Lorsque ces collisions se produisent, elles produisent des jets de particules plus petites, qui portent les empreintes de l'événement d'origine. Pour donner un sens aux milliards de collisions se produisant chaque seconde, les détecteurs doivent décider instantanément quels événements sont assez intéressants pour être conservés pour une étude ultérieure et lesquels ne sont que du bruit de fond. Cette décision se produit en une fraction de seconde, souvent en quelques microsecondes, forçant le matériel à exécuter des algorithmes simplifiés et ultra-rapides. Cependant, les outils les plus puissants pour identifier ces jets sont des modèles informatiques massifs qui nécessitent beaucoup trop de temps et d'énergie pour fonctionner avec des délais aussi serrés. Le défi a été de capturer le jugement brillant et nuancé de ces modèles géants et de condenser leur savoir dans de minuscules réseaux efficaces capables de fonctionner sur les puces spécialisées à l'intérieur des détecteurs.

Une équipe de chercheurs de l'Université de Stanford, du Laboratoire National SLAC et d'autres institutions a franchi une étape significative vers la résolution de ce problème en apprenant à un réseau petit et simple à penser comme un expert géant pré-entraîné. Ils ont commencé par un « modèle de fondation » massif, un type d'intelligence artificielle qui avait déjà appris de plus d'un milliard de jets de particules simulés à travers des centaines de scénarios différents. Ce modèle géant était exceptionnellement doué pour identifier les jets provenant de quarks top, une particule lourde qui est cruciale pour de nombreuses découvertes physiques, mais il était bien trop volumineux pour tenir sur le matériel utilisé pour les déclenchements en temps réel. Au lieu d'essayer de rétrécir directement le modèle géant, les chercheurs ont utilisé une technique appelée distillation de connaissances. Imaginez un maître enseignant qui a étudié une vaste bibliothèque de livres et qui s'assoit ensuite pour guider un élève. L'enseignant ne donne pas seulement les bonnes réponses à l'élève ; au contraire, l'enseignant partage son propre raisonnement interne et ses niveaux de confiance pour chaque exemple. L'élève apprend à imiter cette façon de penser sophistiquée, absorbant l'expérience de l'enseignant sans avoir besoin de porter le poids de toute la bibliothèque.

Les chercheurs ont appliqué cette méthode pour créer un réseau « étudiant » basé sur une architecture simple connue sous le nom de Deep Sets, qui est conçue pour être rapide et efficace. Initialement, cet étudiant était un réseau basique qui traitait chaque particule d'un jet de manière indépendante, faisant la moyenne de leurs propriétés pour prendre une décision. Bien que cette approche soit rapide, elle manquait les relations subtiles entre les particules. Pour améliorer l'étudiant, l'équipe a ajouté une seule couche permettant aux particules d'échanger des informations entre elles, un peu comme un groupe de personnes discutant d'un problème avant de parvenir à un consensus. Ils ont ensuite entraîné l'étudiant amélioré en utilisant les prédictions douces et nuancées du modèle de fondation géant plutôt que de simples étiquettes de type vrai ou faux. Les résultats furent frappants. Le petit étudiant, contenant une fraction seulement des paramètres du géant enseignant, a atteint des niveaux de performance remarquablement proches du modèle massif original. Plus précisément, l'étudiant est devenu bien meilleur pour rejeter le bruit de fond tout en conservant les signaux rares et intéressants, une capacité critique pour les systèmes de déclenchement qui doivent être extrêmement sélectifs.

L'étude a également exploré comment le bagage de l'enseignant influençait l'étudiant. Lorsque l'étudiant a été entraîné à l'aide d'un enseignant qui avait été pré-entraîné sur un ensemble de données massif avant d'être affiné pour la tâche spécifique, l'étudiant a appris à filtrer le bruit de manière bien plus efficace que lorsqu'il était entraîné par un enseignant qui n'avait appris la tâche spécifique à partir de zéro. Cela suggère que l'expérience large acquise grâce au modèle de fondation a été transférée avec succès au petit réseau. De plus, les chercheurs ont testé la capacité de ces petits réseaux à résister si leurs nombres étaient simplifiés pour tenir sur des puces matérielles, un processus appelé quantification. Lorsqu'ils ont simplement arrondi les nombres, la performance a chuté de manière significative. Cependant, en réentraînant soigneusement les réseaux en tenant compte de cette simplification, ils ont récupéré presque toute la précision perdue. Les modèles finaux nécessitaient des millions de fois moins de calculs que le modèle géant original, ce qui les rend éligibles pour la prochaine génération d'expériences de physique des particules.

Ce travail démontre que les capacités extraordinaires des modèles d'IA massifs et pré-entraînés peuvent être distillées dans des réseaux compacts et efficaces sans perdre leurs compétences les plus précieuses. En combinant une architecture simple avec une couche de passage de messages et l'orientation d'un modèle de fondation, les chercheurs ont créé un système qui est à la fois puissant et pratique pour les limites de temps strictes des déclencheurs de physique des particules. Les conclusions suggèrent que les futurs détecteurs pourraient prendre des décisions plus intelligentes et plus rapides en temps réel, ouvrant potentiellement la porte à la découverte de nouveaux phénomènes physiques qui étaient auparavant cachés dans le bruit. La prochaine étape pour l'équipe est d'intégrer ces réseaux directement sur les puces matérielles pour tester leur vitesse et leur utilisation des ressources, passant ainsi de la simulation à la réalité physique de l'accélérateur.

Résumé technique : Vers des modèles de fondation sur accélérateurs matériels pour la physique des particules

Énoncé du problème
Les expériences de physique des particules, en particulier au LHC (Grand collisionneur de hadrons), sont confrontées à de sévères contraintes de bande passante qui nécessitent une prise de décision en temps réel sur du matériel personnalisé (par exemple, des FPGA). Si l'analyse hors ligne peut utiliser de vastes modèles de fondation dotés de centaines de millions de paramètres pour atteindre des performances de pointe dans des tâches telles que le marquage de jets (jet tagging), ces modèles sont trop coûteux en calcul pour les déclencheurs matériels (hardware triggers), qui doivent prendre des décisions en quelques microsecondes. Les solutions actuelles contraintes par le matériel reposent souvent sur des algorithmes simplifiés ou des modèles plus petits entraînés à partir de zéro, ce qui peut sacrifier les gains de précision offerts par un pré-entraînement à grande échelle. Le défi consiste à transférer les connaissances de haute performance des modèles de fondation vers des architectures compactes et efficaces, adaptées au déploiement matériel, sans perte de précision significative.

Méthodologie
Les auteurs utilisent la distillation de connaissances pour transférer le savoir d'un modèle « enseignant » de grande taille vers un réseau « étudiant » compact.

Modèle Enseignant : L'enseignant est le modèle de fondation OmniLearned (423 millions de paramètres), une architecture de type Transformer composée de 28 blocs et 32 têtes d'attention. Il a été pré-entraîné sur un ensemble de données de plus d'un milliard de jets couvrant 210 classes, puis affiné pour le marquage des jets de quarks top. L'enseignant est gelé pendant l'entraînement de l'étudiant ; ses prédictions douces (soft predictions/logits) sont précalculées et mises en cache.
Architecture de l'Étudiant : L'étudiant est un réseau Deep Sets, conçu pour être invariant par permutation et sans mécanisme d'attention. Il se compose d'un MLP partagé ( $\phi$ ) qui intègre les particules individuelles, d'une opération de moyenne, et d'un second MLP ( $\rho$ ) qui projette le vecteur agrégé vers les logits de classe. L'étudiant de base possède environ 11 000 paramètres. Pour améliorer l'expressivité, les auteurs introduisent une couche de passage de messages (message-passing layer) qui traite les caractéristiques par paires (masse invariante, séparation angulaire, $k_T$ ) entre les 64 constituants ayant la plus grande $p_T$ , portant le nombre de paramètres à environ 17 000.
Stratégie de Distillation : La perte d'entraînement combine un terme d'entropie croisée avec les étiquettes de vérité terrain et un terme de divergence de Kullback–Leibler (KL) alignant la distribution de sortie adoucie de l'étudiant avec celle de l'enseignant. Les auteurs comparent trois variables spécifiques :
1. L'inclusion d'une couche de passage de messages dans l'étudiant.
2. L'entraînement avec des étiquettes douces (soft labels - distillation) par rapport aux étiquettes dures (hard labels - vérité terrain uniquement).
3. La distillation à partir d'un modèle de fondation pré-entraîné par rapport à un enseignant de même architecture entraîné à partir de zéro sur la tâche spécifique.
Prêt pour le Matériel : Pour évaluer la viabilité du déploiement, les auteurs évaluent la quantification en 8 bits en utilisant à la fois la quantification post-entraînement (PTQ) et l'entraînement conscient de la quantification (QAT).

Résultats Clés
L'étude démontre que les connaissances d'un modèle de fondation peuvent être efficacement compressées dans des réseaux économes, avec des gains spécifiques observés dans le rejet du bruit de fond (background rejection) — une métrique critique pour les systèmes de déclenchement opérant à faible efficacité de signal.

Amélioration de l'Architecture : L'ajout d'une couche de passage de messages à l'étudiant Deep Sets a amélioré la précision de 92,85 % à 93,98 % et a considérablement boosté le rejet du bruit de fond (1/FPR) à 30 % d'efficacité de signal, passant de 748 à 1980.
Efficacité de la Distillation : La distillation à partir des étiquettes douces de l'enseignant, plutôt qu'un entraînement sur les seules étiquettes de vérité terrain, a apporté une amélioration supplémentaire du rejet du bruit de fond d'un facteur 1,6 à 30 % d'efficacité de signal (atteignant 1980 contre 1216), avec un gain marginal en précision globale (93,98 % contre 93,82 %).
Valeur du Pré-entraînement : La distillation à partir du modèle de fondation pré-entraîné OmniLearned a donné des résultats supérieurs par rapport à une distillation d'un enseignant de même architecture entraîné à partir de zéro. L'enseignant pré-entraîné a amélioré le rejet du bruit de fond de l'étudiant d'un facteur 1,9 à 30 % d'efficacité de signal (1980 contre 1020), bien que les deux enseignants présentent une précision et une AUC similaires. Cela indique que le pré-entraînement du modèle de fondation capture des caractéristiques bénéfiques pour la « queue » de la courbe ROC.
Quantification et Efficacité :
- La PTQ a provoqué une dégradation significative des performances (par exemple, l'exactitude est tombée à 59 % pour l'étudiant avec passage de messages).
- La QAT a réussi à récupérer les performances, l'étudiant avec passage de messages atteignant 93,95 % de précision (seulement 0,03 point en dessous du format float32) et conservant un rejet du bruit de fond élevé.
- Coût Computationnel : L'étudiant distillé (avec passage de messages) nécessite 14,3 M de MACs (opérations de multiplication-accumulation) par jet, contre 37,9 G de MACs pour l'enseignant. Cela représente une réduction de trois à quatre ordres de grandeur, rendant le modèle un candidat viable pour la synthèse FPGA.

Signification et Revendications
L'article affirme que les modèles de fondation peuvent servir d'enseignants efficaces pour l'entraînement de réseaux compacts et adaptés au matériel, spécifiquement pour les déclencheurs de physique des particules. Les auteurs soulignent que le principal avantage de cette approche n'est pas seulement la précision de classification globale, mais le rejet du bruit de fond à faible efficacité de signal, qui est le régime opérationnel le plus pertinent pour les déclencheurs matériels.

Ce travail établit une voie pour le « co-design » des modèles d'apprentissage automatique et des accélérateurs matériels. En démontrant qu'un modèle de fondation de 423 millions de paramètres peut être distillé en un réseau de 17 000 paramètres qui maintient des performances élevées sous quantification 8 bits, les auteurs soutiennent que la prochaine étape du déploiement matériel est réalisable. L'article conclut que, bien que la synthèse de haut niveau pour l'implémentation FPGA soit en cours, les résultats actuels valident la viabilité de l'utilisation de modèles de fondation pré-entraînés pour piloter le développement de déclencheurs de physique des particules efficaces et en temps réel.

Résumé technique : Vers des modèles de fondation sur accélérateurs matériels pour la physique des particules

Articles similaires