Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Cet article présente une étude sur l'optimisation de diverses architectures de réseaux de neurones (Dense, CNN et Dense+RNN) avec des procédures bayésiennes et la régression évidentielle profonde pour une exécution sur les FPGA du calorimètre d'ATLAS, atteignant une résolution en énergie supérieure et une estimation précise de l'incertitude par rapport aux méthodes actuelles dans les conditions de haut pile-up attendues lors du HL-LHC.

L'essentiel

Imaginez le détecteur ATLAS de la Grande Collisionneur de Hadrons (LHC) comme un microphone géant et ultra-sensible écoutant l'univers. Toutes les 25 nanosecondes, deux faisceaux de protons s'entrechoquent, créant une symphonie chaotique de particules. Le « microphone » (plus précisément le calorimètre à argon liquide) tente de mesurer l'énergie de ces particules en écoutant les « impulsions » électriques qu'elles créent.

Cependant, il y a un problème : l'orchestre devient de plus en plus bruyant et encombré. Lors de la future mise à niveau (appelée HL-LHC), il y aura tellement de collisions simultanées (un phénomène appelé « pile-up » ou empilement) que les signaux se chevaucheront comme un tas de câbles d'écouteurs emmêlés. La méthode actuelle pour démêler ces signaux (appelée « Filtrage Optimal ») est comme essayer d'entendre un seul violon dans un concert de rock avec une oreille très vieille et lente : elle s'embrouille et manque le volume réel du son.

Ce document présente une nouvelle solution : apprendre au cerveau du détecteur à penser comme une IA moderne.

Voici la décomposition de ce qu'ils ont fait, en utilisant des analogies simples :

1. Le défi : Un cerveau minuscule et rapide

Le détecteur ne possède pas de supercalculateur pour traiter les données. Il doit prendre des décisions instantanément, là où les données sont collectées, en utilisant des puces spécialisées appelées FPGA (Field-Programmable Gate Arrays). Considérez ces FPGA comme de minuscules calculateurs ultra-rapides qui ont des règles très strictes :

• Vitesse : Ils doivent décider de l'énergie d'une particule en moins de temps qu'il ne faut à un colibri pour battre des ailes (125 nanosecondes).
• Taille : Ils disposent de très peu d'espace mémoire. Vous ne pouvez pas installer un programme logiciel massif et lourd sur eux.

2. La solution : De nouvelles « recettes » de réseaux de neurones

Les chercheurs ont tenté d'apprendre à ces petits calculateurs à reconnaître les signaux désordonnés en utilisant des Réseaux de Neurones (modèles d'IA). Ils ont testé quatre différentes « recettes » (architectures) pour voir laquelle parviendrait à démêler le bruit le mieux sans dépasser les limites de vitesse ou de taille :

• Le RNN (Réseau de Neurones Récurrents) : Imaginez une personne lisant une histoire mot après mot, se souvenant du mot précédent pour comprendre le mot actuel. C'est efficace pour les séquences, mais dans cet environnement encombré, il est devenu trop gros et trop lent.
• Le CNN (Réseau de Neurones Convolutifs) : Imaginez regarder un motif à travers une fenêtre coulissante, comme une caméra de surveillance scannant un couloir. Il regarde un bloc du signal à la fois pour trouver des formes. Cela a très bien fonctionné.
• Le Réseau Dense : Imaginez une équipe d'experts où tout le monde parle à tout le monde pour résoudre un puzzle. Cela a également très bien fonctionné.
• L'hybride « Dense + RNN » : Un mélange des deux, tentant de tirer le meilleur des deux mondes.

3. Le processus de réglage : La « recherche intelligente »

Les chercheurs n'ont pas simplement deviné quelle recette était la meilleure. Ils ont utilisé un processus d'Optimisation Bayésienne.

• L'analogie : Imaginez que vous essayez de trouver la température parfaite pour cuire un gâteau, mais que vous n'avez que quelques essais avant que le four ne tombe en panne. Vous ne devinez pas au hasard ; vous utilisez un assistant intelligent qui dit : « D'accord, nous avons essayé 180 °C et c'était trop sec. Essayons 190 °C, mais peut-être un peu moins de farine. »
• Ils ont utilisé ce « assistant intelligent » pour équilibrer deux objectifs concurrents : la Précision (obtenir l'énergie exacte) contre la Taille (garder le code assez petit pour la puce). Ils ont trouvé un « point d'équilibre » où l'IA était assez petite pour tenir, mais assez intelligente pour battre l'ancienne méthode.

4. Les résultats : Une image plus claire

Lorsqu'ils ont testé ces nouveaux modèles d'IA contre l'ancienne méthode de « Filtrage Optimal » :

• Meilleure précision : Les nouveaux modèles d'IA (Dense et CNN) pouvaient mesurer l'énergie avec une précision d'environ 80 MeV (une unité d'énergie très petite). L'ancienne méthode et le RNN étaient moins précis (environ 90 MeV).
• Plus de sous-estimation : L'ancienne méthode avait tendance à « baisser le volume » des signaux, pensant que l'énergie était plus faible qu'elle ne l'était réellement. Les nouveaux modèles d'IA ont obtenu le bon volume.
• Efficacité : Les modèles gagnants étaient minuscules (utilisant moins de 500 « opérations mathématiques »), prouvant qu'ils pouvaient tenir sur le matériel.

5. La fonctionnalité bonus : « À quel point êtes-vous sûr ? »

Habituellement, l'IA donne une réponse mais pas de score de confiance. C'est comme une application météo qui dit « Il va pleuvoir » sans vous dire s'il y a une probabilité de 50 % ou de 99 %.

• Les chercheurs ont ajouté une technique spéciale appelée Régression Évidentielle Profonde (Deep Evidential Regression).
• L'analogie : C'est comme donner à l'IA un « compteur de confiance ». Désormais, quand l'IA dit « Cette particule a 50 GeV d'énergie », elle peut aussi dire « Je suis sûr de cela à 95 % » ou « Je suis un peu flou sur ce point car le bruit était étrange ».
• Ils ont constaté que ce compteur de confiance était précis. Cela n'a pas rendu l'IA plus lente ou plus grande, mais cela a donné aux scientifiques un moyen de savoir quelles mesures étaient dignes de confiance.

Résumé

Ce document montre qu'en utilisant des modèles d'IA intelligents et de petite taille (spécifiquement les réseaux Dense et CNN) réglés avec une méthode de « recherche intelligente », le détecteur ATLAS peut être mis à niveau pour gérer le chaos des futures collisions à haute énergie. Ces nouveaux modèles sont plus rapides, plus précis et peuvent même dire aux scientifiques à quel point ils sont confiants dans leurs données, tout en tenant à l'intérieur des puces rapides et minuscules sur le détecteur lui-même.

Résumé technique

Résumé Technique : Réseaux de neurones optimisés pour le traitement des données en ligne du calorimètre ATLAS

Énoncé du problème
Le Grand Collisionneur de Hadrons à Haute Luminosité (HL-LHC) introduira un empilement de signaux (pile-up) extrême, avec jusqu'à 200 collisions proton-proton simultanées par croisement de paquets. Cet environnement dégrade les performances de l'algorithme actuel de Filtrage Optimal (OF) utilisé dans les calorimètres à Argon Liquide (LAr) d'ATLAS, particulièrement lors de la reconstruction de l'énergie lorsque les impulsions se chevauchent. La mise à niveau de Phase-II de l'électronique de lecture LAr introduit un nouveau matériel basé sur les FPGAs INTEL Agilex 7. Ces FPGAs offrent une puissance de traitement accrue mais imposent des contraintes strictes de latence (inférieure à 125 ns) et de taille de réseau (limitée à environ 500 opérations de multiplication-accumulation, ou MAC, par cellule) pour la reconstruction de l'énergie en ligne. Le défi consiste à développer des architectures de réseaux de neurones (NN) qui surpassent l'algorithme OF en résolution d'énergie sous un empilement élevé, tout en respectant ces sévères contraintes matérielles et en fournissant des estimations d'incertitude fiables par événement.

Méthodologie
L'étude évalue quatre architectures de réseaux de neurones conçues pour prédire l'énergie transversale déposée dans une cellule de calorimètre en utilisant des échantillons d'impulsions numérisés comme entrée. Les données d'entrée incluent des échantillons de pré-dépôt (pour tenir compte des distorsions de l'impulsion causées par les collisions précédentes) et des échantillons de post-dépôt (pour capturer la forme de l'impulsion du dépôt d'énergie cible).

1. Architectures évaluées :

   • Réseau de neurones récurrent (RNN) : Traite les échantillons de manière séquentielle. Bien qu'efficace pour les séries temporelles, les RNN standards nécessitent de grandes dimensions internes pour capturer les dépendances à longue portée, dépassant souvent les limites de ressources des FPGA pour les séquences longues.
   • Réseau de neurones convolutionnel (CNN) : Utilise des filtres 1D et 2D glissants sur les échantillons d'entrée. Il tire parti du partage de poids et réutilise les calculs des croisements de paquets précédents pour réduire la latence.
   • Dense+RNN : Une approche hybride où une couche dense traite les échantillons de pré-dépôt pour initialiser une séquence RNN pour les échantillons de post-dépôt, visant à équilibrer les avantages du RNN avec un coût de calcul réduit.
   • Staged Dense (Dense étagé) : Une architecture multi-étages utilisant uniquement des couches denses. Les échantillons de pré-dépôt sont traités dans une première étape pour corriger les distorsions, qui sont ensuite combinés avec les échantillons de post-dépôt dans une seconde étape. Cela permet le pré-calcul de la première étape, minimisant ainsi la latence.

2. Stratégie d'optimisation :
   Une procédure d'optimisation bayésienne a été employée pour ajuster les hyperparamètres (ex: nombre d'échantillons de pré/post-dépôt, dimensions des couches, tailles de noyaux). La fonction objectif équilibrait la résolution d'énergie par rapport à la taille du réseau (nombre de MAC), appliquant des pénalités pour les architectures dépassant 500 MAC et des pénalités sévères au-delà de 850 MAC afin de garantir la faisabilité sur FPGA.

3. Estimation de l'incertitude :
   Pour répondre au besoin d'estimations d'énergie par événement sans le coût de calcul des réseaux de neurones bayésiens (qui nécessitent un échantillonnage), les auteurs ont implémenté la Régression Évidentielle Profonde (DER). Cette technique modifie la couche finale du réseau Dense pour produire les paramètres d'une distribution Normale-Inverse-Gamma, permettant l'inférence de l'énergie prédite ainsi que de ses incertitudes aléatoires (bruit des données) et épistémiques (incertitude du modèle) associées.

4. Simulation et entraînement :
   Les réseaux ont été entraînés et testés sur des données simulées à l'aide de l'outil AREUS, simulant un scénario d'empilement de pire cas ($\langle\mu\rangle = 200$) avec des événements de diffusion dure allant de 0 à 130 GeV. Un ensemble de données de 13 millions d'événements a été utilisé pour l'évaluation finale afin de minimiser les fluctuations statistiques.

Résultats clés

• Résolution d'énergie : Les architectures optimisées Dense, CNN et Dense+RNN ont atteint une résolution d'énergie transversale d'environ 80 MeV. Cela surpasse à la fois l'algorithme OF actuel et l'architecture RNN (qui a atteint ~90 MeV).
• Précision de l'échelle d'énergie : Contrairement à l'algorithme OF et aux RNN standards, qui sous-estiment systématiquement l'énergie (l'OF ignore l'empilement en temps, et les RNN échouent à capturer les dépendances à longue portée), les réseaux Dense, CNN et Dense+RNN reproduisent avec précision l'échelle d'énergie sur toute la plage dynamique.
• Faisabilité matérielle : Toutes les architectures réussies (Dense, CNN, Dense+RNN) ont été optimisées pour utiliser moins de 500 unités MAC, les rendant adaptées à une implémentation sur les FPGAs Agilex 7 dans les strictes contraintes de latence.
• Performance de l'incertitude : L'implémentation de la DER a ajouté un surcoût de calcul minimal. L'incertitude prédite ($\delta_{pred}$) s'est révélée cohérente, en moyenne, avec la différence réelle entre l'énergie vraie et l'énergie prédite. La distribution de traction (pull) $(E_{pred} - E_{true})/\delta_{pred}$ a produit un écart-type de 0,75, indiquant une légère surestimation de l'incertitude mais une fiabilité globale. L'analyse a montré que l'incertitude épistémique domine, suggérant un potentiel d'amélioration avec des ensembles de données plus larges ou des architectures affinées.

Signification et affirmations
L'article affirme démontrer que les algorithmes modernes d'apprentissage automatique peuvent être intégrés avec succès dans la chaîne de lecture en ligne des calorimètres LAr d'ATLAS. La principale signification réside dans le compromis réussi entre résolution et contraintes matérielles :

• L'étude prouve que les architectures Dense et CNN peuvent améliorer la résolution d'énergie d'environ 8 % par rapport à la méthode OF héritée tout en restant dans les limites de MAC strictes du matériel FPGA de Phase-II.
• Elle établit que les échantillons de pré-dépôt sont critiques pour capturer les distorsions d'impulsion, rendant les approches de pur RNN moins compétitives en raison de leur intensité de ressources pour les séquences longues.
• Elle introduit une méthode pratique pour l'estimation de l'incertitude par événement via la Régression Évidentielle Profonde, ce qui n'augmente pas significativement les coûts d'inférence. Cette capacité est présentée comme une étape vers une meilleure sélection de l'énergie des cellules dans les algorithmes de regroupement (clustering), permettant une reconstruction plus précise des objets physiques comme les électrons et les photons dans des environnements à fort empilement.

Les auteurs concluent que ces réseaux optimisés sont bien adaptés au déploiement sur FPGA et représentent une voie viable pour la mise à niveau de Phase-II d'ATLAS, offrant des performances supérieures aux algorithmes actuels sans compromettre les exigences strictes de latence et de ressources des systèmes de déclenchement (trigger) et de lecture.