Data-quality monitoring of luminosity blocks with ATLAS Open Data: an open benchmark and a learned within-run detector

Dans le monde à enjeux élevés de la physique des particules, le Grand Collisionneur de Hadrons fracasse des protons les uns contre les autres pour révéler les blocs fondamentaux de l'univers. Cependant, la machine n'est pas parfaite, et les détecteurs massifs qui enregistrent les collisions ne le sont pas non plus. Chaque seconde, ces détecteurs génèrent un torrent de données, mais toutes ne sont pas dignes de confiance. Parfois, un capteur dysfonctionne, une alimentation électrique fluctue ou une région spécifique du détecteur devient silencieuse. Si les physiciens utilisaient ces données défectueuses pour chercher de nouvelles particules, ils pourraient prendre un capteur cassé pour une découverte. Pour éviter cela, les expériences emploient un système de contrôle qualité rigoureux qui vérifie les données par intervalles de une minute. Si un problème est détecté, cette minute spécifique de données est marquée comme « mauvaise » et écartée. Le défi est que les détecteurs sont si complexes et les conditions changent tellement d'une session à l'autre qu'il est incroyablement difficile de repérer ces erreurs subtiles. Les méthodes utilisées pour les trouver sont restées un secret, verrouillées à l'intérieur des laboratoires, rendant impossible pour les scientifiques extérieurs à la collaboration de comparer différentes approches ou d'améliorer le système.

Un chercheur nommé Renjie Wang a changé cela en transformant une publication de données de l'expérience ATLAS en un terrain de test transparent. En prenant des données de collision réelles de 2015 et 2016 et en y injectant secrètement des erreurs connues, Wang a créé un point de référence où la « bonne » réponse est connue. Cela a permis une comparaison équitable de différentes méthodes pour voir lesquelles pouvaient le mieux repérer les problèmes simulés sans donner de fausses alertes. L'étude a révélé que la stratégie la plus efficace ne consiste pas à comparer chaque minute de données à une moyenne globale, mais à observer comment chaque minute diffère des minutes qui l'entourent immédiatement. En utilisant cette approche, un système d'apprentissage automatique entraîné sur des erreurs synthétiques a pu identifier 43 % des problèmes injectés tout en maintenant les fausses alarmes à seulement 1 %. Il s'agit d'une amélioration significative par rapport aux anciennes méthodes de balayage, qui n'attrapaient que 25 % des erreurs dans les mêmes conditions strictes.

Le cœur du problème réside dans la nature même des données. Le détecteur enregistre les collisions dans des « blocs de luminosité », qui sont des fenêtres d'environ une minute où les conditions sont supposées être stables. Pour vérifier si un bloc est bon, les scientifiques remplissent généralement des histogrammes, qui sont essentiellement des diagrammes à barres montrant combien de particules d'un certain type ont été trouvées à différentes énergies ou angles. Par le passé, les chercheurs tentaient de comparer un nouveau bloc de données à une référence construite à partir de nombreuses sessions précédentes. Cependant, l'analyse de Wang a montré que cette approche échoue car les conditions entre les différentes sessions varient trop. Des facteurs tels que le nombre de collisions superposées et les réglages spécifiques du détecteur changent d'une session à l'autre, créant des différences dans les données bien plus grandes que le bruit statistique d'une seule minute. Lorsqu'un nouveau bloc est comparé à une session passée lointaine, ces variations normales ressemblent à des défauts, ceant le système à signaler des données bonnes comme étant mauvaises.

La solution trouvée dans cette étude est de regarder beaucoup plus près de chez soi. Au lieu de comparer un bloc à toute l'histoire de l'expérience, le système le compare aux autres blocs au sein de la même session. Au sein d'une seule session, les réglages du détecteur et les conditions générales sont fixes, et la seule chose qui change de manière fluide est le nombre de collisions. En construisant une référence spécifiquement pour chaque session, le système peut filtrer les variations importantes et normales pour se concentrer sur les déviations soudaines et irrégulières qui indiquent un vrai problème. Cette méthode transforme les données en un ensemble de « résidus », ou différences, qui se comportent de manière beaucoup plus prévisible. C'est au sein de ces différences nettoyées que les défauts deviennent visibles.

Pour tester cela, Wang a pris les données publiques et a injecté secrètement huit types différents de défaillances de détecteurs simulées dans les événements. Cela incluait des scénarios tels qu'une région morte dans le calorimètre où les particules disparaissent simplement, un « point chaud » où une cellule bruyante crée de fausses particules, ou un décalage soudat de l'échelle d'énergie des mesures. Ces erreurs étaient cachées dans les données, et l'objectif était de voir quel programme informatique pouvait les trouver. L'étude a comparé plusieurs approches, y compris des balayages statistiques simples et des modèles d'apprentissage automatique plus complexes. Les balayages simples, qui cherchaient des motifs d'erreur spécifiques, ont réussi à trouver environ un quart des problèmes. Cependant, un classificateur d'apprentissage automatique entraîné sur les résidus des données a obtenu de bien meilleurs résultats. Ce système a appris à reconnaître les signatures subtiles et combinées des erreurs à travers de nombreux histogrammes différents, plutôt que de chercher un motif unique et évident.

Les résultats étaient clairs. Le système d'apprentissage automatique, lorsqu'il était entraîné sur des exemples synthétiques de défauts et calibré à l'aide d'une méthode statistique stricte pour garantir un faible taux de fausses alarmes, a détecté 43 % des erreurs injectées. C'est un bond substantiel par rapport au taux de détection de 25 % de la meilleure méthode de balayage traditionnelle. Le système était particulièrement efficace pour trouver des erreurs qui étaient réparties dans différentes parties des données, là où aucun histogramme ne présentait un pic dramatique. Cependant, l'étude a également mis en évidence les limites de ce qui peut être trouvé. Certains types d'erreurs, comme un module spécifique s'éteignant d'une manière qui n'affecte qu'une infime fraction des données, étaient trop subtils pour être vus par n'importe quelle méthode compte tenu de la quantité de données disponibles en une seule minute. De plus, le système éprouvait des difficultés face à un type d'erreur qu'il n'avait jamais vu auparavant. Si les données d'entraînement ne comprenaient que des exemples spécifiques de régions mortes ou de points chauds, le système manquerait un type de défaillance complètement différent.

Pour remédier à cela, les chercheurs ont testé une approche de « filet de sécurité ». Ils ont ajouté des exemples de défaillances de détecteurs génériques et agnostiques aux motifs — des simulations qui ne mimaient aucun erreur spécifique connue mais représentaient l'idée générale de quelque chose d'anormal. Cet ajustement a permis au système de capturer 34 % des types d'erreurs inconnus, une amélioration majeure par rapport aux 18 % capturés par le système entraîné uniquement sur des motifs connus. La contrepartie est une légère baisse de performance sur les types connus, mais la capacité globale à détecter des problèmes inconnus augmente. Cela suggère que pour un détecteur réel, où la liste complète des défaillances possibles n'est jamais complète, un système entraîné sur un mélange de défaillances connues et génériques est le choix le plus robuste.

L'étude a également examiné de combien de données historiques on a besoin pour faire fonctionner ces systèmes. Une préoccupation courante est qu'un nouveau détecteur puisse ne pas avoir assez de données passées pour construire une référence fiable au début d'une année. La recherche a montré que le système d'apprentissage automatique a besoin d'un historique d'environ huit sessions précédentes pour surpasser les méthodes de balayage simples. Avec moins de sessions, le système est trop conservateur et manque trop d'erreurs, mais avec un historique modeste, il devient rapidement l'outil supérieur. Cette conclusion est cruciale pour le déploiement pratique de tels systèmes, car elle signifie qu'ils peuvent être efficaces relativement tôt dans une période de prise de données.

En fin de compte, ce travail démontre que la clé pour surveiller des instruments scientifiques complexes n'est pas de chercher des anomalies globales, mais de comprendre le contexte local. En se concentrant sur les différences au sein d'une seule session et en utilisant l'apprentissage automatique pour interpréter les motifs subtils de déviation, les scientifiques peuvent attraper un pourcentage beaucoup plus élevé d'erreurs sans écarter de bonnes données. Le point de référence créé dans cette étude est désormais public, permettant à d'autres chercheurs de tester leurs propres idées contre les mêmes données réelles. Cette transparence est une étape vitale vers l'avant, faisant passer le domaine d'une collection de méthodes isolées et propriétaires à un environnement partagé et compétitif où les meilleures techniques peuvent être identifiées et affinées pour le bénéfice de toutes les découvertes physiques futures.