FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

Dans les vastes et silencieuses collisions de particules à l'intérieur de machines comme le Grand Collisionneur de Hadrons, les scientifiques traquent les règles fondamentales qui régissent notre univers. Pour trouver ces règles, ils doivent passer au crible des montagnes de données, à la recherche de motifs rares cachés au sein de milliards d'événements. Ce processus n'est pas une expérience unique, mais un voyage scientifique à long terme qui peut durer des décennies, survivant souvent aux programmes informatiques spécifiques et aux outils logiciels utilisés pour le créer. Le défi ne consiste pas seulement à exécuter l'analyse une fois, mais à garantir que la même question scientifique puisse être posée et résolue des années plus tard, même si la technologie sous-jacente change, que les personnes impliquées passent à autre chose et que les formats de données évoluent. Si les instructions sur la manière dont les données ont été traitées sont perdues ou deviennent trop complexes à comprendre, le résultat scientifique devient une boîte noire, impossible à vérifier ou à reconstruire.

Pour résoudre ce problème de survie scientifique à long terme, un système appelé FAST-HEP, centré autour d'un moteur de flux nommé Flow, a été développé par Luke Kreczko à l'Université de Bristol. Ce système traite l'analyse scientifique non pas comme un ensemble rigide d'instructions informatiques, mais comme une description écrite claire de ce que le scientifique souhaite accomplir, séparée du code spécifique utilisé pour le faire. En séparant le « quoi » du « comment », le chercheur a créé un moyen de compiler ces descriptions en un plan universel capable de s'exécuter sur différents ordinateurs et avec différents outils logiciels sans avoir besoin d'être réécrit. Cette approche garantit que l'intention scientifique reste transparente et reproductible, permettant à la machinerie complexe de la physique des hautes énergies d'évoluer sans briser les expériences qui en dépendent.

Pendant des déc decades, les physiciens ont écrit leur analyse de données sous forme de code impératif, un style où l'on dit à l'ordinateur exactement comment se déplacer étape par étape à travers les données, en vérifiant un événement après l'autre. Bien que cela fonctionne bien sur le moment, cela lie étroitement l'idée scientifique au langage de programmation et aux bibliothèques spécifiques utilisés à l'époque. Lorsque ces bibliothèques changent ou que les chercheurs ayant écrit le code partent, l'analyse devient souvent difficile à comprendre ou impossible à relancer. Le nouveau système Flow change cette dynamique en introduisant un langage déclaratif. Dans ce modèle, un scientifique décrit simplement les données dont il a besoin, les opérations qu'il souhaite effectuer et les résultats qu'il attend, sans se soucier de la mécanique sous-jacente. C'est comme écrire une recette qui énumère les ingrédients et le plat final, laissant les outils de cuisine et les techniques spécifiques être décidés plus tard par le chef.

Le cœur de ce système est un compilateur qui agit comme un traducteur entre la description du scientifique et l'exécution par l'ordinateur. Lorsqu'un scientifique soumet son flux de travail, le système ne l'exécute pas immédiatement. Au lieu de cela, il normalise d'abord la description, rassemblant toutes les pièces éparses d'informations — telles que l'emplacement des données, les corrections à appliquer et la gestion de différents scénarios — en un document unique et complet. Il construit ensuite un graphe logique, une carte qui montre comment chaque morceau de donnée circule de la source vers le résultat final, reliant les entrées aux sorties par des lignes de dépendance claires. Cette carte permet au système de vérifier les erreurs avant tout calcul intensif, garantissant que les données requises existent et que les étapes sont cohérentes entre elles.

Une fois la carte construite et validée, le système crée un plan d'exécution indépendant du backend. Ce plan est un ensemble détaillé d'instructions qui décrit le travail à accomplir mais ne spécifie pas quel ordinateur ou quelle bibliothèque logicielle le fera. Cette séparation est cruciale car elle signifie que le même plan scientifique peut être exécuté sur un ordinateur portable, un cluster local ou un réseau distribué massif sans modifier la logique centrale. Le système peut également gérer des variations, comme tester comment les résultats changent si une mesure spécifique est légèrement différente, en développant uniquement les parties du plan qui sont affectées plutôt que de réécrire l'ensemble. Cela facilite l'exploration de différents scénarios scientifiques et la compréhension de la manière dont les incertitudes affectent la réponse finale.

Le système accorde également une attention particulière à la provenance, qui est l'enregistrement de la manière exacte dont un résultat a été produit. Chaque fois que le flux de travail s'exécute, il génère un résumé détaillé qui lie le résultat final à la version spécifique du logiciel, aux fichiers de données exacts utilisés et à l'environnement informatique où il a été exécuté. Cela crée un historique permanent et traçable pour chaque résultat scientifique. Si un scientifique doit vérifier une découverte des années plus tard, il peut consulter cet enregistrement pour voir précisément ce qui s'est passé, plutôt que d'essayer de reconstruire le processus à partir de sa mémoire ou de notes éparses. Ce niveau de détail transforme le flux de travail d'une boîte noire en un processus transparent où chaque étape est visible et responsable.

Le développement de Flow a été motivé par des expériences réelles où d'anciens systèmes peinaient à s'adapter aux nouvelles technologies. Le chercheur a constaté que le simple fait d'écrire du code dans un style différent ne suffisait pas ; l'architecture logicielle sous-jacente devait être conçue pour permettre le remplacement facile de certaines parties. Par le passé, changer une seule bibliothèque nécessitait souvent de réécrire de larges pans du framework car les différentes parties étaient trop étroitement liées. Flow résout cela en traitant chaque composant, des sources de données aux formats de sortie, comme un module remplaçable qui se connecte via des contrats clairs et définis. Cela signifie qu'à mesure que de nouveaux outils plus rapides ou plus efficaces deviennent disponibles, ils peuvent être intégrés au système sans perturber l'analyse scientifique elle-même.

Cette approche a déjà été testée dans des analyses réelles pour des expériences majeures, notamment celles du détecteur CMS et de l'expérience LUX-ZEPLIN. Les résultats montrent qu'une description déclarative concise peut guider avec succès des calculs complexes à travers différentes structures de données et expériences. Le système sépare avec succès l'intention scientifique de l'implémentation, permettant à l'analyse de rester stable alors que l'écosystème logiciel évolue autour d'elle. En rendant le flux de travail explicite et inspectable, le système réduit la charge pesant sur les scientifiques pour se souvenir de chaque détail de leur code et fournit une base solide pour la préservation à long terme.

L'objectif ultime de ce travail est de garantir que les analyses scientifiques restent durables dans le temps. Dans un domaine où les volumes de données augmentent et où les ressources de calcul deviennent de plus en plus diverses, la capacité de préserver et de reproduire les résultats est essentielle. Flow offre un moyen d'y parvenir en faisant du flux de travail un objet de premier rang qui peut être compilé, analysé et exécuté indépendamment des outils utilisés pour le créer. Cela permet à la communauté scientifique de faire évoluer ses logiciels et son matériel sans perdre la capacité de comprendre ou de répéter le travail du passé. Le système ne se contente pas d'exécuter l'analyse ; il documente l'ensemble du processus, garantissant que le chemin allant des données brutes à la découverte scientifique reste clair et accessible pour les générations futures.

Le succès de ce projet repose sur un changement dans la manière dont le logiciel scientifique est construit. Au lieu de considérer les flux de travail comme des scripts temporaires qui s'exécutent une fois puis sont oubliés, le chercheur les traite comme des programmes qui peuvent être compilés et validés. Cette perspective permet un niveau de transparence et de flexibilité auparavant difficile à atteindre. Le système enregistre chaque décision, chaque dépendance et chaque variation, créant une image complète du processus scientifique. Cela aide non seulement pour le débogage et la validation immédiats, mais construit également un enregistrement durable qui pourra être utilisé pour vérifier les résultats longtemps après le départ du chercheur original.

En fin de compte, le travail présenté dans cet article propose une nouvelle façon de concevoir l'informatique scientifique. Il s'éloigne de l'idée que le code est la partie la plus importante d'une analyse pour se concentrer sur la clarté de la description scientifique. En séparant la description de la science de la machinerie qui l'exécute, le système garantit que la science elle-même reste la priorité. Cela permet aux outils et aux technologies de changer et de s'améliorer sans menacer l'intégrité de la recherche. Le résultat est une approche plus robuste, transparente et durable de la découverte scientifique, capable de s'adapter à l'avenir tout en honorant le travail du passé.