FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

In den gewaltigen, lautlosen Kollisionen von Teilchen in Maschinen wie dem Large Hadron Collider suchen Wissenschaftler nach den grundlegenden Regeln, die unser Universum regieren. Um diese Regeln zu finden, müssen sie Berge von Daten durchsieben und nach seltenen Mustern suchen, die in Milliarden von Ereignissen verborgen sind. Dieser Prozess ist kein einzelnes Experiment, sondern eine langfristige wissenschaftliche Reise, die Jahrzehnte andauern kann und oft die spezifischen Computerprogramme und Softwarewerkzeuge überlebt, mit denen sie ins Leben gerufen wurde. Die Herausforderung besteht nicht nur darin, die Analyse einmal durchzuführen, sondern sicherzustellen, dass dieselbe wissenschaftliche Frage auch Jahre später noch gestellt und beantwortet werden kann, selbst wenn sich die zugrunde liegende Technologie ändert, die beteiligten Personen aufbrechen und die Datenformate sich weiterentwickeln. Wenn die Anweisungen darüber, wie die Daten verarbeitet wurden, verloren gehen oder zu verworren werden, um sie zu verstehen, wird das wissenschaftliche Ergebnis zu einer Black Box, die unmöglich zu verifizieren oder nachzubauen ist.

Um dieses Problem des langfristigen wissenschaftlichen Überlebens zu lösen, wurde ein System namens FAST-HEP entwickelt, das um einen Workflow-Engine namens Flow zentriert ist, entwickelt von Luke Kreczko an der University of Bristol. Dieses System behandelt die wissenschaftliche Analyse nicht als starre Menge von Computeranweisungen, sondern als eine klare, schriftliche Beschreibung dessen, was der Wissenschaftler erreichen möchte, getrennt von dem spezifischen Code, der dazu verwendet wird. Durch die Trennung des „Was“ vom „Wie“ hat der Forscher einen Weg geschaffen, diese Beschreibungen in einen universellen Plan zu kompilieren, der auf verschiedenen Computern und mit verschiedenen Softwarewerkzeugen laufen kann, ohne umgeschrieben werden zu müssen. Dieser Ansatz stellt sicher, dass die wissenschaftliche Absicht transparent und reproduzierbar bleibt, sodass die komplexe Maschinerie der Hochenergiephysik evolvieren kann, ohne die Experimente zu brechen, die von ihr abhängen.

Seit Jahrzehnten schreiben Physiker ihre Datenanalyse als imperativen Code – ein Stil, bei dem dem Computer genau gesagt wird, wie er Schritt für Schritt durch die Daten navigieren soll, indem er ein Ereignis nach dem anderen prüft. Während dies im Moment gut funktioniert, koppelt es die wissenschaftliche Idee eng an die spezifische Programmiersprache und die zu jenem Zeitpunkt verwendeten Bibliotheken. Wenn sich diese Bibliotheken ändern oder die Forscher, die den Code geschrieben haben, gehen, wird die Analyse oft schwer zu verstehen oder unmöglich erneut auszuführen. Das neue Flow-System ändert diese Dynamik durch die Einführung einer deklarativen Sprache. In diesem Modell beschreibt ein Wissenschaftler einfach die Daten, die er benötigt, die Operationen, die er ausführen möchte, und die Ergebnisse, die er erwartet, ohne sich um die zugrunde liegenden Mechanismen sorgen zu müssen. Es ist, als würde man ein Rezept schreiben, das die Zutaten und das fertige Gericht auflistet, und die Entscheidung über die spezifischen Kochwerkzeuge und Techniken später dem Koch überlässt.

Das Herzstück dieses Systems ist ein Compiler, der als Übersetzer zwischen der Beschreibung des Wissenschaftlers und der Ausführung durch den Computer fungiert. Wenn ein Wissenschaftler seinen Workflow einreicht, führt das System ihn nicht sofort aus. Stattdessen normalisiert es zuerst die Beschreibung und sammelt alle verstreuten Informationen – wie etwa, wo die Daten liegen, welche Korrekturen anzuwenden sind und wie mit verschiedenen Szenarien umzugehen ist – zu einem einzigen, vollständigen Dokument. Es erstellt dann einen logischen Graphen, eine Karte, die zeigt, wie jedes Stück Daten von der Quelle zum Endergebnis fließt, wobei Eingaben mit klaren Abhängigkeitslinien mit Ausgaben verbunden werden. Diese Karte ermöglicht es dem System, Fehler zu prüfen, bevor eine schwere Rechenleistung beginnt, um sicherzustellen, dass die erforderlichen Daten existieren und die Schritte gemeinsam Sinn ergeben.

Sobald die Karte erstellt und validiert wurde, erstellt das System einen backend-unabhängigen Ausführungsplan. Dieser Plan ist eine detaillierte Menge von Anweisungen, die die zu erledigende Arbeit beschreibt, aber nicht spezifiziert, welcher Computer oder welche Softwarebibliothek sie ausführen wird. Diese Trennung ist entscheidend, denn sie bedeutet, dass derselbe wissenschaftliche Plan auf einem Laptop, einem lokalen Cluster oder einem massiven verteilten Netzwerk laufen kann, ohne die Kernlogik zu ändern. Das System kann auch Variationen handhaben, wie etwa das Testen, wie sich die Ergebnisse ändern, wenn eine bestimmte Messung leicht anders ausfällt, indem es nur die Teile des Plans erweitert, die davon betroffen sind, anstatt das Ganze neu zu schreiben. Dies erleichtert es, verschiedene wissenschaftliche Szenarien zu untersuchen und zu verstehen, wie Unsicherheiten das Endergebnis beeinflussen.

Das System achtet auch genau auf die Provenienz, also die Aufzeichnung darüber, wie genau ein Ergebnis produziert wurde. Jedes Mal, wenn der Workflow läuft, generiert er eine detaillierte Zusammenfassung, die das Endergebnis mit der spezifischen Version der Software, den exakten Datendateien und der Computerumgebung verknüpft, in der es lief. Dies schafft eine permanente, rückverfolgbare Historie für jedes wissenschaftliche Ergebnis. Wenn ein Wissenschaftler Jahre später eine Entdeckung verifizieren muss, kann er in diesen Datensatz schauen, um genau zu sehen, was passiert ist, anstatt den Prozess aus dem Gedächtnis oder aus verstreuten Notizen rekonstruieren zu müssen. Dieses Maß an Detailtiefe verwandelt den Workflow von einer Black Box in einen transparenten Prozess, in dem jeder Schritt sichtbar und rechenschaftspflichtig ist.

Die Entwicklung von Flow wurde durch reale Erfahrungen vorangetrieben, bei denen ältere Systeme Schwierigkeiten hatten, sich an neue Technologien anzupassen. Der Forscher stellte fest, dass es nicht ausreichte, den Code einfach in einem anderen Stil zu schreiben; die zugrunde liegende Softwarearchitektur musste so konzipiert sein, dass Teile leicht ausgetauscht werden können. In der Vergangenheit erforderte das Ändern einer einzigen Bibliothek oft das Umschreiben großer Teile des Frameworks, da die verschiedenen Teile zu eng miteinander verknüpft waren. Flow löst dies, indem es jede Komponente, von den Datenquellen bis zu den Ausgabeformaten, als ein ersetzbares Modul behandelt, das über klar definierte Verträge (Contracts) verbunden ist. Dies bedeutet, dass neue, schnellere oder effizientere Werkzeuge verfügbar werden, können sie in das System eingesteckt werden, ohne die wissenschaftliche Analyse selbst zu stören.

Dieser Ansatz wurde bereits in realen Analysen für große Experimente getestet, einschließlich der am CMS-Detektor und dem LUX-ZEPLIN-Experiment. Die Ergebnisse zeigen, dass eine prägnante, deklarative Beschreibung erfolgreich komplexe Berechnungen über verschiedene Datenstrukturen und Experimente hinweg steuern kann. Das System trennt erfolgreich die wissenschaftliche Absicht von der Implementierung, wodurch die Analyse stabil bleibt, während sich das Software-Ökosystem um sie herum entwickelt. Indem das System den Workflow explizit und inspizierbar macht, reduziert es die Last für Wissenschaftler, jedes Detail ihres Codes im Gedächtnis behalten zu müssen, und bietet ein solides Fundament für die langfristige Bewahrung.

Das ultimative Ziel dieser Arbeit ist es, sicherzustellen, dass wissenschaftliche Analysen über die Zeit hinweg nachhaltig bleiben. In einem Bereich, in dem das Datenvolumen wächst und Rechenressourcen immer vielfältiger werden, ist die Fähigkeit, Ergebnisse zu bewahren und zu reproduzieren, essenziell. Flow bietet einen Weg dazu, indem es den Workflow als ein primäres Objekt behandelt, das unabhängig von den Werkzeugen, mit denen es erstellt wurde, kompiliert, analysiert und ausgeführt werden kann. Dies ermöglicht es der wissenschaftlichen Gemeinschaft, ihre Software und Hardware zu entwickeln, ohne die Fähigkeit zu verlieren, die Arbeit der Vergangenheit zu verstehen oder zu wiederholen. Das System führt nicht nur die Analyse aus; es dokumentiert den gesamten Prozess und stellt sicher, dass der Pfad von den Rohdaten zur wissenschaftlichen Entdeckung klar und zugänglich bleibt.

Der Erfolg dieses Projekts beruht auf einem Wandel in der Art und Weise, wie wissenschaftliche Software gebaut wird. Anstatt Workflows als temporäre Skripte zu betrachten, die einmal durchlaufen und dann vergessen werden, behandelt der Forscher sie als Programme, die kompiliert und validiert werden können. Diese Perspektive ermöglicht ein Maß an Transparenz und Flexibilität, das zuvor schwer zu erreichen war. Das System zeichnet jede Entscheidung, jede Abhängigkeit und jede Variation auf und schafft so ein vollständiges Bild des wissenschaftlichen Prozesses. Dies hilft nicht nur beim unmittelbaren Debugging und der Validierung, sondern baut auch ein dauerhaftes Register auf, das genutzt werden kann, um Ergebnisse auch lange nach dem Ausscheiden des ursprünglichen Forschers zu verifizieren.

Am Ende bietet die in dieser Arbeit vorgestellte Arbeit eine neue Art, über wissenschaftliches Computing nachzudenken. Sie bewegt sich weg von der Vorstellung, dass der Code der wichtigste Teil einer Analyse ist, und konzentriert sich stattd stattdessen auf die Klarheit der wissenschaftlichen Beschreibung. Durch die Trennung der wissenschaftlichen Beschreibung von der Mechanik, die sie ausführt, stellt das System sicher, dass die Wissenschaft selbst die Priorität bleibt. Dies erlaubt es den Werkzeugen und Technologien, sich zu verändern und zu verbessern, ohne die Integrität der Forschung zu gefährden. Das Ergebnis ist ein robusterer, transparenterer und nachhaltigerer Ansatz zur wissenschaftlichen Entdeckung, der in der Lage ist, sich der Zukunft anzupassen und gleichzeitig die Arbeit der Vergangenheit zu ehren.