CELEBI: Towards Reproducible and FAIR Physics Analysis

In der Welt der Hochenergiephysik suchen Wissenschaftler Antworten nicht einfach durch ein Teleskop oder ein Mikroskop. Stattdessen bauen sie massive, komplexe Maschinen, die Teilchen zusammenstoßen lassen und dabei einen Sturm aus Daten erzeugen, die sortiert, gemessen und verstanden werden müssen. Dieser Prozess ist kein einzelnes Ereignis, sondern eine lange, gewundene Reise der Entdeckung. Ein Forscher nimmt Rohdaten und lässt sie durch eine Reihe von Computerprogrammen laufen, wobei er Entscheidungen darüber trifft, welche Informationsstücke er behält und welche er verwirft. Er passt Einstellungen an, testet verschiedene Theorien und verfeinert seine Methoden über Monate oder sogar Jahre hinweg. Das Endergebnis ist eine wissenschaftliche Erkenntnis, aber diese Erkenntnis ist untrennbar mit dem spezifischen Pfad verbunden, den das Team genommen hat, um dorthin zu gelangen. Wenn sich der Code ändert oder ein Parameter angepasst wird, kann sich auch das Ergebnis ändern. Die große Herausforderung in diesem Bereich besteht nicht nur darin, die Antwort zu finden, sondern genau zu wissen, wie sie gefunden wurde. Ohtlne eine klare Aufzeichnung der unternommenen Schritte könnte ein Ergebnis aus dem letzten Jahr heute unmöglich zu reproduzieren sein, was die wissenschaftliche Gemeinschaft unfähig macht, die Arbeit zu verifizieren oder darauf aufzubauen.

Dies ist das Problem, das Mingrui Zhao, ein Forscher an der Peking University, mit einem neuen System namens Celebi zu lösen vorgab. In der Arbeit beschreibt Zhao, wie sich moderne physikalische Analysen kontinuierlich weiterentwickeln. Da Datensätze wachsen und Software-Updates eintreffen, kann es schwierig werden, die Bedingungen zu bestimmen, unter denen ein früheres Ergebnis erzeugt wurde. Stellen Sie sich ein Team vor, das an einer komplexen Berechnung arbeitet, bei der der Code ständig umgeschrieben wird. Ein während einer internen Überprüfung präsentiertes Ergebnis passt möglicherweise nicht mehr zur aktuellen Version der Analyse, weil sich die zugrunde liegenden Regeln verschoben haben. In großen Kollaborationen, in denen viele Menschen an verschiedenen Variationen desselben Projekts arbeiten, kann diese Verwirrung überwältigend sein. Der Forscher stellte fest, dass bestehende Werkzeuge zwar den Datenfluss verwalten oder die fertigen Dateien speichern konnten, aber Schwierigkeiten hatten, eine beständige, unzerbrechliche Verbindung zwischen einem spezifischen Ergebnis und dem exakten Zustand der Analyse herzustellen, die es erzeugt hat.

Um dies zu adressieren, entwarf Zhao Celebi als ein Framework, das die Analyse nicht als ein einzelnes, fließendes Dokument behandelt, sondern als eine Sammlung strukturierter, wiederverwendbarer Teile. Das System trennt die leichtgewichtigen Anweisungen – wie den Code, die Konfigurationseinstellungen und die Abhängigkeiten – von den schweren Datenprodukten, die generiert werden. Es organisiert diese Anweisungen in einem klaren Workflow, in dem jedes Stück weiß, wovon es abhängt. Die zentrale Innovation liegt darin, wie das System Veränderungen handhabt. Während sich die Arbeitsanalyse weiterentwickelt, bewahrt Celebi spezifische Momente in der Zeit auf, die „Impressions“ genannt werden. Eine Impression ist eine eingefrorene Momentaufnahme der Analyse zu einem bestimmten Zeitpunkt, die den Code, die Parameter und den exakten Zustand jeder verwendeten Abhängigkeit erfasst. Diese Impressions sind unveränderlich (immutable), was bedeutet, dass sie nach dem Speichern nicht mehr verändert werden können. Wenn ein Ergebnis generiert wird, wird es dauerhaft mit der spezifischen Impression verknüpft, die es erzeugt hat. Das bedeutet, dass selbst wenn die Hauptanalyse hundertmal aktualisiert wird, das ursprüngliche Ergebnis an die exakten Bedingungen gebunden bleibt, unter denen es zuerst produziert wurde.

Die praktische Auswirkung dieser Organisation ist ein System, das es Wissenschaftlern ermöglicht, ihre Arbeit zu modifizieren, ohne ihre Historie zu verlieren. Da die Komponenten modular sind, kann ein Forscher einen Teil der Analyse ändern, beispielsweise die Methode zur Filterung der Daten, ohne das gesamte Projekt neu schreiben zu müssen. Das System verfolgt automatisch, welche nachgelagerten Aufgaben durch diese Änderung betroffen sind. Wenn ein Wissenschaftler eine systematische Variation durchführen möchte, etwa um zu testen, wie eine andere Annahme das Ergebnis beeinflusst, kann er dies tun, indem er die unveränderten Teile der Analyse wiederverwendet und nur den spezifischen Abschnitt modifiziert, der sich unterscheidet. Dies reduziert Duplikation und macht die Unterschiede zwischen verschiedenen Konfigurationen explizit. Das System unterstützt auch das kontrollierte erneute Durchlaufen dieser bewahrten Zustände. Wenn ein Team ein altes Ergebnis verifizieren muss, kann es die bewahrte Impression erneut ausführen, vorausgesetzt, dass die notwendigen Eingaben und Softwareumgebungen noch verfügbar sind, wodurch sichergestellt wird, dass der neue Durchlauf eine echte Reproduktion des alten ist.

Dieser Ansatz verändert grundlegend, wie Kollaboration und Überprüfung innerhalb eines Physikteams stattfinden. In einem typischen Projekt arbeiten möglicherweise mehrere Kollaboratoren an verschiedenen Konfigurationen, und Ergebnisse könnten über verschiedene Dateien und persönliche Verzeichnisse verstreut sein. Celebi bringt Ordnung in diese Situation, indem es alle Materialien, Dokumentationen und Abhängigkeiten in einem strukturierten Repository organisiert. Ein Kollaborator kann eine spezifische Komponente zusammen mit ihrer lokalen Dokumentation und dem exakten Zustand ihrer Abhängigkeiten einsehen, ohne die gesamte Analyse von Grund auf rekonstruieren zu müssen. Dies erleichtert es neuen Teammitgliedern, die Arbeit zu verstehen, und Reviewern, die Logik hinter einem Ergebnis zu prüfen. Wenn ein Reviewer eine Änderung verlangt, kann das Team die Analyse aktualisieren und eine neue Impression erstellen, wobei die alte neben der neuen bestehen bleibt. Dies ermöglicht einen direkten Vergleich zwischen Revisionen und zeigt genau auf, was sich geändert hat und wie es das Ergebnis beeinflusst hat. Das System baut im Wesentlichen eine transparente Zeitlinie der Forschung auf, in der jedes Ergebnis bis zu seiner Quelle zurückverfolgt werden kann.

Das ultimative Ziel dieser Arbeit ist es, die physikalische Analyse FAIR zu machen: Findable (auffindbar), Accessible (zugänglich), Interoperable (interoperabel) und Reusable (wiederverwendbar). Derzeit erfordert die Wiederverwendung eines wissenschaftlichen Ergebnisses oft nicht nur die fertigen Daten, sondern auch ein tiefes Verständnis des Codes und der Einstellungen, die zur Erstellung verwendet wurden, welche oft verloren gehen oder vergraben sind. Indem Celebi Ergebnisse mit identifizierbaren, bewahrten Zuständen der Analyse verknüpft, bietet es eine Grundlage für das Auffinden und Wiederverwenden dieser Materialien. Die strukturierte Natur des Systems ermöglicht es Computern, die Logik der Analyse zu interpretieren, was helfen könnte, dass verschiedene Forschungsinfrastrukturen zusammenarbeiten. Obwohl die Arbeit nicht behauptet, dass Celebi alle Probleme der wissenschaftlichen Bewahrung löst, bietet sie eine praktische Grundlage, um diese Prinzipien über die reinen Daten hinaus auf die computergestützten Prozesse auszudehnen, die wissenschaftliche Erkenntnisse generieren. Das System beruht nicht auf manueller Buchführung oder retrospektiver Rekonstruktion der Geschichte; stattdessen erfasst es die Provenienz der Arbeit, wie sie geschieht, Tag für Tag. Auf diese Weise stellt es sicher, dass der Pfad zu einer Entdeckung ebenso klar und zugänglich bleibt wie die Entdeckung selbst.