CELEBI: Design and Realization of a Reproducible Physics Analysis Framework

In der weiten, hochriskanten Welt der Teilchenphysik suchen Wissenschaftler Antworten nicht einfach durch ein Mikroskop. Stattdessen bauen sie gewaltige Maschinen, die Teilchen zusammenprallen lassen und dabei eine chaotische Schauer von Signalen erzeugen, die in Wissen übersetzt werden müssen. Diese Übersetzung ist kein einzelner Moment der Entdeckung, sondern eine lange, gewundene Reise der Berechnung. Detektoren erfassen Rohdaten, die dann durch zentralisierte Systeme verarbeitet werden, um sauberere Datensätze zu erstellen. Erst dann beginnen einzelne Forscher mit ihrer eigenen Arbeit: Code schreiben, um spezifische Ereignisse auszuwählen, mathematische Parameter anzupassen und komplexe statistische Tests durchzuführen, um zu sehen, ob ein neues Teilchen gefunden wurde oder ob eine Theorie Bestand hat. Dieser gesamte Prozess ist eine Kette von Entscheidungen, bei der das Endergebnis von einer spezifischen Kombination aus Software, Einstellungen und Dateneingaben abhängt.

Die Herausforderung für die wissenschaftliche Gemeinschaft besteht darin, dass diese Kette sich ständig bewegt. Während Forscher ihre Methoden verfeinern, ändern sie den Code, passen die Zahlen an und tauschen Datensätze aus. Ein heute veröffentlichtes Ergebnis könnte auf einer Version eines Programms beruhen, die morgen bereits verändert wurde. Wenn ein Wissenschaftler von vor fünf Jahren ein Ergebnis überprüfen möchte oder wenn ein neues Team auf einem alten Befund aufbauen will, steht er vor einem schwierigen Rätsel: Wie lässt sich der exakte Zustand der Arbeit zum Zeitpunkt der Durchführung rekonstruieren? Es reicht nicht aus, nur die endgültigen Zahlen oder den Quellcode zu speichern; man muss den gesamten Kontext bewahren, wie diese Zahlen zustande gekommen sind. Ohne dies wird die Geschichte der wissenschaftlichen Entdeckung zu einer Sammlung unverbundener Schnappschüsse, bei denen der Weg von einer Frage zu einer Antwort verloren geht.

Um dies zu lösen, wurde ein Framework namens Celebi von Mingrui Zhao an der Peking University entwickelt. Dieses System ist darauf ausgelegt, das Leben einer Physik-Analyse zu verwalten, indem es diese nicht als statische Datei, sondern als lebendiges, sich entwickelndes Gefüge aus Materialien betrachtet. Der Forscher erkannte, dass die Art und Weise, wie Wissenschaftler ihre Arbeit derzeit organisieren, oft die Anweisungen für eine Berechnung mit den massiven Datenmengen vermischt, die diese Berechnungen produzieren. Dies macht es schwierig nachzuvollziehen, welche Version eines Programms zu welchem Ergebnis geführt hat, insbesondere wenn sich die Arbeit im Laufe der Zeit ändert. Celebi trennt diese zwei Welten. Es bewahrt die leichtgewichtigen Anweisungen – den Code, die Einstellungen und die Logik – an einem Ort, während die schweren, generierten Daten an einem anderen liegen. Diese Trennung ermöglicht es, die Anweisungen in einer klaren, organisierten Weise zu bewahren, ohne durch die Terabytes an Daten, die sie produzieren, belastet zu werden.

Der Kern von Celebi ist eine neue Denkweise darüber, wie eine Analyse aufgebaut wird. Der Forscher führte ein Konzept ein, das er einen „materialisierten Workflow“ nennt. In der herkömmlichen Computertechnik ist ein Workflow oft nur eine Liste von Schritten, die einem Computer sagen, was als Nächstes zu tun ist. In Celebi wird der Workflow aus tatsächlichen, greifbaren Objekten aufgebaut, die die Teile der Analyse reprsentieren. Das System unterscheidet zwischen einem „Algorithmus“, der das allgemeine Rezept für eine Berechnung ist, und einem „Task“, welcher die spezifische Anwendung dieses Rezepts auf einen bestimmten Datensatz mit spezifischen Einstellungen darstellt. Stellen Sie sich einen Koch vor, der ein Grundrezept für eine Suppe (der Algorithmus) hat, aber für verschiedene Kunden unterschiedliche Chargen zubereitet, indem er variierende Mengen an Salz hinzufügt oder verschiedene Gemüse verwendet (die Tasks). In diesem System bleibt das Grundrezept gleich, aber jede spezifische Charge wird als ein einzigartiger Task aufgezeichnet, der mit dem Rezept und den verwendeten Zutaten verknüpft ist. Diese Struktur ermöglicht es, dass dasselbe Stück Code in vielen verschiedenen Teilen einer Analyse wiederverwendet werden kann, ohne den Code kopieren und einfügen zu müssen, was Fehler reduziert und die Historie der Arbeit wesentlich klarer macht.

Um diese Struktur für Menschen lesbar und verständlich zu machen, organisierte der Forscher die digitalen Dateien so, dass sie die logische Struktur der Analyse widerspiegelt. Anstatt alles in komplexen, verborgenen Ordnern zu verstecken, nutzt das System eine klare Hierarchie aus Projekten, Verzeichnissen, Algorithmen und Tasks. Jedes dieser Objekte trägt seine eigenen Notizen und Beschreibungen, sodass jeder, der das Dateisystem betrachtet, sofort verstehen kann, was ein Stück Code tut und wie es mit dem Rest der Arbeit verbunden ist. Diese Organisation stellt sicher, dass die Analyse selbstbeschreibend bleibt; der Kontext ist direkt in die Dateien eingebaut. Darüber hinaus behandelt das System Dateneingaben unterschiedlich, je nachdem, woher sie kommen. Wenn Daten durch einen vorherigen Schritt der Analyse generiert wurden, verfolgt das System die Verbindung zwischen den Tasks. Wenn Daten von außen kommen, erstellt das System ein spezifisches Objekt, um zu markieren, wo diese externen Daten in den Workflow eintreten. Dies schafft eine konsistente Karte darüber, woher jedes Stück Information stammt, unabhängig von seiner Quelle.

Die wichtigste Innovation in Celebi ist ein Mechanismus namens „Impressions“. Da sich die arbeitende Analyse ständig ändert, benötigte der Forscher eine Möglichkeit, einen spezifischen Moment in der Zeit einzufrieren, ohne die Arbeit zu stoppen. Eine Impression ist wie ein Schnappschuss der gesamten Analyse zu einem bestimmten Zeitpunkt, der den exakten Zustand des Codes, der Parameter und der Abhängigkeiten erfasst. Sobald eine Impression erstellt wurde, ist sie unveränderlich (immutable); sie kann nicht mehr geändert werden. Wenn der Wissenschaftler später den Code oder die Einstellungen ändert, erstellt er einen neuen Arbeitszustand, aber die alte Impression bleibt exakt so, wie sie war. Dies ermöglicht es ihm, eine permanente Aufzeichnung der Bedingungen zu führen, unter denen ein spezifisches Ergebnis erzeugt wurde. Wenn ein Ergebnis generiert wird, ist es direkt mit der Impression verknüpft, die es erstellt hat. Das bedeutet, dass ein Wissenschaftler auch Jahre später in der Lage ist, ein Ergebnis anzusehen und genau zu wissen, welche Version des Codes und welche spezifischen Einstellungen verwendet wurden, um es zu erzeugen, weil dieses Ergebnis dauerhaft mit diesem unveränderlichen Schnappschuss verknüpft ist.

Das System trennt zudem den Akt der Bewahrung der Analyse vom Akt des Ausführens derselben. Die bewahrten Anweisungen werden in einem Repository gespeichert, aber wenn es an der Zeit ist, die eigentliche Berechnung durchzuführen, übernimmt ein separates System namens „Production Factory“ das Kommando. Eine Middleware-Schicht namens Yuki fungt als Brücke zwischen den beiden. Wenn ein bewahrter Zustand ausgeführt werden soll, übersetzt Yuki die gespeicherten Anweisungen in ein Format, das ein Computer ausführen kann, und sendet es an einen Workflow-Runner. Dieses Design bedeutet, dass die Art und Weise, wie die Analyse gespeichert wird, nicht von dem spezifischen Computer oder der Software abhängt, die zum Ausführen verwendet wird. Der Forscher kann die Rechenumgebung oder die Ausführungswerkzeuge ändern, ohne die Analyse selbst umschreiben zu müssen. Diese Flexibilität stellt sicher, dass die Analyse langfristig bewahrt werden kann, selbst wenn sich die Technologie zu ihrer Ausführung weiterentwickelt.

Durch die Kombination dieser Elemente bietet Celebi ein vollständiges Framework für die Verwaltung des Lebenszyklus einer Physik-Analyse. Es bietet eine Möglichkeit, die Anweisungen für eine Berechnung von den massiven Daten zu trennen, die sie produzieren, organisiert diese Anweisungen in einer menschenlesbaren Struktur und erstellt permanente, unveränderliche Aufzeichnungen spezifischer Zustände. Dieser Ansatz adresset ein grundlegendes Problem der modernen Wissenschaft: die Schwierigkeit, Ergebnisse zu reproduzieren, wenn die zugrunde liegende Arbeit sich ständig verschiebt. Der Forscher zeigt, dass es möglich ist, eine klare und ungebrochene Beweiskette von der ursprünglichen Frage bis zur endgültigen Antwort aufrechtzuerhalten, indem man eine Analyse als eine Sammlung strukturierter, miteinander verbundener Objekte betrachtet und durch den Einsatz von Impressions bestimmte Zustände fixiert. Diese Arbeit legt den Grundstein für eine Zukunft, in der wissenschaftliche Ergebnisse nicht nur veröffentlicht, sondern vollständig bewahrt, rückverfolgbar und jederzeit für jeden überprüfbar und nachprüfbar sind.