Jarvis-HEP: A lightweight Python framework for workflow composition and parameter scans in high-energy physics

Dieser Beitrag stellt Jarvis-HEP vor, ein leichtgewichtiges Python-Framework, das Workflows in der Hochenergiephysik durch YAML-basierte Spezifikation, abhängigkeitenbewusste Ausführung und modulare Integration verschiedener Rechenwerkzeuge für effiziente Parameterscans und mehrstufige Studien optimiert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges Rätsel zu lösen: Woraus besteht das Universum?

In der Welt der Hochenergiephysik haben Wissenschaftler ein „Standardmodell" (ein Regelbuch bekannter Teilchen), aber sie vermuten, dass es versteckte Regeln und geheime Charaktere (Neue Physik) gibt, die im Schatten lauern. Um sie zu finden, müssen sie Millionen verschiedener „Was-wäre-wenn"-Szenarien testen.

Das Problem ist, dass das Testen dieser Szenarien wie der Versuch ist, einen Kuchen zu backen, bei dem jede Zutat einen anderen Ofen, einen anderen Koch und ein anderes Rezeptbuch erfordert. Manche Tools berechnen Teilchenmassen, andere sagen voraus, wie sich Dunkle Materie verhält, und wieder andere simulieren Kollisionen. Normalerweise muss ein Wissenschaftler Tool A manuell ausführen, die Ergebnisse kopieren, sie in Tool B einfügen, prüfen, ob die Zahlen Sinn ergeben, und dann Tool C ausführen. Wenn sie 10.000 verschiedene Szenarien testen wollen, ist dies von Hand unmöglich – es ist langsam, fehleranfällig und ermüdend.

Hier kommt Jarvis-HEP ins Spiel.

Stellen Sie sich Jarvis-HEP als einen superklugen, automatisierten Küchenmanager für diese Physik-Detektive vor. Es backt den Kuchen nicht selbst; stattdessen organisiert es die gesamte Küche, damit die Köche (die verschiedenen Physik-Software-Tools) nahtlos zusammenarbeiten können.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Master-Rezept (Die YAML-Datei)

Anstatt komplexen Computercode zu schreiben, um den Tools zu sagen, was zu tun ist, schreiben Wissenschaftler ein einfaches, für Menschen lesbares „Rezept", eine sogenannte YAML-Datei.

• Analogie: Stellen Sie sich vor, Sie schreiben eine Einkaufsliste und eine Reihe von Anweisungen auf einen Notizblock: „Kaufen Sie 500 Äpfel. Wenn der Apfel rot ist, backen Sie einen Kuchen. Wenn er grün ist, machen Sie einen Salat."
• Im Papier: Diese Datei sagt Jarvis-HEP: „Hier sind die Variablen (wie die Größe des Universums oder die Masse eines Teilchens). Hier ist die Regel, wie man sie auswählt (zufällig oder in einem Gitter). Hier ist die Reihenfolge, in der die Tools ausgeführt werden sollen."

2. Das Fließband (Der Workflow)

Sobald das Rezept geschrieben ist, richtet Jarvis-HEP ein Fließband ein.

• Analogie: Stellen Sie sich eine Fabrik vor, in der ein Roboterarm ein Rohmaterial greift, es an einen Maler weitergibt, dann an einen Polierer und schließlich an einen Qualitätsprüfer.
• Im Papier: Jarvis-HEP verknüpft verschiedene Softwarepakete automatisch. Es nimmt die Ausgabe eines Tools und speist sie direkt in das nächste ein, wobei sichergestellt wird, dass wenn Tool A ein bestimmtes Dateiformat benötigt, Tool B es exakt richtig erhält. Es behandelt die „Abhängigkeiten" (stellt sicher, dass die richtigen Tools installiert und bereit sind).

3. Der geschäftige Bienenschwarm (Asynchrone Ausführung)

Dies ist die Superkraft von Jarvis-HEP. Traditionelle Methoden erledigen Dinge nacheinander (wie eine einzelne Person, die Geschirr spült, trocknet und wegräumt). Jarvis-HEP verwendet asynchrone Parallelverarbeitung.

• Analogie: Stellen Sie sich einen Schwarm von 16 Bienen vor, die in einem Bienenstock arbeiten. Während eine Biene darauf wartet, dass eine Blüte blüht, fliegt eine andere zu einem anderen Feld. Sie warten nicht aufeinander. Wenn eine Biene langsam ist, arbeiten die anderen weiter.
• Im Papier: Das System führt viele Berechnungen gleichzeitig durch. Wenn ein Computer-Teil beschäftigt ist, wechselt das System sofort zur nächsten verfügbaren Aufgabe. Dies macht den gesamten Prozess unglaublich schnell und effizient.

4. Der „EggBox"-Testlauf

Um zu beweisen, dass es funktioniert, haben die Autoren Jarvis-HEP an einem berühmten mathematischen Rätsel namens „EggBox"-Potential getestet.

• Analogie: Stellen Sie sich eine Landschaft voller Hügel und Täler vor (die „EggBox"). Das Ziel ist es, die tiefsten Täler zu finden (die wahrscheinlichsten Antworten).
• Im Papier: Sie zeigten, dass Jarvis-HEP verschiedene „Suchstrategien" (wie zufälliges Laufen, Gittersuche oder intelligente, KI-gesteuerte Suche) nutzen konnte, um diese Landschaft zu erkunden. Es fand erfolgreich alle wichtigen Gipfel und Täler, ohne stecken zu bleiben oder verwirrt zu werden.

5. Das Sicherheitsnetz (Protokollierung und Checkpoints)

Wenn Sie 10.000 Kuchen backen und der Strom ausfällt, wollen Sie nicht von vorne beginnen.

• Analogie: Jarvis-HEP ist wie ein Bäcker, der alle 30 Sekunden ein Foto von der Küche macht. Wenn der Strom ausfällt, können Sie sich das letzte Foto ansehen, genau dort weitermachen, wo Sie aufgehört haben, und weiter backen.
• Im Papier: Das System speichert automatisch „Checkpoints". Wenn ein Scan unterbrochen wird, können Sie ihn neu starten, und er setzt genau an der Stelle fort, an der er gestoppt hat, nicht am Anfang. Es führt zudem detaillierte Protokolle (wie ein Tagebuch) über jeden einzelnen Schritt, damit Sie, wenn etwas schiefgeht, genau wissen, welche „Zutat" das Problem verursacht hat.

Zusammenfassung

Jarvis-HEP ist ein leichtgewichtiges, einfach zu bedienendes Tool, das es Physikern ermöglicht, sich nicht mehr um das chaotische Logistikproblem der Verbindung verschiedener Software-Tools kümmern zu müssen. Es verwandelt einen chaotischen, manuellen Prozess in eine reibungslose, automatisierte Fließbandproduktion.

• Für den Benutzer: Sie schreiben einfach ein einfaches Rezept (YAML-Datei).
• Für den Computer: Es übernimmt die schwere Arbeit, verwaltet die Tools, führt Tausende von Tests gleichzeitig durch und speichert die Ergebnisse auf organisierte Weise.

Das Papier behauptet, dies mache es für Forscher (selbst für kleine Teams oder Einzelpersonen) viel einfacher, komplexe Theorien über das Universum zu erkunden, ohne dass sie Expertenprogrammierer sein müssen oder Wochen damit verbringen, ihre Computersysteme einzurichten. Es ist ein „Workflow-Komposition"-Tool, das entwickelt wurde, um die Wissenschaft schneller zu machen und anfälliger für menschliche Fehler zu machen.

Technische Zusammenfassung

1. Problemstellung

Die Phänomenologie der Hochenergiephysik (HEP), insbesondere bei der Suche nach Physik jenseits des Standardmodells (BSM), erfordert die Bewertung von Observablen, Likelihoods und experimentellen Einschränkungen über komplexe, hochdimensionale Parameterräume hinweg. Dieser Prozess umfasst typischerweise:

• Mehrstufige Workflows: Verknüpfung unterschiedlicher Rechenwerkzeuge (z. B. Spektrumgeneratoren, Wirkungsquerschnittsrechner, Monte-Carlo-Simulatoren).
• Komplexe Abhängigkeiten: Verwaltung externer Softwarepakete (z. B. Pythia, HepMC) und ihrer Interdependenzen.
• Skalierbarkeitsprobleme: Die Durchführung von Parameterscans über Millionen von Punkten führt häufig zu einer umständlichen, fehleranfälligen manuellen Verwaltung von Ausführung, Protokollierung und Datenerfassung.
• Zugänglichkeitslücke: Bestehende globale Anpassungsframeworks (z. B. GAMBIT, MasterCode) sind zwar leistungsstark, aber oft schwerfällig und komplex einzurichten. Es fehlt an leichten, flexiblen Werkzeugen für einzelne Forscher oder kleine Teams, um explorative Studien ohne erheblichen Overhead durchzuführen.

2. Methodik: Jarvis-HEP-Framework

Jarvis-HEP ist ein reines Python-Framework, das entwickelt wurde, um diese Workflows durch eine deklarativen, projektbasierte Architektur zu straffen.

Kernarchitektur

• YAML-basierte Konfiguration: Benutzer definieren den gesamten Scan-Workflow (Variablen, Likelihoods, Abhängigkeiten, Rechner) in einer einzigen menschenlesbaren YAML-Datei.
• Worker-Factory und asynchrone Ausführung:
  • Das Framework verwendet eine Worker-Factory (ein Singleton), die die globale Aufgabenplanung verwaltet.
  • Es nutzt asynchrone Aufgabenplanung (asyncio), um mehrere Rechenaufgaben parallel auszuführen. Im Gegensatz zur synchronen Ausführung ermöglicht dieser nicht-blockierende Ansatz schnelleren Knoten, Aufgaben unabhängig von langsameren zu verarbeiten, was die Ressourcennutzung optimiert.
  • Der Workflow wird als gerichteter hierarchischer Flussgraph visualisiert, wobei Pakete in Rechenschichten (L1, L2, L3) gruppiert werden, um Abhängigkeiten zu minimieren und Parallelität zu maximieren.
• Modulares Design:
  • Rechner: Unterstützt sowohl externe Kommandozeilenwerkzeuge als auch interne Python-Komponenten.
  • Abhängigkeitsmanagement: Verarbeitet automatisch die Installation und Kompilierung externer Bibliotheken (z. B. HepMC, Pythia8) über in der YAML definierte Shell-Befehle.
  • Datenerfassung: Ein eigenständiger Data Recorder-Prozess schreibt Ergebnisse in Echtzeit in HDF5-Dateien (Standardintervall: 30 Sekunden), was die Datenspeicherung auch bei Unterbrechung des Prozesses sicherstellt.

Abtastfähigkeiten

Das Framework entkoppelt den Abtastalgorithmus von der Ausführungsmaschine und implementiert Sampler als Python-Iteratoren für Speichereffizienz. Unterstützte Methoden umfassen:

• Deterministisch/Unabhängig: Zufallsstichproben, Gitterstichproben und Bridson-Stichproben (Poisson-Scheiben-Stichproben für abstoßende Priori-Verteilungen).
• Markov-Ketten-Monte-Carlo (MCMC): Metropolis-Hastings (MH) und Parallel-Tempering-MCMC (PT-MCMC) zur Exploration multimodaler Verteilungen.
• Nested Sampling: Integration mit dynesty für die Berechnung der bayesschen Evidenz und Posterior-Stichproben.
• Maschinelles Lernen: Ein Deep-Neural-Network (DNN)-Sampler, der die Abbildung von Parametern auf Observablen lernt, gefolgt von einer Ablehnungsstichprobe (Rejection Sampling) zur Korrektur von Verzerrungen.

Benutzeroberfläche

• Kommandozeilenschnittstelle (CLI): Bedienung über den Befehl Jarvis mit Flags für Debugging (--check-modules), Überwachung (--monitor), Datenkonvertierung (--convert) und Visualisierung (--plot).
• Projektstruktur: Organisiert Aufgaben in selbstständige Verzeichnisse, die Konfiguration (bin/), Abhängigkeiten (deps/), Ausgaben, Protokolle und Checkpoints enthalten.

3. Hauptbeiträge

• Leichte Workflow-Orchestrierung: Bietet eine einheitliche Schnittstelle zum Verknüpfen externer HEP-Werkzeuge, Verwalten von Abhängigkeiten und Ausführen komplexer mehrstufiger Berechnungen ohne das Schreiben benutzerdefinierter Kleber-Code.
• Asynchrone Parallelverarbeitung: Führt ein nicht-blockierendes Ausführungsmodell ein, das den Durchsatz für I/O-gebundene und rechenintensive Aufgaben im Vergleich zum traditionellen sequenziellen Scannen erheblich verbessert.
• Robuste Resilienz: Verfügt über integrierte Checkpointing- und Wiederaufsetz-Funktionen, die es langen Scans ermöglichen, sich von Unterbrechungen (z. B. Terminaltrennung, Systemabstürze) zu erholen, ohne von Null beginnen zu müssen.
• Umfassendes Ökosystem: Beinhaltet integrierte Werkzeuge für:
  • Protokollierung: Strukturierte Protokollierung auf Punktebene zur Fehleranalyse spezifischer Ausfälle.
  • Visualisierung: Integration mit Jarvis-PLOT zur Erstellung standardmäßiger HEP-Diagramme (Eckdiagramme, Likelihood-Oberflächen).
  • Portabilität: Fähigkeit, Projekte in reproduzierbare Pakete zu verpacken, um sie zu teilen oder zu archivieren.
• Symbolischer Ausdrucks-Engine: Unterstützt symbolische Mathematik (via sympy) zur Definition von Likelihoods, Selektionsschnitten und abgeleiteten Variablen direkt innerhalb der Konfiguration.

4. Ergebnisse und Validierung

Das Papier validiert Jarvis-HEP anhand des „EggBox"-Modells, eines synthetischen Testfalls mit einer komplexen, multimodalen Likelihood-Landschaft ($z = (\sin(x\pi)\cos(y\pi) + 2)^5$).

• Leistung: Auf einem Standard-PC hielt das Framework einen Durchsatz von $3 \times 10^4$ bis $6 \times 10^4$ abgeschlossenen leichten Aufgaben pro Minute aufrecht. Dies zeigt, dass die asynchrone Planungsschicht im Vergleich zu den eigentlichen Physikberechnungen nur minimale Overheads einführt.
• Abtasteffizienz:
  • PT-MCMC identifizierte erfolgreich mehrere distincte Bereiche hoher Likelihood im EggBox-Modell, in denen Standard-MCMC-Ketten stecken blieben.
  • Bridson-Abtastung zeigte eine überlegene Gleichmäßigkeit und Raumerfüllungseigenschaften im Vergleich zu zufälliger Abtastung.
  • DNN-Abtastung lernte die Zielverteilung effektiv und konzentrierte die Stichproben in Bereichen hoher Likelihood.
• Benutzerfreundlichkeit: Der End-to-End-Workflow (Abrufen eines Projekts, Ausführen eines Scans, Überwachen, Visualisieren und Archivieren) wurde als nahtlos demonstriert, was die Einstiegshürde für komplexe phänomenologische Studien senkt.

5. Bedeutung

Jarvis-HEP schließt eine kritische Lücke im HEP-Software-Ökosystem, indem es eine flexible, überlastungsarme Alternative zu monolithischen globalen Anpassungsframeworks bietet.

• Demokratisierung der Analyse: Es ermöglicht einzelnen Forschern und kleinen Teams, rigorose, reproduzierbare Parameterscans durchzuführen, ohne umfangreiche Infrastruktur oder tiefgreifende Expertise in komplexen Workflow-Management-Systemen zu benötigen.
• Zukunftssicherheit: Seine modulare Architektur ermöglicht die einfache Integration neuer Abtastalgorithmen (einschließlich KI-gesteuerter Methoden) und externer Werkzeuge.
• Reproduzierbarkeit: Durch die Durchsetzung einer projektbasierten Struktur mit automatischem Abhängigkeitsmanagement und Checkpointing verbessert es die Reproduzierbarkeit numerischer Studien in der Hochenergiephysik erheblich.

Zusammenfassend ist Jarvis-HEP ein vielseitiges Werkzeug, das den Workflow der BSM-Phänomenologie modernisiert und dabei das Bedürfnis nach Rechenleistung mit den praktischen Anforderungen an Benutzerfreundlichkeit und Reproduzierbarkeit in Einklang bringt.