HepScript: A Dual-Use DSL for Human-AI Collaborative Data Analysis Workflows in High-Energy Physics

Dieser Beitrag stellt HepScript vor, eine Dual-Use-Domänenspezifische Sprache für die Hochenergiephysik, die als formale Schnittstelle zur Abstraktion komplexer Analyselogik dient, wodurch menschliche Experten in die Lage versetzt werden, prägnanten Code zu schreiben, während KI-Agenten zuverlässig ausführbare Spezifikationen aus der Literatur generieren können, was den manuellen Aufwand erheblich reduziert und zuvor unlösbare Automatisierungsherausforderungen bewältigt.

Das Wesentliche

Das große Ganze: Das „Übersetzer"-Problem

Stellen Sie sich Hochenergiephysik (HEP) als einen riesigen, hochriskanten Kochwettbewerb vor. Jedes Jahr produzieren die Köche (Physiker) am Experiment Beijing Spectrometer III (BESIII) einen Berg an Zutaten (Petabytes an Daten). Um zu gewinnen, müssen sie bestimmte Gerichte zubereiten (Daten analysieren), um neue Geschmacksrichtungen zu entdecken (wissenschaftliche Entdeckungen).

Es gibt jedoch ein Problem:

1. Das Rezept ist komplex: Die „Küche" (die Computersoftware) ist unglaublich kompliziert. Sie verwendet eine Mischung aus altmodischen Werkzeugen und modernen Gadgets. Ein Rezept zu schreiben, das in dieser Küche funktioniert, erfordert tiefes, geheimes Wissen, das nur die Küchenchefs haben.
2. Der KI-Assistent ist klug, aber ahnungslos: Wir haben einen neuen KI-Assistenten (Large Language Models), der jedes Kochbuch lesen und ein Rezept schreiben kann. Aber wenn man ihn bittet, in dieser spezifischen Küche zu kochen, scheitert er oft. Er kennt die geheimen Werkzeuge nicht, wird von der komplexen Maschinerie verwirrt, und wenn er einen winzigen Fehler macht, verbrennt das ganze Gericht.

Das Paper stellt HepScript vor, eine Lösung für dieses Problem.

Die Lösung: HepScript (Der „Universalübersetzer")

Die Autoren schufen eine neue Sprache namens HepScript. Denken Sie daran wie an einen Universalübersetzer oder eine spezialisierte Speisekarte, die zwischen den menschlichen Köchen und dem KI-Assistenten sitzt.

Anstatt den KI-Assistenten zu bitten, Code direkt in der komplexen Küchensprache zu schreiben (was so wäre, als würde man ihn bitten, gleichzeitig fließend Französisch und Deutsch zu sprechen, während er Jongliert), bitten Sie ihn, eine HepScript-Bestellung zu schreiben.

Wie es funktioniert:

1. Für Menschen: HepScript sieht aus wie eine einfache, klare Liste von Anweisungen. „Wählen Sie die roten Äpfel aus", „Mischen Sie mit Zucker", „Backen Sie bei 350 Grad". Es verbirgt all die beängstigende, komplexe Maschinerie darunter.
2. Für KI: Da HepScript eine strenge, begrenzte Sprache ist (eine „Domain-Specific Language" oder DSL), bietet sie der KI einen kleinen, sicheren Spielplatz. Die KI muss nicht raten, wie man die Küche benutzt; sie muss nur die Lücken auf der Speisekarte füllen.
3. Der magische Schritt: Sobald die HepScript-Speisekarte geschrieben ist, liest ein spezieller „Prozessor" (ein Übersetzungsroboter) sie und schreibt automatisch den komplexen, technischen Code, der benötigt wird, um das Experiment tatsächlich in der echten Küche durchzuführen.

Die „Dual-Use"-Superkraft

Das Paper nennt HepScript „Dual-Use" (zweckgebunden), weil es perfekt für zwei verschiedene Personen funktioniert:

• Der menschliche Experte: Er kann HepScript lesen und die physikalische Logik sofort verstehen, ohne sich in technischen Details zu verlieren.
• Der KI-Agent: Da die Sprache streng und begrenzt ist, kann die KI sie mit sehr hoher Genauigkeit generieren. Es ist für eine KI viel einfacher, ein strenges Formular auszufüllen, als einen Roman zu schreiben.

Die Ergebnisse: Was passierte im Labor?

Das Team testete dieses System mit echten Physik-Papers vom BESIII-Experiment. Hier ist, was sie herausfanden:

• Weniger Arbeit für Menschen: Durch die Verwendung von HepScript sank die Menge an Code, die Menschen schreiben mussten, um 93 %. Es ist wie der Übergang vom Schreiben eines 100-seitigen Handbuchs zum Ausfüllen einer 7-seitigen Checkliste.
• KI wurde viel besser: Als sie KI-Modelle baten, ein veröffentlichtes Physik-Paper zu lesen und die HepScript-Anweisungen dafür zu schreiben:
  • Beim ersten Versuch lag die KI etwa 47 % der Zeit richtig.
  • Aber hier ist der Trick: Sie ließen die KI erneut versuchen, wenn sie einen Fehler machte (unter Verwendung einer „agentic loop"). Die KI würde den Fehler sehen, ihn beheben und es erneut versuchen.
  • Nach nur drei Versuchen hatte die KI 95 % der Zeit Erfolg.
• Beweis, dass es funktioniert: Sie nahmen die von der KI generierten Anweisungen, führten sie durch das System, und der Computer rekonstruierte erfolgreich die exakten Diagramme und Ergebnisse aus den ursprünglichen Physik-Papers.

Die „Schutzvorrichtung"-Analogie

Warum funktioniert das so gut?
Stellen Sie sich die KI als ein Auto vor.

• Ohne HepScript: Die KI fährt auf einer offenen Autobahn ohne Spuren, ohne Schilder und ohne Geschwindigkeitsbegrenzungen. Es ist leicht, einen Unfall zu bauen oder sich zu verirren.
• Mit HepScript: Die KI fährt auf einer Einschienenbahn. Die Schienen (die Grammatik von HepScript) zwingen das Auto, auf dem richtigen Weg zu bleiben. Es kann nicht vom Weg abkommen. Es kann nicht in die Landschaft krachen. Es muss sich nur entlang der Schiene vorwärtsbewegen. Dies macht die Reise sicher und vorhersehbar.

Zusammenfassung

Das Paper zeigt, dass wir durch die Schaffung einer einfachen, strengen „Zwischensprache" (HepScript) KI beibringen können, komplexe wissenschaftliche Arbeiten zu erledigen, die sie zuvor nicht bewältigen konnte. Es verwandelt ein chaotisches, offenes Programmierproblem in ein strukturiertes, lösbares Puzzle. Dies ermöglicht es Menschen und KI, zusammenzuarbeiten: Der Mensch liefert die wissenschaftliche Absicht, und die KI übernimmt die schwere Arbeit des Codierens, alles geleitet von den sicheren, strukturierten Regeln von HepScript.

Technische Zusammenfassung

1. Problemstellung

Die Hochenergiephysik (HEP) steht aufgrund des exponentiellen Datenwachstums (von Petabytes zu Exabytes) vor einem kritischen Engpass in der Effizienz der Datenanalyse. Während Large Language Models (LLMs) Potenzial für die Automatisierung bieten, haben sie Schwierigkeiten, komplexe wissenschaftliche Workflows autonom zu verwalten, und zwar aus drei Hauptgründen:

• Lücke im Domänenwissen: LLMs fehlt das tiefgreifende, implizite Wissen, das erforderlich ist, um komplexe, mehrstufige Physik-Workflows zu strukturieren (z. B. Teilchenrekonstruktion, kinematische Anpassung).
• Semantische Lücke: Es besteht eine Diskrepanz zwischen hochrangigen Analysezielen (z. B. „Zerfallsbreite messen") und dem niedrigrangigen, frameworkspezifischen Code (z. B. C++ für BOSS, ROOT-Skripte), der zu deren Ausführung erforderlich ist.
• Unbegrenzter Aktionsraum: Offene Codegenerierung durch LLMs führt häufig zu Halluzinationen, logischer Inkohärenz oder Code, der in Produktionsumgebungen nicht kompiliert, da der Raum möglicher Codevariationen zu groß ist.

2. Methodik: HepScript

Die Autoren schlagen HepScript vor, eine Dual-Use Domain-Specific Language (DSL), die als gemeinsame formale Schnittstelle zwischen menschlichen Experten und KI-Agenten dient.

• Kernkonzept: HepScript abstrahiert HEP-Analyse-Logik in eine eingeschränkte, hochrangige Syntax. Sie fungiert als „Grounding-Mechanismus", der die offene Codegenerierung in eine handhabbare Sequenzvorhersageaufgabe verwandelt.
• Architektur:
  • Embedded DSL: Implementiert als in Ruby eingebettete DSL, um die Lesbarkeit von Ruby, Meta-Programmierungsfähigkeiten und fließende Schnittstellen zu nutzen.
  • Codegenerierungs-Pipeline: HepScript wird nicht direkt ausgeführt. Ein dedizierter DSL-Prozessor übersetzt HepScript-Spezifikationen in Zielcode für den BESIII-Software-Stack:
    • BOSS (C++): Für Simulation, Rekonstruktion und Basisauswahl.
    • ROOT (C++/Python): Für erweiterte Auswahl, Visualisierung und statistische Inferenz.
    • Hilfsskripte: Bash/Python für Jobkonfiguration.
  • Hybride Übersetzungsstrategie: Der Prozessor verwendet drei Methoden:
    1. Vorlagenbasierte Generierung: Für statische Strukturen.
    2. Übersetzerbasierte Generierung: Für komplexe Syntax über benutzerdefinierte Ruby-Klassen.
    3. LLM-unterstützte Generierung: Speziell für mehrdeutige Aufgaben wie Kaskadenzerfall-Logik (Zuordnung von Teilchen zu Resonanzen) und die Generierung spezifischer ROOT-Skripte.
• Designprinzipien:
  • Lesbarkeit: Intuitiv für Physiker.
  • Modularität: Diskrete Blöcke für Analysephasen (Datensatzvorbereitung, Basisauswahl, Erweiterte Auswahl, Visualisierung, Statistische Analyse).
  • Eingeschränkte Grammatik: Begrenzt den Aktionsraum des LLM, um sicherzustellen, dass generierter Code logisch kohärent und ausführbar ist.

3. Hauptbeiträge

1. Theoretische Einsicht: Es wird demonstriert, dass eine gut gestaltete DSL den unbegrenzten Aktionsraum frameworkspezifischen Codes kollabieren lässt und die LLM-Generierung zuverlässig und überprüfbar macht.
2. HepScript-Instanziierung: Eine konkrete, in Ruby eingebettete DSL, die in Zusammenarbeit mit LLM-Unterstützung entwickelt wurde und speziell für das BESIII (Beijing Spectrometer III)-Experiment zugeschnitten ist.
3. Empirische Validierung:
   • Menschliche Effizienz: Reduzierung des von Menschen geschriebenen Code-Volumens um 93 % durch Eliminierung von Boilerplate-Code und repetitiven Routinen.
   • KI-Autonomie: Ermöglichte LLMs, korrekte, ausführbare HepScript-Spezifikationen aus veröffentlichter Literatur autonom zu generieren, mit einer Erfolgsrate von 95 % nach iterativen agentischen Wiederholungsversuchen.
4. Generalisierbares Framework: Bietet eine Methodik für DSL-Design, Implementierung und Evaluation, die auf andere datenintensive wissenschaftliche Domänen übertragbar ist.

4. Evaluierungsergebnisse

Das System wurde an 45 BESIII-Papers (gefiltert aus den ersten 50 auf arXiv) evaluiert, die die Datensatzvorbereitung und Basisauswahl abdecken.

• LLM-Leistung:
  • Die anfänglichen Erfolgsraten für von LLM generierte Spezifikationen lagen zwischen 43 % und 47 % (abhängig vom Modell, z. B. GLM-4.7 vs. DeepSeek-R1).
  • Fehler waren hauptsächlich auf Syntaxfehler (76 %) und physikalische Fehlinterpretationen (24 %) zurückzuführen.
  • Agentischer Loop: Durch Implementierung eines iterativen Loops, bei dem der LLM Fehlerfeedback vom Compiler/Prozessor erhält, stieg die Erfolgsrate nach drei Wiederholungsversuchen auf ~95 %.
• Codeausführung:
  • Generierter BOSS-Code kompilierte in 100 % der von Menschen geschriebenen Fälle ohne Fehler.
  • Generierte ROOT-Skripte reproduzierten in Fallstudien erfolgreich Abbildungen aus Originalpapers (z. B. Invariant-Massen-Verteilungen) und validierten so die End-to-End-Pipeline.
• Effizienz: Die Abstraktion reduzierte die Zeichenanzahl des erforderlichen Codes durchschnittlich um 93 %, was die Hürde sowohl für menschliches Prototyping als auch für die KI-Aufgabendefinition erheblich senkte.

5. Bedeutung und zukünftige Arbeiten

• Paradigmenwechsel: HepScript verlagert den Automatisierungsengpass von „wie man eine Analyse ausführt" (Codierung) zu „was zu spezifizieren ist" (Absicht) und ermöglicht ein skalierbares menschlich-KI-kollaboratives System.
• Vertrauen und Sicherheit: Die DSL fungiert als Schutzvorrichtung und stellt sicher, dass KI-Agenten in einer verifizierten, eingeschränkten Umgebung operieren, was für wissenschaftliche Strenge entscheidend ist.
• Zukünftige Richtungen:
  • Selbst-evolutionärer Mechanismus: Entwicklung eines Systems, bei dem sich die DSL-Grammatik autonom basierend auf neuer Domänenliteratur und Nutzungslücken erweitert.
  • Strukturbewusste Suche: Über die semantische Textähnlichkeit (RAG) hinausgehend hin zu einer Suche basierend auf der formalen Topologie von Teilchenzerfallsketten, um die LLM-Verankerung zu verbessern.
  • Agentisches Gedächtnis: Erstellung einer dynamischen Wissensbasis, in der erfolgreiche Workflows als „Fähigkeiten" für zukünftige Agenten gespeichert werden.

Fazit:
Das Paper stellt fest, dass eine Dual-Use-DSL eine viable und leistungsfähige Strategie zur Automatisierung komplexer wissenschaftlicher Workflows ist. Durch die Überbrückung der Lücke zwischen menschlicher Expertise, KI-Generierung und Produktionssoftware demonstriert HepScript, dass die Hochenergiephysik-Analyse effektiv automatisiert werden kann und den Weg für KI ebnet, zu einem autonomen Forschungspartner zu werden.