HepScript: A Dual-Use DSL for Human-AI Collaborative Data Analysis Workflows in High-Energy Physics

Dit artikel introduceert HepScript, een dual-use domeinspecifieke taal voor deeltjesfysica die dient als een formeel interface om complexe analyselogica te abstraheren, waardoor menselijke experts beknopte code kunnen schrijven terwijl AI-agenten betrouwbaar uitvoerbare specificaties uit literatuur kunnen genereren, wat aldus de handmatige inspanning aanzienlijk vermindert en eerder onoplosbare automatiseringsuitdagingen oplost.

De kern

Het Grote Plaatje: Het "Vertaler"-Probleem

Stel je Hoge-Energie Fysica (HEP) voor als een enorme, hoog-risico kookwedstrijd. Elk jaar genereren de chefs (fysici) bij het Beijing Spectrometer III (BESIII)-experiment een berg aan ingrediënten (petabytes aan data). Om te winnen, moeten ze specifieke gerechten koken (data analyseren) om nieuwe smaken te ontdekken (wetenschappelijke ontdekkingen).

Er is echter een probleem:

1. Het Recept is Complex: De "keuken" (de computersoftware) is ongelooflijk ingewikkeld. Het gebruikt een mix van oude gereedschappen en moderne gadgets. Een recept schrijven dat werkt in deze keuken vereist diepe, geheime kennis die alleen de hoofdsjefs hebben.
2. De AI-Assistent is Slim maar Raadeloos: We hebben een nieuwe AI-assistent (Grote Taalmodellen) die elk kookboek kan lezen en een recept kan schrijven. Maar als je het vraagt om te koken in deze specifieke keuken, faalt het vaak. Het kent de geheime gereedschappen niet, raakt in de war door de complexe machines, en als het een klein foutje maakt, verbrandt het hele gerecht.

Het artikel introduceert HepScript, een oplossing voor dit probleem.

De Oplossing: HepScript (De "Universele Vertaler")

De auteurs hebben een nieuwe taal ontwikkeld genaamd HepScript. Denk hierbij aan een universele vertaler of een gespecialiseerd menu dat zich tussen de menselijke chefs en de AI-assistent bevindt.

In plaats van de AI te vragen om direct code te schrijven in de complexe keukentaal (wat hetzelfde is als vragen om vloeiend Frans en Duits tegelijkertijd te spreken terwijl je jongleert), vraag je het om een HepScript-bestelling te schrijven.

Hoe het werkt:

1. Voor Mensen: HepScript ziet eruit als een eenvoudige, duidelijke lijst met instructies. "Kies de rode appels", "Meng met suiker", "Bak op 180 graden". Het verbergt alle angstaanjagende, complexe machines eronder.
2. Voor AI: Omdat HepScript een strikte, beperkte taal is (een "Domain-Specific Language" of DSL), biedt het de AI een klein, veilig speelterrein. De AI hoeft niet te raden hoe de keuken werkt; het hoeft alleen de blanco's op het menu in te vullen.
3. De Magische Stap: Zodra het HepScript-menu is geschreven, leest een speciale "processor" (een vertaler-robot) het en schrijft automatisch de complexe, technische code die nodig is om het experiment daadwerkelijk in de echte keuken uit te voeren.

De "Dual-Use" Superkracht

Het artikel noemt HepScript "Dual-Use" omdat het perfect werkt voor twee verschillende personen:

• De Menselijke Expert: Zij kunnen HepScript lezen en de fysica-logica direct begrijpen zonder vast te lopen in technische details.
• De AI-Agent: Omdat de taal strikt en beperkt is, kan de AI deze met zeer hoge nauwkeurigheid genereren. Het is veel gemakkelijker voor een AI om een strikt formulier in te vullen dan om een roman te schrijven.

De Resultaten: Wat Gebeurde er in het Lab?

Het team testte dit systeem met echte natuurkundige artikelen van het BESIII-experiment. Dit is wat ze ontdekten:

• Minder Werk voor Mensen: Door HepScript te gebruiken, daalde de hoeveelheid code die mensen moesten schrijven met 93%. Het is alsof je van het schrijven van een 100-pagina's tellende handleiding gaat naar het invullen van een 7-pagina's tellende checklist.
• AI werd Veel Beter: Toen ze AI-modellen vroegen om een gepubliceerd natuurkundig artikel te lezen en de HepScript-instructies daarvoor te schrijven:
  • Bij de eerste poging kreeg de AI het ongeveer 47% van de tijd goed.
  • Maar hier is de truc: Ze lieten de AI opnieuw proberen als het een fout maakte (met behulp van een "agentic loop"). De AI zag de fout, repareerde deze en probeerde het opnieuw.
  • Na slechts drie pogingen slaagde de AI 95% van de tijd.
• Bewijs dat het Werkt: Ze namen de door AI gegenereerde instructies, voerden ze door het systeem uit, en de computer slaagde erin om de exacte grafieken en resultaten uit de oorspronkelijke natuurkundige artikelen te reproduceren.

De "Veiligheidsrails"-Analogie

Waarom werkt dit zo goed?
Stel je de AI voor als een auto.

• Zonder HepScript: De AI rijdt op een open snelweg zonder rijbanen, zonder borden en zonder snelheidslimieten. Het is makkelijk om te crashen of verdwaald te raken.
• Met HepScript: De AI rijdt op een monorail. De sporen (de grammatica van HepScript) dwingen de auto om op het juiste pad te blijven. Het kan niet van de weg af. Het kan niet in het landschap crashen. Het hoeft alleen maar vooruit te bewegen langs het spoor. Dit maakt de reis veilig en voorspelbaar.

Samenvatting

Het artikel laat zien dat we, door een eenvoudige, strikte "middelste taal" (HepScript) te creëren, AI kunnen leren complex wetenschappelijk werk te doen dat het eerder niet aankon. Het verandert een chaotisch, open-eindig programmeerprobleem in een gestructureerd, oplosbaar raadsel. Dit stelt mensen en AI in staat om samen te werken: de mens levert de wetenschappelijke intentie, en de AI doet het zware werk van het schrijven van de code, allemaal geleid door de veilige, gestructureerde regels van HepScript.

Technische samenvatting

1. Probleemstelling

De Hoge-Energiefysica (HEP) staat voor een kritieke knelpunt in de efficiëntie van data-analyse als gevolg van de exponentiële groei van data (van petabytes tot exabytes). Hoewel Large Language Models (LLM's) potentie bieden voor automatisering, worstelen ze met het autonoom beheren van complexe wetenschappelijke workflows om drie hoofdredenen:

• Kloof in domeinkennis: LLM's missen de diepe, tacitische kennis die nodig is om complexe, meerstaps fysicaworkflows te structureren (bijv. deeltjesherstelling, kinematische fitting).
• Semantische kloof: Er is een disconnectie tussen hoge-niveau analyse-doelen (bijv. "een vertakkingsfractie meten") en de laag-niveau, framework-specifieke code (bijv. C++ voor BOSS, ROOT-scripts) die nodig is om deze uit te voeren.
• Onbegrensde actieruimte: Open-ended code-generatie door LLM's leidt vaak tot hallucinaties, logische oncoherentie of code die niet compileert in productie-omgevingen, omdat de ruimte van mogelijke codevariaties te groot is.

2. Methodologie: HepScript

De auteurs stellen HepScript voor, een Dual-Use Domain-Specific Language (DSL) ontworpen als een gedeelde formele interface tussen menselijke experts en AI-agenten.

• Kernconcept: HepScript abstracteert HEP-analyse-logica naar een beperkte, hoge-niveau syntaxis. Het fungeert als een "grondingsmechanisme" dat open-ended code-generatie omzet in een hanteerbare taak van sequentievoorspelling.
• Architectuur:
  • Embedded DSL: Geïmplementeerd als een in Ruby ingebouwde DSL om de leesbaarheid, meta-programmeringsmogelijkheden en vloeiende interfaces van Ruby te benutten.
  • Code-generatiepijplijn: HepScript wordt niet direct uitgevoerd. Een dedicated DSL Processor vertaalt HepScript-specificaties naar doelpcode voor de BESIII-softwarestack:
    • BOSS (C++): Voor simulatie, reconstructie en basisselectie.
    • ROOT (C++/Python): Voor geavanceerde selectie, visualisatie en statistische inferentie.
    • Hulpscripts: Bash/Python voor taakconfiguratie.
  • Hybride vertaalstrategie: De processor maakt gebruik van drie methoden:
    1. Templated Generation: Voor statische structuren.
    2. Translator-Based Generation: Voor complexe syntaxis via aangepaste Ruby-classes.
    3. LLM-Assisted Generation: Specifiek gebruikt voor ambiguïteiten zoals cascade-vervallogica (het koppelen van deeltjes aan resonanties) en het genereren van specifieke ROOT-scripts.
• Ontwerpprincipes:
  • Leesbaarheid: Intuïtief voor fysici.
  • Modulariteit: Discrete blokken voor analysefasen (Dataset Prep, Base Selection, Advanced Selection, Visualization, Statistical Analysis).
  • Beperkte grammatica: Beperkt de actieruimte van de LLM om ervoor te zorgen dat gegenereerde code logisch coherent en uitvoerbaar is.

3. Belangrijkste bijdragen

1. Theoretisch inzicht: Toont aan dat een goed ontworpen DSL de onbegrensde actieruimte van framework-specifieke code kan laten instorten, waardoor LLM-generatie betrouwbaar en verifieerbaar wordt.
2. HepScript-instantiatie: Een concrete, in Ruby ingebouwde DSL die mede-ontworpen is met LLM-bijstand, specifiek toegesneden op het BESIII (Beijing Spectrometer III)-experiment.
3. Empirische validatie:
   • Menselijke efficiëntie: Verminderde het volume aan door mensen geschreven code met 93% door boilerplate en repetitieve routines te elimineren.
   • AI-autonomie: Stelde LLM's in staat om correcte, uitvoerbare HepScript-specificaties autonoom te genereren op basis van gepubliceerde literatuur met een succespercentage van 95% na iteratieve agentische pogingen.
4. Generaliseerbaar raamwerk: Biedt een methodologie voor DSL-ontwerp, implementatie en evaluatie die kan worden aangepast aan andere datadichte wetenschappelijke domeinen.

4. Evaluatieresultaten

Het systeem werd geëvalueerd aan de hand van 45 BESIII-papers (gefilterd uit de eerste 50 op arXiv) die datasetvoorbereiding en basisselectie behandelen.

• LLM-prestaties:
  • Initiële succespercentages voor door LLM gegenereerde specificaties varieerden van 43% tot 47% (afhankelijk van het model, bijv. GLM-4.7 versus DeepSeek-R1).
  • Falen was voornamelijk te wijten aan syntaxisfouten (76%) en misinterpretaties van de fysica (24%).
  • Agentische lus: Door een iteratieve lus te implementeren waarbij de LLM foutfeedback ontvangt van de compiler/processor, steeg het succespercentage naar ~95% na drie pogingen.
• Code-uitvoering:
  • Gegenereerde BOSS-code compileerde zonder fouten in 100% van de door mensen geschreven gevallen.
  • Gegenereerde ROOT-scripts reproduceerden met succes figuren uit originele papers (bijv. invariantmassa-verdelingen) in casestudies, waarmee de end-to-end pijplijn werd gevalideerd.
• Efficiëntie: De abstractie verlaagde het aantal karakters van de vereiste code met gemiddeld 93%, wat de drempel voor zowel menselijke prototyping als AI-taakdefinitie aanzienlijk verlaagde.

5. Betekenis en toekomstig werk

• Paradigmaverschuiving: HepScript verschuift het automatiseringsknelpunt van "hoe een analyse uit te voeren" (coderen) naar "wat te specificeren" (intentie), waardoor een schaalbaar mens-AI-samenwerkingssysteem mogelijk wordt.
• Vertrouwen en veiligheid: De DSL fungeert als een veiligheidsvoorziening, waardoor AI-agenten binnen een geverifieerde, beperkte omgeving opereren, wat cruciaal is voor wetenschappelijke nauwkeurigheid.
• Toekomstige richtingen:
  • Zelf-evolutief mechanisme: Het ontwikkelen van een systeem waarbij de DSL-grammatica autonoom uitbreidt op basis van nieuwe domeinliteratuur en gebruikskloven.
  • Structuurbewuste retriever: Voorbijgaan aan semantische tekstgelijkenis (RAG) naar retriever gebaseerd op de formele topologie van deeltjesvervalketens om de gronding van LLM's te verbeteren.
  • Agentisch geheugen: Het creëren van een dynamische kennisbank waar succesvolle workflows worden opgeslagen als "vaardigheden" voor toekomstige agenten.

Conclusie:
Het artikel stelt vast dat een dual-use DSL een levensvatbare en krachtige strategie is voor het automatiseren van complexe wetenschappelijke workflows. Door de kloof te overbruggen tussen menselijke expertise, AI-generatie en productiesoftware, toont HepScript aan dat Hoge-Energiefysica-analyse effectief kan worden geautomatiseerd, waardoor de weg vrijkomt voor AI om een autonome onderzoekscollega te worden.