⚛️ phenomenology

CoLLM: AI engineering toolbox for end-to-end deep learning in collider analyses

CoLLM ist ein KI-Engineering-Toolbox, das vortrainierte große Sprachmodelle und eine grafische Benutzeroberfläche nutzt, um die Generierung von physikalisch konsistentem Event-Selektionscode und Deep-Learning-Analysen zu automatisieren und dadurch die Programmier- und technischen Barrieren für End-to-End-Collider-Analysen zu senken.

Ursprüngliche Autoren: W. Esmail, A. Hammad, M. Nojiri

Veröffentlicht 2026-02-09

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: W. Esmail, A. Hammad, M. Nojiri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch (ein Teilchenphysiker), der eine brillante Idee für ein neues Gericht hat (ein wissenschaftliches Experiment am Large Hadron Collider). Sie wissen genau, welche Aromen Sie wollen und wie die Zutaten miteinander interagieren sollten. Doch um dieses Gericht tatsächlich zu kochen, müssen Sie stundenlang ein komplexes, zeilenweises Rezept in einer Sprache schreiben, die nur ein Computer versteht (Python-Code). Wenn Sie auch nur einen einzigen Tippfehler machen – etwa Salz mit Zucker verwechseln – ist das ganze Gericht ruiniert, und Sie bemerken es vielleicht erst, wenn Sie das fertige Ergebnis probieren.

CoLLM ist wie ein superintelligenter, spezialisierter Sous-Chef, der sowohl „Chef-Sprache“ (Physik) als auch „Computer-Sprache“ (Code) fließend beherrscht. Es nimmt Ihre Idee in einfachem Englisch entgegen und schreibt sofort das perfekte, fehlerfreie Rezept für Sie, kocht das Gericht dann sogar selbst und serviert es Ihnen auf.

So funktioniert CoLLM, unterteilt in einfache Schritte:

1. Der „Vibe Engineering“ Küchenassistent

Normalerweise, wenn Menschen KI nutzen, um Code zu schreiben, fragen sie einfach nach einem Rezept und hoffen das Beste. Das nennt man „Vibe Coding“. Aber in der Wissenschaft kann eine falsche Zutat jahrelange Arbeit ruinieren. CoLLM nutzt einen strengeren Ansatz namens „Vibe Engineering.“

Der Prompt (Das Regelwerk): Bevor die KI eine einzige Zeile Code schreibt, erhält sie ein massives, detailliertes „Regelwerk“ (einen System-Prompt). Dieses Regelwerk enthält alle Gesetze der Physik, die spezifische Art und Weise, wie Teilchendaten gespeichert werden, und die goldenen Regeln des Kochens in einem Collider-Labor. Es sagt der KI: „Verwechsle niemals diese Zahlen“ und „Miss diese Zutat immer auf diese Weise“.
Die Übersetzung: Sie geben Ihr Experiment in einfachem Englisch ein: „Ich möchte Teilchen finden, die so aussehen, ignoriere jene, die so aussehen, und messe die Energie der Überreste.“ Die KI übersetzt dies, geleitet durch das Regelwerk, in ein perfektes Python-Skript.

2. Der selbstkorrigierende Geschmackstest

Selbst die besten Köche machen Fehler. Wenn die KI eine Zeile Code schreibt, die den Computer zum Absturz bringt (wie etwa beim Versuch, einen Stein statt einer Zwiebel zu hacken), gibt CoLLM nicht einfach auf.

Die Schleife: Es führt den Code aus. Wenn er abstürzt, liest die KI die Fehlermeldung, erkennt: „Oh, ich habe ein Komma vergessen“, und korrigiert nur diesen spezifischen Teil. Sie versucht es erneut. Es macht dies so lange, bis der Code perfekt läuft. Es ist wie ein Roboter, der immer wieder in die Suppe probiert und eine Prise Salz hinzufügt, bis sie genau richtig ist, ohne dass Sie selbst einen Löffel heben müssen.

3. Das automatische Verkostungspanel (Deep Learning)

Sobeder das Rezept geschrieben und die Zutaten vorbereitet sind, besteht der nächste Schritt normalerweise darin, einen Computer darauf zu trainieren, den „Geschmack“ des Signals (die interessanten Teilchen) gegenüber dem Hintergrundrauschen (den langweiligen Dingen) zu erkennen.

Die magische Box: CoLLM hört hier nicht beim Schreiben des Rezepts auf. Es nimmt automatisch die vorbereiteten Daten und füttert sie in drei verschiedene Arten von „Verkostungsmaschinen“ (Deep Learning Modellen):
- MLP: Ein einfacher, schneller Verkoster für Standarddaten.
- GNN: Ein smarter Verkoster, der versteht, wie Teilchen miteinander verbunden sind, wie ein soziales Netzwerk von Zutaten.
- Transformer: Ein Super-Verkoster, der das gesamte Bild auf einmal betrachtet und Fernbeziehungen zwischen Teilchen versteht.
Das Ergebnis: Es trainiert diese Modelle, prüft, wie gut sie funktionieren, und erstellt Ihnen ein Zeugnis mit Grafiken, die genau zeigen, wie gut das Modell darin ist, die „Nadel im Heuhaufen“ zu finden.

4. Die Benutzeroberfläche: Zwei Wege zur Bestellung

CoLLM ist so konzipiert, dass es für jeden freundlich ist, egal ob Sie ein Technik-Wizard sind oder einfach nur Dinge erledigen wollen.

Das Terminal (TUI): Für die Profis, die gerne Befehle tippen und Skripte im Hintergrund laufen lassen.
Die grafische Oberfläche (GUI): Eine farbenfrohe, anklickbare Website, auf der Sie Ihre Idee eingeben, einen Knopf drücken und der KI beim Arbeiten zusehen können, während sie Ihnen die Grafiken zeichnet.

Warum ist das eine große Sache?

In der Vergangenheit musste ein Physiker gleichzeitig ein Meister-Programmierer, ein Data Scientist und ein Teilchenexperte sein. Wenn man zwar großartig in Physik, aber schlecht im Programmieren war, saß man fest.

CoLLM fungiert als universeller Übersetzer. Es senkt die Eintrittsbarriere und ermöglicht es Wissenschaftlern, sich auf die Physik (das „Was“ und „Warum“) zu konzentrieren, anstatt auf das Programmieren (das „Wie“). Es stellt sicher, dass der Code nicht nur geschrieben, sondern auch physikalisch korrekt, reproduzierbar (man erhält jedes Mal das gleiche Ergebnis) und automatisch validiert ist.

Kurz gesagt: CoLLM ist ein Werkzeug, das es Ihnen ermöglicht, ein komplexes Teilchenphysik-Experiment in einfachem Englisch zu beschreiben, und es automatisch den Code schreibt, seine eigenen Fehler korrigiert und eine smarte KI trainiert, um die Antwort zu finden – und das alles, ohne dass Sie ein Programmier-Experte sein müssen.

Technisches Resümee: CoLLM – Ein AI-Engineering-Werkzeugkasten für End-to-End Deep Learning in Collider-Analysen

1. Problemstellung

Moderne Collider-Analysen am Large Hadron Collider (LHC) stehen vor einer dualen Herausforderung: steigende Datenvolumina und eskalierende analytische Komplexität. Eine typische Analyse erfordert die Übersetzung hochrangiger physikalischer Konzepte (z. B. Objektrekonstruktion, Ereignisauswahl, Berechnung kinematischer Observablen) in ausführbaren Code, gefolgt von der Implementierung von Deep-Learning-Pipelines zur Signal-Hintergrund-Klassifizierung. Dieser Übersetzungsprozess ist zeitaufwendig, anfällig für Transkriptionsfehler (wie falsche Identifikationscodes für Teilchen oder inkonsistente kinematische Schnitte) und erfordert Fachwissen sowohl in der Teilchenphysik als auch im Software-Engineering.

Obwohl Large Language Models (LLMs) vielversprechende Ansätze zur Beschleunigung wissenschaftlicher Arbeitsabläufe gezeigt haben, ist ihre direkte Anwendung auf vollständige Collider-Analyse-Pipelines begrenzt. Generische LLMs verfügen nicht über eingebettetes Wissen über Hochenergiephysik-Konventionen (HEP), können den von ihnen generierten Code nicht nativ ausführen oder validieren, und erzeugen nicht-deterministische Ausgaben, die die Reproduzierbarkeit gefährden. Darüber hinaus ist der „Vibe Coding“-Ansatz (das Vertrauen auf KI-generierten Code ohne rigorose Überprüfung) in der Physik, in der Korrektheit oberstes Gebot ist, riskant.

2. Methodik: Das CoLLM-Framework

CoLLM ist ein Open-Source-Python-Framework, das darauf ausgelegt ist, die Lücke zwischen natürlichen Sprachspezifikationen und trainierten Deep-Learning-Klassifikatoren zu schließen. Es arbeitet als End-to-End-Pipeline, bestehend aus zwei eng integrierten Komponenten:

2.1 LLM-basiertes Code-Generierungs-Engine

Die erste Stufe übersetzt Spezifikationen in natürlicher Sprache in validierten Python-Code für die Ereignis-Vorselektion und Merkmalsextraktion.

Strukturierte Eingabe: Benutzereingaben werden in drei semantische Abschnitte unterteilt: Selection Cuts (Objekt-Multiplizitäten, kinematische Einschränkungen), Validation Plots (diagnostische Verteilungen) und Output Structure (Observablen für Deep Learning).
Physik-bewusster System-Prompt: Um den Mangel an Domänenwissen bei generischen Modellen abzumildern, verwendet CoLLM einen umfassenden System-Prompt. Dieser Prompt kodiert:
- Die LHCO (LHC Olympics) Datenformat-Spezifikationen.
- Standard-Teilchenidentifikationscodes (z. B. Typ 6 für MET).
- Kinematische Formeln (z. B. invariante Masse, Transversalmasse) mit expliziten Warnungen gegen häufige LLM-Fehler (z. B. Summation vs. Subtraktion von 4-Impulsen).
- Referenz-Hilfsfunktionen zum Parsen und zur Objektauswahl.
Deterministische Dekodierung: Um die Reproduzierbarkeit zu gewährleisten, verwendet das primäre Generierungsmodell eine Temperatur von $T=0$ mit Greedy-Decoding, wodurch die Ausgabe eine deterministische Funktion des Eingabe-Prompts wird.
Automatische Fehlerkorrektur (PyFixer): Ein sekundäres LLM, das im explorativen Modus ( $T=0.9$ ) arbeitet, repariert iterativ Ausführungsfehler. Es analysiert Tracebacks und modifiziert nur die fehlerhaften Code-Segmente, anstatt das gesamte Skript neu zu generieren, wodurch die validierte Logik erhalten bleibt.

2.2 Automatisierte Deep-Learning-Pipeline

Die zweite Stufe nutzt die durch den generierten Code extrahierten Merkmale, um Signal-Hintergrund-Klassifikatoren zu trainieren. Das Framework unterstützt drei Architekturen, die über YAML oder eine grafische Benutzeroberfläche (GUI) konfigurierbar sind:

Multi-Layer Perceptrons (MLPs): Für fest definierte, hochdimensionale kinematische Merkmalsvektoren.
Graph Neural Networks (GNNs): Für Teilchenmengen mit variabler Multiplizität (z. B. Jets, Tracks), wobei Teilchen als Knoten und Relationen als Kanten behandelt werden. Unterstützt Graph Convolutional Networks (GCNs), Dynamic Edge Convolution (EdgeConv) und Graph Attention Networks (GATs).
Transformer-Netzwerke: Für Teilchenwolken-Repräsentationen mittels Self-Attention-Mechanismen, um Fernabhängigkeiten ohne feste Topologie zu modellieren.

Die Pipeline automatisiert das Laden der Daten, die Normalisierung, die Konstruktion des Modells, das Training (mit Callbacks für Early Stopping, Learning Rate Scheduling und Mixed Precision) sowie die Evaluierung mittels Standard-HEP-Metriken (z. B. AUC).

2.3 Benutzerschnittstellen

CoLLM bietet zwei Schnittstellen:

Terminal User Interface (TUI): Verwendet YAML-Konfigurationsdateien für Batch-Verarbeitung und reproduzierbare Arbeitsabläufe.
Graphical User Interface (GUI): Eine auf Streamlit basierende Web-Oberfläche für interaktive Konfiguration, Echtzeit-Monitoring und visuelle Fehlersuche.

3. Kernbeiträge

End-to-End-Automatisierung: CoLLM bietet einen einheitlichen Workflow von natürlichen Sprachspezifikationen der Physik bis hin zu trainierten Deep-Learning-Klassifikatoren und reduziert so den manuellen Programmieraufwand.
Physik-bewusste Generierung: Im Gegensatz zu generischen Codegeneratoren bettet CoLLM HEP-Konventionen direkt in den Generierungskontext via spezialisiertem System-Prompt ein, was die physikalische Konsistenz bei kinematischen Berechnungen und der Objekthandhabung sicherstellt.
Deterministische Reproduzierbarkeit: Durch die Erzwingung von $T=0$ Decoding für den primären Generator und die Nutzung eines strukturierten Fehlerkorrektur-Loops adressiert CoLLM die Nicht-Deterministik, die Standard-LLM-Anwendungen eigen ist.
Modulare Deep-Learning-Integration: Das Framework integriert nahtlos drei verschiedene Familien neuronaler Netze (MLP, GNN, Transformer), die auf unterschiedliche Collider-Ereignis-Repräsentationen zugeschnitten sind.
Validierung und Benchmarking: Die Autoren liefern eine systematische Validierungsstudie unter Verwendung von fünf Benchmark-Prozessen ( $pp \to W^+W^-$ , $t\bar{t}$ , $H \to \gamma\gamma$ , $WZ$, $Hjj$), um die Fähigkeit des Frameworks zur Generierung korrekter Selektionslogik und diagnostischer Plots zu demonstrieren.

4. Ergebnisse

Das Paper validiert CoLLM unter Verwendung des Modells meta-llama/Llama-3.3-70B-Instruct anhand von fünf Benchmark-Analysen.

Code-Korrektheit: Das Framework generierte erfolgreich ausführbare Python-Skripte für komplexe semi-leptonische Top-Quark-Paarproduktion und andere Prozesse, wobei LHCO-Dateien korrekt geparst, Selektionsschnitte angewendet und kinematische Variablen berechnet wurden.
Reproduzierbarkeit: Bei wiederholten Durchläufen mit identischen Eingaben lieferte das Framework konsistente Cutflow-Ergebnisse. Geringfügige Abweichungen wurden auf Mehrdeutigkeiten im Benutzer-Prompt zurückgeführt (z. B. die Definition von „leading jets“) und nicht auf die Stochastik des Modells, was die Bedeutung präziser Benutzerspezifikationen unterstreicht.
Physikalische Validierung: Generierte Histogramme (z. B. dijet invariante Masse, Transversalmasse) zeigten erwartete physikalische Merkmale, wie etwa Peaks nahe der $W$ -Boson- und Top-Quark-Massen sowie Jacobian Edges für $W \to \ell\nu$ Zerfälle.
Fehlerkorrektur: Das PyFixer-Modul löste die Mehrheit der Ausführungsfehler innerhalb von ein bis zwei Verfeiterungs-Iterationen, was die Effektivität des iterativen Reparaturmechanismus belegt.

5. Bedeutung und Ansprüche

Die Autoren positionieren CoLLM nicht als Ersatz für physikalisches Expertenwissen, sondern als Werkzeug für „Vibe Engineering“ – einen disziplinierten Ansatz, bei dem LLMs bei der Codegenerierung unterstützen, während das Framework strikte Validierungen und physikalische Randbedingungen erzwingt.

Senkung der Barriere: CoLLM zielt darauf ab, die technische Komplexität von Collider-Analysen zu vereinfachen und anspruchsvolle Ereignisselektionen und Deep-Learning-Methoden auch Physikern zugänglich zu machen, die möglicherweise über weniger umfangreiche Programmiererfahrung verfügen.
Zuverlässigkeit vor Geschwindigkeit: Das Paper betont, dass generische LLMs zwar für Hilfsaufgaben nützlich sind, aber aufgrund mangelnden Domänenwissens und fehlender Reproduzierbarkeit nicht die strengen Anforderungen der Collider-Physik erfüllen. CoLLM begegnet dem durch die Integration domänenspezifischer Prompts und automatisierter Validierungsschleifen.
Aktuelle Limitationen: Die Autoren räumen aktuelle Einschränkungen bescheiden ein:
- Die Codegenerierung beschränkt sich derzeit auf das LHCO-Textformat und unterstützt noch nicht das in experimentellen Analysen weit verbreitete ROOT-Datenformat.
- Mehrdeutigkeiten in natürlichen Spracheingaben können immer noch zu Variationen im generierten Code führen, was präzise Spezifikationen seitens der Nutzer erfordert.
- Das Framework ist auf die Verfügbarkeit spezifischer LLMs und Rechenressourcen (GPUs) für lokale Inferenz angewiesen, unterstützt jedoch Cloud-API-Alternativen.

Zusammenfassend stellt CoLLM einen bedeutenden Schritt zur Automatisierung der technischen Durchführung von Collider-Analysen dar und stellt sicher, dass der resultierende Code nicht nur syntaktisch korrekt, sondern auch physikalisch konsistent und reproduzierbar ist.