Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

Dieser Artikel zeigt, dass feinabgestimmte Vision-Language-Modelle, insbesondere eine Variante von LLaMA 3.2, traditionelle Convolutional Neural Networks und vision-only-Transformer bei der Klassifizierung von Neutrino-Wechselwirkungen in der Hochenergiephysik übertreffen, indem sie durch multimodales Schlussfolgern überlegene Genauigkeit, Robustheit und Interpretierbarkeit erreichen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einer riesigen, hochtechnologischen Kamera zu lösen. Diese Kamera macht keine Fotos von Menschen oder Landschaften; sie macht Bilder von unsichtbaren Teilchen, die durch einen Tank mit flüssigem Argon rasen. Wenn diese Teilchen mit den Atomen im Tank kollidieren, hinterlassen sie schwache, pixelige Spuren – wie Fußspuren im Schnee.

Das Ziel dieser Forschung ist es, einem Computer beizubringen, diese „Schnee-Fußspuren" zu betrachten und sofort zu sagen: „Aha, das ist ein Myon (ein schweres, langspuriges Teilchen)" oder „Das ist ein Elektron (ein unscharfer, sich ausbreitender Wolkenhaufen)" oder „Das ist nur Hintergrundrauschen."

Hier ist, wie das Papier die Lösung unter Verwendung einfacher Analogien aufschlüsselt:

1. Der alte Weg: Der spezialisierte Handwerker (CNN)

Seit Jahren nutzen Physiker eine bestimmte Art von KI namens Convolutional Neural Network (CNN). Stellen Sie sich dies wie einen Meisterhandwerker vor, der Jahrzehnte damit verbracht hat, spezifische Muster zu erkennen. Sie sind sehr schnell und effizient, aber sie wissen nur das, was ihnen explizit beigebracht wurde. Wenn Sie ihnen ein leicht unscharfes Foto oder einen seltsamen Winkel zeigen, könnten sie verwirrt sein. Sie sind großartig in ihrer Arbeit, können aber nicht erklären, warum sie eine Entscheidung getroffen haben; sie geben Ihnen einfach eine „Ja"- oder „Nein"-Antwort.

2. Der neue Herausforderer: Der visionäre Gelehrte (ViT)

Dann kamen Vision Transformers (ViT). Stellen Sie sich einen Gelehrten vor, der das gesamte Bild auf einmal betrachtet, anstatt es Stück für Stück zu scannen. Dieser Gelehrte ist besser darin, entfernte Punkte zu verbinden (wie eine lange, gewundene Spur über das gesamte Bild). Das Papier fand heraus, dass dieser Gelehrte robuster ist als der Handwerker. Selbst wenn das Foto unscharf oder niedrig aufgelöst ist, kann der Gelehrte immer noch herausfinden, was vor sich geht.

3. Der Star der Show: Das Vision-Language-Modell (VLM)

Schließlich versuchten die Forscher etwas Neues: ein Vision-Language-Modell (VLM), speziell eine Version von LLaMA 3.2.
Stellen Sie sich dieses Modell nicht nur als Detektiv vor, sondern als Detektiv, der auch ein Physikprofessor ist.

• Es sieht das Bild: Es betrachtet die pixeligen Fußspuren genau wie die anderen Modelle.
• Es spricht die Sprache: Es wurde auf massive Mengen an Text und Bildern trainiert. Es versteht Konzepte wie „Myon-Spur", „Elektronen-Schauer" und „neutrale Ströme".

Der magische Trick:
Wenn Sie das VLM bitten, ein Teilchen zu klassifizieren, spuckt es nicht nur ein Label aus. Es schreibt einen kurzen Aufsatz, der seine Argumentation erklärt.

• Beispiel: „Ich sehe eine lange, schmale Linie im Bild. Basierend auf meinem Training bedeuten lange Linien normalerweise ein Myon. Daher handelt es sich um ein Myon-Ereignis."

Was haben sie herausgefunden?

Die Forscher testeten diese drei „Detektiven" an einem massiven Datensatz simulierter Teilchenkollisionen. Hier ist das Urteil:

• Genauigkeit: Das VLM (der Professor) und das ViT (der Gelehrte) waren die Gewinner. Sie waren etwas genauer und viel besser darin, unscharfe oder qualitativ minderwertige Bilder zu verarbeiten als das CNN (der Handwerker).
• Der „Blind"-Test: Als die Forscher versuchten, das VLM zu verwenden, ohne ihm die spezifischen Regeln des Spiels beizubringen (nur indem sie ihm ein paar Beispiele zeigten), scheiterte es kläglich. Es riet für alles die gleiche Antwort. Dies lehrte sie, dass Sie diese großen Modelle müssen spezifisch für die Physik feinabstimmen (trainieren); Sie können sie nicht einfach bitten, basierend auf allgemeinem Wissen zu „raten".
• Der Kompromiss: Das VLM ist das intelligenteste und am besten erklärbare, aber es ist auch das langsamste und teuerste auszuführen. Es benötigt viel Arbeitsspeicher und dauert Sekunden, um ein Ereignis zu analysieren, während das CNN dies in Millisekunden tut.
  • Analogie: Das CNN ist ein Sprinter, der das Rennen im Handumdrehen beendet, aber Ihnen die Strategie nicht erklären kann. Das VLM ist ein Marathonläufer, der länger braucht, aber danach ein detailliertes Buch über die Rennstrategie schreiben kann.

Warum ist das wichtig?

Das Papier kommt zu dem Schluss, dass wir nicht nur eine auswählen müssen. Wir können sie für verschiedene Aufgaben verwenden:

• Verwenden Sie das CNN, wenn Sie Geschwindigkeit benötigen, wie zum Beispiel beim Filtern von Daten in Echtzeit, wie sie vom Detektor hereinkommen.
• Verwenden Sie das VLM für tiefgehende, Offline-Analysen. Wenn ein Physiker ein seltsames Ereignis findet und wissen möchte, warum der Computer es markiert hat, kann das VLM eine für Menschen lesbare Erklärung liefern, die die Pixel mit physikalischen Konzepten verbindet.

Kurz gesagt: Dieses Papier beweist, dass wir riesigen, textversierten KI-Modellen beibringen können, Teilchenphysik zu „sehen". Obwohl sie langsamer sind als traditionelle Werkzeuge, bieten sie eine neue, leistungsfähige Fähigkeit: Sie können Ereignisse nicht nur klassifizieren, sondern auch ihre Argumentation in einfachem Englisch erklären und so die Lücke zwischen komplexen Daten und menschlichem Verständnis schließen.

Technische Zusammenfassung

Technische Zusammenfassung: Anpassung von Vision-Language-Modellen für die Klassifizierung von Neutrino-Ereignissen in der Hochenergiephysik

Problemstellung
In der Hochenergiephysik (HEP), insbesondere innerhalb von Neutrino-Experimenten wie dem Deep Underground Neutrino Experiment (DUNE), ist die Ereignisklassifizierung entscheidend, um Signalkwechselwirkungen (geladene Strom-Ereignisse von Elektron- und Myon-Neutrinos) vom Untergrund (neutrale Strom-Wechselwirkungen) zu unterscheiden. Traditionell stützt sich diese Aufgabe auf die Rekonstruktion hochrangiger Objekte und die Entwicklung spezifischer Merkmale (z. B. Energie, räumliche Konfiguration), die in Algorithmen von Entscheidungsbäumen bis hin zu flachen neuronalen Netzen eingespeist werden. Obwohl dieser Ansatz effektiv ist, wird er durch Rekonstruktionsfehler und die Einschränkungen vordefinierter Merkmale begrenzt. Darüber hinaus arbeiten Deep-Learning-Modelle, insbesondere Convolutional Neural Networks (CNNs), oft als „Blackboxen" und bieten keine Interpretierbarkeit darüber, warum eine bestimmte Vorhersage getroffen wurde. Obwohl Vision Transformers (ViTs) die Leistung durch die Erfassung räumlicher Langzeitabhängigkeiten verbessert haben, fehlt ihnen weiterhin die Fähigkeit, natürliche Sprachbegründungen zu liefern oder semantischen Kontext zu integrieren.

Methodik
Die Autoren schlagen vor, ein Vision-Language-Modell (VLM), speziell eine feinabgestimmte Variante von LLaMA 3.2 Vision (11 Milliarden Parameter), anzupassen, um Neutrino-Wechselwirkungen direkt aus rohen Detektor-Pixelkarten zu klassifizieren.

• Datensatz: Die Studie nutzt eine benutzerdefinierte Simulation einer Flüssig-Argon-Zeitprojektionskammer (LArTPC) mit einer Pixelauflösung von 5 mm. Der Datensatz umfasst 190.000 simulierte Ereignisse ($\nu_e$ CC, $\nu_\mu$ CC und Neutral Current), die mit GENIE und GEANT4 generiert wurden. Die Daten werden als Paare von 2D-Grayscale-Bildern (XZ- und YZ-Projektionen) dargestellt, die auf 512 $\times$ 512 Pixel zugeschnitten sind.
• Modellarchitektur & Training:
  • VLM (LLaMA 3.2 Vision): Das Modell integriert einen hochauflösenden ViT-h/14-Vision-Encoder mit einem transformerbasierten Sprachdecoder. Um dieses 11-Milliarden-Parameter-Modell ohne prohibitiv hohe Rechenkosten an die spezifische physikalische Aufgabe anzupassen, setzen die Autoren QLoRA (Quantized Low-Rank Adaptation) ein. Diese parameter-effiziente Feinabstimmung (PEFT) quantisiert die Basisgewichte auf 4-Bit-Präzision und trainiert nur Low-Rank-Adapter-Matrizen (29,5 Millionen trainierbare Parameter) über ein einziges Epoch. Die Trainingspipeline verwendet einen physikinformierten Systemprompt, der die Detektorgeometrie und Wechselwirkungscharakteristika beschreibt, gefolgt von einem User-Prompt, der eine Klassifizierung anfordert.
  • Benchmarks: Das VLM wird gegen zwei etablierte Architekturen verglichen:
    1. Ein ViT-h/14 (632 Millionen Parameter), der den Vision-Backbone des VLM darstellt und durch vollständige Feinabstimmung über 10 Epochen trainiert wurde.
    2. Ein Siamese SE-ResNet CNN (21,7 Millionen Parameter), der den state-of-the-art-convolutionalen Ansatz repräsentiert, der in großen Neutrino-Experimenten verwendet wird, und durch vollständige Feinabstimmung über 300 Epochen trainiert wurde.
• Inferenz & Erklärbarkeit: Das VLM generiert Vorhersagen autoregressiv. Um maschinenlesbare Ausgaben zu gewährleisten, wenden die Autoren phrasale Einschränkungen während des Decodierens an und zwingen das Modell, einen festen Präfix gefolgt vom Klassenlabel auszugeben. Entscheidend ist, dass das Modell in der Lage ist, natürliche Sprachbegründungen zu generieren, die seine Klassifizierung basierend auf visuellen Merkmalen rechtfertigen (z. B. „längerer und schmalerer Myon-Spur" vs. „unscharfe Elektronen-Schauere").

Hauptergebnisse

• Klassifizierungsleistung: Das feinabgestimmte LLaMA 3.2 Vision erreichte die höchste Genauigkeit, Präzision und Recall (jeweils 0,87) mit einer AUC-ROC von 0,96. Diese Leistung war vergleichbar mit der des vollständig feinabgestimmten ViT-h/14 (0,86 Genauigkeit, 0,96 AUC) und deutlich überlegen gegenüber dem CNN-Benchmark (0,80 Genauigkeit, 0,94 AUC).
• Parameter-Effizienz: Das VLM erreichte diese Ergebnisse durch die Aktualisierung von nur 29,5 Millionen Parametern (via QLoRA) in einem einzigen Epoch, wohingegen das ViT 632 Millionen Parameter über 10 Epochen benötigte und das CNN 21,7 Millionen Parameter über 300 Epochen.
• Robustheit (Generalisierung): Unter einer Verteilungsverschiebung, bei der die Eingabebilder auf 256 $\times$ 256 Pixel heruntergesampelt wurden (Simulation einer verschlechterten Detektorauflösung), behielten die transformerbasierten Modelle (VLM und ViT) eine hohe Leistung bei (0,85 Genauigkeit). Im Gegensatz dazu litt der CNN-Benchmark unter einer schweren Verschlechterung und fiel auf 0,43–0,49 Genauigkeit.
• Erklärbarkeit: Im Gegensatz zum CNN und ViT, die nur numerische Wahrscheinlichkeiten liefern, generierte das VLM für den Menschen lesbare Erklärungen, die auf der Ereignstopologie basieren. Eine Ablationsstudie zeigte, dass das Modell auch ohne explizite physikalische Definitionen im Systemprompt eine hohe Genauigkeit (0,86) beibehielt und plausible physikbezogene Erklärungen generierte, was darauf hindeutet, dass es während der Feinabstimmung aufgabenrelevante Merkmale internalisiert hat.
• Few-Shot-Beschränkungen: Eine Few-Shot-In-Context-Evaluation mit dem eingefrorenen vortrainierten Modell (ohne Feinabstimmung) scheiterte daran, zwischen den Klassen zu unterscheiden (Genauigkeit ~0,37), was zeigt, dass eine Parameteranpassung für diese spezifische Domäne notwendig ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Vision-Language-Modelle eine vielversprechende neue Richtung für die HEP-Ereignisklassifizierung darstellen und eine einzigartige Kombination aus starker prädiktiver Leistung, Robustheit gegenüber Detektorvariationen und verbesserter Interpretierbarkeit bieten.

Die Autoren heben hervor, dass VLMs zwar höhere Rechenkosten verursachen (12,9 GB Speicher vs. 2,4 GB für CNN; ~3,4 s Inferenz vs. ~24 ms), ihre Fähigkeit, physikfundierte textliche Begründungen zu liefern, jedoch einen deutlichen Vorteil für die Offline-Analyse, die Fehlerdiagnose und den Aufbau von Vertrauen in maschinell lerngetriebene wissenschaftliche Workflows bietet. Die Ergebnisse deuten darauf hin, dass transformerbasierte Architekturen, insbesondere wenn sie über parameter-effiziente Methoden angepasst werden, als allgemeine Backbones für die physikalische Ereignisklassifizierung dienen können. Die Studie geht davon aus, dass dieser Ansatz den Weg für wiederverwendbare „HEP-Foundation-Modelle" ebnen könnte, die sich über verschiedene Experimente hinweg mit minimalem weiterer Feinabstimmung generalisieren lassen und so die Lücke zwischen roher Genauigkeit und dem Bedarf an transparenten, auf Schlussfolgerungen basierenden Vorhersagen in der experimentellen Physik schließen.