Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

Dit artikel toont aan dat fijngefineerde Vision-Language-modellen, specifiek een variant van LLaMA 3.2, traditionele convolutionele neurale netwerken en vision-only transformers overtreffen bij het classificeren van neutrino-interacties in de hoge-energiefysica door middel van multimodaal redeneren superieure nauwkeurigheid, robuustheid en interpreteerbaarheid te bereiken.

De kern

Stel je voor dat je een detective bent die een mysterie probeert op te lossen binnen een gigantische, high-tech camera. Deze camera maakt geen foto's van mensen of landschappen; hij maakt foto's van onzichtbare deeltjes die door een tank met vloeibare argon schieten. Wanneer deze deeltjes botsen met de atomen in de tank, laten ze vaag gepixelde sporen na—als voetstappen in de sneeuw.

Het doel van dit onderzoek is om een computer te leren om naar deze "sneeuwvoetstappen" te kijken en direct te zeggen: "Ah, dit is een muon (een zwaar, langsporend deeltje)" of "Dit is een elektron (een wazige, zich uitbreidende wolk)" of "Dit is gewoon achtergrondruis."

Hieronder wordt de oplossing uit het artikel uiteengezet, met behulp van eenvoudige analogieën:

1. De Oude Manier: De Gespecialiseerde Ambachtsman (CNN)

Jarenlang gebruikten fysici een specifiek type AI genaamd een Convolutional Neural Network (CNN). Denk hierbij aan een meester-ambachtsman die decennia heeft besteed aan het leren herkennen van specifieke patronen. Ze zijn zeer snel en efficiënt, maar ze weten alleen wat ze expliciet is geleerd. Als je ze een licht onscherpe foto of een vreemde hoek toont, raken ze misschien in de war. Ze zijn uitstekend in hun werk, maar ze kunnen niet uitleggen waarom ze een beslissing hebben genomen; ze geven je gewoon een "Ja" of "Nee" antwoord.

2. De Nieuwe Uitdager: De Alleen-Vision Scholar (ViT)

Toen kwamen er Vision Transformers (ViT). Stel je een geleerde voor die naar het hele plaatje kijkt in één keer, in plaats van het stukje bij stukje te scannen. Deze geleerde is beter in het verbinden van verre punten (zoals een lange, kronkelende baan over het hele beeld). Het artikel vond dat deze geleerde robuuster is dan de ambachtsman. Zelfs als de foto onscherp is of een lage resolutie heeft, kan de geleerde nog steeds uitzoeken wat er aan de hand is.

3. De Ster van de Show: Het Vision-Language Model (VLM)

Tot slot probeerden de onderzoekers iets nieuws: een Vision-Language Model (VLM), specifiek een versie van LLaMA 3.2.
Denk aan dit model niet alleen als een detective, maar als een detective die ook een natuurkundeprofessor is.

• Het ziet het beeld: Het kijkt naar de gepixelde voetstappen, net als de andere modellen.
• Het spreekt de taal: Het is getraind op enorme hoeveelheden tekst en afbeeldingen. Het begrijpt concepten zoals "muon-track", "elektronenwolk" en "neutrale stroom".

De Magische Truc:
Wanneer je het VLM vraagt om een deeltje te classificeren, spuugt het niet zomaar een label uit. Het schrijft een kort essay waarin het zijn redenering uitlegt.

• Voorbeeld: "Ik zie een lange, smalle lijn in het beeld. Op basis van mijn training betekenen lange lijnen meestal een muon. Daarom is dit een Muon-gebeurtenis."

Wat Vonden Ze?

De onderzoekers testten deze drie "detectives" op een enorme dataset van gesimuleerde deeltjesbotsingen. Hier is het oordeel:

• Nauwkeurigheid: De VLM (de Professor) en de ViT (de Geleerde) waren de winnaars. Ze waren iets nauwkeuriger en veel beter in het omgaan met onscherpe of slechte kwaliteit beelden dan de CNN (de Ambachtsman).
• De "Blinde" Test: Toen de onderzoekers probeerden de VLM te gebruiken zonder haar de specifieke regels van het spel te leren (alleen een paar voorbeelden tonen), faalde het op erbarmelijke wijze. Het raadsde voor alles hetzelfde antwoord. Dit leerde hen dat je deze grote modellen moet fine-tunen (trainen) specifiek voor natuurkunde; je kunt ze niet zomaar vragen om te "gissen" op basis van algemene kennis.
• De Afweging: De VLM is het slimst en het meest verklaarbaar, maar het is ook het langzaamst en duurst om te draaien. Het vereist veel computergeheugen en duurt seconden om één gebeurtenis te analyseren, terwijl de CNN dit in milliseconden doet.
  • Analogie: De CNN is een sprinter die de race in een flits afwerkt maar je niet kan vertellen wat de strategie was. De VLM is een marathonloper die langer doet, maar daarna een gedetailleerd boek kan schrijven over de racestrategie.

Waarom Is Dit Belangrijk?

Het artikel concludeert dat we niet hoeven te kiezen voor slechts één. We kunnen ze voor verschillende taken gebruiken:

• Gebruik de CNN wanneer je snelheid nodig hebt, zoals het filteren van data in real-time terwijl deze binnenkomt vanuit de detector.
• Gebruik de VLM voor diepgaande, offline analyse. Wanneer een natuurkundige een vreemde gebeurtenis vindt en wil weten waarom de computer deze heeft gemarkeerd, kan de VLM een voor mensen leesbare uitleg geven die de pixels verbindt met natuurkundige concepten.

Kortom: Dit artikel bewijst dat we enorme, tekst-savvy AI-modellen kunnen leren om "deeltjesfysica te zien". Hoewel ze langzamer zijn dan traditionele hulpmiddelen, bieden ze een krachtige nieuwe mogelijkheid: ze kunnen niet alleen gebeurtenissen classificeren, maar ook hun redenering uitleggen in gewoon Engels, waardoor de kloof tussen complexe data en menselijk begrip wordt overbrugd.

Technische samenvatting

Technische Samenvatting: Aanpassing van Vision-Language Modellen voor Neutrino-Event Classificatie in Hoge-Energiefysica

Probleemstelling
In de hoge-energiefysica (HEP), specifiek binnen neutrino-experimenten zoals het Deep Underground Neutrino Experiment (DUNE), is event classificatie cruciaal voor het onderscheiden van signaalinteracties (geladen stroom-evenementen van elektron- en muon-neutrino's) van achtergrond (neutrale stroom-interacties). Traditioneel berust deze taak op het reconstrueren van hoog-niveau objecten en het ontwerpen van specifieke kenmerken (bijvoorbeeld energie, ruimtelijke configuratie) om deze te voeren aan algoritmes variërend van beslissingsbomen tot ondiepe neurale netwerken. Hoewel effectief, wordt deze aanpak beperkt door reconstructiefouten en de beperkingen van vooraf gedefinieerde kenmerken. Bovendien opereren deep learning-modellen, met name Convolutional Neural Networks (CNN's), vaak als "black boxes", zonder interpreteerbaarheid over waarom een specifieke voorspelling is gedaan. Hoewel Vision Transformers (ViT's) de prestaties hebben verbeterd door langere ruimtelijke afhankelijkheden vast te leggen, missen ze nog steeds het vermogen om natuurlijke taalredenering te bieden of semantische context te integreren.

Methodologie
De auteurs stellen voor een Vision-Language Model (VLM) aan te passen, specifiek een fijn-afgestemd variant van LLaMA 3.2 Vision (11 miljard parameters), om neutrino-interacties direct te classificeren op basis van ruwe detector-pixelkaarten.

• Dataset: Het onderzoek maakt gebruik van een aangepaste simulatie van een Liquid Argon Time Projection Chamber (LArTPC) met een pixelresolutie van 5 mm. De dataset omvat 190.000 gesimuleerde evenementen ($\nu_e$ CC, $\nu_\mu$ CC en Neutrale Stroom) gegenereerd met GENIE en GEANT4. De data wordt weergegeven als paren 2D-grijswaardeafbeeldingen (XZ- en YZ-projecties) bijgesneden tot 512 $\times$ 512 pixels.
• Modelarchitectuur & Training:
  • VLM (LLaMA 3.2 Vision): Het model integreert een ViT-h/14-visionencoder met hoge resolutie met een op transformer gebaseerde taaldecoder. Om dit model met 11 miljard parameters aan te passen aan de specifieke fysica-taak zonder prohibitieve rekenkosten, maken de auteurs gebruik van QLoRA (Quantized Low-Rank Adaptation). Deze parameter-efficiënte fijnafstemming (PEFT) methode kwantiseert basisgewichten naar 4-bit precisie en traint uitsluitend low-rank adapter-matrices (29,5 miljoen trainbare parameters) over één epoch. De trainingspijplijn gebruikt een door fysica geïnformeerd systeemprompt dat de detectorgeometrie en interactiekenmerken beschrijft, gevolgd door een gebruikersprompt die classificatie vraagt.
  • Benchmarks: De VLM wordt vergeleken met twee gevestigde architecturen:
    1. Een ViT-h/14 (632 miljoen parameters), die de visuele ruggengraat van de VLM vertegenwoordigt, getraind via volledige fijnafstemming gedurende 10 epochs.
    2. Een Siamese SE-ResNet CNN (21,7 miljoen parameters), die de state-of-the-art convolutie-aanpak vertegenwoordigt die wordt gebruikt in grote neutrino-experimenten, getraind via volledige fijnafstemming gedurende 300 epochs.
• Inferentie & Verklaarbaarheid: De VLM genereert voorspellingen autoregressief. Om machine-leesbare outputs te garanderen, passen de auteurs zinsbeperkingen toe tijdens het decoderen, waardoor het model wordt gedwongen een vaste prefix uit te voeren gevolgd door het class-label. Cruciaal is dat het model in staat is natuurlijke taalverklaringen te genereren die de classificatie rechtvaardigen op basis van visuele kenmerken (bijvoorbeeld "langere en smallere muon-track" versus "wazige elektron-schouw").

Belangrijkste Resultaten

• Classificatieprestaties: De fijn-afgestemde LLaMA 3.2 Vision behaalde de hoogste nauwkeurigheid, precisie en recall (elk 0,87) met een AUC-ROC van 0,96. Deze prestatie was vergelijkbaar met de volledig fijn-afgestemde ViT-h/14 (0,86 nauwkeurigheid, 0,96 AUC) en significant superieur aan de CNN-benchmark (0,80 nauwkeurigheid, 0,94 AUC).
• Parameter-efficiëntie: De VLM behaalde deze resultaten door slechts 29,5 miljoen parameters bij te werken (via QLoRA) in één enkele epoch, terwijl de ViT 632 miljoen parameters vereiste over 10 epochs, en de CNN 21,7 miljoen parameters over 300 epochs.
• Robuustheid (Generalisatie): Onder een distributieverandering waarbij de invoerafbeeldingen werden gedownsamples naar 256 $\times$ 256 pixels (simulatie van verslechterde detectorresolutie), behielden de transformer-gebaseerde modellen (VLM en ViT) hoge prestaties (0,85 nauwkeurigheid). Daarentegen leed de CNN-benchmark aan ernstige degradatie, met een daling naar 0,43–0,49 nauwkeurigheid.
• Verklaarbaarheid: In tegenstelling tot de CNN en ViT, die uitsluitend numerieke kansen bieden, genereerde de VLM menselijk leesbare verklaringen die gebaseerd zijn op event-topologie. Een ablatiestudie toonde aan dat zelfs zonder expliciete fysica-definities in het systeemprompt, het model een hoge nauwkeurigheid behield (0,86) en plausible fysica-gerelateerde verklaringen genereerde, wat suggereert dat het model taakrelevante kenmerken internaliseerde tijdens de fijnafstemming.
• Few-Shot Beperkingen: Een few-shot in-context evaluatie met het bevroren voorgeöpleide model (zonder fijnafstemming) faalde in het onderscheiden van klassen (nauwkeurigheid ~0,37), wat aantoont dat parameteraanpassing noodzakelijk is voor dit specifieke domein.

Betekenis en Claims
Het artikel beweert dat Vision-Language Modellen een veelbelovende nieuwe richting voor HEP event classificatie vertegenwoordigen, met een unieke combinatie van sterke voorspellende prestaties, robuustheid tegen detectorvariaties en verbeterde interpreteerbaarheid.

De auteurs benadrukken dat hoewel VLM's hogere rekenkosten met zich meebrengen (12,9 GB geheugen versus 2,4 GB voor CNN; ~3,4s inferentie versus ~24ms), hun vermogen om fysica-gegronde tekstuele rechtvaardigingen te bieden een duidelijk voordeel biedt voor offline analyse, foutdiagnose en het opbouwen van vertrouwen in machine learning-gedreven wetenschappelijke workflows. De resultaten suggereren dat transformer-gebaseerde architecturen, met name wanneer aangepast via parameter-efficiënte methoden, kunnen dienen als algemene ruggengraten voor fysica event classificatie. De studie stelt dat deze aanpak de weg kan effenen voor herbruikbare "HEP foundation modellen" die generaliseren over verschillende experimenten met minimale verdere fijnafstemming, waardoor de kloof wordt overbrugd tussen ruwe nauwkeurigheid en de behoefte aan transparante, redeneringsgebaseerde voorspellingen in experimentele fysica.