Towards foundation-style models for energy-frontier heterogeneous neutrino detectors via self-supervised pre-training

Dit artikel introduceert een zelftoezicht-gebaseerde, sparse ViT-framework voor heterogene neutrinedetectoren die door middel van pre-training herbruikbare representaties leert, waardoor de prestaties bij complexe reconstructietaken aanzienlijk verbeteren en de data-efficiëntie wordt vergroot.

De kern

Stel je voor dat je een enorme, drukke stad probeert te begrijpen, maar je kijkt er niet naar vanuit een helikopter, maar door een heel klein gaatje in een muur. En niet alleen dat: het is alsof er duizenden mensen tegelijk door dat gaatje rennen, schreeuwen en elkaar duwen. Je kunt niemand duidelijk zien, alles is een wirwar van beweging en geluid.

Dit is precies wat er gebeurt in deeltjesfysica op de "energiegrens" (zoals bij het CERN). Deeltjesbotsingen worden zo krachtig en dicht op elkaar dat ze een ondoordringbare massa vormen. De traditionele manieren om deze data te analyseren (alsof je één voor één de mensen in de stad telt) werken niet meer. Zelfs slimme computerprogramma's die we van tevoren hebben getraind, raken de weg kwijt omdat ze niet genoeg voorbeelden hebben om te leren.

De auteurs van dit paper hebben een nieuwe oplossing bedacht, die we kunnen vergelijken met het leren van een super-geheugen voor een computer.

De Analogie: De "Gedempte" Stad

Stel je voor dat je een kind wilt leren hoe een stad eruitziet.

1. De oude manier (Scratch): Je neemt het kind mee naar de stad en zegt: "Kijk, dat is een bus, dat is een huis." Je moet alles uitleggen. Als je maar weinig kinderen hebt (weinig gelabelde data), leert het kind weinig.
2. De nieuwe manier (Zelftoezicht/Pre-training): Je doet de ogen van het kind dicht en laat hem naar een foto van de stad kijken, maar je verwijdert 75% van de foto. Je zegt: "Vul maar in wat er ontbreekt."
   • Het kind moet nu gissen: "Als ik hier een dak zie, moet er hieronder wel een muur zijn."
   • Het kind leert de structuur van de stad, niet alleen de namen van de gebouwen. Het leert hoe dingen met elkaar verbonden zijn.

Dit is wat de auteurs hebben gedaan met hun AI-model. Ze hebben een model getraind om "ontbrekende stukjes" van de deeltjesbotsingen in te vullen. Ze noemen dit Masked Autoencoding.

De Extra Slimheid: Relaties begrijpen

Maar het invullen van gaten is nog niet genoeg. In een dichte menigte is het ook belangrijk om te weten: "Is die persoon een agent of een dief?" of "Is die auto een bus of een vrachtwagen?"

Daarom hebben de auteurs een tweede stap toegevoegd. Naast het invullen van gaten, vragen ze het model ook om te raden:

• Welke deeltjes zijn "spookdeeltjes" (foutieve signalen)?
• Wat is de hiërarchie (wat kwam eerst, wat kwam daarna)?
• Wat voor soort deeltje is dit precies?

Dit noemen ze relationele doelen. Het is alsof je het kind niet alleen laat invullen wat er ontbreekt, maar ook laat zeggen: "Die persoon hier is een postbode, en die daar is een brandweerman, en ze lopen samen."

Wat leverde dit op?

Toen ze dit "voorgeleerde" model (de "foundation model") gebruikten voor echte taken, gebeurden er wonderen:

1. Minder data nodig: Het model had slechts ongeveer 1.000 gelabelde voorbeelden nodig om net zo goed te presteren als een model dat 10.000 voorbeelden nodig had. Het is alsof je met één boekje van 100 pagina's net zo goed leert als iemand die 10 boeken moet lezen.
2. Beter in moeilijke situaties: Waar andere modellen in de war raakten bij de allerdichtste, meest chaotische botsingen, bleef dit model rustig en nauwkeurig. Het kon zelfs het type deeltje (bijvoorbeeld een "tau-neutrino") en de snelheid veel beter voorspellen.
3. Overdraagbaar: Het meest verrassende? Het model dat ze trainden op de ene detector (FASERCal), werkte ook uitstekend op een hele andere detector (een heel ander type instrument). Het had de fundamentele "taal" van deeltjesfysica geleerd, die overal geldt.

Waarom is dit belangrijk?

Vroeger dachten wetenschappers: "We moeten voor elke nieuwe detector een nieuw model bouwen en alles vanaf nul leren." Dit is duur, tijdrovend en vereist enorme hoeveelheden data.

Dit paper laat zien dat we een algemeen "deeltjes-geheugen" kunnen bouwen. Een model dat eerst leert hoe deeltjes zich gedragen in het algemeen (door gaten in te vullen en relaties te zien), en dat we daarna met heel weinig moeite kunnen aanpassen aan specifieke taken.

Kortom: In plaats van elke keer een nieuwe taal te leren, hebben de auteurs een model getraind dat de "grammatica" van het universum begrijpt. Hierdoor kunnen wetenschappers nu sneller en beter kijken naar de meest extreme en complexe gebeurtenissen in het heelal, zelfs als ze niet genoeg voorbeelden hebben om alles van tevoren uit te leggen. Het is een enorme stap richting een toekomst waarin AI de sleutel is tot het ontrafelen van de diepste geheimen van de natuurkunde.

Technische samenvatting

Probleemstelling

Deeltjesfysica met versnellers betreedt een nieuw "energiefrontier"-regime, waarbij neutrino-interacties de TeV-schaal bereiken (bijvoorbeeld bij het LHC). In dit regime ontstaan uitzonderlijk dichte, overlappende en complexe detector-signaturen.

• Uitdaging: Traditionele reconstructiemethoden zijn hierin onpraktisch, en zelfs toezicht-gebaseerde machine learning-modellen (die vanaf nul worden getraind) worstelen, vooral omdat gelabelde data schaars is en de analyse diverse doelen moet bedienen.
• Specifiek geval: Het artikel focust op het FASERCal-concept (een upgrade voor het FASER-experiment bij CERN). Dit bestaat uit een zeer granulaire 3D-calorimeter (3DCal) met meer dan 460.000 uitlees-voxels, gevolgd door elektromagnetische en hadronische calorimeters en een muon-spectrometer. De data is heterogeen, spaarzaam (sparse) en bevat dichte shower-kernen en gedeeltelijke opsluiting, wat de interpretatie van gebeurtenissen extreem moeilijk maakt.

Methodologie

De auteurs presenteren een spaarzaam Vision Transformer (ViT)-achtig framework dat is ontworpen voor heterogene detectordata. De aanpak bestaat uit twee hoofdfasen:

1. Zelftoezicht-voortraining (Self-Supervised Pre-training):

   • Architectuur: Een hiërarchische encoder die spaarzaam 3D-convolutie gebruikt om voxel-gitters om te zetten in tokens. Deze tokens worden verwerkt via module-specifieke self-attention blokken en vervolgens gefuseerd via een Perceiver-IO-bottleneck. Dit integreert de verschillende datastromen (3DCal, AHCAL, ECAL, muon-spectrometer) in een gemeenschappelijke latent space.
   • Doelstellingen: De voortraining combineert twee taken:
     • Masked Autoencoder (MAE): 75% van de bezette patches wordt gemaskeerd en de decoder moet de ontbrekende voxel-bezetting en lading reconstrueren.
     • Relationele doelen (Voxel-level): Op de zichtbare patches worden voorspellingen gedaan voor "ghost"-hits (valse detecties), interactie-hiërarchie (achtergrond, primair, secundair) en deeltjescategorieën (elektromagnetisch, muon, hadronisch). Deze doelen zijn "soft" (probabilistisch) omdat één voxel bijdragen kan leveren van meerdere deeltjes.

2. Gemeenschappelijke Fijnafstemming (Joint Fine-tuning):

   • De voortgetrainde encoder wordt gebruikt als basis voor meerdere downstream-taken: neutrino-smaakclassificatie, charm-quark identificatie, kinematische regressie (momentum) en vertex-reconstructie.
   • Drie strategieën worden vergeleken:
     1. Scratch: Willekeurige initialisatie.
     2. MAE: Encoder voortgetraind alleen met masked reconstruction.
     3. MAE+Rel: Encoder voortgetraind met zowel masked reconstruction als relationele doelen.

Belangrijkste Bijdragen

1. Spaarzame Encoder voor Heterogene Data: Een nieuwe architectuur die spaarzaam convolutie, module-bewust self-attention en Perceiver-IO-fusie combineert om verschillende detectorstromen effectief te verwerken.
2. Multimodale Voortraining Strategie: Een bewijs dat het toevoegen van relationele voxel-level doelen (naast standaard MAE) de prestaties significant verbetert, vooral voor de meest complexe en zeldzame kanalen.
3. Bewijs van Transfer en Data-efficiëntie: Demonstration dat de geleerde representaties niet alleen werken binnen het bron-domein, maar ook effectief overdragen naar andere detectortechnologieën (plastic scintillatoren en LArTPC) en dat ze de behoefte aan gelabelde data drastisch verlagen.

Resultaten

De evaluatie is uitgevoerd op gesimuleerde FASERCal-data en publieke benchmarks:

• Pre-training Effectiviteit:
  • Classificatie: MAE+Rel verbetert de prestaties voor alle smaken, maar de winst is het grootst voor de moeilijkste kanalen (zoals $\nu_\tau$ en charm-decay). Bijvoorbeeld, de AUC voor $\nu_\tau$ CC $\to$ hadronisch stijgt van 0,902 (Scratch) naar 0,944 (MAE+Rel).
  • Regressie: De fouten bij het reconstrueren van de primaire vertex en kinematische grootheden (zoals $E_{vis}$ en $p_{jet}$) worden aanzienlijk verminderd, met name bij complexe gebeurtenissen.
• Interpreteerbaarheid:
  • Saliency-maps tonen aan dat het model zich concentreert op de interactieregio en de belangrijkste shower-structuren in plaats van diffuse correlaties.
  • UMAP-projecties tonen een gestructureerdere latent space met betere scheiding van smaken en energie.
  • Ablatiestudies bevestigen dat 3DCal de ruggengraat vormt, terwijl andere subsystemen (zoals AHCAL en muon-spectrometer) fysiek plausibele, kanaal-specifieke bijdragen leveren.
• Data-efficiëntie:
  • Met slechts $10^3$ gelabelde gebeurtenissen bereikt het voortgetrainde model (MAE+Rel) prestaties die vergelijkbaar zijn met een model dat vanaf nul is getraind op $10^4$ gebeurtenissen. Dit is cruciaal voor experimenten waar gelabelde data duur is om te genereren.
• Transfer Learning:
  • Het model transferde succesvol naar een plastic-scintillator benchmark (Ref. [38]) en het PILArNet LArTPC-benchmark (Ref. [39]).
  • In PILArNet overtrof het voortgetrainde model zelfs de sterkste gepubliceerde ensemble-baselines, ondanks de grote verschillen in detectortechnologie en energieniveau.

Betekenis en Conclusie

Dit onderzoek toont aan dat zelftoezicht-voortraining op multimodale detectordata een schaalbare route is naar herbruikbare representaties voor deeltjesdetectie.

• Praktische Impact: Voor energiefrontier-neutrinoprogramma's, waar gebeurtenissen te complex zijn voor traditionele analyse, biedt deze aanpak een haalbare strategie. Het verlaagt de drempel voor analyse door minder gelabelde data te vereisen en robuustere modellen te leveren voor zeldzame fysische processen.
• Toekomstvisie: Hoewel het nog geen volledig "foundation model" is, bewijst het dat de kerncomponenten (voortraining, hergebruik, transfer) effectief samenkomen. Dit legt de basis voor toekomstige generieke detector-encoders en benadrukt de noodzaak van hybride voorttrainingsdoelen en domeinadaptatie in de deeltjesfysica.