Adapting Vision-Language Models for Neutrino Event Classification in High-Energy Physics

Questo articolo dimostra che i modelli visione-linguaggio fine-tuned, in particolare una variante di LLaMA 3.2, superano le tradizionali reti neurali convoluzionali e i transformer basati solo sulla visione nella classificazione delle interazioni di neutrini nella fisica delle alte energie, ottenendo accuratezza, robustezza e interpretabilità superiori grazie al ragionamento multimodale.

L'essenziale

Immagina di essere un detective che cerca di risolvere un mistero all'interno di una gigantesca fotocamera high-tech. Questa fotocamera non scatta foto di persone o paesaggi; cattura immagini di particelle invisibili che sfrecciano attraverso un serbatoio di argon liquido. Quando queste particelle si scontrano con gli atomi nel serbatoio, lasciano dietro di sé scie sfocate e pixelate, come impronte nella neve.

L'obiettivo di questa ricerca è insegnare a un computer a osservare queste "impronte sulla neve" e dire istantaneamente: "Ah, questo è un muone (una particella pesante con una lunga scia)" oppure "Questo è un elettrone (una nuvola sfocata e diffusa)" oppure "Questo è solo rumore di fondo".

Ecco come il documento scompone la soluzione, utilizzando semplici analogie:

1. Il Vecchio Metodo: L'Artigiano Specializzato (CNN)

Per anni, i fisici hanno utilizzato un tipo specifico di intelligenza artificiale chiamato Rete Neurale Convoluzionale (CNN). Pensa a questo come a un maestro artigiano che ha passato decenni a imparare a riconoscere schemi specifici. Sono molto veloci ed efficienti, ma conoscono solo ciò che è stato loro insegnato esplicitamente. Se mostri loro una foto leggermente sfocata o un angolo strano, potrebbero confondersi. Sono ottimi nel loro lavoro, ma non possono spiegare perché hanno preso una decisione; ti danno semplicemente una risposta "Sì" o "No".

2. Il Nuovo Sfidante: Il Studioso Solo Visivo (ViT)

Poi sono arrivati i Trasformatori Visivi (ViT). Immagina uno studioso che osserva l'intera immagine in una volta sola, invece di scansionarla pezzo per pezzo. Questo studioso è migliore nel collegare punti distanti (come una traccia lunga e sinuosa attraverso tutta l'immagine). Il documento ha scoperto che questo studioso è più robusto dell'artigiano. Anche se la foto è sfocata o a bassa risoluzione, lo studioso riesce comunque a capire cosa sta succedendo.

3. La Stella dello Spettacolo: Il Modello Visivo-Linguistico (VLM)

Infine, i ricercatori hanno provato qualcosa di nuovo: un Modello Visivo-Linguistico (VLM), in particolare una versione di LLaMA 3.2.
Pensa a questo modello non solo come a un detective, ma come a un detective che è anche un professore di fisica.

• Vede l'immagine: Osserva le impronte pixelate proprio come gli altri modelli.
• Parla la lingua: È stato addestrato su enormi quantità di testo e immagini. Comprende concetti come "traccia di muone", "cascata di elettroni" e "corrente neutra".

Il Trucco Magico:
Quando chiedi al VLM di classificare una particella, non si limita a sputare un'etichetta. Scrive un breve saggio spiegando il suo ragionamento.

• Esempio: "Vedo una linea lunga e stretta nell'immagine. Basandomi sulla mia formazione, le linee lunghe indicano solitamente un muone. Pertanto, questo è un evento di Muone."

Cosa Hanno Scoperto?

I ricercatori hanno testato questi tre "detective" su un enorme dataset di collisioni di particelle simulate. Ecco il verdetto:

• Accuratezza: Il VLM (il Professore) e il ViT (lo Studioso) sono stati i vincitori. Sono stati leggermente più accurati e molto migliori nel gestire immagini sfocate o di bassa qualità rispetto alla CNN (l'Artigiano).
• Il Test "Cieco": Quando i ricercatori hanno provato a usare il VLM senza insegnargli le regole specifiche del gioco (mostrandogli solo alcuni esempi), ha fallito miseramente. Ha indovinato la stessa risposta per tutto. Questo ha insegnato loro che devi affinare (addestrare) questi grandi modelli specificamente per la fisica; non puoi semplicemente chiedere loro di "indovinare" basandosi sulla conoscenza generale.
• Il Compromesso: Il VLM è il più intelligente e spiegabile, ma è anche il più lento e costoso da eseguire. Richiede molta memoria del computer e impiega secondi per analizzare un evento, mentre la CNN lo fa in millisecondi.
  • Analogia: La CNN è un velocista che finisce la gara in un lampo ma non può dirti la strategia. Il VLM è un maratoneta che impiega più tempo ma può scrivere un libro dettagliato sulla strategia della gara dopo averla finita.

Perché Questo È Importante?

Il documento conclude che non dobbiamo scegliere solo uno. Possiamo usarli per lavori diversi:

• Usa la CNN quando hai bisogno di velocità, come filtrare i dati in tempo reale mentre arrivano dal rivelatore.
• Usa il VLM per analisi approfondite offline. Quando un fisico trova un evento strano e vuole sapere perché il computer lo ha segnalato, il VLM può fornire una spiegazione leggibile dall'uomo che collega i pixel ai concetti di fisica.

In breve: Questo documento dimostra che possiamo insegnare a enormi modelli di intelligenza artificiale esperti di testo a "vedere" la fisica delle particelle. Sebbene siano più lenti degli strumenti tradizionali, offrono una nuova capacità potente: non solo possono classificare gli eventi, ma possono anche spiegare il loro ragionamento in inglese semplice, colmando il divario tra dati complessi e comprensione umana.

Sommario tecnico

Sintesi Tecnica: Adattamento di Modelli Vision-Language per la Classificazione di Eventi Neutrino nella Fisica delle Alte Energie

Enunciato del Problema
Nella fisica delle alte energie (HEP), specificamente all'interno di esperimenti sui neutrini come il Deep Underground Neutrino Experiment (DUNE), la classificazione degli eventi è fondamentale per distinguere le interazioni di segnale (eventi con corrente carica di neutrini elettronici e muonici) dal fondo (interazioni a corrente neutra). Tradizionalmente, questo compito si basa sulla ricostruzione di oggetti ad alto livello e sull'ingegnerizzazione di caratteristiche specifiche (ad esempio, energia, configurazione spaziale) da immettere in algoritmi che spaziano dagli alberi decisionali alle reti neurali superficiali. Sebbene efficace, questo approccio è limitato dagli errori di ricostruzione e dai vincoli delle caratteristiche predefinite. Inoltre, i modelli di deep learning, in particolare le Reti Neurali Convolutive (CNN), operano spesso come "scatole nere", mancando di interpretabilità riguardo al perché una specifica previsione sia stata fatta. Sebbene i Vision Transformers (ViT) abbiano migliorato le prestazioni catturando dipendenze spaziali a lungo raggio, essi mancano ancora della capacità di fornire ragionamento in linguaggio naturale o di integrare il contesto semantico.

Metodologia
Gli autori propongono di adattare un Modello Vision-Language (VLM), specificamente una variante fine-tuned di LLaMA 3.2 Vision (11 miliardi di parametri), per classificare le interazioni dei neutrini direttamente dalle mappe di pixel grezze del rivelatore.

• Dataset: Lo studio utilizza una simulazione personalizzata di una Camera a Proiezione Temporale ad Argon Liquido (LArTPC) con una risoluzione di pixel di 5 mm. Il dataset comprende 190.000 eventi simulati ($\nu_e$ CC, $\nu_\mu$ CC e Corrente Neutra) generati utilizzando GENIE e GEANT4. I dati sono rappresentati come coppie di immagini in scala di grigi 2D (proiezioni XZ e YZ) ritagliate a 512 $\times$ 512 pixel.
• Architettura del Modello e Addestramento:
  • VLM (LLaMA 3.2 Vision): Il modello integra un encoder visivo ViT-h/14 ad alta risoluzione con un decoder linguistico basato su transformer. Per adattare questo modello da 11 miliardi di parametri al compito specifico di fisica senza costi computazionali proibitivi, gli autori impiegano QLoRA (Quantized Low-Rank Adaptation). Questo metodo di fine-tuning efficiente nei parametri (PEFT) quantizza i pesi di base a una precisione di 4 bit e addestra solo matrici adattatrici a basso rango (29,5 milioni di parametri addestrabili) in un singolo epoca. La pipeline di addestramento utilizza un prompt di sistema informato sulla fisica che descrive la geometria del rivelatore e le caratteristiche delle interazioni, seguito da un prompt utente che richiede la classificazione.
  • Baseline: Il VLM viene confrontato con due architetture consolidate:
    1. Un ViT-h/14 (632 milioni di parametri), che rappresenta il backbone visivo del VLM, addestrato tramite full fine-tuning per 10 epoche.
    2. Una CNN Siamese SE-ResNet (21,7 milioni di parametri), che rappresenta l'approccio convoluzionale all'avanguardia utilizzato nei principali esperimenti sui neutrini, addestrato tramite full fine-tuning per 300 epoche.
• Inferenza e Interpretabilità: Il VLM genera previsioni in modo autoregressivo. Per garantire output leggibili dalla macchina, gli autori applicano vincoli frasali durante il decoding, costringendo il modello a produrre un prefisso fisso seguito dall'etichetta di classe. Crucialmente, il modello è in grado di generare spiegazioni in linguaggio naturale che giustificano la sua classificazione basandosi su caratteristiche visive (ad esempio, "traccia del muone più lunga e stretta" rispetto a "sciame elettronico sfocato").

Risultati Chiave

• Prestazioni di Classificazione: Il LLaMA 3.2 Vision fine-tuned ha raggiunto la massima accuratezza, precisione e richiamo (0,87 ciascuno) con un AUC-ROC di 0,96. Questa prestazione è stata comparabile a quella del ViT-h/14 completamente fine-tuned (0,86 di accuratezza, 0,96 AUC) e significativamente superiore alla baseline CNN (0,80 di accuratezza, 0,94 AUC).
• Efficienza Parametrica: Il VLM ha raggiunto questi risultati aggiornando solo 29,5 milioni di parametri (tramite QLoRA) in un singolo epoca, mentre il ViT ha richiesto 632 milioni di parametri in 10 epoche e la CNN ha richiesto 21,7 milioni di parametri in 300 epoche.
• Robustezza (Generalizzazione): Sotto uno spostamento di distribuzione che prevedeva il downsampling delle immagini di input a 256 $\times$ 256 pixel (simulando una risoluzione del rivelatore degradata), i modelli basati su transformer (VLM e ViT) hanno mantenuto alte prestazioni (0,85 di accuratezza). Al contrario, la baseline CNN ha subito un grave degrado, scendendo a un'accuratezza di 0,43–0,49.
• Interpretabilità: A differenza della CNN e del ViT, che forniscono solo probabilità numeriche, il VLM ha generato spiegazioni leggibili dall'uomo basate sulla topologia dell'evento. Uno studio di ablazione ha mostrato che, anche senza definizioni fisiche esplicite nel prompt di sistema, il modello ha mantenuto un'alta accuratezza (0,86) e ha generato spiegazioni plausibili relative alla fisica, suggerendo che ha interiorizzato le caratteristiche rilevanti per il compito durante il fine-tuning.
• Limitazioni Few-Shot: Una valutazione few-shot in-context utilizzando il modello pre-addestrato congelato (senza fine-tuning) non è riuscita a distinguere tra le classi (accuratezza ~0,37), dimostrando che l'adattamento dei parametri è necessario per questo dominio specifico.

Significato e Affermazioni
Il paper afferma che i Modelli Vision-Language rappresentano una nuova direzione promettente per la classificazione degli eventi HEP, offrendo una combinazione unica di forti prestazioni predittive, robustezza alle variazioni del rivelatore e interpretabilità potenziata.

Gli autori evidenziano che, sebbene i VLM comportino costi computazionali più elevati (12,9 GB di memoria contro 2,4 GB per la CNN; ~3,4 secondi di inferenza contro ~24 ms), la loro capacità di fornire giustificazioni testuali basate sulla fisica offre un vantaggio distinto per l'analisi offline, la diagnosi degli errori e la costruzione di fiducia nei flussi di lavoro scientifici guidati dal machine learning. I risultati suggeriscono che le architetture basate su transformer, in particolare quando adattate tramite metodi efficienti nei parametri, possono fungere da backbone generici per la classificazione degli eventi fisici. Lo studio ipotizza che questo approccio possa aprire la strada a "modelli fondazionali HEP" riutilizzabili che generalizzano su diversi esperimenti con un minimo ulteriore fine-tuning, colmando il divario tra l'accuratezza grezza e la necessità di previsioni trasparenti e basate sul ragionamento nella fisica sperimentale.