Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training

Questo studio dimostra che i modelli basati su Transformer, specialmente quando pre-addestrati con Masked Autoencoder, superano i metodi tradizionali basati su GBDT nella discriminazione della forma d'impulso nei rivelatori HPGe, migliorando l'efficienza del campione e riducendo i requisiti di dati etichettati.

L'essenziale

Ecco una spiegazione semplice e creativa di questo articolo scientifico, pensata per chiunque, anche senza un background in fisica.

🕵️‍♂️ Il Detective del Silenzio: Come l'Intelligenza Artificiale "Ascolta" l'Universo

Immagina di essere in una stanza silenziosissima, dove cerchi di sentire il sussurro di una farfalla che sbatte le ali (questo è il segnale che i fisici cercano: il doppio decadimento beta senza neutrini, un evento rarissimo che potrebbe spiegare perché l'universo esiste).

Il problema? C'è un vento forte che soffia (il rumore di fondo). Il vento fa rumore, la farfalla fa rumore, e spesso sembrano la stessa cosa.

I fisici usano dei "microfoni" speciali chiamati Rilevatori HPGe (Germanio ad alta purezza). Quando una particella colpisce il rivelatore, genera un'onda di energia, come un'increspatura nell'acqua.

• Se è la "farfalla" (il segnale vero), l'onda ha una forma specifica e pulita.
• Se è il "vento" (il rumore di fondo), l'onda è distorta, spezzata o arriva da un'altra direzione.

Il compito dei fisici è: "Guarda questa onda. È una farfalla o è vento? Scarta il vento, tieni la farfalla." Questa tecnica si chiama Discriminazione della Forma dell'Impulso (PSD).

---

🛠️ Il Vecchio Metodo: La Lista di Controllo

Fino a poco tempo fa, i fisici usavano un approccio "vecchia scuola". Guardavano l'onda e prendevano appunti su 3 o 4 cose specifiche:

• "Quanto è alta la cresta?"
• "Quanto è veloce la salita?"
• "Quanto dura la coda?"

Poi, prendevano questi appunti e li davano a un computer classico (un albero decisionale, come un gioco di "Sì/No") per decidere se scartare l'evento.
Il problema: È come descrivere un quadro famoso dicendo solo "c'è del blu, c'è del rosso e c'è una linea curva". Si perde l'essenza dell'immagine! Si buttano via dettagli importanti che potrebbero essere cruciali per capire la differenza.

🚀 Il Nuovo Metodo: L'Intelligenza Artificiale che "Vede" Tutto

Gli autori di questo paper hanno detto: "Perché non diamo all'IA l'onda intera, punto per punto, e le diciamo: 'Guarda tutto questo, capisci da sola cosa è'?"

Hanno usato un modello chiamato Transformer (lo stesso tipo di tecnologia che sta dietro a ChatGPT o ai traduttori automatici).
Invece di guardare solo 3 numeri, il Transformer guarda l'intera "sinfonia" dell'onda, notando connessioni sottili tra l'inizio, il picco e la fine che un occhio umano o un vecchio computer non vedrebbero.

L'analogia:

• Metodo vecchio: Un ispettore che controlla solo il timbro di un passaporto.
• Metodo nuovo: Un detective esperto che guarda l'intero viaggio, le impronte digitali, lo stile di scrittura e la postura della persona.

🎓 Il Trucco Magico: "Imparare a leggere prima di leggere il libro"

C'è un altro problema: per insegnare all'IA a distinguere la farfalla dal vento, servono migliaia di esempi etichettati da umani esperti. Ma etichettare è costoso e lento.

Gli scienziati hanno usato una tecnica geniale chiamata Pre-addestramento Masked Autoencoder (MAE).
Immagina di voler insegnare a un bambino a riconoscere le auto.

1. Fase 1 (Pre-addestramento): Mostri al bambino 1 milione di foto di auto, ma copri la metà di ogni foto con un adesivo. Chiedi al bambino: "Cosa c'è sotto l'adesivo?". Il bambino deve imparare a immaginare la ruota, il finestrino o il paraurti basandosi solo sulla parte visibile.
   • Nella carta: L'IA guarda le onde di energia (che sono tantissime e gratuite) e ne nasconde la metà. Deve ricostruire la parte mancante. In questo modo, impara la "grammatica" di come si comportano le onde, senza bisogno di sapere se sono "buone" o "cattive".
2. Fase 2 (Fine-tuning): Ora mostri al bambino poche foto etichettate (con la scritta "Farfalla" o "Vento"). Grazie alla Fase 1, il bambino impara in pochissimo tempo a fare il detective, perché già sa come sono fatte le auto (le onde).

Il risultato? Hanno bisogno di 2-4 volte meno dati etichettati per ottenere lo stesso risultato. È come se avessero un superpotere di apprendimento veloce.

🏆 I Risultati: Chi vince?

Hanno fatto una gara tra:

1. Il vecchio metodo (Alberi decisionali).
2. L'IA addestrata da zero (senza il trucco del "copri e ricostruisci").
3. L'IA addestrata con il trucco (Pre-addestramento MAE).

Il verdetto:

• L'IA ha battuto il vecchio metodo in tutto, specialmente nei casi più difficili (dove il vento e la farfalla sembrano quasi uguali).
• L'IA che ha fatto il "pre-addestramento" (il trucco) è stata la più efficiente: ha imparato meglio e più velocemente, specialmente quando c'erano pochi dati etichettati a disposizione.
• Hanno anche misurato l'energia delle particelle con più precisione, riducendo gli errori.

🔮 Perché è importante?

Questo non è solo un gioco di matematica.
Il progetto LEGEND (che sta costruendo un rivelatore gigante in Italia e USA) sta cercando di scoprire se i neutrini sono la chiave per capire l'universo.
Se l'IA riesce a scartare meglio il "rumore di fondo", i fisici possono vedere segnali che prima erano nascosti.
In parole povere: Questa nuova intelligenza artificiale ci aiuta a sentire il sussurro della farfalla anche quando il vento soffia forte, avvicinandoci a una delle più grandi scoperte della fisica moderna.

In sintesi

I fisici hanno sostituito la lista di controllo manuale con un "super-occhio" digitale (Transformer) che guarda l'intera forma dell'onda. Inoltre, hanno insegnato a questo occhio a "immaginare" le parti mancanti delle onde (MAE) prima di fargli fare il lavoro vero, rendendolo un detective molto più veloce, preciso ed economico da addestrare.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Transformer-Based Pulse Shape Discrimination in HPGe Detectors with Masked Autoencoder Pre-training" in italiano.

Titolo

Discriminazione della forma dell'impulso (PSD) basata su Transformer in rivelatori HPGe con pre-addestramento tramite Masked Autoencoder.

1. Il Problema

La ricerca del decadimento doppio beta senza neutrini ($0\nu\beta\beta$) in isotopi come il$^{76}$Ge richiede una soppressione estremamente aggressiva del fondo e una classificazione degli eventi altamente efficiente. I rivelatori al Germanio ad alta purezza (HPGe), come quelli utilizzati nel Majorana Demonstrator (MJD), generano forme d'onda digitali che contengono informazioni cruciali sulla topologia dell'interazione (es. eventi a sito singolo vs. multi-sito, interazioni superficiali).

Il problema principale affrontato nel lavoro è che gli approcci convenzionali di Pulse Shape Discrimination (PSD) comprimono l'intera forma d'onda temporale in un piccolo set di parametri sintetici (feature ingegnerizzate). Questo processo di compressione rischia di scartare informazioni rilevanti contenute nella serie temporale completa. Inoltre, l'addestramento di modelli di machine learning supervisionati è spesso limitato dalla scarsità di dati etichettati di alta qualità, poiché le etichette "vero/falso" per la topologia degli eventi sono spesso basate su simulazioni o proxy definiti dall'analisi, introducendo rumore o disallineamento di dominio.

2. Metodologia

Gli autori propongono un approccio end-to-end basato su Transformer che opera direttamente sulle forme d'onda digitalizzate, confrontando tre strategie:

1. Addestramento supervisionato da zero.
2. Pre-addestramento self-supervised con Masked Autoencoder (MAE) seguito da fine-tuning.
3. Baseline classica: un albero decisionale potenziato da gradienti (GBDT) basato su feature ingegnerizzate.

Architettura del Modello

• Input: Le forme d'onda grezze (3.800 campioni) vengono pre-elaborate sottraendo la baseline e calcolando il gradiente temporale (derivata prima) per ottenere una rappresentazione duale (ampiezza e derivata).
• Windowing: La sequenza è suddivisa in finestre non sovrapposte di 10 campioni ($W=10$), creando 380 segmenti temporali.
• Condizionamento del Rivelatore: Poiché i 26 rivelatori nel dataset hanno caratteristiche diverse (geometria, profili di impurità), il modello è condizionato sull'identità del rivelatore tramite FiLM (Feature-wise Linear Modulation), che applica scale e shift appresi a livello di embedding.
• Encoder Transformer: Utilizza un encoder con 6 livelli, 8 teste di attenzione e dimensioni di embedding di 64. Include codifiche posizionali sinusoidali e normalizzazione a livello di strato (LayerNorm).
• Pre-addestramento MAE: Il modello viene pre-addestrato su forme d'onda non etichettate mascherando il 50% delle finestre temporali e ricostruendole. Questo forza l'encoder a imparare rappresentazioni generali della fisica del rivelatore (tempi di raccolta della carica, rumore, morfologia dell'impulso) senza supervisione.
• Fine-tuning: Dopo il pre-addestramento, il decoder viene scartato e l'encoder viene riutilizzato per compiti supervisionati: classificazione binaria (4 tagli PSD) e regressione dell'energia.

Compiti di Addestramento

• Classificazione PSD: Prevedere quattro etichette binarie (accetta/rifiuta) fornite dalla collaborazione MJD: Low AvsE, High AvsE, DCR (Delayed Charge Recovery) e LQ (Late Charge).
• Regressione dell'Energia: Stimare l'energia calibrata dell'evento.
• Baseline GBDT: Utilizza 12 feature geometriche ingegnerizzate (es. carica massima, tempi di salita, rapporto impulso-coda) estratte manualmente dalle forme d'onda.

3. Contributi Chiave

1. Architettura Condizionata al Rivelatore: Sviluppo di un Transformer che opera direttamente sulle tracce di carica digitalizzate e sui loro gradienti, evitando la compressione manuale delle feature e permettendo l'adattamento tra diversi rivelatori.
2. Efficienza del Campionamento con MAE: Dimostrazione che il pre-addestramento self-supervised su dati non etichettati riduce drasticamente la quantità di dati etichettati necessari per raggiungere un dato livello di prestazioni (fattore 2-4 in meno nei regimi a basso numero di etichette).
3. Benchmark Completo: Confronto sistematico contro un baseline GBDT, mostrando che il modellamento diretto della forma d'onda offre vantaggi significativi, specialmente per i compiti più difficili.
4. Analisi della Robustezza: Valutazione delle prestazioni in funzione della dimensione del set di dati etichettati e del numero di epoche di addestramento.

4. Risultati

Classificazione PSD

• Superiorità dei Transformer: I modelli basati su Transformer superano costantemente il GBDT su tutti i target PSD.
• Miglioramenti Specifici: I guadagni sono più marcati per i tagli più difficili:
  • LQ (Late Charge): L'AUROC passa da 0.924 (GBDT) a 0.993 (Transformer fine-tuned).
  • DCR: L'AUROC migliora da 0.854 a 0.925.
  • AvsE: Le prestazioni sono vicine alla saturazione per tutti i modelli, ma i Transformer mantengono un leggero vantaggio.
• PSD-Pass Combinato: Quando si considera l'evento come "accettato" solo se supera tutti e quattro i tagli contemporaneamente, il Transformer fine-tuned raggiunge un'accuratezza del 95.5% e un F1-score di 0.9415, contro l'89.7% e 0.8733 del GBDT.
• Effetto del Fine-tuning: Il pre-addestramento MAE porta a miglioramenti consistenti, specialmente nei tagli difficili (LQ e DCR), migliorando la capacità di ranking (AUROC) e la calibrazione.

Efficienza del Campionamento (Sample Efficiency)

• In scenari con pochi dati (es. 65k forme d'onda) e poche epoche (2-5), il modello pre-addestrato raggiunge prestazioni paragonabili a un modello addestrato da zero con 4 volte più dati (es. 260k forme d'onda).
• Questo è cruciale per le analisi in corso (LEGEND-200) e future (LEGEND-1000), dove i dataset etichettati potrebbero essere limitati.

Regressione dell'Energia

• Entrambi i modelli mostrano una leggera sottostima comune dell'energia (~0.8%).
• Il modello fine-tuned presenta una distribuzione dei residui leggermente più stretta ($\sigma = 0.0407$) rispetto all'addestramento da zero ($\sigma = 0.0424$), indicando una migliore coerenza con l'etichetta di energia calibrata.

5. Significato e Implicazioni

Questo lavoro dimostra che l'uso di architetture Transformer avanzate, potenziate dal pre-addestramento self-supervised, rappresenta un passo avanti significativo rispetto alle tecniche tradizionali basate su feature ingegnerizzate per l'analisi dei rivelatori HPGe.

• Impatto Scientifico: Sebbene i risultati non siano ancora tradotti direttamente in un miglioramento della sensibilità al tempo di dimezzamento per il $0\nu\beta\beta$ (richiedendo studi sistematici a livello di ROI), le migliori capacità di discriminazione del fondo e l'efficienza nel recupero dei dati etichettati sono fondamentali per le future fasi del programma LEGEND.
• Generalizzabilità: La metodologia è trasferibile ad altri esperimenti HPGe e a tecnologie di rivelatori che generano forme d'onda temporali, offrendo una soluzione scalabile per l'analisi di grandi volumi di dati in fisica delle particelle e nucleare.
• Ottimizzazione delle Risorse: La capacità di ottenere prestazioni elevate con meno dati etichettati riduce il carico di lavoro per l'annotazione manuale e accelera l'iterazione delle strategie di analisi.

In sintesi, il paper valida l'approccio "end-to-end" con pre-addestramento come strategia superiore per la discriminazione delle forme d'onda nei rivelatori a basso fondo, bilanciando prestazioni massime ed efficienza dei dati.