Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

Questo articolo propone un nuovo metodo di rilevamento delle anomalie non supervisionato per il Large Hadron Collider che utilizza reti leggere basate su encoder, simili ai LLM e addestrate sulla predizione di token mascherati, per identificare nuovi segnali di fisica, come la produzione di quattro quark top, rilevando deviazioni nella ricostruzione degli eventi di fondo senza una conoscenza preventiva delle caratteristiche del segnale.

L'essenziale

Immaginate il Large Hadron Collider (LHC) come un enorme simulatore di incidenti stradali ad alta velocità. Ogni secondo, fa scontrare particelle tra loro, creando un'esplosione caotica di detriti. I fisici stanno cercando un tipo di scontro molto specifico e raro — come trovare un graffio particolare e insolito su un'auto che accade solo se è in gioco una forza segreta e invisibile. Questo è il "segnale".

Il problema è che la maggior parte degli scontri appare molto simile agli altri. Sono il "rumore di fondo". In questo articolo, gli autori stanno cercando di trovare un ago in un pagliaio senza sapere esattamente che aspetto abbia l'ago in anticipo.

Ecco come ci sono riusciti, usando un trucco astuto preso in prestito dal modo in cui i computer imparano a leggere e scrivere.

1. Trasformare la fisica in un linguaggio

Gli autori si sono resi conto che i dati di questi scontri di particelle potevano essere trattati come una frase in un linguaggio.

• Le "Parole": Invece di lettere, le "parole" (o token) sono le particelle che volano fuori dallo scontro. Alcune sono getti di energia, altre sono elettroni, altre sono muoni.
• La "Frase": Un singolo evento di scontro è una frase composta da circa 18 di queste "parole", più alcuni numeri extra che descrivono l'energia mancante totale (come un pezzo mancante di un puzzle).

Per far sì che questo funzionasse per un computer, hanno dovuto tradurre queste particelle fisiche in un codice che la macchina possa comprendere. Hanno creato un sistema in cui ogni tipo di particella e la sua velocità/direzione vengono assegnati a un numero specifico, trasformando un complesso evento fisico in una semplice lista di numeri, come [3, 1, 5, 2, ...].

2. Il gioco del "Completa la frase"

Il team ha utilizzato un tipo di Intelligenza Artificiale chiamato Large Language Model (LLM) — lo stesso tipo di tecnologia che alimenta i chatbot. Tuttavia, non hanno insegnato all'IA a scrivere storie. Invece, l'hanno istruita a giocare al gioco del "Completa la frase" usando solo gli scontri "di fondo" (quelli comuni e noiosi).

• L'Addestramento: Hanno mostrato all'IA migliaia di scontri normali, ma nascondevano una "parola" (particella) in ogni frase. L'IA doveva indovinare quale fosse la particella mancante basandosi sul resto della frase.
• L'Obiettivo: L'IA ha imparato la "grammatica" dei normali scontri di particelle. Ha imparato, ad esempio, che "Se vedo un jet pesante qui, di solito mi aspetto un tipo specifico di elettrone lì".

3. Individuare l'anomalia

Una volta che l'IA è diventata un esperto nel prevedere gli sconti "normali", l'hanno testata su nuovi dati, inclusi i rari scontri "segnale" che stavano cercando.

• Il Test: Hanno nascosto una particella in un evento di scontro e hanno chiesto all'IA di indovinarla.
• Il Risultato: Quando l'IA guardava un crash normale, indovinava correttamente la maggior parte delle volte. Ma quando guardava il raro scontro "four-top-quark", l'IA si confondeva. Poiché questo evento raro non seguiva la "grammatica" del normale sfondo, le risposte dell'IA erano errate.
• L'Allarme: Più l'IA sbagliava, più era probabile che l'evento fosse un'anomalia (il segnale che cercavano).

4. Quanto ha funzionato?

Gli autori hanno testato questo metodo nella ricerca della produzione di "four-top-quark" (un evento molto raro in cui vengono create quattro particelle pesanti contemporaneamente).

• Il Punteggio: Hanno misurato quanto bene l'IA potesse separare gli scontri "normali" da quelli "rari". Hanno ottenuto un punteggio (chiamato ROC-AUC) di 0,67.
• Il Confronto: Hanno confrontato il loro metodo con altri modi consolidati per trovare anomalie.
  • Non ha superato il miglior metodo esistente (chiamato DDD).
  • Tuttavia, ha fatto meglio di altri due metodi comuni (DeepSVDD e DROCC).

In sintesi

L'articolo sostiene che trattare i dati della fisica delle particelle come un linguaggio e utilizzare un'IA basata sul "completa la frase" sia un nuovo modo promettente per trovare rari ed ignoti eventi fisici. Sebbene non sia ancora la soluzione perfetta, ha identificato con successo sottili differenze nei dati che altri metodi avevano mancato, suggerendo che questo approccio "basato sul linguaggio" potrebbe essere uno strumento prezioso per le future scoperte all'LHC.

Sommario tecnico

Sintesi Tecnica: Tokenizzazione degli Eventi e Predizione di Token Mascherati per il Rilevamento di Anomalie al Large Hadron Collider

Problematica
Il documento affronta la sfida di identificare firme rare, oltre il Modello Standard (BSM), nei dati di collisione ad alta energia senza una conoscenza preventiva delle caratteristiche del segnale. Nello specifico, gli autori si concentrano sulla ricerca della produzione simultanea di quattro top quark ($t\bar{t}t\bar{t}$) al Large Hadron Collider (LHC). Questo processo è difficile da isolare perché il suo stato finale (0–4 leptoni, 4–12 jet, inclusi quattro jet $b$) assomiglia molto a complessi background del Modello Standard (SM) come $t\bar{t}WW$, $t\bar{t}W$, $t\bar{t}Z$ e $t\bar{t}H$. Gli autori propongono l'uso di Large Language Models (LLM) come rilevatori di anomalie non supervisionati per apprendere la distribuzione degli eventi di background e segnalare le deviazioni che potrebbero indicare nuova fisica.

Metodologia
L'approccio proposto utilizza una rete transformer leggera, basata su encoder, addestrata tramite predizione di token mascherati, una tecnica adattata dal processamento del linguaggio naturale (specificamente BERT).

1. Dataset e Preprocessing:

   • Lo studio utilizza dati di collisione $pp$ simulati a $\sqrt{s} = 13$ TeV provenienti dalla sfida Dark Machines, generati con MG5_aMC@NLO, hadronizzati con Pythia 8 e processati attraverso Delphes 3.
   • Gli eventi sono rappresentati come sequenze di fino a 18 oggetti particellari (jet, leptoni, fotoni) più l'energia trasversa mancante ($E_T^{\text{miss}}$) e il suo angolo azimutale ($\phi_{E_T^{\text{miss}}}$).
   • I processi di background ($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$) costituiscono l'insieme di addestramento, mentre $t\bar{t}t\bar{t}$ funge da segnale per la valutazione.

2. Strategia di Tokenizzazione:

   • Un componente critico del metodo è la conversione di variabili cinematiche continue in token discreti.
   • I tipi di particelle sono mappati in 7 categorie predefinite.
   • Le variabili cinematiche ($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$) sono raggruppate in bin. La configurazione ottimale divide $p_T, \eta$ ed $E_T^{\text{miss}}$ in 4 bin (ognuno contenente il 25% dei dati di background) e $\phi$ e $\phi_{E_T^{\text{miss}}}$ in 4 bin di ampiezza $\pi/4$.
   • Questi bin sono combinati in un token intero unico per ogni particella ($token_{part} \in [1, 448]$) e per i componenti dell'energia mancante ($token_{E_T^{\text{miss}}} \in [449, 452]$, $token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$).
   • Gli eventi sono sottoposti a padding a una lunghezza di sequenza fissa di 18 particelle più i token dell'energia.

3. Architettura del Modello e Addestramento:

   • Il modello consiste in due strati transformer con quattro teste di auto-attenzione ciascuno, seguiti da una proiezione lineare e uno strato softmax.
   • Addestramento: Il modello è addestrato esclusivamente su eventi di background utilizzando un obiettivo di predizione di token mascherati. Un token per evento viene casualmente mascherato e il modello impara a ricostruirlo utilizzando la perdita di Sparse Categorical Cross-Entropy.
   • Inferenza: Durante il test, tutti i token in un evento vengono mascherati e ricostruiti uno alla volta. Il punteggio di ricostruzione medio (loss) viene calcolato per ogni evento.

Contributi Chiave

• Applicazione Innovativa: Il documento introduce l'uso di architetture simili a LLM per il rilevamento non supervisionato di anomalie nella fisica dei collider, trattando gli eventi particellari come sequenze di token.
• Schema di Tokenizzazione: Propone uno schema specifico di binning e codifica per trasformare i dati continui della fisica delle particelle in un formato adatto ai modelli basati su transformer.
• Ricerca Indipendente dal Segnale: Il metodo opera senza la conoscenza del segnale, basandosi esclusivamente sulle prestazioni di ricostruzione degli eventi di background per identificare anomalie.

Risultati

• Performance sulla Ricerca di Quattro Top: Applicato al segnale $t\bar{t}t\bar{t}$, il modello ha raggiunto un'Area Sotto la Curva ROC (ROC-AUC) di 0,67.
• Sovrapposizione delle Distribuzioni: Le distribuzioni del punteggio di ricostruzione per gli eventi di background e di segnale hanno mostrato un'area comune del 70,85%, indicando un grado di sovrapposizione ma anche la capacità del modello di distinguere tra le due classi fino a un certo punto.
• Confronto: Il metodo proposto è stato confrontato con metodi non supervisionati stabiliti (DDD, DeepSVDD e DROCC) della sfida Dark Machines. I risultati indicano che, sebbene l'approccio basato su LLM non abbia superato le tecniche basate su DDD, ha dimostrato prestazioni migliori rispetto a DeepSVDD e DROCC, posizionandosi come una tecnica competitiva per il rilevamento di anomalie non supervisionate.

Significato e Rivendicazioni
Gli autori caratterizzano i risultati come preliminari ma promettenti. Affermano che l'approccio cattura con successo discrepanze sottili nei dati dei collider e offre una rappresentazione flessibile basata su token per ricerche indipendenti dal modello. Il documento suggerisce che, con un'ulteriore ottimizzazione dello schema di tokenizzazione e dell'architettura del modello, questo metodo potrebbe diventare un candidato valido per migliorare la sensibilità verso processi rari del Modello Standard e scoprire nuove firme di nuova fisica. Il lavoro non rivendica di aver superato tutti i metodi esistenti, ma evidenzia il potenziale dell'adattamento delle architetture transformer alle specifiche sfide strutturali dei dati della fisica delle particelle.