OmniLearned: A Foundation Model Framework for All Tasks Involving Jet Physics

Il documento presenta OmniLearned, un framework avanzato di modelli fondazionali per la fisica dei jet che, grazie a un'architettura aggiornata, un addestramento su oltre un miliardo di jet e un software ben documentato, stabilisce nuovi standard di eccellenza in compiti quali il tagging dei quark top, il b-tagging e il rilevamento di anomalie, ampliando così il potenziale di scoperta degli esperimenti di fisica delle particelle.

L'essenziale

🚀 OmniLearned: Il "Genio Universale" che impara a leggere le scie delle particelle

Immagina di essere un detective in un aeroporto affollatissimo. Ogni secondo, migliaia di persone (le particelle) passano attraverso i controlli di sicurezza. Alcune sono viaggiatori normali, altre sono contrabbandieri di armi (particelle nuove o rare) che cercano di nascondersi nella folla.

Per decenni, i fisici hanno costruito rilevatori specifici per ogni tipo di crimine: un algoritmo per cercare i ladri di borse, un altro per i trafficanti di diamanti, un altro ancora per chi porta esplosivi. Il problema? Costruire un nuovo rilevatore per ogni nuovo crimine richiede anni di lavoro e milioni di dati specifici. Se arriva un nuovo tipo di criminale, il vecchio rilevatore non lo vede.

OmniLearned è la soluzione a questo problema. È come se avessimo addestrato un super-intelligenza artificiale (un "Modello Fondamentale") che non impara solo a riconoscere un ladro, ma impara a capire il linguaggio universale del movimento e dell'energia.

Ecco come funziona, passo dopo passo:

1. La Grande Biblioteca (I Dati)

Prima di diventare un detective esperto, questo "genio" ha dovuto studiare.

• Il vecchio metodo: Studiava 100 milioni di casi (un numero enorme per gli umani, ma piccolo per un'IA).
• Il nuovo metodo (OmniLearned): Ha letto più di un miliardo di "scie" di particelle (chiamate jet).
• L'analogia: Immagina che invece di leggere 100 libri, questo modello abbia letto l'intera biblioteca di Babilonia. Ha visto ogni tipo di viaggio possibile: particelle che nascono da collisioni di protoni, da collisioni di elettroni, da collisioni strane. Più dati ha visto, più ha capito le regole nascoste dell'universo.

2. L'Architettura: Un'Intelligenza che "vede" le connessioni

Il cuore di OmniLearned è un'architettura chiamata PET v2 (Point Edge Transformer).

• Come funziona: Immagina che ogni particella sia un punto su una mappa. Le particelle non sono isolate; si influenzano a vicenda.
• L'analogia: Se guardi una folla, non vedi solo le persone, ma vedi come si muovono insieme. Se due persone corrono verso lo stesso punto, c'è un legame. OmniLearned non guarda solo le singole particelle, ma analizza le relazioni tra di loro (chi è vicino a chi, chi spinge chi) usando una matematica ispirata alla fisica. È come se avesse una "vista a raggi X" che vede le connessioni invisibili.

3. La Magia: Adattarsi a tutto (Fine-Tuning)

Qui sta il vero trucco. Una volta che il modello ha studiato il miliardo di jet, non serve ricominciare da zero per ogni nuovo compito.

• L'analogia: Immagina di avere un cuoco stellato che ha imparato a cucinare tutti i piatti del mondo (il modello pre-addestrato).
  • Se vuoi una pizza, non gli insegni a cucinare da capo. Gli dici solo: "Oggi facciamo pizza". Lui sa già come usare il forno, l'impasto e il forno, e adatta le sue competenze in pochi secondi.
  • Se vuoi un sushi, fa la stessa cosa.
  • OmniLearned fa lo stesso: prende la sua conoscenza generale e si adatta rapidamente a compiti specifici come:
    1. Riconoscere il "Top Quark": Trovare un tipo specifico di particella pesante (come trovare un jolly in un mazzo di carte).
    2. Etichettare i sapori (b-tagging): Distinguere se una particella viene da un quark "b" (bello) o "c" (carino), come distinguere un'arancia da un mandarino.
    3. Caccia all'anomalia: Trovare cose che non dovrebbero esserci.

4. La Caccia all'Anomalia: Trovare l'ago nel pagliaio

Questa è la parte più affascinante. A volte, i fisici non sanno nemmeno cosa stanno cercando (nuova fisica!).

• L'analogia: Immagina di avere un mucchio di paglia (i dati normali) e di cercare un ago d'oro (nuova fisica).
• OmniLearned è stato usato sui dati reali del laboratorio CMS (uno dei più grandi al mondo, al CERN).
• Invece di cercare un ago specifico, il modello ha guardato tutto il mucchio e ha detto: "Ehi, qui c'è qualcosa che non torna, è diverso dal solito pagliaio".
• Il risultato: È riuscito a "riscoprire" il Top Quark (una particella che già conoscevamo, ma usata come prova di concetto) usando solo dati reali e senza essere stato istruito specificamente su di esso in quella fase. È come se il cuoco stellato avesse assaggiato un piatto sconosciuto e detto: "Questo ha un sapore che non ho mai sentito prima, ma so che è speciale".

Perché è importante?

Fino a ieri, per ogni nuovo esperimento o per cercare ogni nuova particella, servivano anni di addestramento e computer potentissimi.
Con OmniLearned:

1. Risparmio di tempo: Si addestra una volta per tutti (con un miliardo di dati) e poi si riutilizza per tutto.
2. Potenza: Trova cose che i metodi vecchi non vedevano.
3. Flessibilità: Funziona con dati simulati e con dati reali degli esperimenti (ATLAS e CMS).

In sintesi

OmniLearned è come un polimata dell'universo. Ha letto tutto ciò che c'è da leggere sulle collisioni di particelle. Ora, quando i fisici gli chiedono: "C'è qualcosa di strano qui?", lui risponde immediatamente, perché ha già visto milioni di cose strane e sa esattamente cosa cercare. Questo apre la porta a scoprire nuove leggi della fisica molto più velocemente di quanto abbiamo fatto finora.

Sommario tecnico

Titolo: Framework di Modello Fondamentale per Tutte le Attività Involventi la Fisica dei Getti (Jet)

1. Il Problema

I getti adronici (jet), risultanti da quark e gluoni ad alta energia, sono ubiqui nelle collisioni ai collider e contengono informazioni cruciali sull'origine delle particelle e sulle proprietà della forza forte.

• Sfida principale: Sebbene i tagger basati sul deep learning siano diventati lo standard, è estremamente difficile raccogliere un numero sufficiente di esempi di getti per addestrare modelli di machine learning all'avanguardia per ogni singola delle innumerevoli attività coinvolte (es. tagging del quark top, b-tagging, rilevamento di anomalie).
• Limitazione degli approcci attuali: La maggior parte della ricerca sui modelli fondamentali (foundation models) in fisica delle particelle si è concentrata su modelli tokenizzati addestrati tramite apprendimento auto-supervisionato (simili agli LLM). Questi metodi, sebbene utili, non sfruttano appieno la continuità dei dati o le informazioni sulle etichette disponibili nelle simulazioni.

2. Metodologia: OmniLearned

Il paper introduce OmniLearned, un aggiornamento significativo del precedente modello "OmniLearn". L'approccio si basa su un modello fondamentale pre-addestrato su un dataset enorme e poi fine-tunato per compiti specifici.

A. Architettura e Aggiornamenti (PET v2)

Il backbone del modello è una variante migliorata del Point Edge Transformer (PET), denominata PET v2. I miglioramenti chiave includono:

• Input Features: Mantenimento delle differenze di pseudorapidità ($\Delta\eta$) e angolo azimutale ($\Delta\phi$), ma aggiunta solo di $\log p_T$ e $\log E$. Rimozione della standardizzazione pre-processing poiché la rappresentazione logaritmica centra già i dati.
• Informazioni Aggiuntive: Gestione modulare di identificazione delle particelle (PID) e informazioni sui vertici tramite blocchi di embedding specifici (lookup table per PID, MLP per vertici). Questi possono essere attivati o disattivati a seconda del dataset.
• Attenzione Locale: Sostituzione della semplice media dei vicini con un meccanismo di attenzione appresa (simile a DGCNN ma con pesi apprendibili) su $k$-vicini (con $k=10$). Le interazioni includono termini fisici ispirati (massa invariante, $\Delta R$, $p_T$).
• Attenzione Globale: Modifica del meccanismo di attenzione globale per includere termini di interazione fisica come bias nella matrice di attenzione. Sostituzione della normalizzazione dei layer con un'operazione iperbolica tangente apprendibile per maggiore stabilità.
• Teste Specifiche per il Compito: Utilizzo di 5 token apprendibili (invece di 1) che vengono aggiunti all'insieme delle particelle. Questi token servono per la classificazione, mentre vengono rimossi per la generazione.
• Funzione di Perdita (Loss): Combinazione di classificazione e generazione.
  • Per la generazione, si passa dai modelli di diffusione (diffusion) al Flow Matching, che offre una qualità di generazione superiore con lo stesso numero di passi di campionamento.
  • La loss include termini per la classificazione supervisionata (sapore del jet) e una classificazione del campione (dataset di origine) per gestire dati senza etichette di verità.

B. Dataset di Pre-addestramento (1 Miliardo di Getti)

Il modello è stato pre-addestrato su un dataset combinato di oltre 1 miliardo di getti (10 volte il dataset precedente), aggregando dati da diverse fonti:

• JetClass & JetClass2: 300M getti simulati (MADGRAPH + Pythia + Delphes).
• Aspen Open Jets: 125M getti da dati reali CMS (2016).
• ATLAS Top Tagging: 178M getti (simulazione Geant4 completa).
• H1 DIS: 42M getti da scattering inelastico profondo.
• CMS QCD e BSM: 412M getti (QCD e nuovi processi fisici come SUSY, gravitoni, ecc.).
• Totale: 210 classi (200 sapori di jet + 10 classi di dataset).

L'addestramento è stato eseguito su 512 GPU (supercomputer Perlmutter) con batch size globale di 4096. Sono stati definiti tre modelli: Small (3M parametri), Medium (58M) e Large (460M).

3. Risultati Chiave

Il paper dimostra l'efficacia di OmniLearned su tre compiti rappresentativi:

A. Classificazione dei Getti (Benchmark)

• Top Tagging: Su un dataset di benchmark della comunità, OmniLearned (specialmente le varianti Medium e Large) supera lo stato dell'arte (SOTA), inclusi modelli come ParT, MIParT e L-GATr. Ad esempio, per un'efficienza di segnale del 30%, il modello Large raggiunge un rifiuto di fondo di 3486, superando tutti gli altri.
• Quark vs Gluone: Anche in questo compito, OmniLearned supera i modelli precedenti, mostrando una forte correlazione tra dimensione del modello e prestazioni dopo il fine-tuning.

B. Flavor Tagging (ATLAS)

• Utilizzando simulazioni ATLAS complete, OmniLearned è stato adattato per il b-tagging e c-tagging.
• Il modello supera il baseline GN2 (l'architettura attuale di ATLAS) in tutti i casi.
• Vantaggio del Fine-tuning: OmniLearned richiede meno della metà degli aggiornamenti della rete per convergere rispetto all'addestramento da zero, rendendo il processo il 50% più veloce.
• Riuso delle Teste: È stato dimostrato che la "testa di generazione" pre-addestrata può essere riutilizzata per compiti di classificazione delle tracce (track classification), migliorando le prestazioni anche se il compito originale era diverso.

C. Rilevamento di Anomalie (CMS Open Data)

• Scenario: Ricerca di getti di quark top (segnale) in un dataset di getti CMS (sfondo QCD), dove il segnale è solo lo 0.1% dei dati.
• Metodo 1 (Cathode-style): Uso della capacità generativa di OmniLearned per stimare lo sfondo nella regione di segnale e un classificatore per distinguere dati reali da sfondo sintetico. OmniLearned ha identificato il segnale con una significatività statistica di ~15.9 sigma (modello Medium), mentre i modelli addestrati da zero non sono riusciti a rilevare il segnale.
• Metodo 2 (Senza Fine-tuning): Utilizzo diretto delle probabilità di classe pre-addestrate (es. decadimenti a 3 prong generici vs QCD) come punteggio di anomalia. Anche senza fine-tuning, il modello ha rilevato il segnale, dimostrando la capacità di generalizzazione del modello fondamentale.

4. Contributi Principali

1. OmniLearned Framework: Un'architettura unificata e aggiornata (PET v2) che integra classificazione e generazione (Flow Matching) con input fisicamente ispirati.
2. Dataset su Scala Miliardaria: La creazione e la pubblicazione di un dataset unificato di oltre 1 miliardo di getti, accessibile tramite un pacchetto software, che risolve il problema della frammentazione dei dati nella fisica dei collider.
3. Software Open Source: Rilascio di codice ben documentato per l'accesso ai dati, l'addestramento e il fine-tuning, rendendo la tecnologia riproducibile.
4. Dimostrazione su Dati Reali: La prima applicazione di un modello fondamentale per la fisica dei jet su dati sperimentali reali (CMS Open Data) per il rilevamento di anomalie, superando i limiti delle simulazioni.

5. Significato e Prospettive

Il lavoro segna un punto di svolta nell'applicazione dell'intelligenza artificiale alla fisica delle alte energie:

• Efficienza: Dimostra che un modello fondamentale pre-addestrato su dati massivi può essere adattato a compiti specifici con meno dati e meno risorse computazionali rispetto all'addestramento da zero.
• Scoperta: Aumenta il potenziale di scoperta per esperimenti passati, attuali e futuri, permettendo di identificare segnali rari o anomalie in modo più robusto.
• Generalizzazione: La metodologia e i pesi pre-addestrati potrebbero essere estesi oltre la fisica dei getti, ad esempio a topologie di eventi completi o diversi sistemi di collisione, aprendo nuove frontiere per le indagini future.

In sintesi, OmniLearned stabilisce un nuovo standard di riferimento (SOTA) per l'analisi dei getti, combinando la potenza dei modelli fondazionali con la fisica delle particelle in modo scalabile e versatile.