Implementation of full and simplified likelihoods in CheckMATE

Il documento presenta l'implementazione di modelli di verosimiglianza completi e semplificati per regioni di segnale multibin nel framework CheckMATE, includendo 13 ricerche di ATLAS e CMS per migliorare la sensibilità statistica attraverso la combinazione di canali di ricerca ortogonali.

L'essenziale

Caccia al Tesoro al LHC: Come CheckMATE ha imparato a leggere le mappe del tesoro

Immagina che il Large Hadron Collider (LHC) sia un gigantesco laboratorio di fisica dove due treni ad altissima velocità si scontrano per vedere cosa esce fuori. Gli scienziati sperano di trovare "nuova fisica" (particelle misteriose che non conosciamo), ma finora hanno trovato solo le particelle che già conoscevano (il Modello Standard). È come cercare un nuovo tesoro in una foresta piena di alberi che già conosciamo: è difficile distinguere un nuovo albero da quelli vecchi.

Per anni, gli esperimenti (ATLAS e CMS) hanno detto: "Abbiamo contato X oggetti in questa zona, e ne aspettavamo Y. Se X è molto diverso da Y, forse abbiamo trovato il tesoro!". Ma questo metodo era un po' come guardare solo una singola foto della foresta: si perdeva molta informazione.

Oggi, gli esperimenti non si limitano a contare. Hanno creato mappe dettagliatissime (dati divisi in centinaia di "scatole" o bin) che mostrano non solo quanti oggetti ci sono, ma anche come sono distribuiti, con quali energie e in quali angoli. È come passare da una semplice lista della spesa a un'analisi forense completa di ogni singolo dettaglio della scena del crimine.

Il problema? Queste mappe sono così complesse che i fisici teorici (quelli che immaginano nuovi modelli di universo) faticano a usarle per verificare se le loro idee sono corrette.

Ecco che entra in gioco CheckMATE.

CheckMATE è come un traduttore universale o un ponte digitale. È un programma informatico che prende i dati grezzi degli esperimenti e permette ai teorici di dire: "Ehi, se il mio modello di nuova fisica fosse vero, cosa dovremmo vedere su queste mappe?".

Cosa c'è di nuovo in questo paper?

Gli autori (I˜naki Lara e Krzysztof Rolbiecki) hanno aggiornato CheckMATE per renderlo molto più potente, come se avessero dato al traduttore un dizionario molto più grande e intelligente. Ecco le due novità principali spiegate con metafore:

1. La "Fotocamera Semplice" vs. La "Fotocamera Professionale"
Prima, per confrontare i dati, si usava spesso un approccio "semplificato": si guardava la scatola (il bin) dove si vedeva la differenza più grande e si diceva: "Qui c'è un'anomalia!". È come guardare solo il punto più luminoso di un quadro per capire se è un falso.

• L'aggiornamento: Ora CheckMATE può usare la "Fotocamera Professionale" (il Full Likelihood). Analizza tutte le scatole contemporaneamente, tenendo conto di come sono correlate tra loro. È come guardare l'intero quadro, le pennellate, i colori e le ombre insieme. Questo permette di vedere cose che la "fotocamera semplice" non noterebbe, rendendo la caccia al tesoro molto più precisa.

2. Il "Cestino della Spesa" vs. Il "Cesto Completo"
Per le analisi del CMS (un altro esperimento), hanno implementato un metodo che tiene conto delle "correlazioni". Immagina di dover stimare il peso totale di un cesto della spesa.

• Metodo vecchio: Pesavi ogni singolo frutto separatamente e sommavi i pesi.
• Metodo nuovo (Semplificato ma intelligente): Sai che se compri molti pomodori, probabilmente il peso totale è influenzato dalla qualità del pomodoro in generale. Il nuovo metodo usa una "matematica delle correlazioni" (una matrice di covarianza) per capire che se un frutto pesa più del previsto, è probabile che anche gli altri pesino un po' di più. Questo riduce gli errori e rende il risultato più affidabile.

Perché è importante?

Immagina di dover trovare un ago in un pagliaio.

• Prima: Guardavi un piccolo pezzo di paglia alla volta. Se non trovavi l'ago lì, passavi oltre.
• Ora: CheckMATE ti permette di analizzare l'intero pagliaio in una volta sola, usando la forma, il colore e la consistenza di ogni paglia per capire se l'ago è nascosto lì.

Grazie a questo aggiornamento, CheckMATE ha incluso 13 nuovi esperimenti (9 di ATLAS e 4 di CMS). Gli autori hanno fatto dei "test di validazione": hanno preso modelli teorici noti, li hanno fatti correre attraverso il nuovo CheckMATE e hanno confrontato i risultati con quelli ufficiali degli esperimenti.
Il risultato? CheckMATE funziona perfettamente! I risultati coincidono con quelli ufficiali, ma spesso CheckMATE riesce a escludere modelli "sbagliati" molto più velocemente e con più precisione rispetto ai metodi vecchi.

In sintesi

Questo paper annuncia che il "cacciatore di nuove fisica" (CheckMATE) ha ricevuto un nuovo equipaggiamento:

1. Mappe più dettagliate: Ora può usare le analisi complete (Full Likelihood) invece di accontentarsi di stime approssimative.
2. Velocità e Intelligenza: Offre diverse modalità di calcolo (alcune veloci, altre super-precise) per adattarsi alle esigenze del fisico.
3. Affidabilità: Ha dimostrato di essere in grado di replicare i risultati complessi degli esperimenti più grandi del mondo.

In parole povere: ora possiamo cercare la nuova fisica con una lente di ingrandimento molto più potente e precisa, aumentando le nostre possibilità di scoprire qualcosa di rivoluzionario prima che il LHC si fermi.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Implementation of full and simplified likelihoods in CheckMATE" di I. Lara e K. Rolbiecki, redatta in italiano.

1. Il Problema

Con l'avanzamento della Run 3 del Large Hadron Collider (LHC) e l'accumulo di centinaia di $\text{fb}^{-1}$ di dati, l'interpretazione dei risultati sperimentali è diventata sempre più complessa.

• Limiti dei modelli semplificati: Storicamente, le interpretazioni si basavano su modelli semplificati o su un numero limitato di "bin" (regioni di segnale) ottimizzati per classi ristrette di modelli teorici. Questo approccio non cattura la complessità dei dati reali.
• Complessità statistica: Gli esperimenti ATLAS e CMS pubblicano ormai dati binnati in molte osservabili, utilizzando modelli statistici sofisticati che includono regioni di controllo (CR) e matrici di covarianza per le incertezze di fondo.
• Sfida del re-interpretazione: Ricreare questi risultati per modelli di nuova fisica arbitrari (ad esempio, modelli supersimmetrici completi o modelli di materia oscura) è computazionalmente oneroso e tecnicamente difficile, specialmente quando si richiede di combinare più regioni di segnale o canali ortogonali per massimizzare la sensibilità.

2. Metodologia

Il paper descrive l'implementazione e l'ottimizzazione di likelihood completi e semplificati all'interno del framework CheckMATE, un software per il confronto di modelli di nuova fisica con i dati del LHC.

• Implementazione dei Modelli:
  • ATLAS: Sono stati implementati 9 analisi ATLAS. Per 6 di esse, è stato integrato il modello di likelihood completo (fornito in formato JSON dall'ATLAS Collaboration), che include tutte le regioni di segnale e di controllo con i relativi parametri di disturbo (nuisance parameters). Per le analisi senza file JSON completi, è stata implementata una versione semplificata basata sui tassi di fondo post-fit e un singolo parametro di disturbo correlato.
  • CMS: Sono state incluse 4 analisi CMS che utilizzano il framework di likelihood semplificato con fondo correlato, basato su una distribuzione gaussiana multivariata e matrici di covarianza fornite da CMS.
• Strumenti Computazionali:
  • Il calcolo delle likelihood viene eseguito utilizzando il pacchetto Python Pyhf (implementazione di HistFactory).
  • Per l'inferenza statistica e la combinazione di diverse ricerche, viene utilizzato il pacchetto Spey, che offre un controllo maggiore rispetto all'interfaccia diretta con Pyhf.
  • Sono supportati diversi backend per il calcolo (Numpy, Jax, PyTorch, TensorFlow), con Jax che dimostra le migliori prestazioni, specialmente su GPU.
• Gestione delle Regioni di Controllo (CR): Per alcune analisi ATLAS (es. atlas 2010 14293), è stata implementata la piena inclusione delle regioni di controllo, un passo cruciale per evitare stime errate in modelli di nuova fisica dove il segnale potrebbe contaminare le CR.
• Parametri di Controllo: Gli utenti possono scegliere tra diversi metodi di calcolo tramite switch specifici:
  • full: Likelihood completo (ATLAS) tramite interfaccia Spey.
  • simple: Likelihood semplificato (ATLAS e CMS).
  • fullpyhf: Likelihood completo tramite interfaccia diretta Pyhf.
  • Opzioni per il calcolo di limiti superiori, valori di CLs e combinazioni statistiche.

3. Contributi Chiave

• Estensione del Database: Aggiunta di 13 nuove ricerche (9 ATLAS, 4 CMS) basate sull'intera luminosità della Run 2 ($\approx 139 \text{ fb}^{-1}$ a $\sqrt{s} = 13 \text{ TeV}$).
• Framework Unificato: Creazione di un sistema coerente per gestire sia likelihood completi che semplificati, permettendo agli utenti di confrontare direttamente i risultati ottenuti con i diversi approcci.
• Combinazione Statistica: Abilitazione della combinazione di regioni di segnale multiple e, in alcuni casi, di canali ortogonali, superando i limiti dei metodi basati sulla singola "migliore regione di segnale" (Best-SR).
• Validazione Estensiva: Fornitura di plot di validazione dettagliati che confrontano i limiti di esclusione ottenuti da CheckMATE con quelli ufficiali di ATLAS e CMS, dimostrando l'affidabilità dell'implementazione.
• Ottimizzazione delle Prestazioni: Analisi comparativa dei tempi di calcolo che mostra come l'uso di backend moderni (Jax) e GPU riduca drasticamente i tempi di esecuzione, rendendo fattibili scansioni ampie dello spazio dei parametri.

4. Risultati

• Accordo con gli Esperimenti: Per la maggior parte delle analisi validate (es. atlas 1908 03122, cms 1908 04722), i limiti di esclusione ottenuti con CheckMATE (sia full che simplified likelihood) mostrano un accordo eccellente con i risultati ufficiali di ATLAS e CMS, spesso entro le incertezze di $1\sigma$.
• Miglioramento della Sensibilità: L'uso delle likelihood multibin (sia complete che semplificate) offre un vantaggio significativo rispetto al metodo "Best-SR" (che considera solo la regione con la massima sensibilità attesa). In diversi scenari (es. produzione di gluini o squark), la combinazione di più bin aumenta la sensibilità fino a un fattore 2, estendendo i limiti di esclusione verso masse più elevate o regioni di parametri più compresse.
• Limiti del Metodo Semplificato: In casi specifici con forti eccessi o deficit locali in alcune regioni (es. atlas 1911 12606 per parità opposte di neutralini), il modello semplificato può fallire nel riprodurre la forma complessa del limite osservato. In tali casi, l'uso del likelihood completo è fortemente raccomandato.
• Performance: L'implementazione con backend Jax su GPU ha ridotto i tempi di calcolo per un'analisi complessa da diverse ore (Numpy) a pochi secondi, rendendo praticabile l'uso di likelihood completi in scansioni di parametri estese.

5. Significato e Prospettive

Questo lavoro rappresenta un passo fondamentale verso una reinterpretazione più rigorosa e completa dei dati del LHC.

• Accessibilità: Rende accessibile alla comunità teorica l'uso di modelli statistici complessi, precedentemente riservati agli esperimenti o a gruppi specializzati, permettendo di testare modelli di nuova fisica arbitrari contro dati reali con alta precisione.
• Flessibilità: La possibilità di combinare diverse ricerche e canali ortogonali apre la strada a limiti di esclusione globali più stringenti, cruciali per escludere modelli complessi come la Supersimmetria (SUSY) o la Materia Oscura.
• Futuro: Gli autori pianificano di espandere ulteriormente le capacità di combinazione statistica tra esperimenti diversi e di integrare metodi di Machine Learning, che stanno diventando sempre più centrali nelle analisi sperimentali moderne.

In sintesi, il paper fornisce gli strumenti tecnici necessari per sfruttare appieno la potenza statistica dei dati del LHC Run 2, migliorando la capacità di scoprire o escludere nuova fisica oltre il Modello Standard.