Sintesi Tecnica: Definizione di una Risoluzione Minima per Analisi Unbinned

Definizione del Problema

Le analisi dei collider di alta energia (HEP) si affidano sempre più a modelli di Machine Learning (ML) per stimare i processi di fondo in spazi di caratteristiche (feature) ad alta dimensionalità e non binari (unbinned). Sebbene queste tecniche migliorino il potere statistico, introducono una vulnerabilità critica: la mancata specificazione del modello di fondo (background model misspecification).

Quando un modello di fondo basato su dati o simulazioni $p(x|\theta_b)$ non corrisponde perfettamente al vero fondo $p_{true}(x)$, può portare a bias sistematici. Nello specifico, se il modello sottostima la densità di probabilità nelle regioni in cui segnale e fondo si sovrappongono (spesso a causa di artefatti di addestramento o bias architettonici che "spalmano" la densità nelle code), il rapporto di verosimiglianza segnale-fondo viene sovrastimato. Ciò provoca una falsa sovrastima della forza del segnale ($\hat{\mu}_s$), portando potenzialmente a false scoperte. Quantificare e correggere questi bias è difficile perché sono spesso non gaussiani, difficili da parametrizzare e dipendono dalla specifica distribuzione di addestramento del modello ML.

Metodologia: Minimum Resolution Likelihood (MRL)

Il documento propone il metodo Minimum Resolution Likelihood (MRL) come una soluzione conservativa per mitigare la sovrastima del segnale causata dalla cattiva modellazione del fondo. La filosofia centrale è quella di scambiare le incertezze sistematiche con le incertezze statistiche definendo una Regione di Segnale Fiduciale (FSR) che escluda le regioni in cui il modello di fondo non è affidabile.

La metodologia procede come segue:

1. Regione di Calibrazione: È richiesta una regione contenente solo fondo (o una distribuzione più vicina al vero fondo rispetto al modello). Questa regione viene utilizzata per validare il modello di fondo.
2. Confronto del Volume di Verosimiglianza: Il metodo confronta la distribuzione cumulativa dei valori di verosimiglianza del modello di fondo, $L = p(x|\theta_b)$, tra:
   • Campioni generati dal modello di fondo (Toy).
   • Campioni dalla Regione di Calibrazione (che rappresentano il vero fondo).
3. Determinazione di $L_{min}$: Viene definito un valore critico di soglia di verosimiglianza, $L_{min}$, che è il valore dove la discrepanza tra la funzione di sopravvivenza predetta dal modello e la funzione di sopravvivenza del vero fondo è massima:
   $$L_{min} \equiv \arg \max_{L_c} | f(L_c | \theta_b) - f(L_c | true_b) |$$
   dove $f(L_c)$ è la frazione di eventi con verosimiglianza maggiore di $L_c$.
   • Interpretazione: $L_{min}$ corrisponde al "punto di incrocio" dove il modello di fondo transita dal sottostimare al sovrastimare la densità del fondo. Gli eventi con verosimiglianze inferiori a questa soglia sono considerati inaffidabili.
4. Regione di Segnale Fiduciale (FSR): Gli eventi nella Regione di Segnale con $p(x|\theta_b) < L_{min}$ vengono scartati. L'analisi statistica viene quindi eseguita solo sugli eventi rimanenti.
5. Verosimiglianza Modificata: La funzione di verosimiglianza estesa viene ridefinita includendo termini di efficienza ($\epsilon$) che tengono conto della frazione di segnale e di fondo trattenuta all'interno della FSR. Queste efficienze sono stimate utilizzando la Regione di Calibrazione e le simulazioni toy.

Contributi Chiave

• Definizione di MRL: Una prescrizione formale per definire un taglio basato sui dati ($L_{min}$) che isoli la regione in cui un modello di fondo è affidabile, convertendo efficacementamente le incertezze sistematiche non quantificabili in incertezze statistiche dovute alla riduzione del campione.
• Giustificazione Teorica: Il documento dimostra che $L_{min}$ corrisponde matematicamente al punto di incrocio tra le regioni in cui il modello sottostima e sovrastima il fondo, fornendo un criterio robusto di esclusione.
• Integrazione con i Parametri di Nuisance: Il framework accoglie i parametri di nuisance (ad esempio, incertezze di forma) tramite la riponderazione della verosimiglianza, permettendo il profiling anche dopo l'applicazione del taglio FSR.
• Utilità Diagnostica: Il metodo funge da strumento diagnostico per identificare quando il bias di un modello è abbastanza significativo da invalidare un'analisi, forzando una stima conservativa (coerente con lo zero) piuttosto che una scoperta distorta.

Risultati

Gli autori validano il metodo MRL utilizzando due esempi toy e un'applicazione realistica alla ricerca di di-Higgs tramite la tecnica HI-SIGMA.

Esempi Toy

1. Caso Gaussiano 1D:
   • Quando la deviazione standard del modello di fondo era errata, un fit standard ha sovrastimato significativamente la forza del segnale.
   • L'applicazione di MRL ha ridotto il bias, ottenendo stime della forza del segnale coerenti con il valore reale (o zero per segnali piccoli), sebbene con un aumento dell'incertezza dovuto alla riduzione del numero di eventi.
   • I test di copertura hanno mostrato che, mentre il fit distorto falliva nel coprire il parametro reale, il fit corretto con MRL ha ripristinato la copertura per segnali moderati o grandi, pur rimanendo conservativo per segnali molto piccoli.
2. Caso Esponenziale/Gaussiano 2D:
   • In uno scenario 2D che imita la cinematica del di-higgs, il modello distorto ha nuovamente portato a una significativa sovrastima del segnale.
   • MRL ha corretto con successo il bias in diversi scenari di forza del segnale. Tuttavia, per scenari di segnale "Raro" (bassa statistica), il metodo è diventato altamente conservativo, risultando spesso in stime coerenti con lo zero e in una sotto-copertura, evidenziando il compromesso tra rimozione del bias e potere statistico.

Applicazione Realistica: HI-SIGMA (Ricerca di Di-Higgs)

• Il metodo è stato applicato a un dataset di di-higgs ($hh \to b\bar{b}\gamma\gamma$) utilizzando Normalizing Flows condizionali (cNF) per la stima del fondo.
• Senza Masking: L'applicazione iniziale di MRL senza masking delle zone laterali (sideband) ha prodotto un taglio eccessivamente conservativo che rimuoveva la maggior parte degli eventi di segnale, portando a grandi incertezze e una perdita di sensibilità.
• Con Masking: Quando combinato con una tecnica di masking delle sideband (precedentemente dimostrata efficace per migliorare HI-SIGMA), MRL ha rimosso efficacemente le regioni problematiche delle sideband. Il fit risultante è stato non distorto (o coerente con lo zero) con incertezze minori rispetto a un fit basato solo sulla massa, sebbene maggiori rispetto al fit standard HI-SIGMA.
• Pseudo-esperimenti: In un set limitato di pseudo-esperimenti, MRL ha costantemente impedito false scoperte in regimi di basso segnale, forzando la stima della forza del segnale a essere coerente con lo zero quando il bias del fondo era troppo severo per essere considerato affidabile.

Significato e Rivendicazioni

Il documento afferma che MRL offre un "cerotto" conservativo per analisi unbinned ad alta dimensionalità dove i modelli di fondo sono imperfetti. Il suo significato primario risiede in:

1. Mitigazione del Bias: Impedisce lo scenario pericoloso di false scoperte di segnale causate dalla sottostima del fondo nella regione di segnale.
2. Compromesso sull'Incertezza: Scambia esplicitamente il bias sistematico del modello con l'incertezza statistica (riduzione della statistica effettiva), un compromesso che gli autori ritengono preferibile rispetto a incertezze sistematiche non quantificate.
3. Potere Diagnostico: Fornisce una metrica quantitativa ($L_{min}$ e la relativa differenza di frazione) per valutare l'affidabilità di un modello di fondo prima di trarre conclusioni fisiche.

Gli autori sono modesti riguardo all'ambito del metodo, notando che non è una soluzione definitiva ("be-all, end-all"). Riconoscono che per segnali molto deboli, il metodo può essere troppo conservativo, rischiando di mascherare segnali reali. Suggeriscono che il lavoro futuro potrebbe esplorare tagli più morbidi (masking) invece di esclusioni nette e ulteriori test con statistiche più elevate per raffinare la definizione di $L_{min}$. Il metodo è concepito per essere applicabile non solo ai fondi basati su dati, ma anche come diagnostica per l'Inferenza Basata su Simulazioni (SBI) e compiti di Rilevamento di Anomalie.