How to pick the best anomaly detector?

Questo articolo introduce la metrica ARGOS basata sui dati, uno strumento teoricamente fondato ed empiricamente robusto per selezionare i modelli di rilevamento delle anomalie più sensibili in modo agnostico rispetto al modello, dimostrando la sua superiorità rispetto a metriche esistenti come la perdita di cross-entropia binaria in compiti quali la sintonizzazione degli iperparametri e la selezione delle caratteristiche.

L'essenziale

Immagina di essere un detective che cerca di trovare un ladro singolo, minuscolo e invisibile, nascosto in una folla enorme di 1.000.000 di persone innocenti. Questo è essenzialmente ciò che i fisici al Large Hadron Collider (LHC) fanno quando cercano la "nuova fisica" (come una nuova particella) nascosta in un mare di dati ordinari.

Il problema non è solo trovare il ladro; è che non sanno che aspetto abbia il ladro. Non possono dire: "Cercate un uomo con un cappello rosso". Invece, devono usare programmi per computer (rilevatori di anomalie) per individuare chiunque sembri strano o fuori posto rispetto alla folla.

Per molto tempo, gli scienziati hanno avuto un grande problema: come decidere quale programma per computer sia il miglior detective?

Di solito, per testare un detective, gli daresti in mano una fila di criminali noti e vedresti chi li cattura. Ma in questo caso, i "criminali" (la nuova fisica) sono sconosciuti. Se testi il tuo detective su un falso criminale, potresti scegliere un detective che è bravissimo a catturare quel particolare falso criminale ma terribile nel trovare il vero ladro.

Questo articolo introduce un nuovo, intelligente modo per scegliere il miglior detective senza mai aver bisogno di vedere il criminale. Lo chiamano ARGOS.

L'idea Centrale: Il "Modello di Sfondo" (Background Template)

Per capire ARGOS, immagina di avere una folla enorme di persone innocenti (lo "Sfondo"). Hai anche un'area specifica dove il ladro si nasconde probabilmente (la "Regione del Segnale").

• Il Vecchio Modo (Perdita BCE): Tradizionalmente, gli scienziati addestravano i loro computer chiedendo: "Riesci a distinguere tra questo falso criminale e la folla innocente?". Usavano un punteggio chiamato "Entropia Incrociata Binaria" (BCE). Il problema è che questo punteggio è come un insegnante che valuta uno studente in un test di cui conosce già le risposte. Il computer diventa bravissimo a individuare piccole, casuali differenze tra la folla e il falso criminale, ma fallisce nell'individuare la vera stranezza del ladro reale. È come uno studente che impara a memoria le risposte del test ma fallisce l'esame vero.

• Il Nuovo Modo (ARGOS): ARGOS cambia le regole del gioco. Invece di chiedere al computer di distinguere tra due gruppi, gli chiede: "Se scegli il top 10% delle persone più strane dalla folla, quante di esse si trovano effettivamente nella 'Zona del Ladro' rispetto a quante ne troveresti per puro caso?"

Pensa a questo come a:

1. Hai una mappa di dove il ladro dovrebbe essere (la Regione del Segnale).
2. Hai un "Modello di Sfondo", che è una mappa perfetta di come appare la folla innocente in quella stessa area.
3. ARGOS controlla: "Se scelgo le persone dall'aspetto più sospetto, il numero di persone che trovo nella 'Zona del Ladro' aumenta significativamente più di quanto ci si aspetterebbe dalla folla innocente?"

Se la risposta è "Sì, molto di più del previsto", ARGOS assegna a quel detective un punteggio alto. Se la risposta è "No, è solo rumore casuale", il punteggio è basso.

Perché ARGOS è Migliore?

Gli autori hanno testato questo nuovo parametro contro lo standard precedente (BCE) usando tre diversi tipi di "detective" (modelli di machine learning) e tre diversi modi per creare la mappa della "folla innocente".

Ecco cosa hanno scoperto, usando analogie semplici:

1. Scegliere il Miglior "Giorno di Addestramento" (Selezione dell'Epoca)
Immagina di addestrare un detective per 100 giorni. Al giorno 10, potrebbe essere discreto. Al giorno 50, è ottimo. Al giorno 90, potrebbe confondersi e iniziare a vedere fantasmi (overfitting).

• Il Vecchio Modo: Il punteggio BCE diceva loro di interrompere l'addestramento al giorno 20 perché il "punteggio del test" sembrava buono. Ma il detective stava solo imparando a memoria il test, non stava imparando a individuare il ladro.
• Il Nuovo Modo (ARGOS): ARGOS ha aspettato fino al giorno 50. Ha ignorato i piccoli dettagli confondenti e si è concentrato sul quadro generale: "Stiamo davvero trovando più persone nella zona del ladro?". Ha selezionato con successo i giorni in cui il detective era davvero acuto.

2. Sintonizzare le Impostazioni del Detective (Iperparametri)
I detective hanno delle impostazioni (come la sensibilità dei loro occhi).

• Il Vecchio Modo: Modificare le impostazioni per minimizzare il "punteggio del test" spesso rendeva il detective troppo sensibile al rumore. Segnalavano persone innocenti come sospetti solo perché sbattevano le palpebre in modo diverso.
• Il Nuovo Modo (ARGOS): Modificare le impostazioni per massimizzare ARGOS rendeva il detective capace di ignorare il rumore e concentrarsi sulle reali anomalie. Era molto più stabile, specialmente quando il "ladro" era molto difficile da trovare (segnale basso).

3. Scegliere il Detective Giusto (Selezione dell'Architettura)
A volte devi scegliere tra un detective umano, un robot o un cane.

• Il Vecchio Modo: Il punteggio BCE spesso sceglieva il tipo di "detective" sbagliato, portando a risultati incoerenti. A volte sceglieva un robot che era bravissimo nel test ma inutile sul campo.
• Il Nuovo Modo (ARGOS): Ha scelto costantemente l'architettura che performava meglio nello scenario reale, anche quando la mappa della "folla innocente" non era perfetta.

Il Test del "Mondo Reale"

Gli autori non hanno fatto questo esperimento solo su dati finti e perfetti. Hanno utilizzato un dataset realistico chiamato "LHC Olympics", che simula le condizioni disordinate e rumorose di un vero esperimento di fisica.

Hanno scoperto che anche quando il "Modello di Sfondo" (la mappa della folla innocente) non era perfetto, ARGOS funzionava ancora. Era robusto. Non si lasciava confondere dal rumore.

In Breve

L'articolo sostiene che ARGOS è il miglior strumento che abbiamo al momento per scegliere il miglior rilevatore di anomalie per trovare la nuova fisica.

• È "Agnostico rispetto al Modello": Non gli importa quale tipo di nuova fisica stiate cercando. Cerca solo qualsiasi stranezza.
• È "Basato sui Dati": Non avete bisogno di sapere com'è fatto il segnale per usarlo. Avete solo bisogno di una buona mappa del background.
• Supera lo standard precedente: In ogni test eseguito (scelta dei giorni di addestramento, sintonizzazione delle impostazioni, scelta dei modelli), ARGOS ha portato a risultati migliori rispetto al tradizionale punteggio di "Entropia Incrociata Binaria".

In breve, se stai cercando di trovare un ago in un pagliaio senza sapere che aspetto abbia l'ago, ARGOS è il nuovo modo più intelligente per scegliere il magnete che lo troverà.

Sommario tecnico

Sintesi Tecnica: Selezione del Miglior Rilevatore di Anomalie tramite la Metrica ARGOS

Definizione del Problema
La rapida proliferazione di metodi di apprendimento automatico (ML) agnostici rispetto al modello per il rilevamento di anomalie al Large Hadron Collider (LHC) — come gli autoencoder e i classificatori debolmente supervisionati — ha creato una sfida significativa: come selezionare oggettivamente il "miglior" rilevatore di anomalie per un dato dataset senza fare affidamento su specifici modelli di segnale. Attualmente, il campo manca di un approccio sistematico per l'ottimizzazione dei modelli. I ricercatori si affidano tipicamente a metriche come la Binary Cross-Entropy (BCE) loss o l'Area Under the Curve (AUC), che richiedono etichette di verità (truth labels) e segnali di benchmark. Tuttavia, in un vero scenario di rilevamento di anomalie, il segnale è ignoto; fare affidamento su specifici segnali di benchmark per regolare i modelli rischia di introdurre un bias nella ricerca contro i segnali effettivamente presenti nei dati. Di conseguenza, le analisi sperimentali esistenti spesso mancano di un'ottimizzazione sistematica del modello, ricorrendo ai parametri delle pubblicazioni originali del metodo o utilizzando piccoli set di segnali di benchmark per la ricalibrazione.

Metodologia: La Metrica ARGOS
Per affrontare questo problema, gli autori introducono ARGOS (Above Random Gain Of SIC), una metrica completamente guidata dai dati progettata per selezionare il rilevatore di anomalie più sensibile. La metrica richiede solo i dati non etichettati e un Background Template (BT) — un campione di eventi che seguono la distribuzione del fondo dello Standard Model (SM) nella regione di segnale (SR).

ARGOS è definita come:
\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}}
dove $\epsilon_{SR}$ e $\epsilon_{BT}$ sono le efficienze di selezione degli eventi nella regione di segnale e nel template del fondo, rispettivamente, per una data soglia di punteggio di anomalia (anomaly score).

L'analisi teorica dimostra che, per un template di fondo ideale, ARGos è monotona rispetto alla Significance Improvement Characteristic (SIC), definita come $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$. A differenza della SIC, che non può essere calcolata per dati reali non etichettati, ARGOS è accessibile utilizzando solo i dati e il template del fondo. Gli autori sostengono che massimizzare ARGOS permetta efficacementamente di massimizzare la sensibilità verso segnali ignoti, consentendo al contempo l'ottimizzazione simultanea del punto di lavoro (working point) del rilevatore di anomalie.

Configurazione Sperimentale
Gli autori hanno valutato ARGOS utilizzando il dataset di R&D LHC Olympics 2020 (LHCO), caratterizzato da $10^6$ eventi di fondo QCD dijet e segnali di risonanza $W'$ iniettati ($m_{W'} = 3.5$ TeV). Hanno testato tre metodi distinti per la costruzione del template di fondo:

1. Idealized Anomaly Detector (IAD): Utilizza eventi di fondo simulati (BT perfetto).
2. CWoLa Hunting: Utilizza dati da sideband brevi adiacenti alla regione di segnale.
3. CATHODE: Utilizza la stima della densità condizionale per interpolare le distribuzioni delle sideband nella regione di segnale.

Sono state impiegate tre architetture di classificatori: Multi-Layer Perceptrons (MLP), HistGradientBoosting (HGB) e AdaBoost. Lo studio si è concentrato sul rilevamento di anomalie risonanti debolmente supervisionato, dove un classificatore distingue tra dataset a etichette miste.

Risultati Chiave
L'articolo confronta ARGOS con la standard BCE loss e la metrica supervisionata "max SIC" attraverso quattro compiti di ottimizzazione:

1. Selezione degli Epoch: Quando si seleziona il miglior set di epoch di addestramento da utilizzare in un ensemble, i modelli ottimizzati tramite ARGOS hanno costantemente superato quelli selezionati tramite BCE. La BCE spesso fallisce nell'identificare le epoch ottimali, specialmente a bassi livelli di iniezione di segnale, poiché è dominata dalla classe di fondo maggioritaria ed è soggeta a overtraining sulle fluttuazioni statistiche. ARGOS, concentrandosi sugli eventi con alto punteggio di anomalia, segue molto più da vicino la vera sensibilità del segnale (max SIC).
2. Ottimizzazione degli Iperparametri: In ricerche casuali (random searches) su spazi di iperparametri, ARGOS ha mostrato una forte correlazione con la vera max SIC, superando significativamente la BCE. L'ottimizzazione della BCE ha spesso portato a configurazioni subottimali che minimizzavano la perdita sulle differenze del fondo piuttosto che potenziare la sensibilità del segnale.
3. Selezione dell'Architettura: Nel caso di scelta tra diverse architetture di classificatori (NN vs. HGB vs. AdaBoost), ARGOS ha selezionato architetture che producevano prestazioni quasi identiche al benchmark supervisionato max SIC. Al contrario, la selezione basata sulla BCE ha prodotto una maggiore varianza nelle prestazioni e, in alcuni casi (ad esempio, CWoLa Hunting), ha selezionato architetture inferiori.
4. Selezione delle Caratteristiche (Feature Selection): Uno studio proof-of-concept ha dimostrato che ARGOS può identificare con successo i set di caratteristiche più sensibili (ad esempio, estesi rapporti di subjettiness) senza conoscenza pregressa del segnale, selezionando in modo affidabile il set "Extended 3" ad alte iniezioni di segnale.

Significatività e Rivendicazioni
Gli autori affermano che ARGOS fornisce una solida base teorica per la selezione del modello nel rilevamento di anomalie, offrendo un'alternativa robusta e guidata dai dati rispetto alle metriche che dipendono dalle etichette di verità. La principale significatività di questo lavoro è la dimostrazione che ARGOS può selezionare in modo robusto il modello di rilevamento di anomalie più sensibile, ottimizzare gli iperparametri e scegliere le architetture senza introdurre bias del segnale.

Il documento sottolinea che ARGOS non è limitato al contesto specifico di supervisione debole testato, ma è applicabile a qualsiasi metodo di rilevamento di anomalie (inclusi autoencoder e stimatori di densità) purché sia disponibile un template di fondo. Gli autori concludono che, sebbene ARGOS sia attualmente più efficace con template di fondo accurati, rappresenta un passo critico verso un'ottimizzazione sistematica e agnostica rispetto al modello nelle ricerche di fisica delle alte energie. Notano che sono necessari lavori futuri per studiare i potenziali bias introdotti da template di fondo imperfetti nei compiti di selezione delle caratteristiche.