An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

Titolo: Un'analisi sull'interpretazione delle metriche di valutazione nel caso di squilibrio dell'Anomaly Detection

Problema
L'anomaly detection è intrinsecamente caratterizzata da un severo squilibrio di classe, dove le anomalie sono rare rispetto ai dati normali. Questo squilibrio complica l'interpretazione delle metriche di valutazione standard. Sebbene metriche come AUROC, AUPR, F1-score e il coefficiente di Matthews (MCC) siano ampiamente utilizzate, i loro valori numerici trasmettono significati diversi a seconda del rapporto di anomalia. Un singolo punteggio scalare spesso scarta informazioni riguardanti il comportamento del modello, e punteggi identici possono corrispondere a comportamenti del classificatore molto diversi sotto diversi gradi di squilibrio. Inoltre, negli scenari non supervisionati in cui l'addestramento avviene solo su dati normali, la valutazione viene condotta sotto distribuzioni di test altamente sbilanciate, rendendo delicata la valutazione delle prestazioni. Sebbene esistano varianti pesate delle misure standard, queste vengono spesso evitate nell'anomaly detection per evitare di disaccoppiare la valutazione dalla distribuzione operativa della classe. Di conseguenza, manca un consenso su come interpretare queste metriche standard attraverso diversi regimi di squilibrio.

Metodologia
Gli autori propongono un'analisi sistematica di quattro comuni metriche di anomaly detection (AUROC, AUPR, F1 e MCC) attraverso una vasta gamma di rapporti di squilibrio di classe. Il contributo metodologico principale è l'introduzione dei metric landscapes (paesaggi metrici), un framework di visualizzazione che mappa i punteggi delle metriche nello spazio del Tasso di Veri Positivi (TPR/Recall) e del Tasso di Veri Negativi (TNR/Specificità).

Lo studio utilizza:

1. Dataset: Un insieme diversificato di benchmark che rappresentano Time-Series Anomaly Detection (TSAD), One-Class Classification (OCC) e Image Anomaly Detection (IAD). Questo include UCR, WaDi, PUMP, SWaT, PSM, CIFAR-10, ViSA e MVTec, coprendo rapporti di anomalia dallo 0,19% al 90%.
2. Analisi Null: Stabilire dei baseline computando le metriche su 100 esecuzioni di predizioni casuali attraverso rapporti di squilibrio (da 99:1 a 1:99) per determinare media, deviazione standard e deviazione positiva media.
3. Evoluzione del Landscape: Visualizzare la differenza tra i paesaggi metrici in contesti bilanciati (50:50) e sbilanciati (ad esempio 5:95) per osservare come cambiano le preferenze delle metriche.
4. Analisi Fattoriale: Investigare le relazioni latenti tra le metriche utilizzando i coefficienti di congruenza di Tucker e le correlazioni di Pearson attraverso tre gruppi di squilibrio (Basso, Medio, Alto).

Risultati Chiave

• Stabilità delle Metriche e Baseline:
  • AUROC e MCC rimangono centrati intorno a 0,5 in tutti i rapporti di squilibrio sotto predizioni casuali, sebbene l'AUROC presenti una maggiore variabilità (deviazione positiva media fino a ~0,25).
  • F1 e MCC mostrano una bassa varianza sotto comportamento casuale, rendendoli meno soggetti a punteggi elevati spurii.
  • Il baseline di AUPR varia linearmente con la proporzione di anomalie, rendendo facili da quantificare le deviazioni dalla prestazione casuale, sebbene mostri deviazioni verso l'alto non trascurabili in specifici regimi.
• Comportamento del Landscape:
  • AUROC è invariante rispetto allo squilibrio di classe; la sua struttura del landscape rimane invariata indipendentemente dal rapporto.
  • AUPR e F1 sono altamente sensibili allo squilibrio. Man mano che la classe negativa domina, i paesaggi di AUPR diminuiscono significativamente (di 0,2–0,4 in molte regioni), riflettendo una ridotta influenza della prestazione della classe negativa. L'F1 richiede un TNR sempre più elevato per raggiungere lo stesso punteggio al diminuire del rapporto di anomalia.
  • MCC mostra un pattern complesso in cui i valori estremi di TNR rimangono stabili, ma la distribuzione si comprime attorno ai valori medi, rendendo l'interpretazione del punteggio medio meno diretta sotto severo squilibrio.
• Requisiti Minimi di Rilevamento:
  • Per AUROC, non è necessario rilevare campioni positivi per ottenere un punteggio di 0,5.
  • Per AUPR, ottenere punteggi elevati in dataset bilanciati richiede la classificazione corretta del 100% dei negativi anche con un rilevamento minimo dei positivi.
  • Per F1, l'aumento del punteggio richiede sempre più positivi classificati correttamente, ma il requisito per i negativi classificati correttamente cresce al diminuire del rapporto di anomalia.
  • Per MCC, raggiungere un punteggio di ~0,4 su dataset altamente sbilanciati (ad esempio UCR) è possibile senza rilevare alcun positivo e con solo il ~10% di negativi classificati correttamente, sebbene ciò rimanga al di sotto del baseline casuale.
• Relazioni tra Metriche:
  • Nei regimi di squilibrio Medio, tutte le metriche mostrano profili di carico simili e alte correlazioni, suggerendo che catturano strutture correlate.
  • Nei regimi di squilibrio Basso (altamente sbilanciati), le metriche diventano più complementari. AUROC e MCC rimangono strettamente correlati, mentre F1 e AUROC mostrano l'accordo più debole.
  • Nei regimi di squilibrio Alto (classe positiva dominante), le metriche si decorrelano ulteriormente. In particolare, AUROC e MCC mantengono una similitudine totale (congruenza di Tucker di 0,997), mentre AUPR e AUROC mostrano una congruenza ridotta.

Significatività e Contributi
L'articolo sostiene che le metriche esistenti rimangano utili a condizione che la loro interpretazione tenga esplicitamente conto della dipendenza tra valore della metrica, qualità della predizione e squilibrio di classe. Il contributo primario è l'introduzione dei metric landscapes come un framework intuitivo per visualizzare come diverse metriche enfatizzino diversi trade-off tra sensibilità e specificità e come queste preferenze cambino con l'aumentare dello squilibrio.

Il lavoro fornisce una guida pratica per interpretare e confrontare i risultati dell'anomaly detection attraverso dataset con diversi rapporti di squilibrio. Non propone una singola "migliore" metrica per tutti gli scenari, ma offre piuttosto un punto di riferimento per comprendere il comportamento delle metriche in condizioni realistiche. Gli autori notano che punteggi identici possono corrispondere a comportamenti del classificatore differenti, e la loro analisi aiuta a chiarire queste distinzioni. Il lavoro futuro è identificato nell'estensione di questa analisi ad altri domini come il monitoraggio industriale, l'IoT, la cybersecurity e la guida autonoma.