Sintesi Tecnica: Perché la Classifica degli Algoritmi di Rilevamento delle Anomalie non è Affidabile come si Potrebbe Pensare

Definizione del Problema

Il rilevamento delle anomalie (AD - Anomaly Detection) è un dominio di apprendimento automatico critico per la sicurezza, con applicazioni nel rilevamento delle frodi, nella prevenzione dei guasti e nell'intrusione di rete. Nonostante la proliferazione di algoritmi proposti — che spaziano dai metodi statistici classici al deep learning e ai modelli di fondazione — molti nuovi approcci rivendicano prestazioni allo stato dell'arte (SOTA). Tuttavia, tali rivendicazioni si basano spesso su configurazioni di benchmark che non sono allineate tra gli studi. Questa mancanza di comparabilità solleva significative preoccupazioni riguardo alla riproducibilità e all'affidabilità dei benchmark di AD. Il problema centrale affrontato è l'instabilità della classifica degli algoritmi: se il "miglior" algoritmo sia un risultato robusto o un artefatto di specifiche scelte di progettazione sperimentale.

Metodologia

Per investigare la stabilità delle classifiche di AD, gli autori hanno condotto un'analisi sistematica utilizzando il seguente framework:

• Algoritmi: Sono stati selezionati sette algoritmi rappresentativi e computazionalmente leggeri per consentire estese valutazioni ripetute: KNN, LOF, Isolation Forest (IFOR), HBOS, PCA, CBLOF e SEAN.
• Dataset: Lo studio ha utilizzato 690 dataset dal set di benchmark OddBench. Per gestire i costi computazionali (particolarmente per i metodi basati sulla distanza), i dataset sono stati limitati a 5.000 istanze campionate casualmente.
• Metrica di Instabilità della Classifica: È stata introdotta una nuova metrica, $\sigma_{rank}$, per quantificare la stabilità della classifica. Essa è definita come la deviazione standard media del rango di un algoritmo attraverso diverse configurazioni di benchmark:
  $$\sigma_{rank} = \text{mean}_{algo} \left( \text{std}_{setting} \left( \text{Rank}(algo, setting) \right) \right)$$
  Un valore basso indica una classifica stabile, mentre un valore alto suggerisce che le classifiche dipendono fortemente dal design sperimentale.
• Fonti di Variabilità: Lo studio ha isolato e simulato l'impatto di quattro fattori specifici variandoli mentre gli altri rimanevano costanti:
  1. Selezione del Dataset: Variazione del numero e della composizione dei dataset (sottogruppi di 25, 100 e 400).
  2. Metrica di Valutazione: Confronto tra ROC-AUC e AUCPR.
  3. Selezione degli Iperparametri: Campionamento casuale di configurazioni di iperparametri.
  4. Selezione del Random Seed: Variazione del seed casuale per il campionamento dei dati e l'inizializzazione.

Risultati Chiave

L'analisi rivela che le classifiche degli algoritmi nel rilevamento delle anomalie sono altamente instabili e sensibili alle scelte sperimentali:

• Volatilità della Classifica: Le classifiche cambiano sostanzialmente tra le diverse configurazioni. Sorprendentemente, cinque dei sette algoritmi studiati hanno raggiunto il primo posto in più del 10% di tutte le configurazioni valutate. Al contrario, HBOS e CBLOF sono apparsi raramente come i metodi migliori (HBOS una volta in 1.016 configurazioni; CBLOF mai).
• Fattibilità delle Rivendicazioni "SOTA": I risultati suggeriscono che è comparativamente facile costruire configurazioni di benchmark in cui un algoritmo competitivo appaia allo stato dell'arte. Negli esperimenti, il campionamento di appena otto configurazioni casuali è stato sufficiente per trovare una configurazione in cui un algoritmo specifico superasse tutti gli altri.
• Fattori Dominanti di Instabilità:
  • Selezione del Dataset e Iperparametri: Questi sono i principali motori dell'incertezza della classifica. La scelta degli iperparametri introduce un'incertezza sostanziale, un fattore che gli autori notano essere probabilmente sottostimato per i metodi classici e che sarebbe ancora più pronunciato per i moderni metodi di deep learning con spazi di iperparametri più ampi.
  • Quantità di Dataset: Aumentare il numero di dataset riduce l'instabilità, ma l'effetto satura. Lo studio suggerisce che sono necessari circa 200 dataset per ridurre l'instabilità totale della classifica a un livello affidabile ($\sigma_{rank} \approx 0.2$).
  • Fattori Minori: La selezione del random seed ha un impatto trascurabile, e la scelta tra comuni metriche di valutazione (ROC-AUC vs. AUCPR) ha un effetto minore, sebbene percepibile, rispetto alle scelte di dataset e iperparametri.
• Entità dell'Incertezza: L'instabilità osservata ($\sigma_{rank} \approx 0.34$) è significativa, dato che la differenza media di ranking tra il miglior e il peggior algoritmo dello studio era di soli 1,51 posizioni. Un'incertezza di 0,34 posizioni rappresenta una frazione consistente del gap di performance totale.

Significato e Raccomandazioni

L'articolo sostiene che la nozione di un algoritmo di rilevamento delle anomalie universalmente "migliore" è spesso non robusta e dipende fortemente dalle scelte di costruzione del benchmark. Di conseguenza, piccoli miglioramenti nelle classifiche dei benchmark dovrebbero essere interpretati con cautela.

Sulla base di queste scoperte, gli autori propongono le seguenti raccomandazioni per la ricerca futura:

1. Scala di Valutazione: Gli studi di benchmark futuri dovrebbero utilizzare almeno 200 dataset per garantire la stabilità della classifica.
2. Sensibilità agli Iperparametri: I benchmark dovrebbero valutare esplicitamente gli algoritmi sotto diverse configurazioni di iperparametri, piuttosto che fare affidamento su un'unica impostazione selezionata manualmente.
3. Reporting dell'Instabilità: Gli studi dovrebbero includere un punteggio di instabilità (come la $\sigma_{rank}$ proposta) per quantificare l'affidabilità delle loro conclusioni.
4. Spostamento del Focus: La comunità di ricerca dovrebbe dare priorità a robustezza, riproducibilità e comprensione delle specifiche condizioni in cui gli algoritmi performano bene, piuttosto che concentrarsi principalmente su miglioramenti marginali nelle classifiche dei benchmark.

Gli autori concludono che un miglioramento tangibile nel rilevamento delle anomalie può essere assunto solo quando si osservano miglioramenti significativi su un gran numero di dataset e questi rimangono invarianti rispetto alle scelte di design.