Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Sintesi Tecnica: Testare il Test: Instabilità della Direzione del Punteggio nella Rilevazione di Anomalie con Split delle Classi

1. Definizione del Problema

La valutazione tramite split delle classi all'interno dello stesso dataset è un protocollo standard nella rilevazione delle anomalie (AD), in cui specifiche classi semantiche vengono designate come "normali" e altre come "anomale" per simulare la rilevazione di dati fuori distribuzione (OOD). Sebbene attraente per evitare l'uso di fonti di dati esterne, questo articolo sostiene che il protocollo possa diventare ill-posed (mal posto) in un senso operativo preciso, quando la classe "anomala" scelta si sovrappone significativamente alla miscela "normale" nello spazio delle rappresentazioni.

Il nucleo del fallimento identificato è l'instabilità della direzione del punteggio dipendente dalla classe. Quando la classe anomala tenuta in riserva si trova all'interno o vicino alle regioni ad alta densità della miscela normale, i punteggi di anomalia possono collassare verso il caso (AUROC $\approx$ 0.5) o, più criticamente, invertirsi (AUROC < 0.5). In tali regimi, la direzione dell'anomalia (se un punteggio alto o basso indichi un'anomalia) dipende dalla specifica, sconosciuta classe anomala. Di conseguenza, le conclusioni dei benchmark diventano fragili, premiando potenzialmente metodi che sfruttano peculiarità specifiche del dataset piuttosto che dimostrare capacità di rilevazione OOD robuste e incondizionate.

2. Metodologia

Gli autori propongono un framework per diagnosticare e quantificare questa instabilità senza richiedere un ulteriore addestramento.

Diagnosi: Leakage di Classe nel Vicinato (Neighborhood Class Leakage)
Il documento introduce una metrica semplice, priva di addestramento, chiamata leakage di classe nel vicinato ($L_k$) per quantificare la sovrapposizione tra le varietà (manifold) condizionali di classe in uno spazio di rappresentazione fisso $r(x)$.

• Definizione: Per un campione $x_i$, il leakage $\ell_k(i)$ è la frazione dei suoi $k$-vicini più prossimi (nello spazio di rappresentazione) che appartengono a una classe semantica differente.
• Aggregazione: L'indice del dataset $L_k$ è la media del leakage attraverso tutti i campioni.
• Razionale: Un alto leakage indica che la geometria locale non si allinea con la struttura delle classi semantiche. Se una classe anomala occupa regioni densamente popolate da campioni normali, i punteggi di AD standard (basati sulla distanza dalla normalità o sulla densità locale) falliranno nel separarli in modo coerente.

Metriche di Instabilità
Per caratterizzare l'affidabilità del benchmark, gli autori definiscono diverse statistiche basate sul protocollo "K-1 vs 1" (iterando attraverso ogni classe come classe anomala tenuta in riserva):

• Dispersione dell'AUROC: Varianza dei punteggi AUROC attraverso le diverse classi tenute in riserva.
• Tasso di Quasi-Casualità ($\rho_{rnd}$): La frequenza con cui i punteggi AUROC cadono vicino a 0.5.
• Tasso di Inversione ($\rho_{inv}$): La frequenza con cui i punteggi AUROC cadono sotto 0.5.
• Tasso di Instabilità della Direzione ($\rho_{dir}$): Una misura di quanto spesso la direzione preferita del punteggio (deviazione positiva o negativa rispetto al caso) si inverte a seconda della classe anomala.

Setup Sperimentale
Lo studio valuta tre dataset di complessità crescente:

1. Fashion-MNIST: Utilizzato come controllo negativo (basso overlap).
2. CIFAR-10: Complessità intermedia.
3. Imagenette: Alta complessità.

Questi sono testati in due spazi di rappresentazione:

• Spazio dei Pixel: Input grezzi vettorizzati.
• Spazio Latente VAE: Caratteristiche codificate da un Variational Autoencoder addestrato solo sulla pool normale.

Vengono applicati tre scorer di AD incondizionale standard: k-Nearest Neighbors (kNN), Isolation Forest e Local Outlier Factor (LOF).

3. Risultati Chiave

I risultati empirici dimostrano una forte correlazione tra l'alto leakage del vicinato e l'instabilità del benchmark:

• Fashion-MNIST: Mostra un basso leakage ($L_k \approx 0.24$) e un comportamento stabile, con bassi tassi di inversione e di instabilità della direzione.
• CIFAR-10 e Imagenette: Mostrano un alto leakage ($L_k > 0.76$) sia nello spazio dei pixel che in quello latente. Questi dataset mostrano sostanziali tassi di inversione (fino al 50%) e tassi di instabilità della direzione (fino al 63%).
• Consistenza: L'instabilità persiste attraverso diverse famiglie di scorer (kNN, Isolation Forest, LOF) e spazi di rappresentazione, suggerendo che il fallimento sia inerente alla sovrapposizione geometrica dei dati piuttosto che a un difetto specifico del detector.
• Varianza per Classe: Nello spazio dei pixel di CIFAR-10, specifiche classi anomale producono punteggi AUROC significativamente inferiori al caso, mentre altre producono punteggi ben al di sopra del caso, nonostante l'uso della stessa convenzione di punteggio.

4. Contributi

Il documento apporta tre contributi primari:

1. Formalizzazione di un Modo di Fallimento: Identifica e formalizza l'instabilità della direzione del punteggio dipendente dalla classe come un modo di fallimento pratico della valutazione tramite split delle classi all'interno dello stesso dataset, guidata dalla sovrapposzione tra normale e anomalo.
2. Diagnostica Priva di Addestramento: Propone l'indice di leakage del vicinato ($L_k$) come un semplice controllo pre-valutazione per prevedere quando un benchmark di split delle classi è probabile che produca risultati inaffidabili o invertiti.
3. Validazione Empirica: Valida il fenomeno attraverso una matrice controllata di dataset, rappresentazioni e scorer, dimostrando che l'alto leakage predice l'instabilità indipendentemente dal metodo di AD specifico utilizzato.

5. Significato e Rivendicazioni

L'articolo sostiene che i benchmark tramite split delle classi non dovrebbero essere trattati come prova incondizionata della capacità di rilevazione delle anomalie. Al contrario, dovrebbero essere visti come stress test dipendenti dalla geometria.

• Rifiuto della "Re-inversione": Gli autori confutano l'idea che un metodo di AD "migliore" possa semplicemente "re-invertire" i ranking per correggere un basso AUROC. Se la direzione dell'anomalia dipende dal tipo di anomalia sconosciuto, un metodo che raggiunge un alto AUROC su uno split specifico potrebbe stare sfruttando correlazioni idiosincratiche tra etichette di classe e geometria piuttosto che apprendere una nozione di atipicità classe-agnostica.
• Interpretazione dei Benchmark: L'indice di leakage serve come controllo precondizionale. Un basso leakage supporta l'interpretazione che l'AUROC misuri la separazione dalla miscela normale. Un alto leakage, unito a un alto tasso di inversione o di instabilità della direzione, indica che il benchmark sta sondando una geometria sovrapposta piuttosto che un'anomalia semantica coerente.
• Raccomandazione: Gli autori suggeriscono che i futuri benchmark di split delle classi dovrebbero riportare le diagnostiche di leakage e di instabilità della direzione prima che i loro risultati vengano utilizzati per rivendicare capacità di rilevazione OOD incondizionate.