Riepilogo Tecnico: Medix – Rilevamento di Out-of-Distribution da dati non etichettati "in the wild" tramite statistiche del gradiente robuste

Definizione del Problema

Il dispiegamento di modelli di apprendimento automatico in ambienti reali espone i modelli a input Out-of-Distribution (OOD): dati provenienti da categorie sconosciute che il modello non è stato addestrato a riconoscere. Sebbene le reti neurali siano intrinsecamente vulnerabili a tali input, il rilevamento di essi durante l'inferenza è complesso perché i modelli non sono esposti a distribuzioni sconosciute durante l'addestramento.

Approcci recenti hanno tentato di utilizzare dati non etichettati "in-the-wild" per migliorare il rilevamento OOD. Tuttavia, rimane un ostacolo significativo: i dati "wild" sono un insieme complesso di campioni In-Distribution (InD) e OOD. A differenza dei metodi che presuppongono l'accesso a un dataset ausiliario OOD pulito (ad esempio, Outlier Exposure), i dati reali "in the wild" mancano di etichette distinte. L'assenza di un set pulito di campioni OOD complica l'addestramento di un classificatore OOD ottimale, poiché il modello deve distinguere tra campioni InD e OOD all'interno di una distribuzione contaminata senza supervisione esplicita.

Metodologia: Il Framework Medix

Gli autori propongono Medix, un nuovo framework progettato per identificare potenziali outlier da dati wild non etichettati utilizzando statistiche del gradiente robuste basate sulla mediana elemento per elemento (EWM). Il framework opera in due fasi principali:

1. Estrazione degli Outlier (Filtraggio)

L'innovazione principale di Medix risiede nella sua capacità di filtrare i campioni candidati OOD da un dataset wild misto ($S_{wild}$) senza una conoscenza preventiva delle loro etichette.

• Stima del Gradiente di Riferimento: Innanzitutto, un classificatore InD ($f_\phi$) viene addestrato esclusivamente su dati InD etichettati ($S_{in}$). Viene calcolato il gradiente medio ($\bar{\nabla}_{in}$) della funzione di perdita rispetto ai parametri del modello su $S_{in}$. Questo funge da gradiente di riferimento.
• Filtraggio Robusto tramite EWM: Il metodo ipotizza che la presenza di campioni OOD nei dati wild causi una deviazione tra il gradiente medio InD e la tendenza centrale dei gradienti dei dati wild. Per identificare questa tendenza centrale in modo robusto, Medix impiega la mediana elemento per elemento dei gradienti invece della media. La mediana è scelta per la sua stabilità contro il rumore e gli outlier.
• Rimozione Greedy Iterativa: Il framework formula un problema di ottimizzazione per trovare un sottoinsieme di dati wild che minimizzi la distanza tra la sua EWM e il gradiente di riferimento $\bar{\nabla}_{in}$. Poiché risolvere questo problema esattamente è intrattabile, Medix utilizza un approccio greedy e iterativo "leave-one-out" (Algoritmo 1):
  1. Calcolare l'EWM dell'attuale set wild.
  2. Identificare i campioni la cui rimozione comporterebbe la maggiore riduzione della distanza L2 tra la nuova EWM e $\bar{\nabla}_{in}$.
  3. Rimuovere i primi $k$ tali campioni come candidati outlier.
  4. Ripetere finché la riduzione della distanza non scende al di sotto di una soglia $\epsilon$.
• Risultato: Questo processo isola un set di candidati outlier ($\hat{S}_{out}$) e mantiene un set più pulito di campioni simili agli InD.

2. Addestramento del Rilevatore

Una volta estratti i candidati outlier, il framework addestra un rilevatore binario OOD ($g_\theta$).

• Il rilevatore viene addestrato utilizzando i dati InD etichettati originali ($S_{in}$) come esempi positivi e gli estratti candidati outlier ($\hat{S}_{out}$) come esempi negativi.
• L'obiettivo è massimizzare la separabilità tra questi due gruppi, imponendo un confine decisionale in cui i campioni InD producono output positivi e gli outlier producono output negativi.

Analisi Teorica

Il documento fornisce garanzie teoriche formali per la fase di filtraggio sotto il modello di contaminazione di Huber, dove i dati wild sono un mix di distribuzioni InD e OOD con un rapporto di contaminazione $\pi$.

• Limite di Misclassificazione degli Inlier: Gli autori derivano un limite superiore sulla frazione di campioni InD veri scartati erroneamente come outlier. Questo limite dipende dal rapporto di contaminazione e dalla concentrazione dei gradienti InD (assunti come sub-Gaussiani).
• Limite di Misclassificazione degli Outlier: Al contrario, essi delimitano la frazione di campioni OOD veri mantenuti erroneamente come InD. Questo limite si basa sulla separazione tra la media del gradiente OOD e il gradiente di riferimento InD, nonché sulla natura sub-Gaussiana dei gradienti OOD.
• Intuizione Chiave: L'analisi dimostra che il filtraggio basato sulla mediana raggiunge una separazione robusta anche quando gli esempi OOD costituiscono una parte significativa del mix (fino al 50%), a condizione che le distribuzioni siano sufficientemente separate.

Risultati Sperimentali

Medix è stato valutato su undici coppie di dataset InD-OOD, utilizzando principalmente CIFAR-10 e CIFAR-100 come InD e vari dataset (SVHN, PLACES365, LSUN, TEXTURES) come sorgenti OOD. Il metodo è stato confrontato con 20 baseline competitive, tra cui:

• Metodi InD-only: MSP, ODIN, Mahalanobis, Energy, ReAct, DICE, KNN, ASH, CSI, KNN+.
• Metodi Wild-data: Outlier Exposure (OE), Energy-regularization, WOODS, CONJ, DRL.

Risultati Principali:

• Prestazioni Superiori: Medix ha superato tutte le baseline in tutti i casi. Su CIFAR-100, ha ridotto la media del Tasso di Falsi Positivi al 95% di True Positive Rate (FPR95) del 40,98% rispetto alla forte baseline KNN+ e dell'1,32% rispetto al precedente stato dell'arte per i dati wild, WOODS.
• Robustezza alla Contaminazione: Il metodo ha mantenuto alte prestazioni anche quando i dati wild contenevano un mix del 50% di campioni OOD.
• Scalabilità: Esperimenti su architetture più grandi (ResNet-50) e dataset su larga scala (ImageNet-1k) hanno confermato che il segnale di filtraggio basato su L2 rimane robusto negli spazi dei gradienti ad alta dimensionalità.
• Studi di Ablazione: Gli autori hanno dimostato che i guadagni di prestazione derivano specificamente dalla precisione del filtraggio basato sulla mediana, piuttosto che dal solo pipeline a due fasi. Sostituire il filtro della mediana con un filtro naive Maximum Softmax Probability (MSP) ha causato un significativo crollo delle prestazioni.

Significato e Rivendicazioni

Il documento afferma che Medix affronta una lacuna critica nel rilevamento OOD: la capacità di sfruttare dati "in-the-wild" non etichettati e misti senza richiedere dataset ausiliari OOD puliti o forti assunzioni distribuzionali.

• Meccanismo Novellativo: Sfruttando la robustezza della mediana elemento per elemento, Medix fornisce un meccanismo teoricamente fondato per filtrare gli outlier dai dati misti, un compito precedentemente considerato difficile a causa della mancanza di etichette OOD distinte.
• Fondamento Teorico: Il lavoro stabilisce limiti di errore provabili sia per la misclassificazione degli inlier che per quella degli outlier, offrendo una base teorica formale per l'ambiente "in-the-wild", un ambito in cui tali fondamenta erano precedentemente scarse.
• Impatto Pratico: Il metodo offre una maggiore flessibilità per il dispiegamento reale, dove i modelli devono operare in ambienti dinamici con distribuzioni di dati sconosciute. I risultati empirici suggeriscono che Medix può migliorare significativamente la sicurezza e l'affidabilità dei sistemi di apprendimento automatico identificando ed gestendo efficacemente gli input OOD utilizzando dati non etichettati prontamente disponibili.

Gli autori concludono che Medix rappresenta un passo avanti significativo nell'apprendimento in mondi aperti (open-world learning), dimostrando che le statistiche del gradiente robuste possono convertire efficacemente i dati wild non etichettati in una supervisione utile per il rilevamento OOD.