📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

Questo lavoro stabilisce una connessione formale tra modelli bayesiani non parametrici e il punteggio della distanza di Mahalanobis relativa per il rilevamento di dati fuori distribuzione, proponendo modelli di miscela gerarchica generalizzati che dimostrano prestazioni superiori, in particolare quando le classi di addestramento presentano strutture di covarianza variabili o dati limitati.

Autori originali: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

Pubblicato 2026-05-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere una guardia di sicurezza in una galleria d'arte molto esclusiva. Hai passato anni a studiare i dipinti della galleria (i tuoi dati di addestramento). Sai esattamente come appare, come si percepisce al tatto e come si comporta un dipinto "reale".

Un giorno, un estraneo entra portando un oggetto strano. È un capolavoro di un nuovo artista che non hai ancora visto (un campione Out-of-Distribution o OOD), o è semplicemente un cestino della spazzatura dalla forma bizzarra (un outlier)? Il tuo compito è individuare immediatamente il cestino della spazzatura e suonare l'allarme.

Questo articolo riguarda la creazione di una guardia di sicurezza più intelligente utilizzando un tipo specifico di matematica chiamato Nonparametrica Bayesiana. Ecco come gli autori spiegano il loro approccio, utilizzando semplici analogie.

Il Vecchio Metodo: Il Righello "Tuttofare"

Per molto tempo, le guardie di sicurezza hanno utilizzato uno strumento semplice chiamato Distanza di Mahalanobis (in particolare, una versione chiamata RMDS).

Pensa a questo come a un righello che assume che ogni singolo dipinto nella galleria abbia esattamente la stessa forma e texture.

Se un dipinto è leggermente allungato, il righello dice: "Che strano!"
Se un dipinto è leggermente accartocciato, il righello dice: "Che strano!"

Il problema è che nel mondo reale, non tutti i dipinti sono uguali. Alcuni sono larghi e piatti; altri sono alti e sottili. Alcuni sono dipinti su tela ruvida; altri su seta liscia. Se costringi un righello "tuttofare" a misurarli tutti, potresti non accorgerti del cestino della spazzatura perché assomiglia a un dipinto "normale" e largo, oppure potresti dare un falso allarme perché un dipinto alto sembra "anormale" per il tuo righello piatto.

La Nuova Idea: L'Approccio "Saggezza Condivisa e Flessibile"

Gli autori propongono una nuova guardia di sicurezza basata sui Modelli di Mischia di Processi di Dirichlet (DPMM).

Invece di assumere che ogni dipinto sia lo stesso, questa nuova guardia comprende che:

Esistono molti tipi di dipinti: La galleria potrebbe avere 100 stili diversi (cluster).
Possono apparire nuovi dipinti: C'è sempre la possibilità che esista uno stile nuovo che la guardia non ha mai visto prima.
Condividono la saggezza: Anche se ogni stile di dipinto è diverso, possono comunque imparare gli uni dagli altri.

L'Analogia della "Saggezza Condivisa" (Prior Gerarchici)

Immagina che la galleria abbia 100 diversi dipartimenti d'arte.

Il Vecchio Metodo: Ogni dipartimento cerca di misurare i propri dipinti usando il proprio righello. Se un dipartimento ha solo 5 dipinti, il loro righello è instabile e inaffidabile.
Il Nuovo Metodo (Gerarchico): Tutti i dipartimenti condividono un "Righello Maestro" da cui possono prendere in prestito. Se un dipartimento ha pochissimi dipinti, si affida pesantemente al Righello Maestro. Se un dipartimento ha migliaia di dipinti, si fida di più delle proprie misurazioni.

Questo è ciò che gli autori chiamano Prior Gerarchici. Permette al sistema di essere flessibile (ammettendo forme diverse) ma anche stabile (non confondendosi quando i dati sono scarsi).

La Grande Scoperta: Il Vecchio e il Nuovo sono Cugini

L'articolo fa una scoperta sorprendente. Gli autori hanno dimostrato matematicamente che il vecchio righello "Tuttofare" (RMDS) è in realtà solo una versione speciale e semplificata del loro nuovo sistema "Flessibile".

Pensala così: il vecchio righello è come una foto in bianco e nero della scena. Il nuovo sistema è un video a colori ad alta definizione. Gli autori hanno dimostrato che se strizzi gli occhi guardando il video e spegni i colori, sembra esattamente la foto in bianco e nero. Questo significa che il vecchio metodo non era "sbagliato"; era semplicemente una versione semplificata di un'idea più potente.

I Nuovi Strumenti: Tre Tipi di Guardie Flessibili

Poiché hanno realizzato che il vecchio metodo era solo una versione semplificata, gli autori hanno costruito tre nuove guardie più potenti per gestire situazioni diverse:

La Guardia a Corpo Intero (Covarianza Completa): Questa guardia osserva ogni dettaglio della forma e della texture del dipinto simultaneamente. È molto precisa ma richiede molta memoria e tempo. Funziona al meglio quando hai una galleria enorme con molti dipinti per stile.
La Guardia a Scansione Rapida (Covarianza Diagonale): Questa guardia osserva larghezza e altezza separatamente, ignorando come potrebbero interagire. È più veloce e richiede meno memoria. Funziona bene quando la galleria è enorme ma non hai abbastanza tempo per osservare ogni dettaglio.
La Guardia a Scansione Rapida "Collegata" (Diagonale Accoppiata): Questa è l'invenzione originale degli autori. È come la Guardia a Scansione Rapida, ma nota che se la larghezza di un dipinto è "strana", anche l'altezza è probabilmente "strana". Collega queste due idee insieme. Si è rivelata la migliore in assoluto in molti test, specialmente quando la galleria aveva molti stili ma pochi esempi per ciascuno.

Cosa Hanno Scoperto?

Gli autori hanno testato queste nuove guardie su un famoso benchmark chiamato OpenOOD (una gigantesca prova di diverse gallerie d'arte e cestini della spazzatura).

Quando la galleria è piccola e affollata: La nuova guardia "Collegata" è stata la migliore nell'individuare i cestini della spazzatura.
Quando la galleria ha pochissimi esempi per ogni stile: Le nuove guardie sono state molto migliori del vecchio righello perché il vecchio righello si confondeva per la mancanza di dati.
Quando gli stili sono molto diversi tra loro: Le nuove guardie si sono adattate meglio perché non hanno forzato tutto nello stesso "contenitore".

La Conclusione

L'articolo sostiene che non dovremmo affidarci solo a righelli semplici e rigidi (come il vecchio RMDS) per rilevare dati strani. Invece, dovremmo utilizzare modelli Nonparametrici Bayesiani che agiscono come un sistema flessibile di saggezza condivisa.

Trattando il problema come "capire se questo nuovo oggetto appartiene a un gruppo noto o a un gruppo completamente nuovo", e permettendo a gruppi diversi di condividere la forza statistica, possiamo costruire sistemi di sicurezza molto migliori nell'individuare i cestini della spazzatura nella galleria d'arte, specialmente quando la galleria è disordinata o gli esempi sono scarsi.

In sintesi: L'articolo prende un complesso framework matematico flessibile, dimostra che spiega perché i nostri attuali strumenti semplici funzionano, e poi utilizza quel framework per costruire strumenti migliori e più adattabili che superano i vecchi in situazioni difficili.

Riepilogo Tecnico: Una Prospettiva Non Parametrica Bayesiana sulla Distanza di Mahalanobis per il Rilevamento di Dati Fuori Distribuzione

Enunciato del Problema

I sistemi di apprendimento automatico, in particolare quelli costruiti su modelli fondazionali addestrati su dataset massicci, incontrano inevitabilmente dati che si discostano dalle loro distribuzioni di addestramento. Rilevare questi campioni fuori distribuzione (OOD) è fondamentale per la sicurezza e l'affidabilità. Sebbene i metodi non parametrici bayesiani offrano un quadro probabilistico coerente per stimare la probabilità che un punto dati appartenga a un nuovo cluster, sono stati in gran parte evitati a favore di metriche basate su distanze più semplici. Una barriera primaria all'adozione degli approcci bayesiani è la sfida computazionale e statistica legata alla stima delle matrici di covarianza ad alta dimensionalità per gli embedding di caratteristiche, specialmente quando il numero di campioni di addestramento per classe è piccolo rispetto alla dimensione dell'embedding.

Metodologia

Connessione Teorica: RMDS e DPMM

Gli autori stabiliscono una relazione teorica formale tra il ampiamente utilizzato Punteggio di Distanza Mahalanobis Relativa (RMDS) e l'inferenza non parametrica bayesiana. Nello specifico, dimostrano che l'RMDS è una stretta approssimazione della probabilità di outlier derivata da un Modello di Mischia di Processi di Dirichlet Gaussiano (DPMM) con matrici di covarianza vincolate (dove tutte le classi condividono una singola matrice di covarianza).

Proposizione 4.1: Mostra che la probabilità di un inlier di un DPMM generale può essere espressa come una funzione logistica di un punteggio $\tilde{C}(x)$ , che è analogo al punteggio di Mahalanobis relativo.
Proposizione 4.2: Dimostra che, sotto regimi specifici (dati sub-Gaussiani, dimensioni dei cluster uguali e condizioni specifiche sulla matrice di covarianza relativa), il punteggio DPMM di un modello a covarianza vincolata è quasi perfettamente correlato con l'RMDS. Questo collega l'approccio euristico RMDS all'inferenza bayesiana rigorosa.

DPMM Gaussiani Gerarchici

Riconoscendo che l'assunzione di covarianza vincolata (e quindi l'RMDS) potrebbe non valere quando le classi presentano strutture di covarianza significativamente diverse, gli autori propongono DPMM Gaussiani Gerarchici. Questi modelli rilassano l'assunzione di covarianza vincolata inferendo matrici di covarianza separate per ogni cluster, condividendo al contempo la forza statistica tra le classi tramite un prior gerarchico.

Il paper introduce tre varianti specifiche del modello:

Modello a Covarianza Completa: Utilizza un prior coniugato Normale-Inversa Wishart (NIW). Questo permette matrici di covarianza complete ma rischia l'overfitting in dimensioni elevate.
Modello a Covarianza Diagonale: Assume che le varianze siano indipendenti tra le dimensioni, utilizzando un prior chi-quadro inverso scalato. Questo riduce il numero di parametri ma assume l'indipendenza tra le dimensioni.
Modello a Covarianza Diagonale Accoppiata: Un approccio innovativo che cattura le correlazioni tra le dimensioni introducendo un fattore di scala specifico per classe $\gamma_k$ . Questo fattore scala le varianze per tutte le dimensioni di una specifica classe, permettendo al modello di catturare variazioni sistematiche nell'entità della varianza tra le classi, mantenendo al contempo l'efficienza computazionale.

Stima

Gli autori sviluppano algoritmi efficienti di Massimizzazione dell'Aspettazione (EM) per stimare gli iperparametri di questi modelli gerarchici.

Per i modelli a Covarianza Completa e Diagonale, i passi M per gli iperparametri (concentrazione $\nu_0$ e scalatura della precisione $\kappa_0$ ) sono calcolati in forma chiusa o tramite un metodo di Newton generalizzato.
Per il modello a Covarianza Diagonale Accoppiata, la posterior sul fattore di scala $\gamma_k$ non ha una forma chiusa. Gli autori approssimano questo utilizzando la quadratura numerica su una griglia densa, sfruttando il fatto che $\gamma_k$ è unidimensionale.

Risultati Chiave

Esperimenti Sintetici

Le simulazioni su dati 2D hanno confermato che i modelli gerarchici superano i modelli a covarianza vincolata (e l'RMDS) quando:

Le matrici di covarianza differiscono significativamente tra i cluster (basso $\nu_0$ ).
Il numero di punti dati per classe ( $N_k$ ) è piccolo rispetto alla dimensionalità ( $D$ ).
Nei regimi in cui $N_k/D$ è piccolo, l'RMDS indipendente (che utilizza covarianze per classe senza priori gerarchici) fallisce a causa dell'overfitting, mentre i DPMM gerarchici mantengono prestazioni robuste.

Valutazione sul Benchmark OpenOOD

I modelli sono stati valutati sul benchmark OpenOOD utilizzando i dataset CIFAR-10, CIFAR-100 e ImageNet-1K con vari dataset OOD (Vicini e Lontani).

ImageNet-1K: Il modello a Covarianza Diagonale Accoppiata ha ottenuto le migliori prestazioni nel rilevamento di OOD Vicini, superando l'RMDS standard e il DPMM a covarianza vincolata. Il modello a Covarianza Completa ha performato male, probabilmente a causa dell'overfitting nello spazio ad alta dimensionalità (768D).
CIFAR-10: Il modello gerarchico a Covarianza Completa ha prodotto le prestazioni più elevate sia per i compiti OOD Vicini che Lontani, suggerendo che per embedding a dimensionalità inferiore (512D) e dataset più piccoli, la struttura completa della covarianza è apprendibile e benefica.
Analisi della Dimensionalità: All'aumentare della dimensionalità delle caratteristiche, le prestazioni del modello a Covarianza Completa si sono stabilizzate o degradate, mentre i modelli a Covarianza Diagonale e a Covarianza Diagonale Accoppiata hanno mantenuto prestazioni superiori, in particolare sui benchmark OOD Vicini.

Significato e Affermazioni

Il paper afferma che i metodi non parametrici bayesiani con priori gerarchici offrono un approccio ben fondato e praticamente competitivo per il rilevamento OOD. I contributi principali sono:

Unificazione Teorica: Fornire un collegamento formale tra l'euristica RMDS e l'inferenza bayesiana sotto un DPMM Gaussiano, validando l'RMDS come un limite specifico di un quadro probabilistico più generale.
Generalizzazione: Proporre modelli gerarchici che generalizzano l'RMDS rilassando l'assunzione di covarianza uguale, adattandosi così a scenari in cui le covarianze delle classi differiscono.
Utilità Pratica: Dimostrare che questi modelli possono migliorare il rilevamento OOD, in particolare in regimi caratterizzati da:
- Strutture di covarianza eterogenee tra le classi.
- Dati limitati per classe rispetto alla dimensionalità delle caratteristiche.
- La necessità di una distinzione fine tra campioni in-distribution e campioni "OOD Vicini".

Gli autori notano che, sebbene il modello a covarianza completa possa andare in overfitting in dimensioni elevate, il modello a Covarianza Diagonale Accoppiata offre un compromesso robusto, catturando le correlazioni di varianza tra le classi senza l'esplosione dei parametri tipica della stima della covarianza completa. Concludono che inquadrare il rilevamento OOD come inferenza in un modello generativo permette scelte di modellazione principiati che possono portare a miglioramenti delle prestazioni rispetto alle baseline basate su distanze esistenti.