GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models

Il paper introduce GEPC, un metodo senza addestramento per il rilevamento di dati fuori distribuzione nei modelli di diffusione che sfrutta l'invarianza di gruppo delle funzioni di punteggio per identificare anomalie attraverso la rottura dell'equivarianza, ottenendo prestazioni competitive e mappe interpretabili.

L'essenziale

Immagina di avere un chef geniale (il modello di diffusione) che ha passato anni a cucinare solo piatti italiani classici: pasta, risotto, pizza. Questo chef ha imparato a perfezione come devono essere i profumi, le consistenze e i sapori di questi piatti. Se gli dai un ingrediente strano, come una banana o un insetto, il suo cervello (il modello) va in confusione, ma non sa esattamente perché o dove è il problema.

Fino a oggi, per capire se un ingrediente era "strano" (fuori distribuzione), gli altri chef guardavano solo quanto era forte il profumo o quanto era caldo il piatto. Se il profumo era debole o il piatto freddo, dicevano: "Ehi, questo non è italiano!". Ma a volte, un ingrediente strano può avere lo stesso profumo di un piatto normale, ingannando il sistema.

GEPC è un nuovo metodo per smascherare questi inganni, e funziona in modo molto più intelligente. Ecco come, spiegato con una metafora:

1. Il Trucco del "Specchio Rotante"

Immagina che il nostro chef abbia una regola segreta: se giri il piatto di 90 gradi, lo specchio, o lo capovolgi, il profumo dovrebbe rimanere esattamente lo stesso (o cambiare in modo prevedibile).

• Se hai una pizza, capovolgerla non cambia il fatto che è una pizza. Il profumo è coerente.
• Se hai un insetto (un dato "fuori distribuzione"), capovolgerlo potrebbe creare un odore che non ha senso, o che non corrisponde a quello che ci si aspetta da un oggetto naturale.

GEPC non chiede allo chef: "Che profumo ha?".
GEPC chiede: "Se giro questo piatto di 90 gradi, il profumo che senti è coerente con quello che avresti sentito se avessi girato il piatto prima di annusarlo?"

2. La "Coerenza" è la Chiave

Il metodo si chiama GEPC (Coerenza Posteriore Equivariante di Gruppo). In parole povere:

• Prende un'immagine (o un dato) e la "rumoreggia" (la rende un po' sfocata, come se fosse sotto la pioggia).
• La fa ruotare, capovolge o sposta (come se la guardassi da un'altra angolazione).
• Chiede al modello: "Cosa pensi che sia questa immagine ruotata?".
• Poi, prende la risposta del modello e la "ri-ruota" per metterla nella posizione originale.
• Il test: Confronta questa risposta "ri-ruotata" con la risposta originale.

Se l'immagine è normale (come una faccia umana o un'auto), il modello risponderà in modo coerente: la risposta ruotata e ri-ruotata sarà quasi identica all'originale.
Se l'immagine è strana (un oggetto fuori distribuzione, come un target militare in una foto radar), il modello farà un errore: la risposta non tornerà coerente. È come se il modello dicesse: "Aspetta, se ruoto questo oggetto, il mio cervello non riesce a ricostruirlo come prima!".

3. Perché è Geniale?

• Non serve ri-addestrare: Non devi insegnare nulla al modello. È come se avessi già un detective esperto e gli dessi solo un nuovo trucco da usare.
• Vede l'invisibile: I metodi vecchi guardavano solo l'intensità (il "volume" del segnale). GEPC guarda la struttura logica. Anche se un oggetto strano ha la stessa "intensità" di uno normale, la sua struttura logica (come reagisce alle rotazioni) è rotta.
• Mappa del crimine: GEPC non ti dice solo "C'è qualcosa di strano". Ti disegna una mappa che ti mostra esattamente dove l'immagine ha smesso di comportarsi in modo logico. È come se il detective ti indicasse con un dito: "Guarda qui, è qui che l'oggetto non ha senso!".

L'Applicazione Reale: Gli Occhi del Radar

Il paper mostra un caso d'uso incredibile: le immagini SAR (radar), che sono come foto fatte di onde radio, spesso usate per vedere attraverso le nuvole o di notte.

• Situazione: Hai un mare calmo (dati normali).
• Problema: C'è una nave o un sottomarino nascosto (dati "fuori distribuzione").
• Risultato: GEPC guarda l'immagine radar, la ruota mentalmente e vede che la nave "rompe la simmetria" del mare. Il sistema disegna una mappa rossa proprio sulla nave, anche se l'immagine è piena di disturbo (clutter).

In Sintesi

Pensa a GEPC come a un gioco di specchi per le intelligenze artificiali.
Se l'AI è abituata a vedere il mondo in modo ordinato e simmetrico (come le nostre foto normali), quando le mostri qualcosa di caotico o strano, il suo riflesso nello specchio si rompe. GEPC ascolta quel "crack" dello specchio e ti dice: "Attenzione! Qui c'è qualcosa che non va, ed è esattamente qui!".

È un modo economico, veloce e intelligente per dire alle macchine: "Non fidarti solo di quanto qualcosa sembra forte, controlla se ha ancora senso quando lo guardi da un'altra angolazione".

Sommario tecnico

1. Il Problema

La rilevazione di dati Out-of-Distribution (OOD) è fondamentale per garantire l'affidabilità dei modelli di machine learning in scenari reali. Sebbene i modelli di diffusione (Diffusion Models) siano diventati potenti prior generativi per il rilevamento di anomalie, le attuali metodologie basate su diffusione presentano alcune limitazioni:

• La maggior parte degli approcci esistenti si basa sulla magnitudine del punteggio (score magnitude) o sulla geometria locale (curvatura, spettri di covarianza, energie lungo la traiettoria inversa).
• Questi metodi spesso ignorano le equivarianze (simmetrie come rotazioni, riflessioni, shift circolari) che i modelli di diffusione apprendono implicitamente dai dati in-distribution (ID) e dalle architetture convoluzionali.
• Molti metodi richiedono calcoli costosi, come l'iterazione di traiettorie inverse complete o la valutazione di Jacobiani, rendendoli computazionalmente onerosi.

Il paper ipotizza che, mentre i dati ID rispettano approssimativamente le simmetrie del gruppo di trasformazione $G$ (ad esempio, un'immagine ruotata dovrebbe avere un punteggio prevedibile), i dati OOD violano queste simmetrie apprese, portando a un'inconsistenza nel campo del punteggio (score field).

2. Metodologia: GEPC

Gli autori introducono GEPC (Group-Equivariant Posterior Consistency), un probe senza addestramento (training-free) che misura la coerenza delle trasformazioni del punteggio appreso sotto un gruppo finito $G$.

Concetto Chiave

Invece di testare l'invarianza nello spazio dei pixel, GEPC testa l'equivarianza del campo del punteggio ($s_\theta$) a livelli rumorosi ($x_t$).
Se un modello è ben addestrato su dati ID che possiedono simmetrie $G$, il punteggio predetto dovrebbe trasformarsi in modo equivariante:
$$s_\theta(P_g x_t, t) \approx P_g s_\theta(x_t, t)$$
dove $P_g$ è l'operatore di trasformazione del gruppo.

Algoritmo GEPC

1. Rumore e Trasporto: Per un input $x_0$, si campiona un punto rumoroso $x_t$ nel processo forward. Si applica una trasformazione $g \in G$ a $x_t$ ottenendo $P_g x_t$.
2. Valutazione del Punteggio: Si calcola il punteggio sul dato trasformato $s_\theta(P_g x_t, t)$ e lo si riporta indietro nello spazio originale applicando l'inversa $P_g^{-1}$.
3. Calcolo del Residuo: Si misura la differenza tra il punteggio riportato e il punteggio originale:
   $$r_t(x_t, g) = P_g^{-1} s_\theta(P_g x_t, t) - s_\theta(x_t, t)$$
4. Aggregazione: Si calcola l'energia del residuo ($\|r_t\|^2$), si normalizza rispetto all'energia del punteggio originale (per stabilità) e si aggrega su più trasformazioni $g$ e più step temporali $t$.
5. Calibrazione: Il punteggio finale OOD viene calibrato utilizzando solo dati ID (ad esempio tramite KDE o z-score) per stabilire una soglia di decisione.

Vantaggi Computazionali

• Nessun Jacobiano: Non richiede il calcolo di Jacobiani o Hessiani.
• Senza Addestramento: Funziona su backbone pre-addestrati senza fine-tuning.
• Efficienza: Richiede solo valutazioni forward del network di punteggio. Il costo è paragonabile a metodi basati sulla norma del punteggio, ma molto inferiore ai metodi basati su traiettorie complete.

3. Contributi Chiave

1. Introduzione di GEPC: Un nuovo punteggio OOD che testa la consistenza del gruppo di trasformazione del campo del punteggio di diffusione attraverso step temporali e azioni di gruppo. È puramente inferenziale e non richiede modifiche architetturali.
2. Analisi Teorica a Livello di Popolazione:
   • Gli autori derivano un residuo ideale GEPC legato a un funzionale di rottura dell'equivarianza.
   • Sotto ipotesi di errore di punteggio limitati, dimostrano limiti superiori per i dati ID e limiti inferiori per i dati OOD, formalizzando matematicamente perché la rottura dell'equivarianza segnala una distribuzione anomala.
   • Analizzano il caso "cross-backbone" (dove il modello è addestrato su una distribuzione sorgente diversa), mostrando che il punteggio GEPC cresce con la distanza dalla varietà (manifold) della distribuzione sorgente.
3. Ricetta Pratica: Forniscono una procedura completa che include:
   • Pooling di gruppo e selezione degli step temporali basata sulla stabilità (coefficiente di variazione).
   • Calibrazione ID-only (KDE o Mahalanobis).
   • Sottocampionamento stocastico per ridurre il costo computazionale.
4. Validazione Empirica: Dimostrano che GEPC è competitivo con metodi basati su curvatura e traiettoria, fornendo al contempo mappe di localizzazione interpretabili.

4. Risultati Sperimentali

Il metodo è stato valutato su due regimi principali:

• Benchmark a Bassa Risoluzione (32x32):

  • Dataset: CIFAR-10, SVHN, CelebA come ID; vari dataset come OOD.
  • Risultati: GEPC raggiunge un AUROC competitivo o superiore rispetto a baseline recenti basate su diffusione (come SCOPED, DiffPath, LMD) utilizzando un singolo backbone pre-addestrato su CelebA.
  • Efficienza: Opera con un numero di valutazioni forward (NFE) simile ai metodi basati sulla norma del punteggio, ma con prestazioni superiori.

• Rilevamento OOD Cross-Domain ad Alta Risoluzione (SAR):

  • Contesto: Immagini radar SAR (Synthetic Aperture Radar) ad alta risoluzione (256x256).
  • Task: Rilevare navi o anomalie (OOD) all'interno di clutter marino (ID), utilizzando un backbone addestrato su LSUN (immagini naturali) senza alcun adattamento specifico per il radar.
  • Risultati: GEPC ottiene una forte separazione target-sfondo (AUROC fino a 1.0 su SSDD).
  • Interpretabilità: Le mappe di "rottura dell'equivarianza" (equivariance-breaking maps) evidenziano visivamente le navi e le scie, confermando che il modello rileva l'anomalia basandosi sulla violazione delle simmetrie apprese, anche in un dominio completamente diverso (naturale vs radar).

5. Significato e Impatto

• Nuova Prospettiva: GEPC sposta il focus dalla magnitudine del punteggio alla coerenza geometrica del campo del punteggio. Questo offre un segnale OOD complementare e spesso più robusto rispetto ai metodi basati sull'energia.
• Efficienza e Semplicità: Essendo un metodo "training-free" che non richiede Jacobiani, GEPC è facilmente applicabile a qualsiasi modello di diffusione pre-addestrato, rendendolo ideale per scenari di deployment rapido o in domini dove l'addestramento è costoso.
• Interpretabilità: La capacità di generare mappe di calore che mostrano dove e perché l'equivarianza si rompe offre un livello di spiegabilità (explainability) superiore rispetto ai semplici punteggi scalari, cruciale per applicazioni critiche come il rilevamento di anomalie in immagini radar o mediche.
• Robustezza Cross-Domain: La capacità di funzionare efficacemente quando il modello è addestrato su una distribuzione sorgente diversa (es. LSUN) e testato su un dominio target (SAR) suggerisce che le proprietà di simmetria apprese sono fondamentali e trasferibili, aprendo nuove strade per l'uso di modelli foundation in domini specializzati.

In sintesi, il paper dimostra che la rottura dell'equivarianza è un segnale potente e sottoutilizzato per il rilevamento OOD, e GEPC fornisce un framework teorico e pratico per sfruttarlo in modo efficiente e interpretabile.