Riepilogo Tecnico: GEODE - Rilevamento OOD Adattivo all'Angolo con Compatibilità Universale degli Scorer

1. Enunciato del Problema

Il rilevamento Out-of-Distribution (OOD) mira a segnalare gli input su cui un classificatore distribuito non è stato addestrato. Gli approcci attuali affrontano una tensione fondamentale tra punteggio post-hoc (applicato a modelli congelati) e metodi basati sull'addestramento (che rimodellano le caratteristiche o i logit).

• Il Trade-off: I metodi di addestramento che migliorano gli scorer basati sui logit (ad es. MSP, Energy) spesso degradano gli scorer basati sullo spazio delle caratteristiche (ad es. KNN), e viceversa. Nessun metodo esistente ottiene un rilevamento forte su tutti gli scorer standard e simultaneamente sia nei regimi near-OOD che far-OOD.
• Limitazioni dell'Exposure agli Outlier (OE): Sebbene l'OE sia un approccio basato sull'addestramento dominante che utilizza dati OOD ausiliari reali, soffre di due problemi:
  1. Dipendenza dallo Scorer: Mostra trade-off in cui è forte su alcuni scorer ma debole su altri.
  2. Dipendenza dai Dati: Richiede dati ausiliari curati che devono corrispondere alla vera distribuzione OOD al momento del test, un requisito laborioso e fragile.
• Il Fallimento dello Spazio Nullo: Metodi recenti come PFS tentano di spingere le caratteristiche OOD nello spazio nullo del classificatore per aumentare i punteggi dei logit. Tuttavia, questo distrugge catastroficamente la geometria dello spazio delle caratteristiche, causando il fallimento del rilevamento basato su KNN (performando peggio del caso).

La domanda centrale affrontata è: Quale proprietà geometrica rende l'OE efficace e può questa essere replicata sinteticamente senza dati OOD reali per ottenere una compatibilità universale degli scorer?

2. Metodologia: GEODE

Gli autori propongono GEODE (GEOmetry-preserving DEtection), un metodo basato sull'addestramento che sintetizza segnali OOD per calibrare il confine decisionale preservando la geometria delle caratteristiche.

2.1 Analisi Geometrica dell'OE

Attraverso un'analisi geometrica nel penultimo strato di un backbone addestrato (ResNet-18), gli autori hanno scoperto che:

• L'OE è Calibrazione del Confine, non Copertura: Le caratteristiche dell'OE sono geometricamente indistinguibili dai dati near-OOD reali. Nello specifico, corrispondono nel rapporto di norma, nella massima similarità coseno rispetto alle medie delle classi e nella proiezione del sottospazio.
• L'Effetto Quartile: Il "quartile adiacente al confine" dei dati OE (campioni con alta similarità coseno rispetto alle medie delle classi ID, $>0.85$) guida quasi tutto il guadagno di prestazioni dell'OE. Gli esempi lontani dal confine contribuiscono poco.
• Conclusione: Il meccanismo efficace è la calibrazione della regione del confine, non la copertura dell'intero spazio OOD.

2.2 Il Meccanismo GEODE

GEODE replica questa calibrazione sinteticamente utilizzando lo shuffling delle caratteristiche (permutando le dimensioni attraverso un batch) e una perdita di norma adattiva all'angolo.

1. Generazione Sintetica OOD: Invece di utilizzare dati ausiliari, GEODE crea caratteristiche OOD sintetiche ($h_{ood}$) permutando indipendentemente le dimensioni delle caratteristiche attraverso un batch di caratteristiche ID. Questo rompe le correlazioni inter-dimensionali preservando le statistiche marginali.
2. Target Adattivo all'Angolo: L'innovazione centrale è una norma target $t$ che scala per campione in base alla similarità coseno ($s$) della caratteristica sintetica rispetto alla media della classe più vicina ($\mu_c$):
   $$s = \max_c \cos(h_{ood}, \mu_c)$$
   $$t = s^2 \cdot \alpha \cdot r_{id}$$
   Dove $r_{id}$ è la norma media delle caratteristiche ID e $\alpha$ è un parametro di rilassamento.
   • Vicino alle Medie delle Classi ($s \approx 1$): La norma target è grande ($t \approx \alpha \cdot r_{id}$). Questo preserva la geometria locale delle caratteristiche richiesta da scorer basati sulla distanza come KNN.
   • Lontano dalle Classi ($s \approx 0$): La norma target è piccola ($t \approx 0$). Questo spinge le caratteristiche verso l'origine, affinando la separazione per scorer basati sui logit come MSP ed Energy.
3. Margine Contrastivo ID: Per allargare il margine da entrambi i lati, un termine contrastivo incoraggia le caratteristiche ID ad avere norme leggermente superiori a $r_{id}$ (penalizzando le caratteristiche ID solo quando $\|h\| < r_{id}$).
4. Funzione di Perdita: La perdita totale combina Cross-Entropy, la penalità di norma OOD adattiva e il margine contrastivo ID.

2.3 Giustificazione Teorica

La progettazione è fondata sulla teoria del Neural Collapse (NC), dove le medie delle classi convergono a un Frame Stretto Equiangolare Simplex (ETF).

• Teorema 1: Le caratteristiche mescolate si concentrano sulla media globale, giustificando la necessità di un targeting adattivo basato sugli angoli dei singoli campioni.
• Teorema 2 e 3: Il target adattivo preserva le distanze pairwise locali vicino ai confini delle classi (cruciali per KNN) meglio di una penalità di norma uniforme.
• Teorema 4: Spingere le caratteristiche OOD nello spazio nullo (come fa PFS) elimina la variazione della distanza condizionata alla classe, causando il fallimento di KNN. GEODE evita questo mantenendo le caratteristiche OOD all'interno del sottospazio del classificatore.

3. Contributi Chiave

1. Inquadramento Geometrico: Il documento fornisce la prima caratterizzazione geometrica del perché l'OE funziona (calibrazione del confine) e diagnostica il fallimento catastrofico dei metodi basati sullo spazio nullo (PFS) su KNN.
2. Progettazione del Metodo: GEODE introduce una perdita di norma adattiva all'angolo che sintetizza segnali OOD senza dati ausiliari, preservando la geometria richiesta sia per gli scorer basati sui logit che per quelli basati sullo spazio delle caratteristiche.
3. Universalità Empirica: GEODE raggiunge un AUROC competitivo su tutti e sette gli scorer standard (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) su CIFAR-10 e CIFAR-100 senza fallimenti catastrofici su alcun singolo scorer.
4. Componibilità: GEODE è ortogonale all'OE. La loro combinazione produce risultati allo stato dell'arte (ad es. 95.0 MSP / 94.8 KNN su CIFAR-10), superando l'OE da sola su ogni scorer.

4. Risultati Sperimentali

Valutati sui benchmark OpenOOD v1.5 (CIFAR-10, CIFAR-100, ImageNet-200) utilizzando ResNet-18 e WRN-28-10:

• CIFAR-10 (Near-OOD): GEODE raggiunge 92.30 AUROC (EBO) e varia da 89.0 a 92.3 su tutti e sette gli scorer. Evita il "fallimento catastrofico" osservato in altri metodi (ad es. PFS fa crollare KNN a 14.38; GEODE mantiene 89.04, un trade-off deliberato di 1.6 punti per enormi guadagni sui logit).
• CIFAR-100: GEODE supera la CE vanilla a conteggi di epoche corrispondenti e batte l'OE su tutti e tre gli scorer (MSP, Energy, KNN) quando combinata.
• ImageNet-200: GEODE non mostra fallimenti catastrofici tra gli scorer (intervallo 77.93–83.48), mentre LogitNorm fallisce catastroficamente su Energy (29.67) e ReAct (26.53).
• Dinamiche di Addestramento: GEODE supera la CE vanilla man mano che l'addestramento procede (fino a 400 epoche), beneficiando della convergenza del Neural Collapse. Al contrario, LogitNorm degrada con addestramenti più lunghi perché interferisce con la convergenza NC.

5. Significato e Affermazioni

Il documento afferma che GEODE risolve il trade-off di lunga data tra il rilevamento OOD basato sui logit e quello basato sullo spazio delle caratteristiche. Riconoscendo che un rilevamento OOD efficace si basa sulla calibrazione del confine piuttosto che sulla copertura completa dell'OOD, GEODE sintetizza un segnale di addestramento che rispetta il luogo geometrico del confine decisionale.

• Compatibilità Universale: A differenza dei metodi precedenti che ottimizzano per una specifica famiglia di scorer a scapito degli altri, GEODE funziona su tutti gli scorer standard senza fallimenti catastrofici.
• Efficienza dei Dati: Raggiunge questi risultati senza richiedere dataset OOD ausiliari curati, affidandosi invece allo shuffling sintetico delle caratteristiche.
• Allineamento Teorico: Il metodo è progettato per essere compatibile con la convergenza naturale del Neural Collapse, a differenza dei metodi che modificano i logit e disturbano questa convergenza.

Gli autori notano modestamente le limitazioni: il componente del margine contrastivo non si generalizza bene a CIFAR-100 (a causa della geometria ETF fragile delle 100 classi), e GEODE non migliora rispetto alla ViT-B/16 vanilla su piccoli dataset (probabilmente a causa della LayerNorm che cancella le variazioni di norma e del modello che non raggiunge il regime NC). Si suggerisce un lavoro futuro per varianti compatibili con i Transformer e benchmark su scala più ampia.