Riepilogo Tecnico: Un'Analisi Sistematica della Rilevazione di Distribuzioni Fuori dal Campo (OOD) sotto Spostamenti Paradigmatici nella Rappresentazione e nell'Addestramento

Enunciazione del Problema

Le reti neurali profonde producono frequentemente "guasti silenziosi", fornendo previsioni errate con alta confidenza. La rilevazione di distribuzioni fuori dal campo (Out-of-Distribution, OOD) mira a segnalare questi guasti assegnando punteggi di confidenza che distinguono le previsioni affidabili da quelle inaffidabili. Sebbene esistano numerose Funzioni di Punteggio della Confidenza (CSF), le loro classifiche di prestazioni sono notoriamente instabili tra diversi dataset, architetture e pipeline di addestramento. La domanda centrale affrontata da questo lavoro è: Quando funziona una specifica famiglia di rilevatori e quale proprietà del modello addestrato ne determina l'efficacia?

Gli autori sfidano la visione secondo cui la rilevazione OOD sia meramente un concorso tra regole di punteggio. Invece, ipotizzano che le prestazioni siano governate principalmente dalla geometria della rappresentazione appresa, plasmata dall'architettura, dal paradigma di addestramento e dalla complessità dello spazio delle etichette, piuttosto che dalla progettazione del punteggio applicato al di sopra di essa.

Metodologia

1. Benchmark Centrato sulla Rappresentazione

Gli autori presentano un benchmark sistematico che varia fattorialmente quattro dimensioni chiave:

• Backbone: CNN (VGG-13, ResNet-18) e Vision Transformers (ViT).
• Paradigmi di Addestramento: Cross-Entropy Vanilla (ConfidNet), DeVries (confidenza interpolata) e Deep Gamblers (perdita di scommessa con riserva).
• Dataset Sorgente: CIFAR-10, CIFAR-100, SuperCIFAR-100 e TinyImageNet.
• Regimi OOD: I dataset sono raggruppati in regimi vicini, intermedi e lontani basati su distanze semantiche derivate da CLIP, superando le standardizzazioni binarie vicine/lontane.

2. Pipeline di Classifica Statistica

Per affrontare l'instabilità delle classifiche, il documento sostituisce i riepiloghi a singolo vincitore con una pipeline di classifica controllata per confronti multipli:

• Metriche: Metriche senza soglia AURC (Area Under Risk-Coverage Curve) e AUGRC (Area Under Generalized Risk-Coverage Curve).
• Procedura: Il test di Friedman identifica differenze significative nelle classifiche. I test post-hoc Conover–Holm con correzione di Holm identificano clique di "vincitori" statisticamente indistinguibili. Questo permette l'identificazione di gruppi di CSF che sono congiuntamente competitivi, piuttosto che forzare una singola scelta migliore.

3. Filtraggio per Proiezione

Lo studio introduce il filtraggio per proiezione come intervento controllato sulla geometria della rappresentazione. Utilizzando l'Analisi delle Componenti Principali (PCA) sulle caratteristiche del penultimo strato, gli autori ricostruiscono le caratteristiche da sottospazi a rango ridotto. Valutano tre varianti:

• Proiezione Globale: Un singolo sottospazio per tutte le classi.
• Proiezione per Classe: Sottospazi specifici per ogni classe.
• Proiezione Predetta per Classe (CPP): Utilizzo del sottospazio della classe predetta dal modello.

4. Analisi del Collasso Neurale (NC)

Gli autori utilizzano le metriche del Collasso Neurale (NC) per quantificare la geometria delle caratteristiche dell'ultimo strato. Queste metriche misurano fenomeni come il collasso della variabilità, la convergenza verso un telaio equiangolare semplice (ETF) e la dualità tra le medie delle classi e i pesi del classificatore.

• Correlazione: Vengono utilizzati test di Mantel per correlare le distanze geometriche NC con le distanze di classifica delle CSF.
• Previsione: Viene proposto un framework predittivo basato su NC. Un modello di regressione logistica L2 per CSF viene addestrato su caratteristiche NC (calcolate dal classificatore addestrato) per prevedere la lista corta competitiva di rilevatori per un nuovo modello, senza richiedere dati di validazione OOD.

Contributi Chiave

1. Benchmark Consapevole della Rappresentazione: Una valutazione completa che abbraccia CNN, ViT, molteplici paradigmi di addestramento e un regime OOD granulare a tre livelli (vicino/intermedio/lontano).
2. Pipeline di Clique Statistica: Un metodo robusto per identificare le CSF migliori statisticamente indistinguibili, offrendo una visione più sfumata delle prestazioni competitive rispetto alle medie aggregate.
3. Stratificazione Basata su CLIP: Un raggruppamento guidato dai dati dei dataset OOD che rivela una transizione sistematica nell'efficacia dei rilevatori, dai punteggi basati sul margine (OOD vicino) ai punteggi consapevoli della geometria (OOD intermedio/lontano).
4. Insight sul Filtraggio per Proiezione: La dimostrazione che la granularità ottimale del filtraggio dipende dall'architettura: la proiezione globale migliora ampiamente le CSF sulle CNN, mentre la Proiezione Predetta per Classe (CPP) è l'intervento critico per i ViT fine-tuned.
5. Predittore Basato su NC: Un metodo per raccomandare una lista corta competitiva di rilevatori per un modello non visto utilizzando solo il profilo NC del modello, eliminando la necessità di dati di validazione OOD.

Risultati

Risultati Empirici sulle Famiglie di Rilevatori

La famiglia di rilevatori competitiva transita sistematicamente con la gravità dello spostamento e l'architettura:

• CNN:
  • In-Distribution/Misclassificazione: Dominata da punteggi probabilistici semplici (es. GEN, MSR).
  • OOD Vicino: Punteggi basati sul margine (Energy, MLS) e NNGuide sono i più forti.
  • OOD Intermedio/Lontano: Punteggi consapevoli della geometria (CTM, fDBD, NNGuide) diventano dominanti.
• ViT (Fine-tuned):
  • La transizione è più brusca. L'OOD vicino è eterogeneo.
  • L'OOD intermedio è dominato da punteggi basati sulla ricostruzione (KPCA RecError).
  • L'OOD lontano si sposta verso punteggi basati sul residuo (Residual, ViM, pNML).

Impatto del Filtraggio per Proiezione

• CNN: La proiezione globale migliora significativamente i punteggi basati sulla distanza (es. Mahalanobis, CTM) rimuovendo le variazioni di disturbo, mentre le varianti condizionate per classe spesso degradano le prestazioni.
• ViT: La Proiezione Predetta per Classe (CPP) guida i maggiori guadagni (es. per GradNorm), rimuovendo efficacemente i residui del pre-addestramento che oscurano la geometria specifica del compito. La proiezione globale fornisce guadagni modesti per i punteggi basati sui logit.

Geometria NC e Previsione

• Correlazione: I test di Mantel confermano una correlazione significativa ($r = 0,31\text{--}0,68, p \le 0,004$) tra la geometria NC e le classifiche delle CSF in tutti i paradigmi di addestramento.
• Trasferimento Cross-Architettura: Un predittore basato su NC addestrato su VGG-13 prevede con successo le liste corte competitive per ResNet-18 senza riaddestramento.
  • Prestazioni: La lista corta predetta riduce il rimpianto medio dell'insieme rispetto alla baseline CSF fissa più forte del 51% all'84% attraverso i regimi OOD vicini, intermedi e lontani.
  • Significatività: In 49 dei 54 confronti appaiati di Wilcoxon corretti con Holm, il predittore ha superato significativamente le baseline.

Significato e Affermazioni

Il documento afferma che le prestazioni della rilevazione OOD sono governate principalmente dal regime di rappresentazione, non dalla sola progettazione del punteggio.

• Meccanismo: La geometria della rappresentazione appresa (in particolare il grado di Collasso Neurale e l'allineamento con i pesi del classificatore) determina quali regole di punteggio sono efficaci. I punteggi consapevoli di prototipi e confini prosperano quando le rappresentazioni sono collassate e allineate; i punteggi basati su gradienti e varietà sono preferiti quando il collasso è più debole.
• Utilità Pratica: Gli autori dimostrano che è possibile prevedere quale rilevatore OOD funzionerà per un dato modello analizzando semplicemente la geometria interna del modello (metriche NC), eliminando la necessità di costosi dati di validazione OOD.
• Spostamento Metodologico: Il lavoro sposta il campo dalla domanda "Quale CSF vince in media?" a "Quale famiglia è statisticamente competitiva sotto quale regime di rappresentazione e perché?".

Gli autori rimangono modesti riguardo alla portata, notando che i risultati sono limitati alla classificazione di immagini su dataset e backbone specifici, e che il trasferimento cross-architettura è stato testato su una singola coppia CNN-to-CNN. Sottolineano che il predittore NC fornisce una lista corta di candidati piuttosto che una scelta deterministica singola, riconoscendo che potrebbe essere necessario un ulteriore spareggio nella fase di implementazione.