Riepilogo Tecnico: La Scalabilità delle Rappresentazioni Pre-addestrate Abilita il Rilevamento Out-of-Distribution Senza Etichette e Senza Fine-Tuning

Enunciato del Problema

I modelli di deep learning falliscono frequentemente nel segnalare quando gli input ricadono al di fuori della varietà dei dati di addestramento, portando a previsioni inaffidabili in caso di spostamento della distribuzione. Sebbene il rilevamento Out-of-Distribution (OOD) non supervisionato sia prezioso per la sua natura agnostica rispetto al compito, i metodi tradizionali affrontano ostacoli significativi: gli stimatori basati sulla verosimiglianza spesso assegnano probabilità più elevate ai campioni OOD rispetto ai dati in-distribution (ID), e i metodi basati sulla ricostruzione sono sensibili alla sintonizzazione del collo di bottiglia.

Un'ipotesi prevalente nel campo è che un rilevamento OOD efficace richieda sia la modellazione condizionata alla classe (basata su dati ID etichettati) sia il fine-tuning supervisionato della rappresentazione per esporre la struttura rilevante per l'OOD. Inoltre, lavori precedenti suggeriscono che le classifiche dei rilevatori sono incoerenti tra i dataset, senza che un singolo metodo superi universalmente gli altri. Questo articolo mette in discussione la necessità di etichette e fine-tuning, chiedendosi se le moderne rappresentazioni pre-addestrate congelate codifichino intrinsecamente una struttura geometrica sufficiente per un rilevamento OOD accurato e privo di etichette.

Metodologia

Gli autori valutano questa ipotesi su 59 combinazioni backbone-compito che coprono le modalità visive (DINO, DINOv3) e linguistiche (BERT, Qwen3). Confrontano due rilevatori complementari privi di etichette che operano su rappresentazioni latenti congelate:

1. Stimatore Mahalanobis Globale: Un adattamento privo di etichette della classica distanza di Mahalanobis. Invece di adattare gaussiane condizionate alla classe (che richiede etichette), questo metodo adatta un singolo modello gaussiano globale alle rappresentazioni latenti in-distribution non etichettate. Calcola la distanza di un punto di test dalla media globale, normalizzata dalla matrice di covarianza globale.
2. ReSCOPED (Stimatore Locale di Punteggio-Curvatura): Uno stimatore di tipicità leggero basato sulla diffusione che opera a livello locale. Costruito su SCOPED, ReSCOPED addestra un piccolo osservatore di diffusione (circa 8M di parametri) su rappresentazioni congelate. Valuta la geometria locale utilizzando un rapporto punteggio-curvatura ($T(z) = \|s_\theta(z, \sigma)\|^2 / \kappa(z)$), dove $s_\theta$ è il punteggio di diffusione e $\kappa$ è la traccia del jacobiano del punteggio (curvatura). Questo agisce come un filtro multi-scala per esporre segnali OOD che potrebbero non essere accessibili globalmente.

Entrambi i metodi sono applicati direttamente a backbone congelati senza fine-tuning, utilizzando solo dati in-distribution non etichettati per l'adattamento.

Risultati Chiave

1. Alte Prestazioni Senza Fine-Tuning

Le moderne rappresentazioni congelate abilitano un forte rilevamento OOD privo di etichette. Sui benchmark visivi (ad esempio, CIFAR-10 vs. CIFAR-100), ReSCOPED utilizzando un backbone DINOv3-L congelato ha raggiunto il 94,3% di AUROC, corrispondendo strettamente alle prestazioni di modelli che richiedevano un fine-tuning supervisionato su tutti i parametri. Analogamente, nei compiti linguistici, i modelli scalati (Qwen3) hanno raggiunto un alto AUROC sui benchmark CLINC150 e SST senza etichette.

2. L'Effetto del "Regime di Scalabilità"

L'articolo identifica un pattern dipendente dal regime riguardante la scelta del rilevatore:

• Rappresentazioni Deboli/Small: In backbone più piccoli o meno strutturati (ad esempio, BERT, DINOv3-S), le prestazioni del rilevatore dipendono dal dataset. Ad esempio, ReSCOPED ha superato Mahalanobis su CLINC150, mentre Mahalanobis ha superato ReSCOPED su SST. Nessun singolo metodo è stato universalmente il migliore.
• Rappresentazioni Forti/Scalate: All'aumentare della scala del backbone (ad esempio, DINOv3-L, Qwen3-4B), il divario di prestazioni tra il semplice rilevatore Mahalanobis globale e il complesso rilevatore locale ReSCOPED diventa trascurabile. Entrambi i metodi convergono verso alte prestazioni, suggerendo che la scalabilità rende la geometria rilevante per l'OOD accessibile sia a sonde globali che locali.

3. Regolarità Empirica nelle Scale di Denoising

Su 59 configurazioni sia visive che linguistiche, gli autori hanno osservato un consistente "piano di prestazioni" per ReSCOPED a un livello specifico di rumore di denoising intermedio ($t \approx 5$). Questo suggerisce che la struttura rilevante per l'OOD nelle rappresentazioni Transformer pre-addestrate viene esposta a una scala stabile e condivisa, indipendentemente dalla modalità specifica o dall'obiettivo di addestramento.

4. Efficienza Pratica

L'approccio proposto abilita un deployment efficiente. ReSCOPED aggiunge una latenza minima (circa 5,4 ms per Qwen3-4B su una NVIDIA 4090) perché richiede solo un passaggio in avanti attraverso il codificatore congelato, uno attraverso l'osservatore leggero e un singolo prodotto vettore-jacobiano. Ciò consente un "gatekeeping" in tempo reale durante la fase di prefill dell'inferenza LLM, rifiutando prompt fuori distribuzione prima che inizi la decodifica autoregressiva.

Contributi Chiave

1. Fattibilità Senza Etichette: Dimostrato che le moderne rappresentazioni pre-addestrate visive e linguistiche abilitano un forte rilevamento OOD privo di etichette senza fine-tuning o etichette di classe, utilizzando sia viste geometriche locali (ReSCOPED) che globali (Mahalanobis).
2. Scelta del Rilevatore Dipendente dalla Scala: Mostrato che la famiglia e la scala del backbone determinano l'efficacia del rilevatore. Nei backbone più deboli, la scelta del rilevatore è critica e dipende dal dataset; nei backbone scalati (DINOv3, Qwen3), il divario tra metodi globali semplici e metodi locali espressivi svanisce.
3. Regime di Granularità Condivisa: Identificato un piano di scala di denoising coerente tra le modalità, indicando che la struttura rilevante per l'OOD diventa accessibile a una scala condivisa nelle rappresentazioni Transformer.
4. Percorso di Deployment: Dimostrato un percorso pratico e a bassa latenza per il deployment del rilevamento OOD su modelli congelati, incluso il gatekeeping in tempo reale nella fase di prefill per gli LLM.

Significato e Affermazioni

L'articolo sostiene che la geometria esposta dai backbone pre-addestrati congelati è il principale motore delle prestazioni del rilevamento OOD, piuttosto che la scelta specifica del rilevatore o la necessità di adattamento supervisionato. Man mano che i modelli fondazionali scalano, espongono naturalmente deviazioni rilevanti per l'OOD in una forma accessibile sia alle semplici statistiche globali che alle complesse misure di curvatura locale.

Di conseguenza, gli autori affermano che per i modelli fondazionali scalati, l'importanza di selezionare un rilevatore specifico diminuisce. Il focus si sposta dall'ingegnerizzare rilevatori complessi alla comprensione di quando le rappresentazioni congelate espongono già la geometria necessaria. Questa scoperta riduce il carico computazionale e dei dati del rilevamento OOD, abilitando un deployment efficiente direttamente su modelli congelati senza la necessità di fine-tuning specifico per il compito o di dati di anomalia etichettati.

Limitazioni: Gli autori notano che, sebbene lo studio copra un ampio set di backbone e dataset, non esaurisce la copertura di tutti i modelli fondazionali o regimi di deployment. Il confronto è limitato a due metodi complementari privi di etichette, e sono necessari lavori futuri per verificare se questa convergenza valga per altre famiglie di rilevatori o per spostamenti di distribuzione più difficili dove le rappresentazioni attuali non saturano ancora le prestazioni.