Riepilogo Tecnico: Rispetto del Gap di Modalità nella Rilevazione Post-hoc di Dati Fuori Distribuzione con Modelli Visivi-Linguistici Pre-addestrati

Enunciato del Problema

La rilevazione di dati fuori distribuzione (OOD) è fondamentale per garantire l'affidabilità dei modelli di apprendimento automatico in contesti di mondo aperto, dove i campioni di test possono appartenere a classi sconosciute non osservate durante l'addestramento. Sebbene i recenti progressi nei Modelli Visivi-Linguistici (VLM) pre-addestrati, in particolare CLIP, abbiano abilitato la rilevazione OOD zero-shot senza accesso ai dati di addestramento in distribuzione (ID), gli approcci esistenti si basano su un paradigma specifico: trattare gli embedding testuali dei nomi delle classi come prototipi di classe.

Questo lavoro mette in discussione la validità di tale paradigma "testo come prototipo". Sostiene che i metodi esistenti assumono implicitamente che le rappresentazioni testuali siano ben allineate con i prototipi visivi ottimali delle classi. Tuttavia, recenti evidenze suggeriscono un persistente "gap di modalità" in cui le rappresentazioni testuali e visive nei modelli basati su CLIP rimangono distinte. Gli autori ipotizzano che i prototipi testuali pronti all'uso siano generalmente disallineati rispetto ai prototipi visivi ottimali, creando un gap strutturale intrinseco che non può essere risolto esclusivamente tramite ingegneria dei prompt o estrazione di etichette negative. Tale disallineamento porta a prestazioni subottimali nella rilevazione OOD.

Metodologia

Per affrontare il gap di modalità sotto vincoli post-hoc (dove non sono disponibili dati di addestramento ID), il lavoro propone un framework di apprendimento pseudo-supervisionato online che apprende e aggiorna direttamente i prototipi di classe nello spazio delle caratteristiche visive.

1. Caratterizzazione Teorica del Gap di Modalità

Gli autori forniscono prima un'analisi teorica in una formulazione supervisionata idealizzata. Derivano un'espressione in forma chiusa per i prototipi visivi ottimali delle classi, dimostrando che tali prototipi devono risiedere interamente nello spazio delle caratteristiche visive. Al contrario, i prototipi derivati dal testo spesso contengono componenti ortogonali a questo sottospazio visivo.

• Teorema 1: Stabilisce che i prototipi visivi ottimali sono combinazioni lineari di caratteristiche visive.
• Teorema 2: Dimostra un limite inferiore non nullo sulla distanza tra i prototipi testuali e i prototipi visivi ottimali ogniqualvolta gli embedding testuali contengono componenti al di fuori del sottospazio delle caratteristiche visive. Questo formalizza il "gap di modalità" come una limitazione strutturale.

2. Framework di Apprendimento Pseudo-Supervisionato Online

Poiché le etichette di verità fondamentale non sono disponibili nell'impostazione zero-shot, il metodo utilizza le forti capacità di trasferimento zero-shot dei modelli CLIP pre-addestrati per generare pseudo-etichette soft.

• Obiettivo Pseudo-Supervisionato: Il framework sostituisce le etichette di verità fondamentale rigide con previsioni soft provenienti dal VLM pre-addestrato per costruire una funzione di perdita pseudo-supervisionata.
• Ottimizzazione Online: Viene sviluppata una procedura di ottimizzazione online per aggiornare incrementale i prototipi visivi utilizzando flussi di dati di test non etichettati. Questo rispetta il vincolo post-hoc elaborando i dati man mano che arrivano.
• Strategia di Aggiornamento dei Prototipi:
  • Lo spazio delle etichette ID è esteso per includere $L$ pseudo-classi OOD (segnaposto).
  • Una regola di sogliatura rigida basata sui punteggi OOD esistenti (ad esempio, da NegLabel) classifica i campioni di test in arrivo come "positivi" (probabilmente ID) o "negativi" (probabilmente OOD).
  • I prototipi delle classi ID vengono aggiornati solo quando un campione è classificato come ID; i prototipi delle pseudo-classi OOD vengono aggiornati quando un campione è classificato come OOD.
  • I campioni con punteggi incerti vengono ignorati.
• Garanzie di Convergenza: Il Teorema 3 fornisce garanzie teoriche per la convergenza della procedura di ottimizzazione online proposta, limitando il rimpianto cumulativo a $O(\sqrt{N})$.

3. Punteggio OOD

Il punteggio OOD finale per un'immagine di test è calcolato confrontando la caratteristica visiva dell'immagine con i prototipi visivi aggiornati (sia classi ID che pseudo-classi OOD) utilizzando una misura di similarità basata su softmax, piuttosto che affidarsi agli embedding testuali originali.

Contributi Chiave

1. Insight Teorico: Il lavoro dimostra teoricamente che l'assunzione "testo come prototipo" nella rilevazione OOD post-hoc basata su CLIP è fondamentalmente errata a causa di un gap di modalità intrinseco. Dimostra che gli embedding testuali non possono rappresentare perfettamente i prototipi visivi ottimali senza calibrazione visiva.
2. Framework Innovativo: Introduce un framework di apprendimento pseudo-supervisionato online che apprende i prototipi di classe direttamente nello spazio delle caratteristiche visive utilizzando flussi di test non etichettati e previsioni soft del VLM, colmando efficacemente il gap di modalità.
3. Garanzie Teoriche: Gli autori forniscono rigorose garanzie di convergenza per il loro algoritmo di ottimizzazione online.
4. Prestazioni all'Avanguardia: Il metodo ottiene nuovi risultati all'avanguardia su varie piattaforme di benchmark per la rilevazione OOD, inclusi ImageNet-1K, OpenOOD e dataset CIFAR, superando basi solide come AdaNeg e NegLabel.

Risultati Sperimentali

Estesi esperimenti validano l'efficacia del metodo proposto:

• ImageNet-1K: Il metodo raggiunge un AUROC del 97,75% e un FPR95 del 12,79%, superando lo stato dell'arte precedente (AdaNeg) con margini significativi (ad esempio, +1,09% AUROC e -6,13% FPR95).
• Benchmark OpenOOD: Sono osservati miglioramenti coerenti sia sui dataset Near-OOD che Far-OOD, dimostrando robustezza attraverso diversi tipi di spostamenti di distribuzione.
• Benchmark CIFAR: Il metodo mostra guadagni coerenti sulle configurazioni CIFAR-10 e CIFAR-100.
• Studi di Ablazione: Il metodo si dimostra robusto rispetto alle scelte degli iperparametri, efficace su diverse architetture di encoder visivo (ResNet-50, ViT-B/32, ViT-L/14) e scalabile a risoluzioni di input più elevate.
• Generalizzazione di Dominio: L'approccio mantiene prestazioni superiori quando i dati ID subiscono spostamenti di dominio (ad esempio, ImageNet-A, ImageNet-R, ImageNet-S).

Significato e Affermazioni

Il lavoro afferma che il suo significato primario risiede nell'identificare e affrontare una limitazione strutturale nel paradigma attuale di rilevazione OOD zero-shot. Spostandosi dalla dipendenza dagli embedding testuali come prototipi statici e imparando invece prototipi visivi dinamici e calibrati dai dati di tempo di test, il metodo offre una soluzione più fondata teoricamente ed empiricamente efficace.

Gli autori sottolineano che il loro approccio non è meramente un aggiustamento ingegneristico, ma un cambiamento fondamentale nel modo in cui i prototipi sono costruiti per la rilevazione OOD basata su VLM. Affermano che il gap di modalità è un problema strutturale indipendente dalle strategie di estrazione di etichette negative, e che il loro framework fornisce un modo principiato per mitigare tale gap, portando a guadagni di prestazioni coerenti su benchmark diversificati senza richiedere un ri-addestramento sui dati ID.