Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score

1. Il Problema: Rilevamento Near OOD nel Prompt Learning

Il lavoro affronta una sfida critica nell'addestramento di modelli Vision-Language (VLM) come CLIP (Contrastive Language–Image Pre-training). Sebbene il Prompt Learning (ad esempio CoOp, CoCoOp) abbia migliorato notevolmente l'accuratezza nella classificazione few-shot ottimizzando vettori di contesto continui, la capacità di questi modelli di rilevare campioni Out-of-Distribution (OOD) è stata trascurata.

In particolare, il paper si concentra sul rilevamento Near OOD, una categoria più difficile rispetto al Far OOD:

• Far OOD: I campioni OOD provengono da domini completamente diversi (es. immagini di cani come ID e cifre come OOD).
• Near OOD: I campioni OOD provengono dallo stesso dominio visivo ma appartengono a classi non viste durante l'addestramento (es. immagini di fiori come ID e immagini di uccelli come OOD).

Le soluzioni esistenti per il rilevamento OOD spesso richiedono l'addestramento da zero, la modifica dell'architettura del modello o non sono progettate specificamente per l'architettura a due encoder (immagine-testo) e la natura dei logit dei modelli VLM basati su prompt. Di conseguenza, le distribuzioni dei punteggi per i campioni ID e Near OOD si sovrappongono significativamente, portando a prestazioni di rilevamento scarse.

2. Metodologia: Contrastive Logit Score (CLS)

Gli autori propongono una funzione di scoring post-hoc (dopo l'addestramento) e "plug-and-play" chiamata Contrastive Logit Score (CLS). Questo metodo non richiede modifiche all'architettura del modello né ri-addestramento.

Fondamenti Teorici

Il metodo si basa su un'interpretazione di test di ipotesi:

1. Ipotesi Nulla ($H_{ID}$): Il dato proviene dalla distribuzione in-dominio.
2. Ipotesi Alternativa ($H_{OOD}$): Il dato proviene dalla distribuzione Near OOD.

L'obiettivo è massimizzare il rapporto di verosimiglianza (log-likelihood ratio). Poiché la densità $p_{OOD}(x)$ è sconosciuta, gli autori introducono una classe "nulla" o "sconosciuta" ($y=0$).

La Funzione di Punteggio

La CLS combina due componenti:

1. Massimo Logit delle Classi Note ($\max \langle I, P_i \rangle$): Rappresenta la confidenza che l'immagine appartenga a una delle classi ID note.
2. Punteggio Contestuale ($\langle I, V \rangle$): Rappresenta la similarità coseno tra l'immagine e i vettori di contesto appresi ($V$) senza l'aggiunta di nomi di classi specifici. Questo termine cattura le caratteristiche generiche della distribuzione ID.

La formula proposta è:
$$\text{CLS}(x) = \max_{i} \langle I, P_i \rangle - \beta \langle I, V \rangle$$

Dove:

• $I$ è la rappresentazione dell'immagine.
• $P_i$ è il prompt per la classe $i$ (contesto + nome classe).
• $V$ è il vettore di contesto appreso (senza nome classe).
• $\beta$ è un fattore di scala che de-correla le due evidenze.

Ruolo di $\beta$:
Il termine $\langle I, V \rangle$ è cruciale per distinguere i campioni ID "atipici" (difficili da classificare ma ancora ID) dai campioni Near OOD. I campioni Near OOD tendono ad avere un alto allineamento con le caratteristiche generiche ID ($\langle I, V \rangle$ alto), mentre i campioni ID atipici no. Sottraendo $\beta \langle I, V \rangle$ dal logit massimo, si riduce la sovrapposizione tra le distribuzioni ID e Near OOD.

Stima di $\beta$:
Poiché i campioni Near OOD non sono disponibili durante la fase di deployment, gli autori propongono di stimare $\beta$ utilizzando solo i campioni ID di addestramento (few-shot). Il valore ottimale di $\beta$ è quello che minimizza la covarianza tra il punteggio MaxLogit e il punteggio contestuale $\langle I, V \rangle$ sui dati di addestramento. Questo porta a una soluzione in forma chiusa basata sulla stima della massima verosimiglianza (MLE).

3. Contributi Chiave

1. Novità nel Rilevamento Near OOD per VLM: È uno dei primi lavori a focalizzarsi specificamente sul rilevamento Near OOD per i modelli di Prompt Learning basati su CLIP, un'area precedentemente sottoesplorata.
2. Approccio Post-Hoc e Plug-and-Play: La soluzione non richiede modifiche al modello sottostante, né ri-addestramento, né l'aggiunta di testine di classificazione. Può essere applicata a qualsiasi metodo di Prompt Learning esistente.
3. Nuova Funzione di Scoring (CLS): Introduce una funzione che sfrutta la natura contrastiva di CLIP, combinando la confidenza di classe con la similarità alle caratteristiche generiche del dominio.
4. Stima Automatica del Fattore di Scala: Propone un metodo efficace per calcolare il parametro $\beta$ utilizzando esclusivamente i dati di addestramento ID, rendendo il metodo pratico per scenari reali.
5. Versatilità: Il metodo è stato validato su 8 diversi modelli di Prompt Learning e 13 dataset diversi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 13 dataset (inclusi ImageNet, Caltech101, Flowers102, CIFAR, ecc.) e 8 modelli di Prompt Learning (CoOp, CoCoOp, MaPLe, LoCoOp, ecc.).

• Miglioramento delle Prestazioni: Il metodo CLS ha mostrato miglioramenti significativi nell'AUROC (Area Under the Receiver Operating Characteristic Curve) per il rilevamento Near OOD.
  • Il miglioramento massimo registrato è stato del 11.67% nell'AUROC.
  • In media, su 104 valutazioni (13 dataset $\times$ 8 modelli), CLS ha migliorato le prestazioni in 100 casi rispetto al baseline MaxLogit.
• Confronto con lo Stato dell'Arte:
  • CLS supera metodi basati su prompt learning specifici per OOD (come LoCoOp e NegPrompt) e metodi generici (come Energy Score, Mahalanobis, CLIPN).
  • Nel rilevamento Near OOD, CLS ha superato il metodo GL-MCM (di LoCoOp) con un margine medio di 6.23 punti AUROC.
  • Anche nel rilevamento Far OOD, CLS ha ottenuto prestazioni competitive (secondo posto), dimostrando robustezza.
• Efficienza Computazionale: L'aggiunta del calcolo CLS ha un costo computazionale trascurabile, poiché richiede solo operazioni di similarità coseno sui logit già disponibili.

5. Significato e Impatto

Questo lavoro è significativo perché colma un divario critico nell'affidabilità dei modelli Vision-Language. In applicazioni reali ad alto rischio (guida autonoma, diagnostica medica), non basta che un modello classifichi correttamente le classi note; deve anche essere in grado di riconoscere quando un input appartiene a una classe sconosciuta (Near OOD) e rifiutarlo o segnalarlo.

La proposta di una soluzione post-hoc e agnostica rispetto al modello rende questa tecnica immediatamente applicabile a sistemi esistenti senza costi di ri-addestramento, facilitando il deployment sicuro di modelli VLM in scenari dinamici dove la distribuzione dei dati può cambiare o contenere classi impreviste. La capacità di stimare il fattore di scala solo dai dati ID rende il metodo pratico per l'uso industriale.