Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

Riepilogo Tecnico: L'Estrazione di Campioni Negativi Debiased Migliora il Rilevamento di Dati Fuori Distribuzione con Modelli Vision-Language Pre-addestrati

Enunciato del Problema
Il rilevamento di dati fuori distribuzione (Out-of-Distribution, OOD) è fondamentale per garantire l'affidabilità dei modelli di machine learning in scenari open-world, dove i dati di test possono contenere classi non viste. Sebbene i Modelli Vision-Language (VLM) pre-addestrati, come CLIP, abbiano mostrato promesse nel rilevamento OOD a posteriori sfruttando le affinità semantiche tra le etichette In-Distribution (ID) e le etichette "negative" (semanticamente distinte dalle ID), gli approcci esistenti affrontano una limitazione teorica significativa. I metodi attuali, come NegLabel, si basano su regole euristiche (ad esempio, la similarità del coseno) per estrarre etichette negative da corpus "selvaggi" non etichettati (ad esempio, WordNet). Gli autori sostengono che queste regole euristiche manchino di garanzie teoriche per catturare la vera dissimilarità semantica, portando a un "bias di estrazione negativa". Questo bias si verifica perché l'insieme negativo estratto è inevitabilmente contaminato da "falsi negativi" (etichette che sono in realtà semanticamente simili alle classi ID), risultando in funzioni di punteggio OOD sub-ottimali. La sfida centrale affrontata è come mitigare questo bias di campionamento senza richiedere informazioni di similarità ground-truth o feedback umano aggiuntivo sul corpus selvaggio.

Metodologia
Il metodo proposto, Estrazione di Campioni Negativi Debiased, introduce un quadro teorico per correggere il bias di campionamento delle etichette negative approssimando indirettamente la vera distribuzione delle etichette negative. L'approccio si basa sui seguenti passaggi:

1. Modellazione della Distribuzione: Gli autori modellano la distribuzione dei dati selvaggi non etichettati ($Q_Y$) come una miscela di etichette positive vere ($P^+_Y$) e etichette negative vere ($P^-_Y$) utilizzando il modello di contaminazione di Huber: $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$, dove $\tau$ è una probabilità a priori trattata come iperparametro.
2. Derivazione Teorica: Riorganizzando il modello di miscela, la distribuzione negativa vera è espressa come $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$. Gli autori derivano una funzione di punteggio OOD non distorta basata su questa relazione.
3. Approssimazione Asintotica: Per evitare stime computazionalmente costose, il metodo utilizza il teorema della convergenza dominata per dimostrare che, all'aumentare del numero di etichette negative verso l'infinito, la funzione di punteggio converge a una forma dipendente dalle aspettative della distribuzione selvaggia e della distribuzione positiva.
4. Campionamento per Importanza Monte-Carlo: La funzione di punteggio debiasata finale è implementata come un stimatore Monte-Carlo. Richiede:
   • Campionamento del Corpus Selvaggio ($u_i$): Selezione di campioni rappresentativi dal corpus selvaggio basata sulla densità locale (utilizzando i $\alpha$-vicini più prossimi) per approssimare l'aspettativa su $Q_Y$.
   • Sintesi di Etichette Positive ($v_i$): Poiché le etichette positive vere dal corpus selvaggio sono sconosciute, il metodo sintetizza caratteristiche positive applicando una trasformazione che preserva la semantica (aggiunta di rumore gaussiano e normalizzazione) agli embedding delle etichette ID note.
   • Punteggio: Il punteggio OOD finale è calcolato combinando le affinità delle etichette ID con la differenza ponderata tra l'aspettativa del corpus selvaggio e l'aspettativa positiva sintetizzata, annullando efficacemente la contaminazione dei falsi negativi.

Contributi Chiave

• Quadro Teorico: Il documento sviluppa un nuovo quadro teorico che corregge il bias di campionamento delle etichette negative senza richiedere informazioni di similarità o dissimilarità ground-truth, affrontando il problema dei "falsi negativi" intrinseco nell'estrazione euristica.
• Implementazione Pratica: Gli autori implementano questa correzione come una strategia di campionamento per importanza efficiente che si basa esclusivamente sull'accesso a esempi positivi (etichette ID) e dati selvaggi non etichettati, evitando la necessità di supervisione aggiuntiva.
• Prestazioni all'Avanguardia: Esperimenti estensivi dimostrano che il metodo stabilisce nuovi risultati all'avanguardia su vari benchmark di rilevamento OOD, diverse architetture CLIP (ViT-B/32, ViT-L/14, ResNet-50) e diverse risoluzioni di input.
• Robustezza: Il metodo mostra forte generalizzazione e robustezza in scenari con spostamento di dominio (ad esempio, ImageNet-A, ImageNet-R, ImageNetV2), superando i metodi zero-shot esistenti.

Risultati Sperimentali
Il metodo è stato valutato sul benchmark ImageNet-1K con etichette ID, testato contro dataset OOD tra cui iNaturalist, SUN, Places365 e Textures.

• Prestazioni: Il metodo proposto ha raggiunto un AUROC medio del 94,52% e un FPR95 del 22,37%, superando il miglior metodo zero-shot precedente, NegLabel (94,21% AUROC, 25,40% FPR95).
• Ablazione: Il metodo ha costantemente superato NegLabel su diversi backbones visivi (ViT-B/32, ViT-L/14, ResNet-50) e risoluzioni di input (224x224 vs. 336x336).
• Sensibilità del Corpus: Il metodo ha dimostrato prestazioni superiori rispetto a NegLabel quando testato con diverse fonti di corpus (Common-20K e Tag Parte del Discorso), indicando flessibilità nella scelta dei dati selvaggi.
• Iperparametri: Il metodo si è rivelato stabile su un'ampia gamma di iperparametri, inclusa la probabilità a priori $\tau$, l'intensità del rumore $\sigma$ e il numero di etichette campionate $L$.

Significato
Il documento afferma che, sebbene l'estrazione di etichette negative sia stata un'euristica di successo, il suo potenziale non è stato pienamente sfruttato a causa della questione irrisolta dei falsi negativi. Fornendo una correzione teorica per questo bias, il lavoro "libera" il potenziale dei VLM per il rilevamento OOD. Gli autori sottolineano che il loro approccio ottiene questi guadagni senza richiedere dati di addestramento aggiuntivi o feedback umano sul corpus selvaggio, rendendolo una soluzione pratica e robusta per il rilevamento OOD zero-shot. Il lavoro suggerisce che le direzioni future potrebbero coinvolgere l'integrazione di Modelli Linguistici Multimodali Pre-addestrati di grandi dimensioni, ma il contributo attuale si concentra sul perfezionamento del processo di estrazione negativa all'interno dei framework VLM esistenti.