Towards Domain-Generalized Open-Vocabulary Object Detection: A Progressive Domain-invariant Cross-modal Alignment Method

1. Il Problema: La Fragilità dell'Allineamento Cross-Modale

Il lavoro affronta una vulnerabilità fondamentale nell'attuale paradigma di Rilevamento di Oggetti con Vocabolario Aperto (OVOD). Sebbene i modelli OVOD basati su Vision-Language Models (VLM) come CLIP abbiano ottenuto grandi successi nel riconoscere categorie mai viste (novel categories) durante l'inferenza, la loro efficacia si basa sull'assunzione implicita di stazionarietà del dominio.

In scenari reali (es. guida autonoma con nebbia, pioggia, o cambiamenti stilistici), i domini di destinazione subiscono spostamenti distributivi (domain shifts) che causano:

• Collasso dello spazio latente: I segnali visivi delle nuove categorie si staccano dai loro "ancoraggi" semantici testuali.
• Allineamento instabile: L'adeguamento tra le caratteristiche visive e gli embedding testuali si degrada, portando a un crollo delle prestazioni, specialmente per le categorie "novel" che non hanno prior visive apprese durante l'addestramento.
• Eterogeneità del fallimento: Lo spostamento del dominio non colpisce uniformemente; alcuni campioni subiscono un "crollo del segnale" (bassa confidenza), mentre altri soffrono di "confusione ai bordi" (ambiguità tra classi). I metodi attuali trattano tutti i campioni allo stesso modo, destabilizzando l'allineamento proprio dove è più critico.

Il paper formalizza il problema come DG-OVOD (Domain-Generalized Open-Vocabulary Object Detection), mirando a creare sistemi robusti a spostamenti distributivi senza accesso ai dati del dominio target durante l'addestramento.

2. Metodologia: PICA (Progressive Domain-invariant Cross-modal Alignment)

Per risolvere questi problemi, gli autori propongono PICA, un metodo che introduce un curricolo di apprendimento multi-livello basato su due proxy complementari per caratterizzare i fallimenti a livello di campione:

A. Stratificazione Adattiva del Campione

Il metodo valuta ogni regione dell'immagine lungo due dimensioni:

1. Proxy di Forza del Segnale ($q_r$): Misura la confidenza assoluta dell'allineamento positivo (quanto il feature visivo attiva il prototipo semantico corretto). Bassi valori indicano rumore, occlusione o crollo del segnale.
2. Proxy di Ambiguità ($h_r$): Misura la confusione ai bordi calcolando la differenza tra la similarità del negativo più forte e quella del positivo. Alti valori indicano regioni vicine al confine decisionale.

B. Curricolo di Apprendimento Progressivo

Invece di un addestramento uniforme, PICA adotta una strategia di campionamento graduale (curriculum learning):

• Fase Iniziale: Priorità ai campioni con bassa ambiguità e alta forza del segnale. Questo permette al modello di stabilizzare prima l'allineamento cross-modale su regioni affidabili, creando un "ancoraggio geometrico" nello spazio latente.
• Fase Progressiva: Man mano che l'addestramento procede, il modello incorpora progressivamente campioni più difficili (alta ambiguità) o meno affidabili, permettendo un affinamento fine della struttura discriminativa.
• Porta Morbida (Soft Gate): All'interno di ogni livello di difficoltà, i campioni con forza del segnale estremamente bassa (bottom percentile) ricevono una penalità per evitare che il modello si adatti a regioni con segnale collassato.

C. Obiettivo di Ottimizzazione

Il loss function combina:

1. La perdita di rilevamento standard ($L_{det}$).
2. La perdita OVOD standard ($L_{ovod}$).
3. Perdita Curricolare ($L_{curr}$): Un obiettivo InfoNCE bidirezionale calcolato solo sul sottoinsieme di regioni selezionate dinamicamente dal curricolo. Questo forza la coerenza visiva e l'invarianza di dominio, utilizzando prototipi di "parole pseudo" (pseudo-word prototypes) appresi che agiscono come proxy testuali per le regioni visive.

3. Contributi Chiave

1. Formalizzazione del DG-OVOD: Definizione di un protocollo di valutazione unificato per quantificare l'impatto degli spostamenti distributivi sulla generalizzazione a vocabolario aperto.
2. Identificazione della Vulnerabilità: Dimostrazione empirica che l'instabilità dell'allineamento cross-modale è il collo di bottiglia principale per la generalizzazione OVOD, non solo un problema di rappresentazione visiva.
3. Proposta PICA: Un nuovo framework che utilizza un curricolo guidato da ambiguità e forza del segnale per imporre un allineamento cross-modale invariante al dominio.
4. Benchmark Sistematico: Creazione del primo benchmark completo per DG-OVOD (su OV-COCO-C e OV-COCO-O) che rivela come i metodi OVOD esistenti falliscano universalmente nel mantenere la stabilità dell'allineamento sotto shift di dominio.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su OV-COCO-C (con 15 tipi di corruzione sintetica) e OV-COCO-O (con domini OOD reali come disegni, tatuaggi, stili artistici).

• Performance Superiori: PICA ottiene il miglior risultato complessivo (mAP50 medio) su entrambi i benchmark, superando lo stato dell'arte (inclusi metodi come Baron, R.CLIP, Obj).
  • Su OV-COCO-C: 20.7 mAP50 (vs 19.8 del miglior baseline).
  • Su OV-COCO-O: 19.7 mAP50 (vs 18.5 del miglior baseline).
• Robustezza: Il metodo mostra miglioramenti consistenti su corruzioni di basso livello (rumore, sfocatura), condizioni meteorologiche (neve, nebbia) e distorsioni fotometriche.
• Analisi di Ablazione:
  • La rimozione della stratificazione adattiva dei campioni riduce drasticamente le prestazioni, confermando l'importanza del curricolo.
  • L'uso combinato di feature pulite e aumentate per generare i prototipi pseudo-parola è cruciale per la massima performance.
• Analisi di Stabilità:
  • AI-gap (Alignment Invariance Gap): PICA mostra un gap di allineamento significativamente più basso rispetto ai baseline, indicando una corrispondenza visivo-testuale più stabile.
  • Dinamica dei Gradienti: PICA mantiene una maggiore similarità coseno tra le direzioni dei gradienti consecutivi, indicando un'ottimizzazione più stabile e meno conflitti di gradiente rispetto ai metodi uniformi.

5. Significato e Impatto

Questo lavoro cambia la prospettiva sulla generalizzazione OVOD, spostando il focus dalla semplice robustezza visiva alla stabilità dell'allineamento semantico cross-modale.

• Dimostra che la capacità di un modello di operare in condizioni reali non dipende solo dall'apprendimento di feature visive robuste, ma dalla capacità di mantenere il legame tra queste feature e i loro significati semantici (testuali) nonostante il rumore del dominio.
• PICA offre una via pratica per costruire sistemi di percezione robotica e guida autonoma che siano realmente generalizzabili, superando i limiti delle condizioni di laboratorio statiche.
• Il benchmark introdotto fornisce una base solida per futuri studi sulla robustezza dei modelli multimodali.