Riepilogo Tecnico: Adattamento di Dominio Multi-Fonte Guidato Multi-Modale per la Rilevazione di Oggetti

1. Enunciato del Problema

I modelli generici di rilevazione di oggetti (OD) spesso falliscono quando vengono distribuiti in domini target che differiscono dai loro domini sorgente di addestramento a causa di spostamenti di dominio causati da fattori quali l'ora del giorno, lo stile (reale vs sintetico) e gli artefatti della fotocamera. Sebbene i metodi di Adattamento di Dominio Non Supervisionato (UDA) abbiano affrontato scenari a singola sorgente, faticano quando sono disponibili più domini sorgente. La fusione ingenua di più sorgenti per l'UDA a singola sorgente spesso performa peggio anche di una singola sorgente a causa delle discrepanze tra le sorgenti.

I metodi esistenti di Adattamento di Dominio Multi-Fonte (MSDA) tentano di mitigare questo problema trattando i domini sorgente separatamente, impiegando tipicamente una rete agnostica al dominio (utilizzando Gradient Reversal Layers) e una rete specifica per il dominio. Tuttavia, questi metodi soffrono di una limitazione fondamentale: tentano di apprendere caratteristiche agnostiche al dominio esclusivamente da immagini RGB specifiche per il dominio sopprimendo i segnali specifici del dominio. Questo crea un conflitto di addestramento in cui il modello deve simultaneamente sopprimere e codificare informazioni specifiche del dominio dallo stesso input, portando a difficoltà di ottimizzazione e a una convergenza lenta. Inoltre, le caratteristiche RGB sono intrinsecamente sensibili alle variazioni di illuminazione, colore e texture, rendendole una fonte limitata per una vera rappresentazione agnostica al dominio.

2. Metodologia: MS-DePro

Per affrontare queste limitazioni, gli autori propongono MS-DePro (Rilevatore Multi-Sorgente con Profondità e Prompt). La filosofia centrale è disaccoppiare esplicitamente le caratteristiche specifiche del dominio e quelle agnostiche al dominio sfruttando modalità di input aggiuntive, intrinsecamente invarianti: mappe di profondità e testo.

Il framework segue un'architettura Mean-Teacher, utilizzando uno studente multi-sorgente etichettato e un insegnante target non etichettato. Comprende due componenti principali:

A. Localizzazione Guidata dalla Profondità

Riconoscendo che le mappe di profondità forniscono rappresentazioni coerenti della forma e della struttura degli oggetti indipendentemente dall'illuminazione o dalla texture, gli autori le utilizzano per guidare la localizzazione degli oggetti.

• Meccanismo: Durante l'addestramento, un modello di stima della profondità monoculare pronto all'uso genera mappe di profondità relative dalle immagini RGB di input.
• Architettura: Il sistema impiega backbones e Reti di Proposta di Regioni (RPN) disaccoppiati sia per RGB ($BB_R, RPN_R$) che per Profondità ($BB_D, RPN_D$).
• Integrazione: Le proposte di regione dal ramo di profondità ($p_D$) vengono proiettate sulla mappa delle caratteristiche RGB. Il sistema aggrega le proposte da entrambe le modalità, selezionando le top-$k$ in base ai logit di oggettività. Ciò permette al modello di catturare regioni perse dal solo RGB e filtrare proposte spurie.
• Inferenza: Il ramo di profondità è utilizzato esclusivamente durante l'addestramento per generare pseudo-etichette e raffinare la localizzazione dello studente. All'inferenza, il ramo di profondità viene rimosso e la rilevazione viene eseguita utilizzando solo la rete RGB, senza comportare alcuna latenza aggiuntiva.

B. Apprendimento di Prompt Guidato Multi-Modale

Gli autori sfruttano la coerenza semantica di alto livello del testo per codificare conoscenze agnostiche al dominio, utilizzando contemporaneamente le caratteristiche RGB per l'adattamento specifico del dominio.

• Decomposizione del Prompt: Il prompt testuale apprendibile viene decomposto in due insiemi di token:
  1. Token Agnostici al Dominio ($v_m$): Arricchiti con caratteristiche da mappe di profondità superficiali ($\hat{F}_D$) tramite una Rete Agnostica al Dominio (DA-Net). Questi catturano caratteristiche geometriche e strutturali condivise tra i domini.
  2. Token Specifici del Dominio ($d_m$): Arricchiti con caratteristiche da mappe RGB superficiali ($\hat{F}_R$) tramite una Rete Specifica del Dominio (DS-Net). Questi catturano segnali di stile e aspetto specifici per ciascun dominio.
• Buffer di Token: Poiché le mappe di profondità non sono disponibili all'inferenza, il token Agnostico al Dominio ($\pi_{DA}$) e il token Specifico del Dominio ($\pi_{DS}$) vengono pre-calcolati e memorizzati in buffer durante l'addestramento utilizzando la Media Mobile Esponenziale (EMA). Questi buffer sostituiscono la generazione dinamica dei token durante l'inferenza, permettendo al modello di utilizzare un prompt testuale statico e ottimizzato senza sovraccarico computazionale.
• Classificazione: Il prompt testuale finale combina questi token con i nomi delle classi (ad es. [v1]...[vM1][d1]...[dM2][CLS]) per allinearsi agli embedding degli oggetti per la classificazione.

3. Contributi Chiave

1. Framework Innovativo: Introduzione di MS-DePro, il primo framework MSDA per la rilevazione di oggetti che sfrutta esplicitamente modalità ausiliarie (profondità e testo) per codificare rappresentazioni invarianti al dominio, bypassando la necessità di apprendimento avversario per sopprimere i segnali specifici del dominio.
2. Localizzazione Guidata dalla Profondità: Un metodo che utilizza le mappe di profondità per generare proposte di regione complementari, migliorando la robustezza della localizzazione rispetto agli spostamenti di dominio in texture e illuminazione.
3. Apprendimento di Prompt Guidato Multi-Modale: Un approccio strutturato di apprendimento di prompt che separa esplicitamente la conoscenza agnostica al dominio (guidata dalla profondità) e quella specifica del dominio (guidata da RGB) all'interno di embedding testuali apprendibili.
4. Prestazioni allo Stato dell'Arte: Esperimenti completi che dimostrano come MS-DePro raggiunga prestazioni superiori sui benchmark MSDA rispetto ai metodi esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato MS-DePro su benchmark MSDA standard e hanno esteso la valutazione alla Generalizzazione di Dominio Multi-Sorgente (MSDG).

• Benchmark MSDA:
  • Adattamento Cross-Time (BDD100K): MS-DePro ha raggiunto 53.7 mAP, superando il precedente SOTA (ACIA) di 5.8 mAP. Notabilmente, ha superato la baseline "Oracle All-combined" (addestrata su dati sorgente e target etichettati) di 2.9 mAP.
  • Adattamento Cross-Camera (Cityscapes/KITTI): MS-DePro ha raggiunto 68.4 mAP, un miglioramento di 9.3 mAP rispetto ad ACIA.
  • Adattamento Multi-Dominio: In configurazioni che combinano Cityscapes, MS-COCO e Synscapes, MS-DePro ha superato il precedente SOTA da 2.9 a 4.4 mAP a seconda del numero di domini sorgente.
• Generalizzazione di Dominio (MSDG):
  • Condizioni Meteo Diverse: MS-DePro ha raggiunto il mAP medio più alto su domini meteo non visti (mPC), superando metodi come PDOC e CLIP-Gap.
  • Da Reale ad Artistico: Il modello ha dimostrato una forte generalizzazione da dataset reali a stili artistici (Clipart, Comic, Watercolor), superando significativamente le baseline di generalizzazione di dominio a singola sorgente.
• Studi di Ablazione:
  • Profondità vs RGB: Le visualizzazioni t-SNE hanno confermato che le caratteristiche di profondità formano un singolo cluster coerente tra i domini, mentre le caratteristiche RGB sono disperse.
  • Sinergia delle Componenti: La rimozione della localizzazione guidata dalla profondità o dell'apprendimento di prompt multi-modale ha portato a cali significativi delle prestazioni, confermando il loro effetto sinergico.
  • Configurazione dei Token: Le migliori prestazioni sono state ottenute utilizzando caratteristiche a livello di immagine per i token agnostici al dominio e caratteristiche a livello di proposta per i token specifici del dominio.
  • Costo Computazionale: Sebbene l'addestramento comporti un'elaborazione aggiuntiva della profondità, il costo dell'inferenza è identico al modello di base solo RGB, poiché il ramo di profondità viene rimosso e i token sono pre-calcolati.

5. Significato e Limitazioni

Il paper afferma che MS-DePro dimostra l'efficacia del disaccoppiamento esplicito delle caratteristiche specifiche del dominio e di quelle agnostiche al dominio utilizzando modalità ausiliarie. Spostandosi dal processo "paradossale" di soppressione dei segnali di dominio dalle immagini RGB, il metodo raggiunge un adattamento più robusto. I risultati suggeriscono che sfruttare segnali geometrici (profondità) e segnali semantici (testo) a livello di input è una strategia superiore per l'MSDA rispetto al fare affidamento esclusivamente sull'allineamento avversario.

Limitazioni:
Gli autori riconoscono che le mappe di profondità generate da modelli di stima monoculare possono essere rumorose in condizioni difficili come sfocatura da movimento, occlusione severa, condizioni meteorologiche avverse e scarsa illuminazione. In questi scenari, la qualità delle proposte di regione e la stabilità del token Agnostico al Dominio possono degradarsi, influenzando potenzialmente le prestazioni. Il paper suggerisce che migliorare la robustezza della stima della profondità è una direzione per lavori futuri.