Simple Supervision Is Hard to Beat: A Bitter Lesson from Sparse Target Labels in Domain-Adaptive Object Detection

Sintesi Tecnica: La Semplice Supervisione è Difficile da Battere

Definizione del Problema
L'adattamento del dominio dell'object detection senza accesso ai dati sorgente (Source-Free Domain Adaptive Object Detection, SFDA-OD) mira ad adattare un rilevatore addestrato su un dominio sorgente etichettato a un dominio target non etichettato, senza accedere ai dati della sorgente. Gli attuali metodi di stato dell'arte per la SFDA-OD si affidano pesantemente a framework di auto-addestramento teacher-student, in cui un modello "teacher" genera pseudo-etichette per immagini target non etichettate per supervisionare un modello "student". Tuttavia, questo approccio soffre di un collo di bottiglia: sotto l'effetto dei cambiamenti di dominio (domain shifts), le pseudo-etichette contengono spesso falsi positivi, mancano oggetti difficili (falsi negativi) e forniscono segnali di ottimizzazione instabili.

Mentre l'Active Domain Adaptation (ADA) studia come selezionare i campioni più informativi per l'annotazione, questo articolo investiga un protocollo più semplice e controllato: qual è il modo ottimale per utilizzare un piccolo sottoinsieme casuale e uniforme di immagini target etichettate? Gli autori isolano la questione dell'utilizzazione delle etichette dalla selezione delle etichette, chiedendosi se le sparse annotazioni target possano migliorare i metodi SFDA-OD esistenti oltre il loro uso diretto come esempi supervisionati.

Metodologia
Il documento propone un metodo di base chiamato Random-Target Supervised Mixing (RTSM) e valuta sistematicamente dieci "plugin di feedback con etichette sparse" progettati per guidare il ramo di auto-addestramento non etichettato utilizzando le stesse annotazioni.

1. L'Ancora (RTSM):
   RTSM tratta il sottoinsieme target etichettato casualmente come ordinari dati di addestramento supervisionati. Aggiunge una standard perdita di rilevamento supervisionata su queste immagini etichettate mantenendo completamente invariato l'originale ramo di auto-addestramento SFDA-OD (perdita non etichettata, aggiornamenti teacher-student e generazione di pseudo-etichette). Questo funge da baseline forte e semplice per misurare il beneficio diretto della supervisione sparsa.

2. Plugin di Feedback:
   Gli autori valutano dieci plugin modulari che tentano di utilizzare le stesse etichette sparse per migliorare il ramo non etichettato. Questi sono categorizzati in tre punti di intervento nella pipeline del Mean Teacher:

   • Selezione delle Pseudo-Etichette (Orientata alla Precisione): Questi plugin regolano il modo in cui i candidati teacher vengono convertiti in pseudo-etichette.
     • Prior-Mapped Thresholding: Regola le soglie di confidenza specifiche per classe in base alla discrepanza tra i priori di classe della verità fondamentale (ground-truth) sparsa e i priori delle pseudo-etichette di base.
     • Precision-Calibrated Thresholding: Seleziona soglie che massimizzano la ritenzione di candidati corretti pur soddisfacendo un obiettivo di precisione empirica sul set sparso.
     • Reliability Score Rescaling: Sopprime i punteggi di confidenza per le classi in cui le pseudo-etichette di base mostrano una bassa precisione sul set sparso.
   • Completamento degli Oggetti (Orientato al Richiamo/Recall): Questi plugin tentano di recuperare oggetti mancati dal generatore di pseudo-etichette di base.
     • Hard Query Recovery: Addestra uno scorer binario sulle immagini sparse per identificare i candidati scartati che corrispondono a oggetti della verità fondamentale mancanti, inserendoli nel set delle pseudo-etichette.
     • Multi-View Hard Recovery: Potenzia la Hard Query Recovery con segnali di coerenza cross-view.
     • Foreground Query Revival: Utilizza i candidati recuperati come supervisione debole (incoraggiando la "foreground-ness") piuttosto che come pseudo-etichette rigide, per evitare la propagazione di errori di localizzazione o di classe.
     • Multi-View Foreground Revival: Combina il recupero multi-view con la perdita di supervisione debole.
   • Controllo dell'Ottimizzazione: Questi plugin regolano la dinamica dell'addestramento tra le etichette sparse affidabili e le pseudo-etichette rumorose.
     • Sparse Loss Balancing: Regola dinamicamente il peso della perdita non etichettata rispetto alla perdita supervisionata in base alle loro grandezze.
     • Target-Anchored PCGrad: Proietta il gradiente della pseudo-etichetta per rimuovere le componenti che confliggono con il gradiente supervisionato sparso.
     • Label-Guided Teacher Update: Utilizza la supervisione sparsa per identificare i gruppi di parametri che dovrebbero aggiornarsi più velocemente (maggiore momentum EMA) nel modello teacher.

Configurazione Sperimentale
La valutazione abbraccia quattro metodi SFDA-OD (PETS, LPU, LPLD, DDT), due detector basati su transformer (DINO, DETA) e due compiti di adattamento (Cityscapes $\to$ Foggy Cityscapes e Cityscapes $\to$ BDD100K). Gli esperimenti sono condotti con budget di etichette sparse dell'1%, 5% e 10% del set di addestramento target.

Risultati Chiave

1. RTSM è Altamente Efficace: In tutti i setting, RTSM migliora costantemente le baseline pure di SFDA in modo significativo, con scarti che vanno da 1.7 a 18.3 AP50. Ciò conferma che mescolare semplicemente un piccolo sottoinsieme casuale di etichette target nella perdita supervisionata è un potente segnale di adattamento.
2. I Plugin di Feedback sono Inaffidabili: Nessuno dei dieci plugin supera costantemente l'RTSM.
   • I guadagni di prestazione sono dipendenti dal metodo: un plugin che migliora un metodo SFDA (es. PETS) spesso degrada un altro (es. LPLD).
   • Le prestazioni sono inconsistenti tra le categorie: i miglioramenti su specifiche classi di oggetti sono frequentemente compensati da degradazioni su altre.
   • Rendimenti Decrescenti: All'aumentare del budget di etichette (dall'1% al 10%), il beneficio marginale dei plugin rispetto a RTSM diminuisce, diventando spesso negativo. Con budget più elevati, la supervisione diretta cattura la maggior parte del segnale disponibile, lasciando poco spazio per i meccanismi di feedback rumorosi per aggiungere valore.
3. Nessun Vincitore Universale: Non esiste una singola strategia di plugin (selezione, completamento o controllo) che funga da miglioramento robusto e generalizzato rispetto alla semplice ancora RTSM.

Significato e Rivendicazioni
Il documento fornisce una "lezione amara" per il campo della SFDA-OD con etichette sparse: la semplice supervisione è difficile da battere.

• RTSM come Baseline Necessaria: Gli autori sostengono che l'RTSM debba servire come ancora minima e necessaria per il lavoro futuro. Qualsiasi metodo proposto che utilizzi etichette sparse deve dimostrare guadagni oltre l'RTSM, non solo rispetto alla pura SFDA, per provare un'efficace utilizzazione delle etichette.
• Limiti della Complessità del Feedback: Lo studio rivela che l'uso di etichette sparse per calibrare le pseudo-etichette, recuperare oggetti mancanti o regolare la dinamica dell'ottimizzazione produce risultati frammentati e instabili. La complessità di questi meccanismi di feedback non si traduce in miglioramenti costanti delle prestazioni.
• Ambito: Le scoperte sono specifiche per l'object detection basata su transformer sotto adattamento del dominio senza accesso ai dati sorgente. Gli autori notano con modestia che è necessario ulteriore lavoro per determinare se questo pattern si estenda ad altre famiglie di detector o compiti di visione.

In conclusione, il documento suggerisce che per la SFDA-OD con etichette sparse, la strategia più efficace è spesso la più semplice: incorporare direttamente le etichette target disponibili nella perdita supervisionata, piuttosto che tentare di usarle per progettare complessi cicli di feedback per il ramo di auto-addestramento non etichettato.