Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

Riepilogo Tecnico: Modulazione delle Caratteristiche Agnostica al Dominio per la Generalizzazione del Dominio Semi-Supervisionata

Enunciato del Problema
La Generalizzazione del Dominio Semi-Supervisionata (SSDG) mira a migliorare la generalizzazione del modello verso domini target non visti sfruttando una piccola frazione di dati etichettati insieme a dati non etichettati abbondanti. Sebbene i metodi SSDG esistenti facciano spesso affidamento sull'etichettatura pseudo (PL) per i dati non etichettati, assumono frequentemente l'accesso alle etichette di dominio durante l'addestramento, un privilegio non sempre disponibile negli scenari reali. Inoltre, gli spostamenti di dominio introducono "rumore di dominio", portando a etichette pseudo incoerenti che degradano le prestazioni del modello. I metodi derivati da baseline di apprendimento semi-supervisionato soffrono spesso di una bassa accuratezza delle etichette pseudo, limitando l'utilizzo efficace dei dati non etichettati. Esiste un dilemma fondamentale: abbassare la soglia di confidenza per utilizzare più dati non etichettati aumenta il rumore, mentre mantenere una soglia alta scarta dati preziosi. Questo articolo affronta il setting SSDG agnostico alle etichette di dominio, in cui le etichette di dominio per i dati non etichettati non sono disponibili durante l'addestramento.

Metodologia
L'approccio proposto introduce un nuovo framework composto da quattro componenti chiave: Rappresentazioni Medie Simili (SAR), un Modulatore di Caratteristiche, Etichettatura Pseudo utilizzando caratteristiche modulate e una funzione di Scaling della Perdita con stima dell'incertezza.

1. Rappresentazioni Medie Simili (SAR):
   Per mitigare l'impatto delle informazioni specifiche del dominio, gli autori definiscono i prototipi di classe ($P_c$) basandosi esclusivamente sulle etichette di classe, rendendoli agnostici al dominio. A differenza dei metodi che mediano le caratteristiche attraverso i domini utilizzando le etichette di dominio, questo approccio calcola le SAR ($R_c$) pesando i prototipi di classe in base alla loro similarità coseno. Ciò crea una rappresentazione che enfatizza i segnali specifici della classe sopprimendo al contempo le variazioni legate al dominio (ad esempio, sfondo, texture). Le SAR fungono da target robusto per la modulazione delle caratteristiche.

2. Modulazione delle Caratteristiche:
   Viene introdotta una matrice modulare di caratteristiche apprendibile ($M$) per fondere le caratteristiche specifiche dell'istanza ($z$) con le SAR ($R$). La caratteristica modulata $Z_m$ è calcolata come:
   $$Z_m = M \odot Z + (1 - M) \odot R$$
   La matrice $M$ è inizializzata in base alla varianza delle caratteristiche all'interno di ciascuna classe (le caratteristiche con alta varianza, probabilmente specifiche del dominio, vengono sottopesate) e viene aggiornata durante l'addestramento tramite una funzione di perdita diagonale. Questo processo sposta le caratteristiche verso le loro SAR, incoraggiando l'estrattore di caratteristiche a formare rappresentazioni strettamente raggruppate e invarianti al dominio e costringendo il classificatore a distinguere tra classi strettamente correlate concentrandosi su caratteristiche uniche specifiche della classe piuttosto che su quelle condivise o specifiche del dominio.

3. Etichettatura Pseudo con Caratteristiche Modulate:
   Per generare etichette pseudo più accurate, le caratteristiche dei campioni non etichettati vengono modulate verso la SAR di ciascuna classe prima di essere passate attraverso il classificatore. La classe che produce il punteggio di confidenza più alto su queste caratteristiche modulate viene assegnata come etichetta pseudo. Questa strategia riduce l'interferenza del dominio durante il processo di etichettatura, risultando in etichette pseudo di qualità superiore.

4. Stima dell'Incertezza e Scaling della Perdita:
   Per affrontare il compromesso tra utilizzo dei dati e rumore delle etichette, gli autori impiegano il dropout Monte Carlo (MC) per stimare l'incertezza delle etichette pseudo. Introducono una funzione di scaling della perdita dinamica ($l_{scale}$) che aggiusta il contributo di ciascuna etichetta pseudo in base alla sua confidenza ($p_{max}$) e incertezza ($\sigma$). Ciò permette al modello di incorporare etichette pseudo a bassa confidenza in modo controllato, aumentando il "tasso di mantenimento" (la proporzione di dati non etichettati utilizzati) senza introdurre significativamente rumore.

Contributi Chiave

• Modulatore di Caratteristiche: Una strategia che potenzia le caratteristiche discriminative della classe e sopprime le informazioni specifiche del dominio senza fare affidamento su etichette di dominio, portando a etichette pseudo più accurate.
• Funzione di Scaling della Perdita: Un meccanismo che aggiusta dinamicamente l'influenza delle etichette pseudo in base a confidenza e incertezza, ottimizzando l'utilizzo dei dati non etichettati mitigando al contempo il rumore delle etichette.
• Setting Agnostico alle Etichette di Dominio: Il metodo affronta il problema SSDG in un setting più impegnativo in cui le etichette di dominio non sono disponibili, dimostrando efficacia su quattro benchmark principali.

Risultati Sperimentali
Il metodo è stato valutato su quattro benchmark standard di Generalizzazione del Dominio: PACS, OfficeHome, VLCS e DigitsDG, nei setting a 5 etichette e 10 etichette.

• Prestazioni: Il metodo proposto (FM) ha ottenuto miglioramenti costanti rispetto alla forte baseline FixMatch, con aumenti medi di accuratezza del 3,3% (setting a 10 etichette) e del 4,3% (setting a 5 etichette) su tutti i dataset.
• Guadagni Specifici: Sono stati osservati miglioramenti notevoli in OfficeHome (57,2% e 61,0% per 5 e 10 etichette), VLCS (75,5% e 75,3%) e DigitsDG (73,0% per 10 etichette).
• Analisi dei Componenti: Gli studi di ablazione hanno confermato che il modulatore di caratteristiche migliora l'accuratezza delle etichette pseudo, mentre la funzione di scaling della perdita aumenta significativamente il tasso di mantenimento. La combinazione di entrambi i componenti ha prodotto il miglior equilibrio tra accuratezza e utilizzo dei dati.
• Confronto: Il metodo ha superato altri metodi SSDG SOTA (ad esempio, StyleMatch, FBCSA, DGWM), molti dei quali fanno affidamento su etichette di dominio e non riescono a performare bene nel setting agnostico alle etichette di dominio.

Significato
Il documento afferma di risolvere il dilemma fondamentale nell'SSDG tra il raggiungimento di etichette pseudo accurate e la massimizzazione dell'utilizzo dei dati non etichettati. Spostando le caratteristiche verso Rappresentazioni Medie Simili, il modello impara a distinguere classi strettamente raggruppate e a formare rappresentazioni invarianti al dominio senza supervisione esplicita del dominio. Lo scaling dinamico della perdita permette inoltre l'uso efficace di etichette pseudo a bassa confidenza, che vengono tipicamente scartate. Gli autori affermano che queste innovazioni permettono al modello di generalizzare efficacemente verso domini non visti anche in assenza di etichette di dominio, un setting che riflette meglio i vincoli del mondo reale.