PAS: Estimating the target accuracy before domain adaptation

1. Il Problema

L'adattamento di dominio non supervisionato (UDA) mira a trasferire conoscenze da un dominio sorgente etichettato a un dominio target non etichettato, affrontando lo spostamento della distribuzione dei dati. Tuttavia, il successo di questo processo dipende criticamente da due fattori:

1. La scelta del dominio sorgente: Tra molteplici domini candidati, non è ovvio quale sia il più compatibile con il target. La scelta errata può portare al "negative transfer", peggiorando le prestazioni invece di migliorarle.
2. La scelta del modello pre-addestrato: Esistono numerosi modelli pre-addestrati con bias induttivi diversi. Scegliere quello sbagliato può limitare la capacità di estrazione di feature invarianti.

Il problema centrale è che, in scenari reali, non sono disponibili etichette per il dominio target per validare queste scelte a priori. I metodi esistenti di stima della trasferibilità richiedono etichette target o si basano su metriche simmetriche (come MMD o Wasserstein) che non catturano la natura asimmetrica della difficoltà di trasferimento (trasferire da un dominio "facile" a uno "difficile" è diverso dal viceversa).

2. Metodologia: Il Potential Adaptability Score (PAS)

Gli autori propongono il Potential Adaptability Score (PAS), una metrica asintomatica progettata per stimare la trasferibilità potenziale prima di eseguire l'adattamento di dominio.

Assunzioni Fondamentali

Il metodo si basa su tre ipotesi chiave relative ai modelli pre-addestrati su grandi dataset (es. ImageNet):

1. Un buon modello pre-addestrato estrae feature discriminative invarianti tra domini.
2. Campioni della stessa classe (anche se provenienti da domini diversi) sono vicini nello spazio di embedding.
3. Campioni di classi diverse sono distanti nello spazio di embedding.

Calcolo del PAS

Il PAS misura la coerenza dei campioni target rispetto ai cluster delle classi sorgenti nello spazio di embedding del modello pre-addestrato $f_\theta$:

1. Centroidi delle Classi Sorgente: Per ogni classe $c$ nel dominio sorgente, viene calcolato il centroide $\mu_c$ nello spazio di embedding, normalizzando la somma dei vettori di embedding dei campioni sorgenti di quella classe.
2. Distanze: Per ogni campione target $x^T_i$, si calcola la distanza (cosine distance) rispetto a tutti i centroidi delle classi sorgenti.
3. Selezione delle Distanze: Si identificano:
   • $d_{1i}$: la distanza più breve (al cluster più vicino).
   • $d_{2i}$: la seconda distanza più breve.
4. Formula: Il punteggio PAS è definito come la media sulle distanze relative:
   $$PAS(\theta, D_S, D_T) = \frac{1}{|D_T|} \sum_{i} \frac{d_{2i} - d_{1i}}{d_{2i}}$$

Interpretazione: Un valore PAS alto (vicino a 1) indica che un campione target è molto vicino al suo cluster sorgente più probabile e ben distinto dagli altri cluster. Questo suggerisce che il modello pre-addestrato ha già catturato feature discriminative robuste e che l'adattamento avrà successo.

Il PAS è ispirato al Silhouette Score, ma modificato per essere non supervisionato (considerando il cluster sorgente più vicino come "vera" classe per il target) e asimmetrico, adattandosi allo spostamento di distribuzione.

3. Contributi Chiave

• Nuova Metrica di Stima: Introduzione del PAS come primo punteggio specifico per la stima della trasferibilità nell'adattamento di dominio non supervisionato, senza bisogno di etichette target.
• Framework di Selezione: Proposta di un framework che utilizza il PAS per selezionare automaticamente il miglior dominio sorgente e/o il miglior modello pre-addestrato tra un set di candidati, riducendo il costo computazionale evitando di addestrare modelli per ogni combinazione.
• Validazione Empirica: Dimostrazione che il PAS è fortemente correlato con l'accuratezza finale sul target, superando le metriche simmetriche tradizionali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro benchmark popolari: Office-Home, Office-31, ImageCLEF e DomainNet, utilizzando diversi metodi di adattamento (DANN, MCC, ecc.) e diversi backbones (ResNet, DeiT, ViT, Swin).

• Correlazione con l'Accuratezza: Il PAS mostra una correlazione di Spearman complessiva di 0.88 con l'accuratezza target, significativamente superiore a metriche come MMD (0.37) e A-distance (0.04).
• Selezione del Dominio Sorgente: In quasi tutti gli scenari, il PAS ha identificato correttamente il dominio sorgente che ha portato alla massima accuratezza finale.
• Selezione del Modello Pre-addestrato: Il punteggio PAS è efficace anche nel guidare la scelta del backbone pre-addestrato, selezionando quello che massimizza le prestazioni finali.
• Robustezza al Campionamento: Il calcolo del PAS è robusto anche utilizzando un sottoinsieme dei dati (es. 10-20% dei campioni), rendendolo computazionalmente efficiente.
• Limiti: Il metodo mostra prestazioni inferiori su ImageCLEF quando le immagini contengono oggetti multipli complessi, dove la similarità con un cluster sorgente non garantisce la corretta classificazione del label principale.

5. Significato e Impatto

Il lavoro risolve un problema pratico fondamentale nel campo dell'adattamento di dominio: la scelta delle risorse a priori.

• Efficienza Computazionale: Evita il costo elevato di addestrare e validare modelli per tutte le combinazioni possibili di sorgenti e backbones.
• Prevenzione del Negative Transfer: Fornisce un indicatore precoce per evitare di utilizzare domini sorgenti o modelli inadeguati che potrebbero danneggiare le prestazioni.
• Generalizzabilità: Sebbene testato su visione artificiale, il concetto di valutare la coerenza dei cluster nello spazio di embedding è potenzialmente applicabile ad altri domini.

In sintesi, il PAS offre un approccio semplice ma potente per quantificare la "compatibilità" tra sorgente, target e modello pre-addestrato, guidando i praticanti verso le configurazioni più promettenti prima di iniziare l'addestramento vero e proprio.