PAS: Estimating the target accuracy before domain adaptation

Probleemstelling

Het doel van Unsupervised Domain Adaptation (UDA) is om voorspellingen te doen voor ongelabelde samples uit een doeldomein (target domain) met behulp van gelabelde samples uit een gerelateerd, maar verschillend, brondomein (source domain). De prestaties van UDA-methoden worden sterk beïnvloed door twee kritieke keuzes:

1. De keuze van het brondomein: Niet alle beschikbare bronnen zijn even nuttig; het kiezen van een ongeschikte bron kan leiden tot "negative transfer", waarbij de prestaties op het doeldomein verslechteren.
2. De keuze van de pre-trained feature extractor: Er zijn vele beschikbare pre-trained modellen (bijv. ResNet, ViT, Swin) met verschillende inductieve biases. Het is niet triviaal om te bepalen welk model het beste generaliseert naar een specifiek doeldomein zonder toegang tot gelabelde target-data.

Bestaande methoden voor het schatten van transferbaarheid vereisen vaak gelabelde target-data (wat in UDA niet beschikbaar is) of vereisen dat men voor elke combinatie van bron en model een volledige domain adaptation training uitvoert, wat computatief zeer kostbaar is. Er is dus behoefte aan een efficiënte methode om vooraf de geschiktheid van een bron en een model te beoordelen.

Methodologie: Potential Adaptability Score (PAS)

De auteurs introduceren de Potential Adaptability Score (PAS), een nieuwe, asymmetrische maatstaf om de transferbaarheid te schatten voordat domain adaptation daadwerkelijk wordt uitgevoerd.

Kernconcepten:

• Aannames: De methode gaat ervan uit dat een goede pre-trained model in staat is om domein-invariante, discriminerende features te extraheren. In de embeddingruimte van zo'n model zouden samples van dezelfde klasse (zelfs uit verschillende domeinen) dichter bij elkaar moeten liggen dan samples van verschillende klassen.
• Berekening:
  1. Voor een gelabeld brondataset ($D_S$) en een ongelabeld doeldataset ($D_T$) worden de embeddings gegenereerd door een pre-trained feature extractor $f_\theta$.
  2. Voor elke klasse $c$ in de bron wordt een centroïde ($\mu_c$) berekend in de embeddingruimte.
  3. Voor elke target sample $x^T_i$ wordt de cosinus-afstand berekend tot alle brondomein-centroïden.
  4. De kortste afstand ($d_{1i}$) en de op één na kortste afstand ($d_{2i}$) worden geïdentificeerd.
  5. De PAS-score voor een sample wordt gedefinieerd als:
     $$\text{PAS}_i = \frac{d_{2i} - d_{1i}}{d_{2i}}$$
  6. De totale PAS-score is het gemiddelde over alle target samples.

Interpretatie:
Een hoge PAS-score (dicht bij 1) betekent dat een target sample zeer dicht bij de juiste brondomein-klasse ligt en ver weg van de andere klassen. Dit suggereert dat de pre-trained model de juiste features heeft om de target samples correct te categoriseren, wat leidt tot een hoge verwachte nauwkeurigheid na adaptatie. De score is asymmetrisch, wat essentieel is omdat het transfereren van een makkelijk naar een moeilijk domein anders is dan andersom.

Belangrijkste Bijdragen

1. PAS-score: Een nieuwe, eenvoudige maar effectieve maatstaf om de potentie van een combinatie van pre-trained model en brondomein te kwantificeren voor een ongelabeld doeldomein.
2. Selectie Framework: Een framework dat PAS gebruikt om de beste combinatie van bron en model te selecteren uit een set kandidaten, zonder dat er domain adaptation training nodig is.
3. Empirische Validatie: Uitgebreide experimenten op vier populaire benchmarks (Office-Home, Office-31, ImageCLEF, DomainNet) tonen aan dat PAS sterk correleert met de uiteindelijke target accuracy.

Resultaten

De auteurs hebben PAS getest tegenover bestaande symmetrische metrics zoals Maximum Mean Discrepancy (MMD) en A-distance, evenals een "Oracle"-baseline (die wel toegang heeft tot de echte target labels).

• Correlatie met Accuracy: PAS toont een aanzienlijk hogere correlatie met de uiteindelijke target accuracy dan MMD of A-distance.
  • Over alle benchmarks en scenario's bedroeg de Spearman-rangcorrelatie voor PAS 0,88, vergeleken met 0,37 voor MMD en -0,16 voor A-distance.
  • Voor specifieke doeldomeinen (bijv. Office-Home C, P, R) varieerde de correlatie van PAS tussen 0,70 en 0,87, wat aangeeft dat het zeer betrouwbaar is bij het voorspellen van welke bron het beste werkt.
• Selectie van Pre-trained Modellen: PAS kan ook helpen bij het kiezen van het beste pre-trained model (bijv. ResNet vs. ViT) voor een specifieke adaptatietask. Modellen met een hogere PAS-score resulteerden consistent in hogere nauwkeurigheid na training.
• Efficiëntie: De berekening van PAS is lineair in het aantal samples en werkt goed zelfs met een subset van de data, wat de rekentijd drastisch verlaagt ten opzichte van het uitvoeren van volledige adaptatie-experimenten.
• Design Keuzes: Experimenten toonden aan dat het gebruik van cosinus-afstand (in plaats van Euclidische afstand) en het gebruik van centroïden (in plaats van gemiddelde paarsgewijze afstanden) de beste correlatie opleveren. Cosinus-afstand is robuuster tegen variaties in intensiteit (zoals verlichting) en minder gevoelig voor het "curse of dimensionality"-probleem.

Betekenis en Conclusie

Dit werk is, voor zover bekend, de eerste poging om transferbaarheid te schatten specifiek voor het unsupervised domain adaptation scenario zonder gebruik te maken van target labels.

De belangrijkste implicaties zijn:

• Kostenreductie: Het elimineert de noodzaak om duizenden combinaties van bronnen en modellen te trainen om de beste te vinden.
• Voorspellend Vermogen: Het biedt een betrouwbare indicator voor de maximale haalbare prestatie van een domain adaptation setup.
• Praktische Toepasbaarheid: Het stelt onderzoekers en practitioners in staat om slimme keuzes te maken op basis van de data-distributie in de embeddingruimte, waardoor negatieve transfer wordt voorkomen en de algehele efficiëntie van het ontwikkelproces wordt verbeterd.

De auteurs merken wel op dat de methode momenteel beperkt is tot single-source domain adaptation en visuele taken, en dat toekomstig werk zich kan richten op multi-source adaptatie en andere modaliteiten. Ook wordt erkend dat de score niet immuun is voor bias in de pre-trained modellen.