Unsupervised Domain Adaptation for Binary Classification with an Unobservable Source Subpopulation

Dit artikel presenteert een methode voor onbewaakte domeinadaptatie die, ondanks een onwaarneembare subpopulatie in de bron, de voorspellingen voor het doeldomein kan herstellen door gebruik te maken van distributiematching en theoretische garanties biedt die de prestaties verbeteren ten opzichte van naieve benchmarks.

De kern

De Gekke Vogels en de Onzichtbare Groep

Een verhaal over het voorspellen van de toekomst met een onvolledige fotoalbum.

Stel je voor dat je een slimme computer wilt trainen om vogels te herkennen. Je hebt een groot fotoalbum (de bron) met duizenden foto's van vogels. Maar er is een probleem: in dit album ontbreekt één specifieke categorie volledig.

In dit onderzoek kijken we naar twee soorten vogels:

1. Watervogels (die op het water zwemmen).
2. Landvogels (die op het land lopen).

En twee soorten achtergronden:

1. Water (blauw).
2. Land (groen/bruin).

Normaal gesproken heb je vier soorten foto's:

• Watervogel op water.
• Watervogel op land.
• Landvogel op water.
• Landvogel op land.

Het probleem: In jouw fotoalbum (de bron) zijn er geen foto's van een Watervogel op water. Misschien zijn deze vogels te moeilijk te fotograferen, of zijn ze zeldzaam. Ze zijn er gewoon niet. Je hebt alleen de andere drie combinaties.

Nu wil je die computer gebruiken om nieuwe foto's te analyseren van een andere plek (de doelgroep). Op die nieuwe plek komen wél Watervogels op water voor. Als je de computer gewoon laat doen met wat hij heeft geleerd, zal hij waarschijnlijk falen. Hij denkt misschien: "Oh, een vogel op water? Dat moet een Landvogel zijn, want dat heb ik alleen maar gezien!"

Dit is wat de auteurs van dit paper proberen op te lossen: Hoe leer je een computer iets te voorspellen over een groep die je in je trainingsdata helemaal niet hebt gezien?

De Sleutel: De "Spiegel" van de Wereld

De onderzoekers zeggen: "Wacht even, we hoeven niet te raden. We kunnen het berekenen."

Stel je voor dat je een spiegel hebt. Als je weet hoe de vogels eruitzien als ze op het land staan (zowel water- als landvogels), en je weet hoe de verhoudingen zijn tussen de soorten, kun je de "spiegel" gebruiken om te begrijpen hoe ze eruit zouden moeten zien op het water, zelfs als je die foto's nooit hebt gezien.

Ze gebruiken een slimme wiskundige truc (noem het een recept) die zegt:

"Als we weten hoe Landvogels zich gedragen op water, en we weten hoe Watervogels zich gedragen op land, en we weten hoeveel van elke soort er in totaal zijn, dan kunnen we de 'ontbrekende' Watervogel op water reconstrueren."

Het is alsof je een puzzel maakt waarbij één stukje ontbreekt. Normaal zou je zeggen: "Ik kan dit niet afmaken." Maar deze onderzoekers zeggen: "Kijk naar de randen van de andere stukjes en de vorm van de doos; dan weten we precies hoe dat ontbrekende stukje eruit moet zien."

De Methode: Het Matchen van Deeltjes

Hoe vinden ze dit antwoord in de praktijk? Ze gebruiken een methode die ze "Distribution Matching" noemen.

Stel je voor dat je twee zakken met knikkers hebt:

• Zak A (Bron): Bevat rode, blauwe en gele knikkers. Maar geen groene.
• Zak B (Doel): Bevat rode, blauwe, gele én groene knikkers.

Je wilt weten hoeveel groene knikkers er in Zak B zitten, maar je hebt ze nooit gezien in Zak A.
De onderzoekers kijken niet naar de knikkers zelf, maar naar de verhoudingen. Ze kijken naar de rode, blauwe en gele knikkers in beide zakken. Ze zeggen: "Als de verhouding tussen rood en blauw in Zak A hetzelfde is als in Zak B (behalve voor de groene), dan kunnen we de 'dichtheid' van de groene knikkers in Zak B berekenen door te kijken naar hoe de andere knikkers zich gedragen."

Ze passen dit toe op de data:

1. Ze kijken naar de vogels die ze wel hebben (bijv. Landvogels op water).
2. Ze vergelijken dit met de nieuwe data.
3. Ze berekenen de verhouding van de ontbrekende groep (Watervogels op water) zonder ze ooit direct te hebben gezien.

Waarom is dit belangrijk?

Zonder deze methode zouden AI-systemen vaak vooroordelen hebben.

• Voorbeeld uit de echte wereld: Stel je een ziekenhuis voor. In hun oude data (bron) zijn er geen oudere vrouwen met een zeldzame ziekte. Als ze een nieuw AI-systeem bouwen voor een ander ziekenhuis waar deze vrouwen wél zijn, zal het systeem deze patiënten waarschijnlijk verkeerd diagnosticeren, omdat het denkt: "Deze ziekte komt alleen bij jonge mannen voor."

Met deze nieuwe methode kan het systeem zeggen: "Oké, ik heb deze groep nooit gezien, maar op basis van de andere groepen en de verhoudingen, weet ik nu hoe ik ze moet behandelen."

De Conclusie

De onderzoekers hebben bewezen dat je niet hoeft te stoppen met het trainen van AI als er een groep mensen of objecten ontbreekt in je data. Zolang je begrijpt hoe de verschillende groepen met elkaar samenhangen (de "structuur" van de data), kun je de ontbrekende stukjes wiskundig reconstrueren.

In hun experimenten met synthetische data en echte datasets (zoals vogelfoto's en gezichten) bleek hun methode veel beter te werken dan de "oude, simpele" methoden die probeerden de ontbrekende groep te negeren of verkeerd te behandelen.

Kortom: Ze hebben een manier gevonden om de "geesten in de machine" (de ontbrekende data) te begrijpen door naar de rest van de machine te kijken. Hierdoor worden AI-systemen eerlijker en betrouwbaarder, zelfs als ze niet alles hebben gezien.

Technische samenvatting

1. Probleemstelling

Het artikel behandelt een specifiek en uitdagend probleem binnen Ongecontroleerde Domeinadaptatie (Unsupervised Domain Adaptation - UDA). In de traditionele UDA wordt een model getraind op een gelabelde bron-domein (source) en toegepast op een ongelabeld doel-domein (target), waarbij er sprake is van verdelingsverschillen (distributional shifts).

De kernuitdaging in deze studie is gestructureerde afwezigheid (structured missingness):

• Het doel is om een binaire label $Y$ te voorspellen (bijv. vogelsoort) op basis van kenmerken $X$, waarbij de achtergrond of omgeving $A$ (bijv. water of land) een cruciale rol speelt.
• In het bron-domein ontbreekt één specifieke subpopulatie volledig: de combinatie van een bepaalde label en achtergrond (bijvoorbeeld $Y=1$ en $A=1$, zoals "watervogels op water"). Deze subpopulatie is niet waarneembaar in de trainingsdata.
• In het doel-domein komt deze subpopulatie wel voor, maar zijn de labels $Y$ onbekend.
• Gevolg: Als men dit probleem negeert en standaard UDA-methoden toepast, leidt dit tot ernstig vertekende schattingen en slechte voorspellingsprestaties, omdat het model geen informatie heeft over hoe het model zich moet gedragen voor de ontbrekende groep.

2. Methodologie

De auteurs ontwikkelen een theoretisch raamwerk en een praktische schattingstechniek om dit probleem op te lossen zonder de labels in het doel-domein te hoeven kennen.

A. Theoretisch Raamwerk

• Aannames:
  1. Gestructureerde Conditionele Invariantie: De verdeling van de kenmerken $X$ gegeven de combinatie van label en achtergrond ($Y, A$) blijft constant over de domeinen. Dat wil zeggen: $p(X|Y, A, R=1) = p(X|Y, A, R=0)$. Dit is een verfijning van de standaard "label shift" aanname.
  2. Gestructureerde Afwezigheid: De kans op de ontbrekende groep in het bron-domein is nul: $pr(Y=1, A=1 | R=1) = 0$.
• Identificeerbaarheid: Het artikel toont aan dat, ondanks de afwezigheid van de groep $(Y=1, A=1)$ in het bron-domein, de voorspelwahrscheinlijkheden in het doel-domein toch exact kunnen worden afgeleid.
• Formule voor Voorspelling: De auteurs leiden gesloten vormen af voor de voorspelwahrscheinlijkheden in het doel-domein ($\eta_1(x)$ voor $A=1$ en $\eta_0(x)$ voor $A=0$). Deze formules hangen af van:
  • De bekende voorspellingen in het bron-domein.
  • De verhoudingen van de subpopulaties in het doel-domein (deze zijn onbekend en moeten worden geschat).

B. Schattingsmethode: Distributie-Matching (Distribution Matching)

Om de onbekende verhoudingen van de subpopulaties in het doel-domein te schatten, stellen de auteurs een methode voor op basis van distributie-matching:

• Het probleem wordt geformuleerd als het schatten van mengselverhoudingen (mixture proportions) onder de voorwaarde van conditionele invariantie.
• Ze minimaliseren de Kullback-Leibler (KL) divergentie tussen de waargenomen verdeling van kenmerken in een specifieke subgroep van het doel-domein en een lineaire combinatie van de verdelingen uit het bron-domein.
• Voordeel: Deze methode vereist geen directe modellering van complexe generatieve verdelingen van $X$ in hoge dimensies. In plaats daarvan volstaat het om een achtergrond-specifiek voorspellingsmodel ($\xi_0(x)$) te trainen op het bron-domein en de verhoudingen te optimaliseren via een convex optimalisatieprobleem.

C. Algorithmische Implementatie

Het algoritme (Algorithm 1) volgt deze stappen:

1. Train voorspellingsmodellen op het bron-domein voor de waarneembare groepen.
2. Schat de verhoudingen van de achtergrondvariabele $A$ in het doel-domein.
3. Gebruik de KL-divergentie-minimalisatie om de verhoudingen van de subpopulaties in het doel-domein ($\beta$) te schatten.
4. Pas de afgeleide formules toe om de uiteindelijke voorspelwahrscheinlijkheden voor het doel-domein te berekenen.

3. Belangrijkste Bijdragen

1. Nieuw UDA-scenario: Het introduceren van een setting waar een hele label-achtergrond subpopulatie structureel ontbreekt in de trainingsdata, wat een realistisch scenario is in gebieden zoals gezondheidszorg en ecologie.
2. Theoretisch Bewijs: Het leveren van strikte wiskundige garanties, waaronder:
   • Identificeerbaarheid van de parameters.
   • Asymptotische consistentie van de schatter.
   • Een bovengrens voor de voorspellingsfout (generalization bound) die afhankelijk is van de schattingsfout van de subpopulatie-verhoudingen.
3. Praktische Methode: Het ontwikkelen van een efficiënte distributie-matching methode die geen complexe generatieve modellen vereist.
4. Empirische Validatie: Uitgebreide experimenten op synthetische data en real-world datasets (Waterbirds en CelebA) die aantonen dat de methode superieur is aan naieve benchmarks.

4. Resultaten

De auteurs evalueren hun methode tegen twee "naieve" benchmarks:

• Naive1: Toepassen van het bron-model direct op het doel-domein (negeert de afwezigheid).
• Naive2: Toepassen van een standaard label-shift aanname zonder rekening te houden met de achtergrondvariabele $A$.

Vindingen:

• Synthetische Data: De voorgestelde methode ($\hat{\eta}(x)$) behaalde consistent hogere nauwkeurigheid en F1-scores dan de benchmarks, en de prestaties verbeterden naarmate de steekproefgrootte toenam.
• Real-world Data (Waterbirds & CelebA):
  • Op de Waterbirds dataset (waarbij "watervogels op water" ontbreken in de bron) overtrof de methode de benchmarks aanzienlijk.
  • De methode was vooral effectief bij het herstellen van de prestaties voor de ongewaarnomen subpopulatie.
  • Het gebruik van ViT-16 (Vision Transformer) als feature-extractor leverde betere resultaten op dan ResNet-18, vooral voor de benchmarks, maar de voorgestelde methode bleef robuust.
  • De methode faalde alleen wanneer de bron-domein data extreem onbalans was (bijv. als ook andere subgroepen bijna volledig ontbraken), wat de grenzen van de methode aangeeft.

5. Betekenis en Impact

Deze studie is significant omdat het een fundamentele beperking van bestaande UDA-methoden aanpakt. Veel bestaande methoden (zoals DANN of MMD) falen in situaties met "gestructureerde afwezigheid" omdat ze veronderstellen dat alle subgroepen in de bron aanwezig zijn, wat kan leiden tot "collapse" (waarbij de doel-groep onterecht wordt gemapt naar een zichtbare bron-groep).

Door expliciet de structuur van de afwezigheid te modelleren, biedt dit werk:

• Betere Robuustheid: Betrouwbare voorspellingen zelfs wanneer trainingsdata systematisch vertekend is door collectie-beperkingen.
• Fairness: Het helpt om voorspellingen te verbeteren voor ondervertegenwoordigde groepen in de populatie, wat essentieel is voor eerlijke AI-toepassingen in de gezondheidszorg en ecologie.
• Theoretische Basis: Het biedt een wiskundig onderbouwd pad voor adaptatie in scenario's die eerder als onoplosbaar werden beschouwd zonder labels in het doel-domein.

Kortom, dit artikel levert een rigoureuze oplossing voor een veelvoorkomend maar vaak genegeerd probleem in machine learning: het aanpassen van modellen wanneer belangrijke data-groepen volledig ontbreken in de trainingsset.