Unsupervised Representation Learning - an Invariant Risk Minimization Perspective

Deze paper introduceert een nieuw onbeheerd kader voor Invariant Risk Minimization dat invariance herdefinieert via uitlijning van kenmerkverdelingen, waardoor robuuste representaties kunnen worden geleerd zonder labels door middel van methoden zoals PICA en VIAE.

De kern

De Magie van Onzichtbare Patronen: Een Reis zonder Landkaarten

Stel je voor dat je een detective bent die probeert te begrijpen hoe de wereld werkt. Normaal gesproken krijg je van je baas (de wetenschappers) een lijstje met antwoorden: "Dit is een hond, dit is een kat." Maar in dit nieuwe onderzoek zeggen de auteurs: "Wacht even, we hebben geen antwoorden nodig. We kunnen de waarheid ook vinden zonder te weten wat we precies zoeken."

Dit onderzoek gaat over Invariant Risk Minimization (IRM). Dat klinkt als een ingewikkeld woord, maar het betekent eigenlijk: "Zoek de regels die altijd waar zijn, ongeacht waar je bent."

1. Het Probleem: De Verkeerde Gids

Stel je voor dat je leert rijden.

• Situatie A: Je leert rijden in een zonnig, droog land. Je ziet veel zand en cactussen.
• Situatie B: Je leert rijden in een regenachtig land. Je ziet veel modder en bomen.

Als je een slimme leerling bent, leer je dat sturen en remmen altijd hetzelfde werken, of je nu in de zon of in de regen rijdt. Dat zijn de invariante regels.
Maar als je dom bent, leer je misschien dat "cactussen" betekent dat je moet remmen (want in Situatie A stonden er cactussen bij de stoplichten). Als je dan in Situatie B komt (geen cactussen), faal je. Je hebt geleerd op basis van spurious features (nep-patronen die alleen in één omgeving werken).

Tot nu toe hadden computers alleen maar "geleerde" data nodig (met antwoorden) om te leren welke regels echt zijn en welke nep. Dit onderzoek zegt: "Nee, we kunnen dat ook doen zonder antwoorden!"

2. De Oplossing: Twee Nieuwe Gereedschappen

De auteurs hebben twee nieuwe methoden bedacht om dit te doen.

Methode 1: PICA (De Slimme Filter)
Stel je voor dat je een grote bak met soep hebt. In deze soep zitten echte groenten (de belangrijke info) en veel onzin zoals bladeren en takjes (de omgevingsinfo).

• PICA is als een super-filter. Het kijkt naar twee verschillende kommen soep (twee verschillende omgevingen).
• Het ziet dat de bladeren in de ene kom heel groot zijn en in de andere klein. Die zijn dus niet betrouwbaar.
• Maar de wortels zien er in beide kommen precies hetzelfde uit. Die zijn invariant.
• PICA filtert de wortels eruit en gooit de bladeren weg. Zo houd je alleen de essentiële smaak over, ongeacht welke soep je kiest.

Methode 2: VIAE (De Twee-Kamer Huis)
Dit is een ingewikkelder machine, een soort "magische foto-apparaat" dat werkt als een huis met twee kamers:

1. De Permanente Kamer (Invariant): Hier bewaren we de dingen die nooit veranderen. Bijvoorbeeld: het gezicht van een persoon, of het cijfer op een foto.
2. De Veranderlijke Kamer (Omgeving): Hier bewaren we de dingen die wel veranderen. Bijvoorbeeld: de achtergrond, de kleur van de muur, of of het zonnig of regenachtig is.

Deze machine (VIAE) leert zichzelf om foto's te maken door deze twee kamers strikt gescheiden te houden.

• Als je een foto maakt van een man in een woestijn, slaat het het gezicht op in de Permanente Kamer en de woestijn in de Veranderlijke Kamer.
• Vervolgens kan de machine een vrouw in een bos maken, door het gezicht uit de Permanente Kamer te halen en de bos-achtergrond uit de Veranderlijke Kamer te pakken.

3. De Tovertruc: De "Omgevingsoverdracht"

Het coolste wat deze machine kan, noemen ze Environment Transfer.

Stel je voor dat je een foto hebt van een koe die op een groen veld staat. Je wilt deze koe verplaatsen naar een woestijn, maar je wilt dat het dezelfde koe blijft.

• Oude methoden zouden de koe misschien vergeten of veranderen.
• Deze nieuwe methode pakt de "koe-informatie" (invariant) en plakt er een "woestijn-informatie" (omgeving) omheen.

Dit is heel belangrijk voor eerlijkheid. Stel je voor dat een computer moet beslissen of iemand een baan krijgt. Als de computer leert dat "mannen" vaak in blauwe overhemden zitten en "vrouwen" in roze, zal hij onterecht mannen selecteren.
Met deze methode kunnen we de "geslacht-informatie" (de achtergrond) uit de foto halen en de "kwalificatie-informatie" (het gezicht) overhouden. Dan maakt het niet meer uit of de persoon man of vrouw is; de computer kijkt alleen naar de echte kwaliteiten.

Samenvatting

Kortom, dit onderzoek laat zien dat computers slim genoeg zijn om de echte regels van de wereld te leren, zonder dat iemand hen hoeft te vertellen wat het juiste antwoord is. Ze leren het verschil tussen:

• Wat altijd waar is (de kern van de zaak).
• Wat alleen in deze specifieke situatie waar is (de nep-patronen).

Dit maakt ze veel robuuster. Of ze nu in de zon, in de regen, of in een volledig nieuwe wereld terechtkomen, ze blijven hun werk goed doen, omdat ze zich richten op de onveranderlijke waarheid in plaats van op de tijdelijke omstandigheden.

Technische samenvatting

Probleemstelling

Invariant Risk Minimization (IRM) is een raamwerk dat is ontwikkeld om modellen te leren die robuust zijn tegen verdelingsverschuivingen (distribution shifts) tussen verschillende omgevingen (domeinen). Traditionele IRM-methoden zijn echter afhankelijk van gelabelde data ($X, Y$) om de invariantie te definiëren: de voorspeller $w \circ \phi$ moet optimaal zijn voor elke omgeving afzonderlijk.

Het centrale probleem dat dit paper aanpakt, is de uitbreiding van IRM naar onzelftoezichtende (unsupervised) settings. In veel real-world scenario's zijn labels ($Y$) niet beschikbaar of te duur om te verkrijgen. Zonder labels is de definitie van "invariantie" onduidelijk, omdat er geen doelvariabele is om de stabiliteit van de representatie tegen te houden. De auteurs stellen de vraag: Is het mogelijk om invariant representaties te leren van ongelabelde data uit meerdere omgevingen, zonder toegang tot labels?

Methodologie

De auteurs introduceren een nieuw "onzelftoezichtend" structureel causaal model (Unsupervised SCM) en definiëren invariantie in termen van alignatie van feature-verdelingen. Het doel is een feature map $\phi(X)$ te leren zodat de verdeling $P(\phi(X))$ identiek is over alle omgevingen, terwijl de onderliggende generatieve processen wel verschillen.

Ze stellen twee methoden voor binnen dit raamwerk:

1. Principal Invariant Component Analysis (PICA)

Dit is een lineaire methode die is gebaseerd op aannames van Gaussische verdelingen en lineariteit.

• Doel: Het vinden van een projectievector $u$ die de variantie maximaliseert over alle trainingsomgevingen, maar waarbij de projectie $u^\top X$ dezelfde verdeling heeft in elke omgeving.
• Optimalisatie: Het probleem wordt geformuleerd als het maximaliseren van de som van de varianties onder de beperking dat de projectie in de nulpuntruimte (null space) van het verschil tussen de covariantiematrices van de omgevingen ligt.
  • Voor twee omgevingen met covariantiematrices $\Sigma_1$ en $\Sigma_2$:
    1. Vind de nulpuntruimte van $(\Sigma_1 - \Sigma_2)$.
    2. Kies de vector in deze ruimte die de som $(\Sigma_1 + \Sigma_2)$ maximaliseert.
• Resultaat: PICA filtert "omgevingsdimensies" (spurious features) eruit en behoudt alleen de invariantie-richtingen.

2. Variational Invariant Autoencoder (VIAE)

Dit is een diep generatief model dat een variational autoencoder (VAE) aanpast voor onzelftoezichtende IRM.

• Architectuur: De latente ruimte wordt expliciet gefactoriseerd in twee delen:
  1. Invariant component ($Z_{inv}$): Genereerd door een gedeelde encoder die over alle omgevingen wordt gedeeld. Deze moet onafhankelijk zijn van de omgeving $e$.
  2. Omgevingsafhankelijke component ($Z_e$): Genereerd door omgevings-specifieke encoders (één per trainingsomgeving).
• Causale Structuur: Het model volgt een SCM waarbij $Z_{inv} \perp \perp e$ en $Z_{inv} \perp \perp Z_e$ (gegeven $e$). De decoder reconstructeert $X$ uit $Z_{inv}$ en $Z_e$, maar de decoder zelf is onafhankelijk van de omgeving (het causale mechanisme is stabiel).
• Training: Het model maximaliseert de log-likelihood onder de beperking dat de verdeling van $Z_{inv}$ identiek is over alle omgevingen.

Belangrijkste Bijdragen

1. Formalisatie van Onzelftoezichtende IRM: Het paper definieert een nieuw optimalisatieproblem waarbij invariance wordt gedefinieerd als de gelijkheid van feature-verdelingen over omgevingen, zonder labels.
2. Nieuwe Algoritmen: Introductie van PICA (lineair, analytisch oplosbaar) en VIAE (niet-lineair, diep generatief) voor het leren van invariant representaties.
3. Omgevingstransfer (Environment Transfer): Een unieke mogelijkheid van VIAE is het "transferreren" van data van één omgeving naar een andere. Door $Z_{inv}$ te behouden en $Z_e$ te vervangen door een prior van een doelomgeving, kan het model data genereren alsof deze uit een andere omgeving komt, terwijl de inhoud (bijv. het cijfer in MNIST) behouden blijft.
4. Toepassing op Fairness: Het paper toont aan dat dit raamwerk direct toepasbaar is op algoritmische eerlijkheid, waarbij "omgeving" correspondeert met gevoelige attributen (zoals geslacht) en "invariant" correspondeert met relevante kenmerken (zoals gezichtsuitdrukking of identiteit).

Resultaten

De methoden zijn geëvalueerd op synthetische data, aangepaste MNIST-versies (SMNIST en SCMNIST) en het CelebA dataset.

• PICA: Op synthetische data toonde PICA aan dat het de invariantie-component succesvol isoleerde, zelfs wanneer de covariantiematrices van de omgevingen sterk verschilden. De geprojecteerde data had een constante verdeling over de omgevingen.
• VIAE - Generatie: Het model kon voor een vaste $Z_{inv}$ (bijv. een specifiek cijfer) samples genereren met verschillende omgevingskenmerken (bijv. verschillende achtergronden of kleuren), wat aantoont dat de latente ruimte correct is gefactoriseerd.
• VIAE - Omgevingstransfer:
  • Voor bekende omgevingen kon het model data van de ene omgeving naar de andere "verplaatsen" met behoud van de inhoud.
  • Voor ongezien omgevingen ($E_{test}$) werd een heuristiek gebruikt (gemiddelde van de omgevingsencoders). Dit werkte goed voor eenvoudige datasets (SMNIST) maar faalde bij complexere datasets (SCMNIST) waar de trainingsomgevingen de ruimte van mogelijke omgevingen niet volledig dekten (een theoretisch inzicht dat aansluit bij eerdere IRM-literatuur).
• Klassificatie-experimenten:
  • Een lineaire classifier op $Z_{inv}$ bereikte hoge nauwkeurigheid in het voorspellen van labels (bijv. cijferidentiteit), terwijl een classifier op $Z_e$ slecht presteerde.
  • Omgekeerd kon een classifier op $Z_e$ de omgeving perfect voorspellen (100% nauwkeurigheid), terwijl een classifier op $Z_{inv}$ de omgeving niet kon voorspellen (willekeurige nauwkeurigheid). Dit bevestigt dat de model de informatie succesvol heeft gescheiden.
• Fairness (CelebA): Op het CelebA dataset slaagde VIAE erin om geslacht (als omgevingsvariabele) te disentangleren. Het kon afbeeldingen van mannen naar vrouwen "transformeren" (en vice versa) terwijl de identiteit (gezichtstrekken, houding) behouden bleef.

Betekenis en Toekomstperspectief

Dit werk opent een nieuw pad voor Invariant Risk Minimization door de afhankelijkheid van labels te doorbreken. Het biedt tools voor scenario's waar gelabelde data schaars is, maar waar robuustheid tegen verdelingsverschuivingen cruciaal is (bijv. in medische beeldvorming of eerlijke AI).

De auteurs identificeren twee belangrijke richtingen voor toekomstig onderzoek:

1. Theoretisch complete oplossing voor ongezien omgevingen: Huidige methoden vereisen dat trainingsomgevingen de ruimte van alle mogelijke omgevingen "dekken". Het ontwikkelen van methoden (bijv. via meta-learning) om effectief te transfereren naar volledig nieuwe omgevingen is een open uitdaging.
2. Geavanceerde Architecturen: Het huidige werk gebruikt een standaard VAE-architectuur. Het integreren van modernere generatieve modellen (zoals Diffusion-modellen of GANs) zou de prestaties op complexe, realistische datasets (zoals CelebA) kunnen verbeteren.

Samenvattend biedt dit paper een fundamentele uitbreiding van IRM naar onzelftoezichtende settings, met zowel theoretische inzichten als praktische algoritmen voor het leren van robuuste en eerlijke representaties.