📊 statistics

Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

Deze paper introduceert een data-gedreven representatiestudeermethode die, door gebruik te maken van exogene invariante covariaten en optimalisatie op een Stiefel-maand, conceptverschuivingen veroorzaakt door niet-gemeten verstorende factoren corrigeert om voorspellingsmodellen robuuster te maken voor verschuivingen in distributie.

Oorspronkelijke auteurs: Kulunu Dharmakeerthi, YoonHaeng Hur, Tengyuan Liang

Gepubliceerd 2026-04-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kulunu Dharmakeerthi, YoonHaeng Hur, Tengyuan Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme kok bent die een perfecte receptuur heeft ontwikkeld voor het bakken van brood in een specifieke bakkerij (de bron-omgeving). Je weet precies hoeveel meel, water en gist je nodig hebt, en je brood is altijd perfect.

Nu wil je dit recept gaan gebruiken in een nieuwe bakkerij (de doel-omgeving). Maar hier is het probleem: de luchtvochtigheid is anders, de temperatuur van de oven varieert, en er zijn misschien zelfs onzichtbare factoren (zoals een trilling in de vloer) die je niet ziet, maar die wel invloed hebben op hoe het deeg rijst.

Als je simpelweg je oude recept overneemt, zal je brood in de nieuwe bakkerij waarschijnlijk mislukken. Dit is wat datawetenschappers een "distribution shift" noemen: de regels van het spel zijn veranderd, maar je probeert ze nog steeds op de oude manier te spelen.

Dit paper, geschreven door onderzoekers van de Universiteit van Chicago, biedt een slimme oplossing voor dit probleem, vooral wanneer er verborgen factoren (zoals de trillende vloer) meespelen die zowel je ingrediënten als je eindresultaat beïnvloeden.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Onzichtbare Trilplaat"

In de echte wereld hebben we vaak data verzameld uit de ene situatie (bijvoorbeeld: economische cijfers uit platteland) en willen we een voorspelling maken voor een andere situatie (bijvoorbeeld: steden).

Het probleem is dat er vaak verborgen oorzaken zijn die we niet meten.

Voorbeeld: Stel je voor dat je probeert te voorspellen hoeveel mensen fietsen. Je kijkt naar het weer. Maar er is een verborgen factor: "werkdagen". Op werkdagen fietsen mensen meer, ongeacht het weer. Als je model dit niet begrijpt, en je gaat voorspellen voor een weekend (een nieuwe omgeving), faalt je model.
De onderzoekers noemen dit confounding: een onzichtbare kracht die zowel je invoer (weer) als je uitvoer (fietsers) beïnvloedt, waardoor je denkt dat er een relatie is die er niet is, of dat de relatie verandert.

2. De Oplossing: Zoek de "Onveranderlijke Ankerpunten"

De kern van dit paper is het idee van invariantie. Hoewel veel dingen veranderen (zoals de temperatuur of de drukte), zijn er sommige dingen die altijd hetzelfde blijven, ongeacht de omgeving.

Stel je voor dat je een bootje hebt dat op een woelige zee vaart. Je wilt weten waar de kust is.

De golven (de veranderlijke data) maken het moeilijk om te zien.
Maar er is een onderwaterrots (een onzichtbare, stabiele variabele) die nooit beweegt. Als je je kompas op die rots richt, kun je de kust vinden, zelfs als de golven hoog zijn.

In dit paper zeggen de auteurs: "Laten we een manier vinden om die 'onderwaterrotsen' te vinden in onze data." Deze rotsen zijn de invariante representaties. Het zijn de eigenschappen van de data die niet veranderen, zelfs niet als de omgeving verschuift.

3. De Methode: Een Slimme Balans

Hoe vind je die rotsen als je ze niet direct kunt zien? De auteurs hebben een wiskundige methode bedacht die twee dingen tegelijkertijd doet:

Voorspellen: Het model moet nog steeds goed kunnen voorspellen in de oude situatie (de bron).
Stabiel blijven: Het model moet zo stabiel mogelijk zijn, ongeacht hoe de omgeving verandert.

Ze gebruiken een wiskundige weegschaal:

Als je te veel focust op het voorspellen van de oude situatie, negeer je de veranderingen en faal je in de nieuwe situatie.
Als je te veel focust op stabiliteit, wordt je model misschien te simpel en voorspelt het niets meer.

De oplossing is een optimalisatie-probleem (een soort wiskundige puzzel) waarbij je een nieuwe, kleinere versie van je data zoekt. Je probeert de data te "verdichten" tot een paar belangrijke lijnen (een laagdimensionale deelruimte). In deze nieuwe, kleinere wereld zijn de onzichtbare storingen (de trillende vloer) verdwenen, en blijft alleen de echte, stabiele relatie over.

4. De Wiskundige Magie: De "Stiefel Manifold"

Klinkt dit ingewikkeld? Dat is het ook, een beetje. De auteurs gebruiken een techniek die ze "Stiefel Manifold" noemen.

De Analogie: Stel je voor dat je een bal op een berg moet rollen om het laagste punt te vinden (de beste oplossing). Normaal gesproken is de berg een gladde, ronde heuvel. Maar hier is de berg een krullend, golvend oppervlak (zoals een glijbaan in een speeltuin).
De onderzoekers hebben bewezen dat als je de juiste "remmen" (regulering) gebruikt, de bal bijna altijd op een goed punt stopt, zelfs op deze gekke glijbaan. Ze hoeven niet het perfecte laagste punt te vinden; een "goed genoeg" punt volstaat om de nieuwe omgeving te overleven.

5. Wat levert dit op?

In de praktijk hebben ze dit getest met echte data, zoals:

Bosbranden: Voorspellen van brandgrootte in verschillende seizoenen (zomer vs. winter).
Fietsverhuur: Voorspellen van fietsverhuur in verschillende steden of seizoenen.
Wijnkwaliteit: Het voorspellen van de kwaliteit van wijn op basis van chemische eigenschappen.

In al deze gevallen bleek dat hun methode beter presteerde dan traditionele methoden. Het model werd stabieler: het maakte minder fouten als de omgeving veranderde, omdat het zich richtte op de "rotsen" (de stabiele factoren) in plaats van op de "golven" (de veranderlijke factoren).

Samenvatting in één zin

Dit paper leert computers hoe ze, in plaats van blindelings te vertrouwen op oude patronen, moeten zoeken naar de diepe, onveranderlijke waarheden in de data, zodat ze ook in een nieuwe, onbekende wereld goede voorspellingen kunnen blijven doen, zelfs als er onzichtbare factoren meespelen.

Het is alsof je stopt met het onthouden van de weg naar huis op basis van de verkeerslichten (die veranderen), en begint met het onthouden van de weg op basis van de bergen in de verte (die altijd hetzelfde blijven).

1. Probleemstelling

Het paper adresseert de uitdaging van domeinadaptatie (domain adaptation) bij het gebruik van observatiegegevens, specifiek wanneer er sprake is van verplaatste verdelingen (distribution shifts) van zowel covariaten ( $X$ ) als responsvariabelen ( $Y$ ).

Het Kernprobleem: In veel praktische scenario's wordt een model getraind op een bron-domein ( $S$ ) en ingezet op een doeldomein ( $T$ ). Bij observatiegegevens worden deze verdelingsverschillen vaak veroorzaakt door onwaargenomen verstorende factoren (unobserved confounding).
Concept Shift: Door deze onwaargenomen factoren ( $E$ ) verandert niet alleen de verdeling van de invoer ( $X$ ), maar ook de onderliggende relatie tussen $X$ en $Y$ (het "concept"). Dit betekent dat het beste lineaire model voor het bron-domein niet noodzakelijk het beste is voor het doeldomein.
De Beperking van Bestaande Methoden:
- Causale stabiliteit vereist vaak gelabelde data in beide domeinen, wat zelden het geval is.
- Distributiestabiliteit (traditionele domeinadaptatie) richt zich op het minimaliseren van de afstand tussen verdelingen, maar negeert vaak de causale structuur en de verstorende factoren die de concepten zelf veranderen.
- Traditionele risicominimalisatie op de bron ( $R_S$ ) faalt hier omdat het leidt tot een vertekende schatter die niet generaliseert naar het doel.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat een Lineair Structureel Causaal Model (SCM) combineert met manifold-optimisatie om een stabiele, laagdimensionale representatie te leren.

A. Het Structureel Causaal Model (SCM)

Het paper postuleert dat de data gegenereerd wordt door:
$Y = \langle \beta^\star, X \rangle + \langle \gamma, E \rangle + U$
$X = \Theta Z + \Delta E + W$
Waarbij:

$E$ : Onwaargenomen verstorende variabele (omgevingsinvloed) met een verschuivende verdeling tussen $S$ en $T$ .
$Z$ : Onwaargenomen exogene, invariante variabele (stabiliteit).
$U, W$ : Ruis.
$\Theta$ en $\Delta$ : Parameters die respectievelijk de invariante en verstorende subruimtes definiëren.

Het doel is om een lineaire subruimte te vinden die orthogonaal is op de verstorende component $\Delta$ (dus alleen de invariante component $\Theta$ benut), zonder $Z$ direct te observeren.

B. Doelstelling: Stabiliteit-geregulariseerde Risicominimalisatie

Omdat de doelrisico ( $R_T$ ) niet direct geminimaliseerd kan worden (geen gelabelde doeldata), stellen de auteurs een surrogaatdoelstelling voor die een bovengrens vormt voor het doelrisico. Dit doel is een afweging tussen voorspelbaarheid en stabiliteit:

$\min_{V, \alpha} \underbrace{E_S[(Y - \langle X, V\alpha \rangle)^2]}_{\text{Predictiviteit (Bronrisico)}} + \underbrace{\upsilon \|\alpha\|^2}_{\text{Ridge-regulering}} + \underbrace{\frac{\eta}{2} \|V^\top(\Sigma_T - \Sigma_S)V\|_F^2}_{\text{Stabiliteit (Invariantie)}}$

Waarbij:

$V \in \mathbb{R}^{d \times \ell}$ : Een projectie op een laagdimensionale subruimte (op de Stiefel-maand $St(d, \ell)$ ).
$\alpha$ : Een laagdimensionale regressor.
$\Sigma_T, \Sigma_S$ : Covariantiematrices van doel en bron.
De term $\|V^\top(\Sigma_T - \Sigma_S)V\|_F^2$ straft subruimtes af die gevoelig zijn voor de verschuiving in de covariantie (dus subruimtes die door $E$ beïnvloed worden).

C. Optimisatie-algoritme

Het probleem is niet-convex vanwege de restrictie tot de Stiefel-maand. De auteurs gebruiken Riemanniaanse gradiëntafdaal (Riemannian gradient descent) met een projectie-achtige methode (retractie) om lokale optima te vinden.

Algorithm 1: Beschrijft een iteratief proces waarbij de gradiënt wordt geprojecteerd op de raakruimte van de Stiefel-maand en vervolgens een reductie-map wordt toegepast om op de manifold te blijven.

3. Belangrijkste Bijdragen

Theoretische Unificatie: Het paper toont aan dat onder het voorgestelde SCM, het concept van "causale stabiliteit" (invariantie ten opzichte van $E$ ) en "distributiestabiliteit" (kleine afstand tussen verdelingen) samenvallen in een specifieke laagdimensionale lineaire subruimte.
Concept Shift Analyse: Het bewijst dat bij onwaargenomen verstorende factoren, de beste lineaire predictor verschuift tussen domeinen (Propositie 1), waardoor traditionele bronrisicominimalisatie faalt.
Optimalisatie-landschap: De auteurs analyseren het niet-convexe landschap en bewijzen dat, mits voldoende regulering ( $\eta$ groot), bijna alle lokale optima van de manifold-optimisatie aligneren met de invariante subruimte $\Theta$ en orthogonaal staan op de verstorende subruimte $\Delta$ (Stelling 1).
Risicobound: Er wordt een theoretische bovengrens afgeleid voor het verschil tussen doel- en bronrisico. Dit toont aan dat een model gebaseerd op de geleerde subruimte een "bijna ideaal" gat kan bereiken tussen $R_T$ en $R_S$ , vergelijkbaar met een orakel dat de verstorende factoren kent (Stelling 2).
Data-gedreven Hyperparameter Selectie: Het paper biedt praktische richtlijnen voor het kiezen van de reguleringsparameters ( $\eta, \upsilon$ ) en de dimensie $\ell$ zonder pilot-data, gebaseerd op PCA en verhoudingen van risico's.

4. Resultaten en Validatie

De methode werd getest op zowel synthetische scenario's als real-world datasets:

Tabellini Data (Economische Output):
- Situatie: Voorspellen van economische output in stedelijke gebieden (doel) getraind op landelijke data (bron).
- Resultaat: De methode slaagde erin een stabiele subruimte te vinden die "Institutions" (een stabiel kenmerk) benadrukte en "Urbanization" (een verstorend kenmerk) verminderde. Dit leidde tot een lagere voorspellingsfout in het doeldomein vergeleken met standaard OLS.
Forest Fires, Bike Sharing, Wine Quality:
- Situatie: Diverse ML-taken met seizoensgebonden of type-verschuivingen.
- Resultaat: Voor alle datasets werd een U-vormige relatie waargenomen tussen de stabiliteitsparameter $\eta$ $η$ en het doelrisico.
  - Te weinig $\eta$ : Hoge voorspelbaarheid op bron, maar slechte generalisatie (hoge $R_T$ ).
  - Te veel $\eta$ : Zeer stabiel, maar te veel bias op de bron (hoge $R_S$ ).
  - Optimum: Er bestaat een "sweet spot" waar de afweging leidt tot een lagere doelrisico dan de standaard bron-minimalisator. De methode bereikte in alle gevallen een significant lagere $R_T$ dan de baseline wanneer de hyperparameters correct werden gekozen.

5. Betekenis en Conclusie

Dit paper is significant omdat het een brug slaat tussen causale inferentie en domeinadaptatie in het machine learning domein.

Nieuwe Paradigma: Het toont aan dat je niet altijd de volledige causale structuur hoeft te kennen of gelabelde doeldata nodig hebt om robuust te leren. Door te zoeken naar invariante subruimtes via covariantie-verschuivingen, kan men conceptverschuivingen "genezen".
Praktische Toepasbaarheid: De voorgestelde methode is een "plug-and-play" oplossing voor observatiegegevens die lijden onder onwaargenomen confounding. Het biedt een wiskundig onderbouwde manier om de trade-off tussen stabiliteit en voorspelbaarheid te managen.
Toekomstperspectief: De auteurs merken op dat de huidige methode lineair is, maar het raamwerk potentieel uitbreidbaar is naar niet-lineaire modellen en meerdere bron-domeinen.

Kortom, het paper levert een wiskundig onderbouwd, data-gedreven algoritme dat de impact van onwaargenomen verstorende factoren op de generalisatie van modellen effectief minimaliseert door het leren van invariante, laagdimensionale representaties.