Technische Samenvatting: Environment-Adaptive Covariate Selection (EACS)

Probleemstelling

Het artikel adresseert een kritiek gat in Out-of-Distribution (OOD) voorspelling: het empirische falen van strategieën die modellen strikt beperken tot causale of invariante covariaten. Hoewel theoretisch onderbouwd door het principe dat causale mechanismen stabiel blijven over verschillende omgevingen, presteert een dergelijke "alleen-causale" selectie in de praktijk vaak minder goed dan standaard Empirical Risk Minimization (ERM).

De auteurs identificeren het primaire mechanisme voor dit falen als de aanwezigheid van niet-geobserveerde causale ouders. Wanneer slechts een deel van de causale ouders van een uitkomst wordt geobserveerd, fungeren niet-causale covariaten vaak als proxies voor deze niet-geobserveerde ouders.

• De Afweging: Als de relatie tussen de proxy en de niet-geobserveerde ouder stabiel blijft onder een distributieverschuiving, verbetert het opnemen van de proxy de voorspellingsnauwkeurigheid. Echter, als de verschuiving de proxy direct verstoort of de proxy-ouder-relatie ontregelt, wordt de proxy spuriaal en schaadt dit de prestaties.
• De Kernuitdaging: De optimale set covariaten is niet universeel; deze hangt af van het specifieke type verschuiving dat wordt aangetroffen. Aangezien het type verschuiving niet direct wordt geobserveerd, is de uitdaging om op basis van enkel de ongelabelde covariaatdistributie van de doelomgeving te bepalen of een proxy-covariaat betrouwbaar blijft of schadelijk is geworden.

Methodologie: Environment-Adaptive Covariate Selection (EACS)

De voorgestelde oplossing, Environment-Adaptive Covariate Selection (EACS), is een algoritme dat een mapping leert van omgevingsniveau-samenvattingen van de covariaatdistributie naar de optimale subset van covariaten voor die specifieke omgeving.

1. Raamwerk en Aannames

• Causaal Model: De data wordt gemodelleerd via een Structural Causal Model (SCM) met een uitkomst $Y$, geobserveerde causale ouders $C_s$, niet-geobserveerde causale ouders $U$, en geobserveerde niet-causale covariaten $X$ (die $U$ kunnen proxy'en).
• Shift Class: Omgevingen verschillen via interventies op de covariaten $(C_s, U, X)$, terwijl de structurele vergelijking voor $Y$ invariant blijft.
• Optimaliteitsconditie: De optimale covariaat-subset $z^*(e)$ is een functie van de interventie $i(e)$. EACS beoogt een selector $g$ te leren die een omgevingsrepresentatie $u_e$ mapt naar $z^*(e)$.

2. Algoritme Componenten

EACS bestaat uit twee hoofdfasen:

1. Omgevingsrepresentatie ($u_e$): Een samenvatting van de doelcovariaatdistributie. Dit kan zijn:
   • Handmatig vervaardigd: Eenvoudige statistieken (bijv. varianties, correlaties) afgeleid van domeinkennis (zoals gedemonstreerd in het lopende voorbeeld).
   • Geleerd: Representaties geleerd uit multi-omgeving data met permutatie-invariante encoders (bijv. DeepSets) om complexe distributieve kenmerken te vangen.
2. Selector ($g$): Een model dat $u_e$ mapt naar een subset van covariaten. Het artikel stelt twee implementaties voor:
   • Discrete Selector: Selecteert uit een eindige bibliotheek van kandidaat-subsets $\mathcal{Z}$. Deze wordt getraind door de empirische risk te minimaliseren van de geselecteerde subset over trainingsomgevingen. Deze versie biedt theoretische garanties en interpreteerbaarheid.
   • Soft-Gating (Continu) Selector: Produceert een continue gating-vector $\tilde{z}_e \in (0, 1)^p$ die elementgewijs wordt toegepast op covariaten. Het voorspellingsnetwerk en het gating-netwerk worden gezamenlijk getraind om de omgeving-gemiddelde risk te minimaliseren. Deze versie schaalt naar hoog-dimensionale settings waar het enumereren van subsets onhaalbaar is.

3. Integratie van Causale Constraints

Het raamwerk staat de integratie van voorafgaande causale kennis toe. Als een subset van covariaten $S$ bekend staat als causale ouders, wordt de kandidaat-bibliotheek beperkt tot subsets die $S$ bevatten. Dit verkleint de zoekruimte en verbetert de prestaties, met name wanneer de steekproefomvang klein is.

4. Theoretische Garanties

Voor de discrete selector stelt het artikel eindige-steekproef-bounds vast voor de excess risk. De fout decomponteert in:

• Binnen-omgeving schattingsfout: Neemt af met steekproefgrootte $n$ en de grootte van de bibliotheek $|\mathcal{Z}|$.
• Over-omgeving selectiefout: Neemt af met het aantal trainingsomgevingen $m$ en de complexiteit (Rademacher-complexiteit) van de selector-klasse.
  De auteurs bewijzen asymptotische optimaliteit onder condities waarbij de omgevingsrepresentatie informatief genoeg is om interventies te onderscheiden die verschillende covariaat-subsets vereisen.

Belangrijkste Bijdragen

1. Mechanisme Identificatie: Het artikel identificeert niet-geobserveerde causale ouders als een specifiek mechanisme dat ervoor zorgt dat alleen-causale selectie faalt. Het demonstreert dat niet-causale proxies niet inherent spuriaal zijn, maar voorwaardelijk nuttig zijn afhankelijk van de shift.
2. Shift-Afhankelijke Proxy Bruikbaarheid: Het stelt vast dat de bruikbaarheid van een proxy shift-afhankelijk is en dat observeerbare signaturen in de ongelabelde covariaatdistributie (bijv. veranderingen in variantie of correlatiestructuur) de betrouwbaarheid van een proxy kunnen diagnosticeren.
3. EACS Algoritme: De voorstel van een verenigd raamwerk dat omgeving-specifieke covariaat-selectieregels leert. Het overbrugt de kloof tussen statische causale selectie en ERM door zich aan te passen aan de distributieve signaturen van de doelomgeving.
4. Theoretische en Empirische Validatie: De auteurs bieden theoretische garanties voor de discrete selector en demonstreren empirische winsten ten opzichte van statische causale, invariante en niet-adaptieve baselines over diverse shifts.

Empirische Resultaten

De methode werd geëvalueerd op simulaties en twee real-world datasets:

• Simulaties: EACS benadert de prestaties van een "oracle" voorspeller (die de optimale subset voor elke shift kent) wanneer voldoende trainingsomgevingen en informatieve samenvattingen beschikbaar zijn. Het presteert beter dan statische causale en invariante methoden wanneer shifts de proxy-relaties verstoren.
• Bike-Sharing Dataset: In een setting met veel omgevingen (dagen) maar weinig samples per omgeving, behaalde EACS de laagste Mean Squared Error (MSE) onder de baselines (inclusclusief Lasso, Anchor Regression en Invariant Causal Prediction). Opvallend genoeg faalde ICP door alle subsets af te wijzen, waardoor het inklapte naar een intercept-only model.
• ACS Income Dataset: In een hoog-dimensionale setting met minder omgevingen (staten) maar veel samples, bereikte de soft-gating variant van EACS opnieuw de laagste gemiddelde MSE, waarbij het OLS, Lasso en Anchor Regression versloeg.

Betekenis en Claims

Het artikel claimt dat robuuste OOD-voorspelling niet vereist dat men spuriale covariaten volledig vermijdt. In plaats daarvan is de optimale strategie om te leren wanneer dergelijke covariaten vertrouwd kunnen worden.

• Gestructureerde Adaptatie: EACS biedt een gestructureerde vorm van adaptatie waarbij voorspellingsparameters gedeeld worden, maar de keuze van covariaten varieert per omgeving. Dit wordt gepresenteerd als een lager-complexiteit en meer interpreteerbaar alternatief voor volledige contextuele voorspellers die alle parameters aan de omgeving aanpassen.
• Praktisch Nut: De methode biedt een praktische oplossing voor settings waar causale ouders gedeeltelijk niet-geobserveerd zijn, een veelvoorkomend scenario in velden zoals de gezondheidszorg en economie.
• Beperkingen: De auteurs merken bescheiden op dat succes afhangt van de beschikbaarheid van informatieve omgevingsrepresentaties en voldoende diversiteit in trainingsomgevingen. De soft-gating variant introduceert benaderingsfouten, en de methode vereist een batch van test-covariaten om samenvattingen te construeren, wat voorspelling bij een enkele observatie verhindert. Bovendien kunnen foutieve causale constraints de prestaties negatief beïnvloeden.