Causal Imitation Learning Under Measurement Error and Distribution Shift

1. Probleemstelling

Het artikel behandelt offline imitation learning (IL) in scenario's waarin twee kritieke uitdagingen gelijktijdig voorkomen:

1. Meetfout (Measurement Error): De werkelijke beslissingsrelevante staat is niet direct observeerbaar. In plaats daarvan observeert de leerder ruisgevoelige proxies (metingen) van een latente staatcomponent.
2. Distributieverschuiving (Distribution Shift): De gezamenlijke distributie van de latente staat en het meetproces kan veranderen tussen het trainingsdomein (waar expertdemonstraties zijn verzameld) en het deployment-domein.

In dergelijke regimes faalt standaard Behavioral Cloning (BC). BC leert doorgaans een beleid $\pi(a|o)$ door de observationele conditionele waarschijnlijkheid van acties gegeven observaties te minimaliseren. De auteurs stellen dat onder distributieverschuiving deze observationele correlaties spuurius worden. Specifiek:

• Conditioneren op ruwe metingen ($\pi_{BC2}$) maakt het beleid kwetsbaar voor veranderingen in het meetmechanisme (bijv. verschuivingen in sensorkalibratie).
• Het negeren van metingen en enkel conditioneren op geobserveerde staten ($\pi_{BC1}$) maakt het beleid kwetsbaar voor veranderingen in de latente dynamiek of de staatsovergangskernen (state transition kernels).
• Cruciaal is dat deze bias systematisch is en niet verdwijnt, zelfs niet met oneindige hoeveelheden data of langere trajecten.

2. Methodologie

A. Causaal Framework en Target Beleid

De auteurs stellen een nieuw target beleid voor, CausIL, dat niet wordt gedefinieerd door observationele conditionering, maar door counterfactual interventie.

• Model: Het systeem bestaat uit een geobserveerde staat $S_t$, een latente staat $U_t$ (niet geobserveerd), een ruisgevoelige meting $W_t$ (proxy voor $U_t$), en een expertactie $A_t$. De expert handelt op basis van $S_t$ en een vertraagde latente staat $U_{t-1}$ (d.w.z. $A_t \sim \pi_E(S_t, U_{t-1})$).
• Target Definitie: In plaats van $\pi_E(A_t | S_t, W_{t-1})$ te imiteren, is het doel om het causaal-optimale beleid $\pi_{opt}(s)$ te leren, dat de waarschijnlijkheid van de expertactie maximaliseert onder de interventie $do(S_t = s)$:
  $$\pi_{opt}(s) := \arg\max_{a \in \mathcal{A}} p(A_t^{(s)} = a)$$
  waarbij $A_t^{(s)}$ de potential outcome van de actie is als de staat op $s$ zou worden ingesteld.
• Robuustheid: Dit target hangt alleen af van de marginale distributie van de latente staat $U_{t-1}$ en het invariante expertmechanisme $\pi_E$. Het is robuust tegen verschuivingen in het meetkanaal $p(W_{t-1}|U_{t-1})$ en, onder bepaalde voorwaarden, robuust tegen verschuivingen in de staatsovergangskernen die de marginale distributie van $U_{t-1}$ behouden.

B. Identificatie

Omdat $U_{t-1}$ niet geobserveerd wordt, leiden de auteurs voorwaarden af waaronder $\pi_{opt}$ identificeerbaar is vanuit observationele data alleen. Ze passen het Proximal Causal Inference (PCI) framework aan, waarbij de vertraagde geobserveerde staat $Z_t = S_{t-1}$ wordt behandeld als een "treatment-inducing proxy" en de ruisgevoelige meting $W_{t-1}$ als een "outcome-inducing proxy" voor de latente confounder $U_{t-1}$.

• Discreet Geval: Identificatie wordt bereikt via matrixinversie. Als de proxies $Z_t$ en $W_{t-1}$ voldoende informatief zijn (voldoen aan een rangvoorwaarde), is de interventionele distributie identificeerbaar als:
  $$p(A_t^{(s)}) = P_{A|Z',s} (P_{W'|Z',s})^{-1} P_{W'}$$
  waarbij de $P$-matrices de conditionele en marginale waarschijnlijkheden van de proxies vertegenwoordigen.
• Continu Geval: Identificatie rust op completheid en confounding bridge aannames. De auteurs tonen aan dat er een "bridge functie" $h_a(w, s)$ bestaat die een Fredholm integraalvergelijking van de eerste soort bevredigt, die de geobserveerde data verbindt met de counterfactual distributie:
  $$p(A_t^{(s)} = a) = \int h_a(w, s) p(w) dw$$

C. Estimatie

Het artikel stelt estimators voor voor zowel discrete als continue settings:

1. Discrete Estimator: Een plug-in estimator die empirische frequenties gebruikt om de waarschijnlijkheidsmatrices te construeren en de matrixinversie uit te voeren die is afgeleid van het identificatietheorema.
2. Continue Estimator: Een adversariële estimatieprocedure over Reproducing Kernel Hilbert Spaces (RKHS). De bridge functie $h_a$ wordt geleerd door een geregulariseerd minimax probleem (saddle-point optimalisatie) op te lossen dat de conditionele momentrestrictie $E[Y - h(W, S) | Z, S] = 0$ afdwingt.

3. Belangrijkste Bijdragen

• Theoretische Formulering: Het artikel definieert formeel het regime waarin meetfouten en distributieverschuivingen gelijktijdig voorkomen en toont aan dat standaard BC-targets in deze setting fundamenteel bevooroordeeld zijn.
• Causaal Target: Het introduceert $\pi_{opt}$, een beleidsdoel dat robuust is tegen veranderingen in zowel het meetproces als de latente dynamiek, mits het expertmechanisme invariant is.
• Identificatieresultaten: Het biedt nieuwe identificatievoorwaarden voor offline IL met ongeobserveerde confounders en meetfouten, waarbij gebruik wordt gemaakt van ideeën uit de proximale causale inferentie (specifiek het gebruik van vertraagde staten en ruisgevoelige metingen als proxies).
• Algoritmen: Het ontwikkelt praktische estimatiestrategieën voor zowel discrete als continue staatruimtes, inclusclusief een gesloten vorm oplossing voor het discrete geval en een RKHS-gebaseerde adversariële estimator voor het continue geval.

4. Experimentele Resultaten

De auteurs evalueren CausIL tegen standaard BC-baselines ($\pi_{BC1}$ en $\pi_{BC2}$) in twee settings:

1. Semi-gesimuleerde Longitudinale Data (PhysioNet 2019):

   • Setup: Gebruik van ICU vitale functies als geobserveerde staten ($S_t$) en lactaatniveaus als een vertraagde latente context ($U_t$). Expertacties (hemodynamische ondersteuningsintensiteit) worden gesimuleerd op basis van $S_t$ en $U_{t-1}$.
   • Verschuivingen: De studie introduceert "population shifts" (andere trajectcomposities) en "measurement shifts" (veranderingen in de ruis/bias van de lactaat-proxy).
   • Resultaat: CausIL behaalde consistent een lagere Mean Squared Error (MSE) en bleef stabiel onder verschuivingen. In contrast presteerde $\pi_{BC2}$ slecht onder meetverschuivingen, en vertoonde $\pi_{BC1}$ een verhoogde fout onder populatieverschuivingen.

2. Simulatiestudie:

   • Setup: Synthetische data gegenereerd volgens het model in Sectie 2.
   • Resultaat: De experimenten bevestigden de theoretische robuustheidsclaims. $\pi_{opt}$ bleef invariant wanneer het meetkanaal veranderde, terwijl $\pi_{BC2}$ faalde. Verder was $\pi_{opt}$ stabieler dan $\pi_{BC1}$ wanneer de staatsovergangskernen verschoven maar de marginale latente distributie gelijk bleef.

5. Betekenis en Claims

Het artikel claimt dat CausIL een geprincipeerde oplossing biedt voor het "causal delusion" probleem in offline imitation learning wanneer data ruisgevoelig is en omgevingen verschuiven.

• Robuustheid: De primaire betekenis is de demonstratie dat het targeten van interventionele grootheden (via proximale identificatie) beleid oplevert dat beter generaliseert naar nieuwe domeinen dan observationele targets, zelfs zonder beloningssignalen of interactieve expert-queries.
• Praktiseerbaarheid: De methode werkt in volledig offline settings, wat cruciaal is voor hoog-risico domeinen zoals de gezondheidszorg (bijv. ondersteuning bij besluitvorming op de IC) en robotica, waar interactieve exploratie onmogelijk of gevaarlijk is.
• Beperkingen: De aanpak vertrouwt op specifieke identificatie-aannames (bijv. het bestaan van geldige proxies en de rank/completheidsvoorwaarden). De auteurs merken op dat deze voorwaarden niet triviaal zijn, maar wel worden voldaan in veel praktische scenario's met betrekking tot vertraagde latente staten en ruisgevoelige sensoren.

De auteurs concluderen dat in realistische, verschuivende omgevingen met meetfouten, het leren van beleid uit puur observationele demonstraties vereist dat men verder kijkt dan behavioral cloning naar causale frameworks die de relatie tussen latente staten, proxies en acties expliciet modelleren.