Technische Samenvatting: Balanced Twins (B-Twin)

Probleemformulering

Het artikel behandelt de uitdaging van het schatten van het Average Treatment Effect on the Treated (ATT) bij observationele tijdreeksgegevens in de aanwezigheid van verborgen confounding en niet-stationaire dynamiek.

In veel reële toepassingen, zoals Demand-Response (DR) programma's in energienetten of klinische interventies op IC's, wordt de toewijzing van behandelingen vaak beïnvloed door onwaargenomen factoren (bijv. levensstijl, financiële beperkingen, ernst van de ziekte). Bovendien worden interventies vaak op verschillende tijdstippen geadopteerd over individuen heen, en kan het onderliggende datagenereerproces (DGP) niet-stationair zijn, wat betekent dat de relatie tussen pre- en post-behandeling uitkomsten in de loop van de tijd verandert, onafhankelijk van de behandeling.

Standaard causale inferentie methoden staan voor aanzienlijke beperkingen in deze setting:

• Econometrische methoden (bijv. Difference-in-Differences, Synthetic Control) vertrouwen vaak op sterke aannames zoals parallelle trends of de afwezigheid van niet-gemeten confounders, die vaak worden geschonden. Ze hebben ook moeite met schaalbaarheid en stabiliteit op individueel niveau voor hoogfrequente gegevens.
• Neurale black-box benaderingen (bijv. TARNet, DragonNet) vertrouwen doorgaans op outcome regressie, waarbij post-behandeling trajecten worden geëxtrapoleerd vanuit pre-behandeling gegevens. Dit maakt hen gevoelig voor niet-stationariteit en vatbaar voor bias wanneer het DGP verschuift.
• Bestaande latente variabele modellen gaan vaak ervan uit dat alle confounders geobserveerd zijn of vertrouwen op specifieke architecturen (zoals LSTM's) die mogelijk niet goed schalen naar hoogdimensionele, ruisgevoelige tijdreeksen.

Het kerndoel is het schatten van individuele behandelingseffecten (ITE) door individuele contrafeitelijke scenario's te herstellen zonder te vertrouwen op expliciete temporele modelleringsaannames of de aanname dat alle confounders geobserveerd zijn.

Methodologie: Het B-Twin Framework

De auteurs stellen Balanced Twins (B-Twin) voor, een tweefasig neuraal framework dat klassieke synthetic control methoden overbrugt met representation learning. De methode werkt onder de aanname dat behandelingsrelevante verborgen confounders traceerbare signatures achterlaten in de pre-behandeling uitkomsttrajecten.

1. Theoretische Fundering

Het framework is geworteld in de Synthetic Control Method (SCM), maar breidt deze uit om verborgen confounding aan te pakken.

• Latente Herstelbaarheid: De auteurs nemen aan dat pre-behandeling uitkomsten ($Y^{pre}$) voldoende informatie bevatten om de verborgen confounders ($W$) benaderend te herstellen via een functie $h$.
• Balancing Conditie: Om ongeëvenaarde counterfeitelijke schatting te garanderen, zoekt de methode naar gewichten die de distributie van de latente propensity score $g(W) = P(T=1|W)$ tussen behandelde en controle-eenheden balanceren.
• Propositie 1: Het artikel bewijst dat ongeëvenaarde schatting een balancing conditie vereist op de propensity scores. Omdat $W$ niet geobserveerd is, verzwakt de methode dit naar het balanceren op een geleerde surrogaat propensity score $\hat{g}(Z)$, waarbij $Z$ een latente representatie is van $Y^{pre}$.

2. Architectuur

Het model bestaat uit twee hoofdmodules die sequentieel worden getraind:

Fase 1: Representation Learning (Variational Autoencoder)

• Encoder: Brengt hoogfrequente pre-behandeling tijdreeksen ($Y^{pre}$) in kaart naar een laagdimensionele latente ruimte $Z$.
• Decoder: Reconstrueert de pre-behandeling uitkomsten ($\hat{Y}^{pre}$) vanuit $Z$ om te waarborgen dat de latente ruimte relevante temporele dynamiek vastlegt.
• Propensity Head: Een classifier head schat de propensity score $\hat{g}(Z) = \sigma(g_\psi(Z))$ direct vanuit de latente representatie.
• Loss Functie: De blok wordt getraind om een samengestelde loss te minimaliseren:
  $$\mathcal{L}_{rep} = \mathcal{L}_r + \beta \mathcal{L}_{KL} + \gamma \mathcal{L}_p$$
  waarbij $\mathcal{L}_r$ de reconstructiefout is, $\mathcal{L}_{KL}$ de Kullback-Leibler divergentie, en $\mathcal{L}_p$ de binary cross-entropy voor propensity voorspelling.

Fase 2: Weight Learning (Counterfactual Estimation)

• Weight Regressor: Neemt de latente representaties ($Z_i, Z_j$) en geschatte propensity scores ($\hat{g}(Z_i), \hat{g}(Z_j)$) van een doelunit en een donorpool (controle-eenheden) als input.
• Objectief: Het produceert balancing gewichten $B = \{b_{ij}\}$ om een synthetische controle voor de behandelde unit te construeren.
• Loss Functie: De gewichten worden geoptimaliseerd om een combinatie van twee losses te minimaliseren:
  1. Latent Matching ($\mathcal{L}_z$): Minimaliseert de afstand tussen de latente representatie van de target en het gewogen gemiddelde van de controle-representaties.
  2. Propensity Balancing ($\mathcal{L}_b$): Minimaliseert de discrepantie tussen de propensity van de target en het gewogen gemiddelde van de controle-propensities, genormaliseerd om schaalverschillen op te vangen.
     $$\mathcal{L}_{match} = \lambda \mathcal{L}_z + (1-\lambda) \mathcal{L}_b$$

3. Schatting

De uiteindelijke ATT wordt geschat met een importance-weighted estimator die gebruikmaakt van samples uit de gehele populatie (zowel behandelde als controle groepen), in plaats van alleen de behandelde groep. Deze gesymmetriseerde estimator verbetert de robuustheid wanneer de propensity schatting ruisgevoelig is.

Belangrijkste Bijdragen

1. Interpreteerbaar Synthetic-Control-geïnspireerd Framework: In tegenstelling tot black-box neurale benaderingen die direct de uitkomsten regresseren, produceert B-Twin expliciete balancing gewichten. Dit behoudt de interpreteerbaarheid van synthetic control methoden (domeinexperts kunnen inspecteren welke controle-eenheden bijdragen aan de counterfactual) terwijl het de restrictieve convexiteitsrestricties van klassieke SCM versoepelt.
2. Robuustheid tegen Verborgen Confounding en Niet-Stationariteit: Door latente representaties te leren van pre-behandeling trajecten en te balanceren op propensity scores, vermijdt de methode directe extrapolatie van post-behandeling dynamiek. Dit maakt het stabieler dan outcome-regressie modellen wanneer het DGP niet-stationair is.
3. Schaalbaarheid: Het framework maakt gebruik van batch-gebaseerde gewichtschatting, waardoor het efficiënt grote, hoogfrequente individuele datasets kan verwerken, waarmee de computationele onhaalbaarheid van het toepassen van klassieke SCM op individuele eenheden wordt overwonnen.

Experimentele Resultaten

De auteurs evalueerden B-Twin op synthetische, semi-synthetische en real-world datasets (elektriciteitsverbruik en ICU-patiëntgegevens).

• Synthetische Data (Toy Datasets):

  • In settings met hoge ruis en sterke verborgen confounding, hadden klassieke methoden (SC, DiD) en de op LSTM gebaseerde SyncTwin aanzienlijke problemen.
  • Neurale outcome-regressie baselines (TARNet, DragonNet) presteerden goed in stationaire settings, maar vertoonden duidelijke bias en variantie wanneer het DGP niet-stationair werd (verschil tussen pre- en post-behandeling dynamiek).
  • B-Twin volgde consequent zijn oracle tegenhanger (die de grondwaarheid propensities gebruikt), wat een lage bias en variantie demonstreerde in alle settings, inclusief heterogene behandelingseffecten en niet-stationariteit.

• Semi-Synthetische MIMIC-III (ICU Data):

  • In een placebo setting waar het ware behandelingseffect nul was, produceerde B-Twin een betrouwbaarheidsinterval dat nul overlapt met een relatief smalle breedte.
  • Andere methoden vertoonden bias (bijv. SyncTwin vertoonde substantiële negatieve bias; TARNet vertoonde positieve bias) of hoge variabiliteit.
  • B-Twin was computationeel efficiënt, aanzienlijk sneller dan Synthetic Control en SyncTwin, hoewel iets langzamer dan pure outcome-regressie modellen vanwege de matching stap.

• Real-World Elektriciteitsdata (Sowee/EDF):

  • Op een semi-synthetische placebo dataset schatte B-Twin correct een effect nabij nul, terwijl SyncTwin een sterk vals positief effect detecteerde.
  • Op de volledige real-world dataset (onbekende grondwaarheid), waren alle methoden het eens over een kleine magnitude van het effect. B-Twin leverde schattingen die consistent waren met andere methoden, terwijl het de interpreteerbaarheid van expliciete gewichten en een betere schaalbaarheid bood dan individuele Synthetic Control.

Betekenis en Claims

Het artikel claimt dat B-Twin een geprincipiëerd alternatief biedt voor outcome-regressie benaderingen voor causale inferentie in tijdreeksen. De primaire betekenis ligt in het vermogen om:

• Representation learning te ontkoppelen van matching, waardoor het model complexe latente structuren kan vastleggen zonder te vertrouwen op de aanname dat pre-behandeling trends de post-behandeling uitkomsten perfect voorspellen.
• Interpreteerbaarheid te bieden via expliciete weging, wat een belangrijke kritiek op deep learning causale methoden adresseert.
• Verborgen confounding aan te pakken door gebruik te maken van de "latente herstelbaarheid" aanname, waarbij pre-behandeling historie dient als proxy voor onwaargenomen factoren.

De auteurs merken bescheiden op dat de validiteit van de methode afhangt van de kwaliteit van de pre-behandeling gegevens bij het vastleggen van de verborgen confounders. Als de verborgen confounders geen informatieve signature achterlaten in de geobserveerde historie, kan de geleerde representatie er niet in slagen de groepen effectief te balanceren. Daarnaast introduceert de methode een computationele overhead vergeleken met eenvoudige regressie, wat een trade-off kan zijn in settings waar het DGP bekend is als stationair en interpreteerbaarheid niet vereist is.