Technische Samenvatting: Deconfounding via Profiled Transfer Learning

1. Probleemstelling

In regressiegebaseerde effectschatting en causale inferentie is ongemeten confounders een primaire bron van bias, wat leidt tot spuriatieve correlaties en ongeldige causale conclusies. Traditionele deconfounding-methoden opereren doorgaans binnen single-dataset kaders en vertrouwen ofwel op directe schatting van confounding-structuren (bijv. factoranalyse) of op de incorporatie van hulpvariabelen (bijv. instrumentele variabelen of proxy-variabelen). Deze benaderingen worden vaak geconfronteerd met praktische uitdagingen, zoals de moeilijkheid van het selecteren van geschikte hulpvariabelen of de afhankelijkheid van strikte assumpties zoals de exclusion restriction of parallel trends.

Bovendien, hoewel transfer learning steeds vaker wordt gebruikt om brondatasets met vergelijkbare structuren te benutten om de doelstelling (target estimation) te verbeteren, falen conventionele transfer learning-paradigma's in het adresseren van verborgen confounding. De directe toepassing van standaard transfer learning op confounded modellen maakt geen gebruik van de gedeelde confounding-structuren tussen bron- en doelgegevens, wat resulteert in vertekende schattingen van modelverschuivingen en doelparameters.

2. Methodologie: ProTrans Framework

Het artikel stelt ProTrans (Profiled Transfer Learning) voor, een framework dat ontworpen is om confounding-effecten in een doeldataset te mitigeren door gebruik te maken van aanvullende brondatasets die vergelijkbare confounding-structuren delen. De kerninnovatie is het concept van geprofileerde residuen (profiled residuals), die gedeelde confounding-patronen van bronnen naar het doel karakteriseren en overdragen.

2.1 Modelopstelling

Het doelmodel wordt gedefinieerd als een structureel vergelijkingsmodel met verborgen confounders $H_t$:
$$Y_{ti} = \beta_t^\top X_{ti} + \phi_t^\top H_{ti} + \varepsilon_{ti}$$
$$X_{ti} = f(H_{ti}) + E_{ti}$$
waarbij $\beta_t$ de parameter van belang is, en $f(\cdot)$ een onbekende mapping is die de confounding-structuur beschrijft. Het doel is om de doelparameter $\beta_t$ of de modelverschuiving $\eta_0 = \beta_t - \beta_s$ (waarbij $\beta_s$ de gemiddelde bronparameter is) te schatten.

2.2 Het ProTrans Algoritme

De methode verloopt in twee hoofdfasen:

1. Bronparameter Schatting en Residubouw:

   • Brongegevens worden gepoold om een initiële bronparameter $\hat{\beta}_{init}$ te schatten (die niet noodzakelijkerwijs deconfounded hoeft te zijn).
   • Geprofileerde Bronresiduen worden geconstrueerd: $\hat{Z}_s^{(k)} = Y_s^{(k)} - X_s^{(k)}\hat{\beta}_{init}$. Deze residuen coderen informatie over de verborgen confounders in de brongegevens.
   • Een deconfounded bron-estimator $\hat{\beta}_s$ wordt verkregen (bijv. via een trim-transformatie of LASSO op de gepoolde brongegevens). Vanwege de grote steekproefomvang van de brongegevens ($n_s \gg n_t$) is het deconfounden van de bronmodellen uitvoerbaarder en nauwkeuriger dan in het doel.

2. Geprofileerde Residunoverdracht en Doelschatting:

   • Een geprofileerd doelresidu $\hat{Z}_t$ wordt geconstrueerd door de correlatie tussen doelcovariabele en residu af te stemmen op de correlatie tussen broncovariabele en residu:
     $$\hat{Z}_t = \arg \min_{Z_t} \left\| \frac{1}{n_t} X_t^\top Z_t - \frac{1}{n_s} \sum_{k=1}^K X_s^{(k)\top} \hat{Z}_s^{(k)} \right\|_\infty$$
   • Deze stap draagt effectief de confounding-effecten van de bronnen over naar het doel, waardoor wordt gewaarborgd dat de term $(X_t^\top X_t)^\dagger X_t^\top (H_t \phi_t - \hat{Z}_t)$ de bias benadert die door de initiële estimator wordt geïnduceerd.
   • Modelverschuiling-schatting: De modelverschuiving $\eta_0$ wordt geschat door de aangepaste doelrespons $(Y_t - \hat{Z}_t - X_t \hat{\beta}_{init})$ te regresseren tegen $X_t$ met behulp van een gepenaliseerde kleinste kwadraten-estimator (bijv. LASSO).
   • Doelparameter Schatting: De uiteindelijke doelparameter wordt geschat als $\hat{\beta}_t = \hat{\beta}_s + \hat{\eta}$.

2.3 Bronselectie

Om scenario's aan te pakken waarbij confounding-effecten variëren over bronnen, stellen de auteurs een informatieve bronselectieprocedure voor op basis van een nieuw voorgestelde kwaliteitsscore. Dit stelt het framework in staat om niet-informatieve bronnen te filteren terwijl theoretische garanties behouden blijven.

3. Theoretische Resultaten

Het artikel stelt niet-asymptotische foutbounds en minimax-optimaliteit vast voor de ProTrans-estimators onder milde condities.

• Modelverschuiling-schatting ($\hat{\eta}$):

  • De estimator bereikt de oracle convergentierate van $\sqrt{s_\eta \log p / n_t}$, wat overeenkomt met de optimale rate voor modellen zonder verborgen confounders.
  • Cruciaal is dat deze rate wordt bereikt zonder specifieke assumpties op te leggen aan de ware confounding-structuur (bijv. lineariteit) of te vereisen dat er hulpvariabelen beschikbaar zijn.
  • In contrast hiermee lijden conventionele transfer learning-estimators ($\tilde{\eta}$) onder foutbounds die gedomineerd worden door confounding-bias, specif kind bij termen betrokken bij $\sqrt{p \|\phi_t\|_2^2 / (n_t \lambda_q(\Psi)^2}$, wat de fout kan domineren als de confounding-structuur slecht geconditioneerd is.

• Doelparameter Schatting ($\hat{\beta}_t$):

  • De schattingsfout bestaat uit twee componenten: de confounding-vrije fout van het schatten van de modelverschuiling en de bron-schattingsfout.
  • De confounding-bias wordt verminderd van de orde $n_t^{-1/2}$ (in klassieke methoden) naar de orde $n_s^{-1/2}$ omdat de confounding-effecten worden gemitigeerd met behulp van de grote bron-steekproefomvang.
  • De ProTrans-estimator bereikt de minimax lower bound voor de doelparameter-schatting onder milde condities.

• Robuustheid:

  • Het framework is robuust tegen niet-informatieve bronnen via de voorgestelde selectiestrategie.
  • Theoretische garanties blijven van kracht, zelfs wanneer de confounding-structuur $f(\cdot)$ niet-lineair en onbekend is, mits de confounding-effecten vergelijkbaar zijn over bron en doel (of tenminste één bron vergelijkbaar is).

4. Belangrijkste Bijdragen en Betekenis

De auteurs vatten de bijdragen van ProTrans als volgt samen:

1. Eerste Transfer Learning-aanpak voor Deconfounding: ProTrans is de eerste poging om aanvullende broninformatie specifiek te benutten om confounding-effecten te mitigeren. In tegenstelling tot bestaande deconfounding-methoden vereist het geen restrictieve assumpties over verborgen confounding-structuren of de beschikbaarheid van hulpvariabelen (instrumentele of proxy-variabelen).
2. Correctie van Conventionele Transfer Learning: Het artikel toont aan dat de directe toepassing van conventionele transfer learning op confounded modellen faalt in het elimineren van de door confounding geïnduceerde bias. ProTrans complementeert de transfer learning-literatuur door expliciet de confounding-structuur over te dragen via geprofileerde residuen.
3. Behandelingseffect Schatting: Als bijproduct biedt het framework een nieuwe aanpak voor het schatten van behandelingseffecten waarbij de behandelingsgroep als doel dient en de controlegroep als bron. In deze setting levert de modelverschuiving direct de schatting van het behandelingseffect op zonder dat instrumentele variabelen nodig zijn.
4. Theoretische Optimaliteit: Het artikel bewijst dat ProTrans minimax-optimale rates bereikt voor zowel de modelverschuiling als de doelparameter-schatting, waarmee het klassieke transfer learning-methoden aanzienlijk overtreft in de aanwezigheid van sterke of complexe confounding.

5. Empirische Validatie

De effectiviteit van ProTrans wordt gevalideerd via zowel gesimuleerde experimenten als toepassingen op real-world data. Deze experimenten bevestigen dat ProTrans effectief de latente confounding-effecten mitigeert en de theoretische bevindingen met betrekking tot convergentierates en robuustheid tegen niet-informatieve bronnen ondersteunt.