Technische Samenvatting: Gerichte Regularisatie voor Causale Effectschatting met Uitkomsten uit de Familie van Exponentiële Dispersie

1. Probleemstelling

De schatting van causale effecten uit observationele data met behulp van Neuronale Netwerken (NN) heeft sterke empirische prestaties aangetoond, maar het bereiken van gewenste semiparametrische eigenschappen—specifiek dubbele robuustheid en snelle convergentiesnelheden—blijft uitdagend. Bestaande op NN gebaseerde schatters, zoals die gebruikmaken van Targeted Maximum Likelihood Estimation (TMLE) of Gerichte Regularisatie (bijv. Shi et al., 2019; Nie et al., 2021), zijn grotendeels beperkt tot continue uitkomsten die een Gaussische verdeling aannemen.

Deze beperking beperkt de toepasbaarheid tot real-world scenario's met binaire uitkomsten (bijv. aankoopbeslissingen), teluitkomsten (bijv. aantal klikken) of andere scheve verdelingen die in de praktijk veel voorkomen. Hoewel eerdere werken (Gao en Hastie, 2022) uitkomsten uit de exponentiële familie aanpakten met behulp van het Verschil in Natuurlijke Parameters (DINA) binnen een deels lineair R-learner-kader, hebben ze het paradigma van gerichte regularisatie niet uitgebreid naar NN's voor deze verdelingen. Bijgevolg ontbreken er op NN gebaseerde schatters die eerste-orde bias op het niveau van de verdeling kunnen corrigeren voor uitkomsten uit de Familie van Exponentiële Dispersie (EDF), terwijl ze theoretische garanties behouden.

Het doel van het artikel is het schatten van de Gemiddelde Dosis Canonieke Functie (ADCF), gedefinieerd als $\psi_a = \theta[\text{do}(A=a)]$, waarbij $\theta$ de canonieke (natuurlijke) parameter van de EDF is. Deze keuze sluit aan bij standaardpraktijken voor het vergelijken van effecten op de canonieke schaal en vermijdt heterogeniteitsproblemen die vaak worden aangetroffen in conditionele gemiddelden.

2. Methodologie

Het voorgestelde kader verenigt gerichte regularisatie voor EDF-uitkomsten onder zowel discrete (binair) als continue behandelsituaties. De methodologie verloopt via drie hoofdstappen, zowel theoretisch als algoritmisch:

A. Semiparametrische Analyse en Bias-Karakterisering

De auteurs leiden eerst de von Mises-expansie van de plug-in-schatter voor de ADCF af om de structuur van de eerste-orde bias te identificeren.

• Discrete Behandelingen: Voor binaire behandelingen leiden ze de expansie af die aantoont dat de bias bestaat uit een restterm van de tweede orde die het product bevat van schattingsfouten voor het uitkomstenmodel ($\mu$) en de propensity score ($\pi$). Deze productstructuur impliceert dat als één van de modellen consistent wordt geschat, de bias verdwijnt (de eigenschap van dubbele robuustheid).
• Continue Behandelingen: Voor continue behandelingen is de puntsgewijze ADCF niet pad-differentieerbaar, waardoor standaard invloedfuncties ongedefinieerd zijn. Om dit te overwinnen, introduceren de auteurs een zeef-geprojecteerde ADCF. Ze projecteren de oneindig-dimensionale dosis-responscurve op een eindig-dimensionale B-spline zeefruimte. Deze projectie herstelt pad-differentieerbaarheid, waardoor een goed gedefinieerde invloedfunctie en een geldige von Mises-expansie voor de geprojecteerde curve mogelijk worden.

B. Gecombineerde Gerichte Regularisatie

Gebruikmakend van de bias-structuur die door de von Mises-expansie wordt onthuld, construeren de auteurs een gecombineerd gericht regularisatie-objctief.

• Fluctuatiemodel: In plaats van een correctieterm post-hoc toe te voegen (wat schattingen buiten de parameterruimte kan duwen), introduceert de methode een scalaire perturbatiefunctie $\epsilon(a)$ voor de canonieke parameter. De gefluctueerde parameter wordt gedefinieerd als:
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  waarbij $h$ de linkfunctie is en $h'$ zijn afgeleide.
• Verliesfunctie: De methode integreert deze fluctuatie in het NN-training via een gecombineerde verliesfunctie:
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  Hierbij is $L(\mu, \pi)$ de standaard negatieve log-likelihood voor de EDF, en $R$ de term voor gerichte regularisatie afgeleid van de negatieve log-likelihood van het gefluctueerde model. De term $R$ is zo geconstrueerd dat zijn afgeleide naar $\epsilon$ gelijk is aan de scorevergelijking, waardoor de biasterm bij convergentie effectief wordt genuleerd.
• Implementatie: De fluctuatieparameter $\epsilon(a)$ wordt geparametriseerd met behulp van dezelfde B-spline basis die voor de zeefprojectie bij continue behandelingen wordt gebruikt, waardoor consistentie tussen het theoretische doel en de optimalisatie wordt gewaarborgd.

C. Theoretische Garanties

Het artikel bewijst dat de resulterende op NN gebaseerde schatter een dubbel robuuste convergentiesnelheid bereikt in de $L_2$-norm. Specifiek wordt de fout begrensd door:
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
waarbij $r_1(n)$ en $r_2(n)$ de convergentiesnelheden zijn van respectievelijk de propensity score- en uitkomstenschatters. Dit breidt de theoretische garanties van Nie et al. (2021) uit van Gaussische uitkomsten naar de volledige Familie van Exponentiële Dispersie.

3. Belangrijkste Bijdragen

1. Semiparametrische Analyse van ADCF: De auteurs leiden de von Mises-expansie af voor de ADCF van EDF-uitkomsten. Voor continue behandelingen introduceren ze de zeef-geprojecteerde ADCF om de niet-pad-differentieerbaarheid van de puntsgewijze functionaal te hanteren, waardoor een goed gedefinieerde invloedfunctie wordt vastgesteld.
2. Gecombineerde Gerichte Regularisatie: Ze stellen een gecombineerd regularisatie-objctief voor dat bias op het niveau van de verdeling corrigeert voor elk lid van de EDF. Hierdoor kan de NN het uitkomstenmodel, de propensity score en de fluctuatieparameter end-to-end gezamenlijk leren, terwijl het binnen de parameterruimte blijft.
3. Theoretische Uitbreiding: Het werk levert een bewijs voor een dubbel robuuste convergentiesnelheid, dat eerdere resultaten generaliseert van Gaussische verdelingen naar de bredere klasse van EDF's (waaronder Bernoulli en Poisson).
4. Empirische Validatie: De methode wordt gevalideerd op synthetische en semi-synthetische datasets (News, TCGA) met binaire en continue behandelingen, waarbij state-of-the-art prestaties worden aangetoond in zowel Bernoulli- als Poisson-uitkomstscenario's.

4. Experimentele Resultaten

De auteurs hebben hun methode geëvalueerd tegenover verschillende baselines, waaronder Causal Forest, Dragonnet (en de aangepaste versie daarvan voor niet-Gaussische uitkomsten), VCNet, DINA-learner, en een standaard Doubly Robust (DR) schatter.

• Binaire Behandeling: Op datasets met Bernoulli- en Poisson-uitkomsten behaalde de voorgestelde methode ("Ours") de laagste Mean Absolute Error (MAE) voor het Average Treatment Effect (ATE), en presteerde beter dan Dragonnet, VCNet en de standaard DR-schatter. Opvallend was dat de DR-schatter minder stabiel bleek in eindige steekproeven vanwege deling door de propensity score in de correctieterm.
• Continue Behandeling: Voor continue behandelingen behaalde de methode de laagste Average Mean Squared Error (AMSE) voor de ADCF. De resultaten bevestigden dat het simpelweg aanpassen van de verliesfunctie van bestaande modellen (bijv. het vervangen van MSE door negatieve log-likelihood) onvoldoende is; het specifieke mechanisme voor gerichte regularisatie is cruciaal voor de prestaties.
• Sensitiviteitsanalyse: De hyperparameter $\beta$, die de sterkte van de regularisatie controleert, bleek een matige impact te hebben; waarden die te klein zijn, falen in het corrigeren van bias, terwijl waarden die te groot zijn, de schatting van de nuisance-functies verstoren.

5. Betekenis en Claims

Het artikel claimt een kritieke kloof aan te pakken in causale inferentie met deep learning: het onvermogen van bestaande kaders voor gerichte regularisatie om niet-Gaussische, scheve uitkomsten aan te pakken die veel voorkomen in real-world toepassingen (zoals binaire conversieratio's of teldata).

Door de nodige semiparametrische expansies af te leiden en een gecombineerde verliesfunctie te construeren, tonen de auteurs aan dat gerichte regularisatie succesvol kan worden gegeneraliseerd naar de Familie van Exponentiële Dispersie. De betekenis van dit werk ligt in:

• Theoretische Strenge: Het leveren van de eerste afleiding van de von Mises-expansie en invloedfunctie voor EDF-uitkomsten onder zowel discrete als continue behandelingen, wat de bouw van dubbel robuuste schatters mogelijk maakt.
• Praktische Toepasbaarheid: Het aanbieden van een end-to-end NN-architectuur die binaire en teluitkomsten verwerkt zonder te vertrouwen op de restrictieve deels lineaire aannames van eerdere methoden (zoals DINA-learner).
• Robuustheid: Het bereiken van convergentiesnelheden die sneller zijn dan individuele nuisance-schatters wanneer beide consistent zijn, terwijl stabiliteit binnen de parameterruimte wordt behouden, in tegenstelling tot methoden voor additieve bias-correctie.

De auteurs concluderen dat hun kader de theoretische garanties van functionele gerichte regularisatie uitbreidt naar een veel bredere klasse van uitkomstverdelingen, wat wordt geverifieerd door state-of-the-art empirische resultaten.