SHIFT: Robust Double Machine Learning for Average Dose-Response Functions under Heavy-Tailed Contamination

1. Probleemstelling

Het paper behandelt de schatting van de Gemiddelde Dosis-Respons Functie (ADRF), $\theta(t) = E[Y(t)]$, voor continue behandelingen met behulp van observationele data. Standaard Double Machine Learning (DML)-pipelines vertrouwen in de tweede fase op kernel-gewogen lokaal-lineaire gladde schatters. Deze schatters gebruiken doorgaans Kwant-van-Fouten (MSE) of vergelijkbare convexe verliezen, die lijden onder onbegrensde functionele invloed.

De Kernpathologie: Functionele Uitsmering
In aanwezigheid van uitschieters (zwaarstaartige vervuiling) beïnvloedt een enkel groot residu op een lokaal punt $t_0$ niet alleen de schatting op $t_0$. Omdat kernel-gladde schatters invloed verspreiden over een venster, "smeert" een enkele uitschieter zijn effect uit over de hele curve, waardoor de globale vorm en, cruciaal, de afgeleide $\theta'(t)$ (het marginale effect) worden vervormd. Dit marginale effect is vaak het doel voor beleidsoptimalisatie. Bestaande robuuste methoden (zoals Huber- of Kwantielregressie) onderscheiden vaak niet effectief tussen binnenliggende waarden en uitschieters in scenario's met gelokaliseerde vervuiling, of ze bieden geen mechanisme om specifieke abnormale steekproeven te identificeren.

2. Methodologie: De SHIFT-schatter

De auteurs stellen SHIFT (Self-calibrated Heavy-tail Inlier-Fit with Tempering) voor, een robuuste DML-schatter die is ontworpen om functionele uitsmering te mitigeren terwijl efficiëntie op schone data behouden blijft. De methode bestaat uit drie fasen:

Fase 1: Nuisance Orthogonalisatie

Standaard DML cross-fitting wordt gebruikt om nuisance-functies $\hat{m}_Y(X) = E[Y|X]$ en $\hat{m}_T(X) = E[T|X]$ te schatten. Residuen worden gevormd:
$$\tilde{Y}_i = Y_i - \hat{m}_Y(X_i), \quad \tilde{T}_i = T_i - \hat{m}_T(X_i)$$
Dit zorgt voor Neyman-orthogonaliteit, waardoor de tweede fase wordt beschermd tegen fouten in de nuisance-schatting.

Fase 2: Kernel-gewogen GNC met Teruglopend Verlies

Voor elk gewenst behandelniveau $t_0$ wordt een lokaal-lineaire regressie uitgevoerd op de residuen binnen een kernel-venster. In plaats van MSE gebruikt SHIFT een Welsch-verlies (een teruglopende M-schatting):
$$\rho(r) = 1 - \exp\left(-\frac{\gamma}{2}\left(\frac{r}{\sigma}\right)^2\right)$$
Om de niet-convexiteit van het Welsch-verlies aan te pakken (wat optimalisatie kan laten vastlopen in lokale minima nabij clusters van uitschieters), maakt de methode gebruik van Graduated Non-Convexity (GNC). De schaalparameter $\sigma$ wordt afgekoeld van een grote waarde (waar het verlies bijna kwadratisch is) naar een kleine waarde (waar het agressief uitschieters verwierpt). Dit wordt opgelost via een Iteratief Her-gewogen Kleinste-Kwadraten (IRLS)-lus binnen elk kernel-venster.

Fase 3: Defensieve Refit (De Kerninnovatie)

Nadat de GNC-lus convergeert, voert de methode een laatste "defensieve" Ordinary Least Squares (OLS) refit uit op de geïdentificeerde binnenliggende waarden. De kritieke ontwerpkies hier is de schaal die wordt gebruikt voor de cutoff voor binnenliggende waarden:

• GNC-Fixed (Ablatie): Gebruikt de voor-fit MAD van de ruwe residuen ($\text{MAD}(\tilde{Y})$).
• SHIFT (Voorgesteld): Gebruikt de post-GNC MAD van de residuen ($\text{MAD}(r^*)$) berekend na dat de GNC-lus uitschieters naar grote residuwaarden heeft geduwd.

Waarom dit belangrijk is: Bij gelokaliseerde vervuiling (waar >50% van een kernel-venster uit uitschieters bestaat), wordt de voor-fit MAD opgeblazen door de massa van de uitschieters, waardoor de $3\sigma$-cutoff uitschieters weer toelaat in de uiteindelijke OLS-fit. De post-GNC MAD wordt gecontroleerd door de massa van de binnenliggende waarden, omdat de GNC-lus de uitschieters al heeft gescheiden. Deze enkele architecturale wijziging voorkomt het "uitsmeringseffect" in regimes met gelokaliseerde vervuiling.

Extensies:

• Binaire Behandelingen: Aangepast als een Robust X-Learner met behulp van Huber-verlies voor pseudo-uitkomstregressie.
• Tijdreeksen: Gebruikt blok-crossvalidatie en een rollende MAD-anker om niet-stationaire variantie te hanteren.
• Multi-behandeling: Uitgebreid naar vector-behandelingen met behulp van product-kernels.

3. Belangrijkste Bijdragen

1. Architecturale Fix (Post-GNC MAD): Het paper identificeert dat het tijdstip van schatting van de schaal de primaire drijver is van robuustheid bij gelokaliseerde vervuiling. Het gebruik van post-GNC-residuen voor de defensieve refit-cutoff verlaagt de Level-RMSE van 1,03 naar 0,33 in gelokaliseerde stress-tests, terwijl de prestatie bij uniforme vervuiling onveranderd blijft.
2. Concurrerend Vormherstel + Uitschietermaskering: SHIFT bereikt vormherstel (RMSE) dat concurrerend is met Huber-DML (de huidige state-of-the-art voor vorm), maar produceert uniek een niet-uniforme per-steekproef gewichtsvector. Dit stelt SHIFT in staat om uitschieters te identificeren en te rangschikken (Gemiddelde F1 $\approx$ 0,96 op Gaussian-jump DGPs), terwijl Huber- en Kwantielmethoden uniforme gewichten uitgeven en geen specifieke anomalieën kunnen identificeren.
3. EVT-diagnostische Suite: De auteurs koppelen SHIFT aan een toolkit van zes technieken voor Extreme Waarde Theorie (EVT) (Hill-index, GPD-MLE/PWM, GEV, Mean Excess, etc.). Dit stelt praktici in staat om het staartregime (Fréchet versus Weibull) te diagnosticeren en empirisch te beslissen of SHIFT moet worden gebruikt (voor begrensde staarten) of moet worden overgeschakeld naar Quantile-DML (voor zware staarten).
4. Tegen-intuïtieve Ablatie: Het paper demonstreert dat bij uniforme vervuiling lineaire nuisance-modellen (Ridge, Lasso) ongeveer 60% beter presteren in RMSE dan flexibele gradient-boosted modellen (HistGBM). Flexibele modellen hebben de neiging om vervuiling op te nemen in de nuisance-schatting, waardoor de tweede fase minder signaal overhoudt om uitschieters te verwerpen.

4. Experimentele Resultaten

Het paper evalueert SHIFT via 1.400+ fits op 5 Data Generating Processes (DGPs) met vervuilingniveaus tot $p=0,25$.

• Vormherstel:
  • Uniforme Vervuiling: SHIFT ligt binnen 0,05 RMSE van Huber-DML op 19/20 cellen.
  • Gelokaliseerde Vervuiling (Sinusoidale Regio): SHIFT (RMSE 0,325) presteert aanzienlijk beter dan GNC-Fixed (RMSE 1,026) en is concurrerend met Huber-DML (RMSE 0,276).
  • Zwaarstaartige Vervuiling: Quantile-DML leidt (RMSE 0,132 versus SHIFT 0,152), wat de bruikbaarheid van de EVT-diagnostiek bevestigt bij het wisselen van methoden.
• Uitschieterdetectie:
  • SHIFT behaalt een F1-score van ~0,96 op Gaussian-jump DGPs, waarbij het grond-waarheid uitschietermasker effectief wordt hersteld.
  • Onder zware staarten ($t_3$) plateauert de detectie-F1 op ~0,70, geïdentificeerd als een fundamenteel identificeerbaarheidslimiet (rang-ononderscheidbaarheid van kleine sprongen van ruis).
• Nuisance-modellen:
  • Het vervangen van de standaard HistGBM door Ridge/Lasso verlaagde de RMSE van SHIFT met 60% op DGPs met uniforme vervuiling, waardoor de standaardheuristiek "flexibeler is beter" wordt omgekeerd.
• Berekeningskosten:
  • SHIFT is ongeveer 3x trager dan Standard-DML maar sneller dan Quantile-DML. Het is volledig paralleliseerbaar over gridpunten.

5. Betekenis en Implicaties

• Praktische Robuustheid: SHIFT biedt een "het beste van twee werelden"-oplossing: het biedt het vormherstel van convexe robuuste methoden (Huber) terwijl het tegelijkertijd de diagnostische mogelijkheid van uitschieterdetectie toevoegt (meestal voorbehouden aan niet-convexe methoden).
• Datagedreven Methodeselectie: De integratie van EVT-diagnostiek verplaatst robuuste causale inferentie van een "kies een verliesfunctie en hopen"-benadering naar een principiële, datagedreven workflow waarbij de staartvorm de keuze van de schatter dicteert.
• Hernieuwde Evaluatie van DML-heuristieken: De bevinding dat lineaire nuisances boost-bomen kunnen overtreffen in robuuste settings, daagt de standaard DML-praktijk uit om het meest flexibele leermodel mogelijk te gebruiken, en suggereert dat eenvoud in de eerste fase het signaal kan behouden voor robuustheid in de tweede fase.
• Open Source: De auteurs bieden een volledige Python-implementatie, ruwe data en scripts voor reproduceerbaarheid, wat directe adoptie en verder onderzoek faciliteert.

Kortom, SHIFT vertegenwoordigt een aanzienlijke vooruitgang in robuuste causale inferentie voor continue behandelingen, waarbij het specifieke probleem van "functionele uitsmering" bij gelokaliseerde vervuiling wordt opgelost door een innovatieve post-GNC-schaalcalibratie en een uitgebreid diagnostisch kader voor praktici wordt geboden.