Technische Samenvatting: Amortisatie van Causale Sensitiviteitsanalyse via Vooraf Op Data Getrainde Netwerken

1. Probleemstelling

Causale inferentie uit observationele data rust op de niet-testbare aanname van geen niet-geobserveerde verstorende factoren. Causale sensitiviteitsanalyse adresseert dit door grenzen te stellen aan schattingen van causale effecten (bijvoorbeeld de Conditionele Gemiddelde Potentiële Uitkomst, CAPO) onder variërende aannames over de sterkte van niet-geobserveerde verstorende factoren, geparametriseerd door een sensitiviteitsniveau $\Gamma$.

Bestaande methoden voor het berekenen van deze grenzen zijn inherent per-instantie procedures. Voor elke wijziging in het dataset, de causale query, de behandelingsarm of het sensitiviteitsniveau $\Gamma$, moet een nieuwe, computationally dure optimalisatie worden geïnitieerd. Dit beperkt de praktische toepassing van sensitiviteitsanalyse, waardoor deze vaak wordt gereduceerd tot een laatste controle in plaats van een systematisch hulpmiddel om te verkennen hoe conclusies variëren naargelang de aannames. De kernuitdaging is om deze herhaalde, kostbare optimalisaties te vervangen door een snelle, geamortiseerde inferentiemechanisme dat diverse datasets en queries kan verwerken zonder hertraining.

2. Methodologie

De auteurs stellen een geamortiseerde aanpak voor met behulp van Vooraf Op Data Getrainde Netwerken (PFNs), een klasse van foundation-modellen die leren in context uitvoeren. De methodologie bestaat uit drie hoofdcomponenten:

2.1. Geamortiseerde Predictietaken

In plaats van een optimalisatieprobleem op het testmoment op te lossen, trainen de auteurs een PFN om een mapping te leren van een dataset $D_N$, een causale query $(x, a)$ en een sensitiviteitsniveau $\Gamma$ direct naar de posterior predictieve distributies (PPD's) van de onder- en bovengrens van de sensitiviteit ($\theta^-$ en $\theta^+$).
$$D_N, x, a, \Gamma \longrightarrow \text{PPD}(\theta^-), \text{PPD}(\theta^+)$$
Dit stelt het model in staat om grenzen te voorspellen voor nieuwe invoer via een enkele forward pass, waarbij de noodzaak voor per-instantie optimalisatie wordt omzeild.

2.2. Generieke Vooraf Op Data Constructie (Labelgeneratie)

Een kritieke hindernis bij het trainen van PFNs voor sensitiviteitsanalyse is dat, in tegenstelling tot punt-geïdentificeerde causale inferentie, de sensitiviteitsgrenzen niet direct beschikbaar zijn uit het data-generatieproces (DGP); ze moeten worden berekend via niet-triviale optimalisatie. De auteurs introduceren een generieke vooraf op data constructie toepasbaar op de klasse van Generalized Treatment Sensitivity Models (GTSMs), waaronder het Marginal Sensitivity Model (MSM), $f$-sensitiviteitsmodellen en Rosenbaums sensitiviteitsmodel.

De constructie omvat:

1. Stalen van SCMs: Synthetische Structurele Causale Modellen (SCMs) worden gestald uit een prior $\Pi_S$ om observationele datasets te genereren.
2. Lagrangiaanse Scalarisatie: Om trainingslabels ($\theta^-, \theta^+$) te genereren voor deze synthetische DGPs, formuleren de auteurs de grensberekening als een meer-criteria optimalisatieprobleem. Ze streven naar een afweging tussen het minimaliseren/maximaliseren van het causale effect en het minimaliseren van de schending van de sensitiviteitsmodelbeperking.
   • Het doel wordt gescalariseerd met behulp van een Lagrange-multiplicator $\lambda$:
     $$\mathcal{L}^\uparrow_\lambda(P) = Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
     $$\mathcal{L}^\downarrow_\lambda(P) = -Q(P(Y(a)|x)) - \lambda \Delta_{x,a}(P)$$
   • Door $\lambda$ te schroeven van hoog naar laag, traceert de methode de Pareto-frontier van oplossingen in het $(\Gamma, \theta)$-vlak.
3. Warm-Start Optimalisatie: Om de Pareto-frontier efficiënt te berekenen, hanteren de auteurs een warm-start-strategie waarbij de oplossing voor een gegeven $\lambda$ de optimalisatie initialiseert voor de volgende $\lambda$. Theoretische analyse (Stelling 1) toont aan dat onder standaard convexiteits- en lineariteitsaannames, deze schroef de volledige Pareto-frontier herwint.
4. Dimensionaliteitsreductie: De optimalisatie over volledige distributies wordt gereduceerd tot een hanteerbare optimalisatie over een enkele conditionele latente distributie $P(U | x, A \neq a)$ met behulp van een herparameterisatieconstructie, waardoor de noodzaak voor twee-traps neurale dichtheidsschatting, zoals vereist door eerdere GTSM-methoden, wordt vermeden.

2.3. Training van Foundation-Modellen

De PFN wordt getraind op de synthetische vooraf op data-paren (datasets, queries, $\Gamma$) en de berekende sensitiviteitsgrenslabels. De modelarchitectuur maakt gebruik van een transformer met twee uitvoerkoppen (voor onder- en bovengrenzen), waarbij elke kop een Gaussische mengselverdeling modelleert om onzekerheidsbewuste voorspellingen te bieden. Een zachte monotoniteitsregularisator wordt toegepast om ervoor te zorgen dat de voorspelde grenzen zich correct gedragen ten opzichte van $\Gamma$ (d.w.z. dat de grenzen verbreden naarmate $\Gamma$ toeneemt).

3. Belangrijkste Bijdragen

1. Constructie van Vooraf Op Data Labels: Een generiek schema voor het genereren van trainingslabels voor sensitiviteitsgrenzen met behulp van Lagrangiaanse scalarisatie. Deze aanpak vermijdt model-specifieke analytische afleidingen en herwint theoretisch de volledige Pareto-frontier onder convexiteitscondities.
2. Eerste Foundation-Model voor Causale Sensitiviteitsanalyse: De training van een PFN die fungeert als foundation-model voor in-context leren van sensitiviteitsgrenzen. Het voorspelt direct PPD's voor grenzen op basis van een dataset, query en sensitiviteitsniveau.
3. Empirische Validatie: Demonstratie dat de geamortiseerde aanpak sensitiviteitsgrenzen nauwkeurig benadert in diverse settings (inclusief het Marginal Sensitivity Model) met test-tijd berekening die orde van grootte sneller is dan per-instantie methoden.

4. Resultaten

• Nauwkeurigheid: Op vastgehouden synthetische datasets komt de PFN nauwkeurig overeen met analytische grenzen voor het Marginal Sensitivity Model (MSM). De posterior predictieve intervallen zijn goed gekalibreerd, met empirische dekkingpercentages (bijvoorbeeld 90,3% voor de bovengrens) dicht bij nominale niveaus.
• Efficiëntie: De geamortiseerde aanpak vervangt dure per-instantie optimalisaties door een enkele forward pass. De mediale inferentietyd voor een gebatchte forward pass is ongeveer 2,9 seconden, vergeleken met de herhaalde optimalisatie die door bestaande methoden wordt vereist.
• Eficaciteit van Warm-Start: Experimenten tonen aan dat de warm-start optimalisatiestrategie voor labelgeneratie de regret met een factor 1,90 reduceert ten opzichte van cold-start methoden, terwijl deze aanzienlijk sneller is.
• Kwantificering van Onzekerheid: Het model voert volledige posterior predictieve distributies uit, waardoor onzekerheidsbewuste schattingen worden geboden in plaats van alleen puntvoorspellingen.

5. Betekenis en Claims

Het artikel claimt het eerste foundation-model voor causale sensitiviteitsanalyse te presenteren. De primaire betekenis ligt in het verschuiven van het paradigma van per-instantie, computationally intensieve sensitiviteitsanalyse naar een geamortiseerd, in-context leerframework.

• Praktische Impact: Door snelle evaluatie over vele causale queries en sensitiviteitsaannames mogelijk te maken, maakt deze aanpak sensitiviteitsanalyse een levensvatbaar hulpmiddel voor systematisch besluitvorming in plaats van een laatste, geïsoleerde controle.
• Generaliteit: De vooraf op data constructie is niet gebonden aan een specifiek sensitiviteitsmodel, waardoor de aanpak breed toepasbaar is op de klasse van GTSMs.
• Beperkingen: De auteurs merken bescheiden op dat de prestaties afhankelijk zijn van de dekking van de synthetische prior ten opzichte van test-tijd data. De theoretische constructie rust op convexiteit van de sensitiviteitsdivergentie en lineariteit van de causale query. Momenteel richt de implementatie zich op binaire behandelingen en scalaire uitkomsten, en blijft labelgeneratie voor modellen zonder gesloten-vorm grenzen een optimalisatie-gebaseerde benadering die onderhevig is aan Monte Carlo-ruis.

Kortom, dit werk biedt een principiële methode om de computatiekosten van causale sensitiviteitsanalyse te "amortiseren", waardoor schaalbare en systematische beoordeling van niet-geobserveerde verstorende factoren in observationele studies mogelijk wordt.