Technische Samenvatting: Synthetische Contrafactuele Labels voor Efficiënte Conformale Contrafactuele Inferentie (SP-CCI)

1. Probleemdefinitie en Motivatie

Het artikel adresseert de uitdaging om betrouwbare voorspellingsintervallen te construeren voor individuele contrafactuele uitkomsten in situaties met behandelingsonevenwichtigheid. In causale inferentie wordt voor een eenheid met covariaten $X$ en waargenomen behandeling $T$ slechts één potentiële uitkomst $Y(T)$ waargenomen, terwijl de contrafactuele uitkomst $Y(1-T)$ onwaargenomen blijft.

Bestaande methoden, specifiek Conformale Contrafactuele Inferentie (CCI) (Lei en Candès, 2021), bieden marginale dekkinggaranties voor deze contrafactuele voorspellingen. CCI is echter afhankelijk van kalibratiegegevens uit de specifieke behandelingsarm van belang. In veel real-world scenario's (bijvoorbeeld medische trials waar dure behandelingen zeldzaam zijn, of online reclame met schaarse blootstelling) is de dataset voor de doelbehandelingsarm ($D_1$) aanzienlijk kleiner dan de controlearm ($D_0$). Deze schaarste leidt tot uiterst conservatieve, brede voorspellingsintervallen die de bruikbaarheid van conformale inferentie in besluitvorming met hoge risico's beperken.

Hoewel synthetische data gegenereerd door voorgetrainde modellen de schaarse kalibratieset kunnen aanvullen, breekt het rechtstreeks opnemen van deze synthetische labels in standaard conformale procedures de statistische geldigheid, omdat synthetische uitkomsten bevooroordeelde benaderingen van de waarheid zijn.

2. Methodologie: SP-CCI Framework

De auteurs stellen Synthetische data-aangedreven Conformale Contrafactuele Inferentie (SP-CCI) voor, een framework dat de kalibratieset aanvult met synthetische contrafactuele labels terwijl het marginale dekkinggaranties behoudt via een debiasingsprocedure.

Kerncomponenten

1. Synthetische Data Generatie:

   • De methode maakt gebruik van een voorgetraind contrafactueel generatief model $\hat{P}_{Y(1)|X}$ (dat een neurale netwerk of een Large Language Model kan zijn) om synthetische contrafactuele labels $\hat{Y}(1)$ te genereren voor eenheden in de grotere controledataset $D_0$.
   • Dit creëert een uitgebreide synthetische dataset $\tilde{D}_1 = \{(X_i, \hat{Y}_i(1))\}_{i=1}^{n_0}$.

2. Debiased Miscoverage Schatting (PPI Integratie):

   • Om de bias geïntroduceerd door synthetische labels te corrigeren, past SP-CCI Prediction-Powered Inference (PPI) toe (Angelopoulos et al., 2023a).
   • De kalibratieset $D_1$ (reële behandelde data) wordt gebruikt om de synthetische schattingen te "corrigeren". Specifiek worden de $n_0$ synthetische samples opgesplitst in $n_1$ groepen, waarbij elke groep wordt toegewezen aan een reële behandelde sample $(X_i, Y_i) \in D_1$.
   • Een onbevooroordeelde schatter van de miscoverage-kans $\hat{L}_\eta$ wordt geconstrueerd met behulp van een gewogen verschil tussen de verliezen op synthetische data en de verliezen op reële data:
     $$\hat{\ell}_{i,\eta} = \frac{1}{r} \sum_{j} \tilde{w}_j \ell_\eta(\tilde{X}_j, \tilde{Y}_j) - w_i [\ell_\eta(X_i, \hat{Y}_i) - \ell_\eta(X_i, Y_i)]$$
     waarbij $w_i$ en $\tilde{w}_i$ importantieweights zijn die rekening houden met propensiteitsscores en behandelingskansen.

3. Risicogestuurde Voorspellingssets (RCPS):

   • De methode maakt gebruik van Risk-Controlling Prediction Sets (RCPS) (Bates et al., 2021) om de parameter voor intervalverbreding $\eta$ te selecteren.
   • In plaats van onvoorwaardelijke dekking te garanderen, zorgt SP-CCI ervoor dat het miscoverage-risico met hoge waarschijnlijkheid ($1-\delta$) wordt gecontroleerd over de trekking van de kalibratiegegevens.
   • De verbredingsparameter $\hat{\eta}$ wordt zo gekozen dat de bovengrens van het betrouwbaarheidsinterval van de geschatte miscoverage-kans het doelniveau $\alpha$ niet overschrijdt.

4. Omgaan met Weight Misspecificatie:

   • Het framework bevat theoretische garanties voor gevallen waarin importantieweights worden geschat in plaats van exact bekend zijn. Het toont aan dat dekkinggaranties kunnen worden behouden door de verbredingsparameter aan te passen om rekening te houden met de foutmarges van de geschatte weights.

3. Belangrijkste Bijdragen

• Methodologie: Introductie van SP-CCI, dat reële en synthetische kalibratiegegevens integreert via een debiasende miscoverage-schatting, waardoor het gebruik van overvloedige controledata mogelijk wordt om inferentie voor schaarse behandelingsarmen te verbeteren.
• Theoretische Garanties: Formeel bewijs dat SP-CCI marginale dekking met hoge waarschijnlijkheid bereikt (gecontroleerd door parameter $\delta$) onder zowel exacte als benaderde importantieweighting. Het artikel onderscheidt dit van de onvoorwaardelijke marginale dekking van standaard CCI, en biedt een instelbaar "storing"-controlemechanisme.
• Efficiëntie: Theoretisch en empirisch bewijs dat SP-CCI aanzienlijk smallere voorspellingsintervallen oplevert in vergelijking met standaard CCI en het GESPI-framework (Bashari et al., 2025), vooral wanneer hoogwaardige synthetische generators beschikbaar zijn.

4. Experimentele Resultaten

De auteurs hebben SP-CCI geëvalueerd op synthetische data (volgend op Lei en Candès, 2021) en de semi-synthetische IHDP-dataset (Hill, 2011), waarbij ze het vergeleken met standaard CCI en GESPI.

• Synthetische Data: SP-CCI produceerde consequent smallere voorspellingsintervallen dan CCI en GESPI terwijl het de vereiste dekkinggaranties behield. De intervalbreedte nam af naarmate de kwaliteit van het contrafactuele generatieve model verbeterde (Laag/Middel/Hoog Kwaliteit).
• IHDP Dataset:
  • SP-CCI bereikte een gemiddelde voorspellingsintervalbreedte (APIW) van 3,52 (met synthetische labels van hoge kwaliteit) in vergelijking met 20,24 voor standaard CCI.
  • Hoewel GESPI met een versoepelde veiligheidsmarge smallere intervallen kon produceren, leed het aan een hoge Coverage Violation Rate (CVR) van 42% wanneer het werd aangescherpt, waardoor het ongeschikt was voor scenario's met hoge risico's. SP-CCI behield een lage CVR (2–6%) over alle varianten heen.
  • De methode slaagde erin een voorgetraind LLaMA-2-13B model als generatieve bron te benutten, met concurrerende prestaties ondanks dat het model buiten de specifieke dataset was getraind, wat robuustheid tegen distributieveranderingen aantoont.
• Aanvullende Experimenten:
  • Beleidsevaluatie: In een scenario voor draadloze handover leverde SP-CCI een nauwkeurigere performance-kwantificering (smallere intervallen) op voor vaste beleidslijnen in vergelijking met CCI.
  • Extreme Onevenwichtigheid: Op de Twins dataset met extreme behandelingsonevenwichtigheid (63 behandelde versus 11.921 controle-eenheden) produceerde CCI intervallen die bijna 20 keer breder waren dan die van SP-CCI om dekking te behouden. SP-CCI behield een dekking dicht bij het doel met aanzienlijk strakkere intervallen.

5. Betekenis en Claims

Het artikel beweert dat SP-CCI een significante stap voorwaarts is in het praktisch toepasbaar maken van conformale contrafactuele inferentie voor onevenwichtige datasets. Door synthetische data effectief te benutten zonder de statistische geldigheid te compromitteren, adresseert de methode de "vloek van de dimensionaliteit" en dataschaarste die inherent zijn aan causale inferentie voor zeldzame behandelingen.

De auteurs benadrukken dat SP-CCI een instelbare afweging biedt tussen intervalbreedte en dekkingbetrouwbaarheid via de parameter $\delta$, een kenmerk dat ontbreekt in standaard onvoorwaardelijke CCI. Het werk toont aan dat hoogwaardige synthetische data, wanneer correct gedebiasd, de efficiëntie van causale inferentie drastisch kan verbeteren, waardoor het toepasbaarder wordt voor real-world domeinen zoals gepersonaliseerde geneeskunde en beleidsevaluatie waar behandelingsdata vaak schaars is.

Het artikel concludeert bescheiden, met de opmerking dat uitbreidingen naar meervoudige behandelingsarmen, continue behandelingen en scenario's waarin geen enkele potentiële uitkomst wordt waargenomen, openstaande problemen blijven voor toekomstig werk.