Technische Samenvatting: Lokalisatie van Dropout-variantie in Twinnetwerken

Probleemstelling

Diepe twinnetwerkmodellen (bijv. TARNet, DragonNet) zijn standaardtools voor het schatten van individuele behandelingseffecten (ITE) uit observationele data. Hoewel Monte Carlo (MC) Dropout en diepe ensemble-methoden onzekerheidsschattingen kunnen leveren, zijn deze schattingen doorgaans monolithisch: een enkele variantiescore die de bron van modelfalen niet onderscheidt. Beoefenaars kunnen niet bepalen of hoge onzekerheid voortkomt uit:

1. Encoder-niveau problemen: Slechte dekking van de covariatenruimte (extrapolatie), wat wijst op de noodzaak van meer diverse covariatendata.
2. Head-niveau problemen: Ruwe uitkomstmappingen in goed gedekte gebieden, wat wijst op de noodzaak van meer uitkomstobservaties of een verhoogde head-capaciteit.

Zonder dit onderscheid bieden onzekerheidsscores geen richtlijnen voor corrigerende maatregelen. Dit artikel adresseert het gebrek aan gestructureerde, interpreteerbare onzekerheidskwantificatie in diepe causale modellen door een methode voor te stellen om onzekerheid te decomponeren per architecturale module.

Methodologie

De auteurs stellen een laagsgewijze variantiedecompositie voor voor twinnetwerkmodellen, gebruikmakend van de natuurlijke modulaire structuur (gedeelde encoder $\Phi$ gevolgd door aparte uitkomstheden $f_0, f_1$) en de wet van totale variantie.

1. Variantiedecompositie

Voor een twinnetwerkoutput $\hat{Y}_t(x)$ wordt de totale voorspellende variantie opgesplitst in twee componenten:
$$\text{Var}(\hat{Y}_t(x)) = \underbrace{\text{Var}_{\theta_e}(\mathbb{E}_{\theta_t}[\hat{Y}_t(x) \mid \theta_e])}_{\sigma^2_{\text{enc}}} + \underbrace{\mathbb{E}_{\theta_e}[\text{Var}_{\theta_t}(\hat{Y}_t(x) \mid \theta_e)]}_{\sigma^2_{\text{head}}}$$

• $\sigma^2_{\text{enc}}$ (Encoder-component): Meet variantie toe te schrijven aan dropout-masks in de gedeelde encoder, waarbij de heads deterministisch worden gehouden.
• $\sigma^2_{\text{head}}$ (Head-component): Meet de gemiddelde variantie toe te schrijven aan dropout-masks in de uitkomstheden, conditioneel op een vaste encoder-realizatie.

2. Praktische Schatting

Om deze componenten te schatten zonder een computergewijs duur geneste Monte Carlo-procedure, gebruiken de auteurs een gecontroleerde dropout-approximatie:

• Alleen-encoder-modus: Dropout actief in de encoder; heads deterministisch.
• Alleen-head-modus: Dropout actief in de heads; encoder deterministisch.
• Totale modus: Dropout overal actief (standaard MC Dropout).

De totale kosten bij inferentie bedragen $3N$ forward passes (waarbij $N$ het aantal MC-steekproeven is), vergeleken met $N$ voor standaard MC Dropout. De auteurs verifiëren empirisch dat $\hat{\sigma}^2_{\text{enc}} + \hat{\sigma}^2_{\text{head}} \approx \sigma^2_{\text{tot}}$ met hoge fideliteit ($R^2 > 0,99$).

Belangrijkste Bijdragen

1. Architecturale Lokalisatie: Een eenvoudige, architectuurbewuste decompositie die onzekerheidssignalen scheidt in encoder- en head-componenten, waardoor een diagnose voor specifieke faalmodi mogelijk wordt.
2. Diagnostische Werkstroom: Een voorgestelde tweestaps-werkstroom:
   • Gebruik $\sigma^2_{\text{enc}}$ om potentiële Out-of-Distribution (OOD) punten of extrapolatierisico's te markeren.
   • Gebruik $\sigma^2_{\text{head}}$ om onzekerheid te rangschikken binnen in-distribution punten waar de encoder-onzekerheid laag is.
3. Empirische Validatie: Demonstratie dat deze decompositie bruikbare inzichten biedt over synthetische covariaten-shift-regimes en een real-world tweelingcohort.

Experimentele Resultaten

De methode werd geëvalueerd op drie synthetische datageneratoren (v1–v3) met variërende mate van covariaten-shift en een real-world cohort van een-tweelingen met geïnduceerde multivariate steekproefbias.

1. Bevindingen bij Synthetische Data

• Dominantie van Encoder-variantie onder Shift: In sterke shift-regimes (v1, v2) is de encoder-component ($\sigma^2_{\text{enc}}$) de dominante predictor van ITE-fout ($\rho_{\text{enc}} \approx 0,53$), en presteert deze beter dan totale variantie ($\rho_{\text{tot}} \approx 0,45$). De head-component is in deze regimes dicht bij nul of negatief.
• Conditionele Informativiteit van Head-variantie: De head-component ($\sigma^2_{\text{head}}$) wordt pas een sterke foutpredictor ($\rho_{\text{head}} > 0,5$) nadat punten met hoge encoder-variantie zijn gefilterd. Dit bevestigt de bruikbaarheid voor het rangschikken van onzekerheid binnen het in-distribution gebied.
• Vergelijking met Ensembles: Diepe ensemble-methoden presteerden beter dan MC Dropout onder sterke shift (waarschijnlijk vanwege echte modelmeningsverschillen), maar stortten samen tot een correlatie dicht bij nul onder lichte shift. MC Dropout behield een matig signaal over alle regimes.

2. Real-World Tweelingcohort

• OOD-Detectie: Op de tweelingdataset met geïnduceerde bias steeg $\sigma^2_{\text{enc}}$ significant bij OOD-steekproeven ($\Delta \sigma^2_{\text{enc}} \approx 0,004$), terwijl $\sigma^2_{\text{head}}$ vlak bleef.
• Foutvoorspelling: Onder geïnduceerde bias werd $\sigma^2_{\text{enc}}$ de primaire foutpredictor ($\rho_{\text{enc}} \approx 0,89$).
• Beperking bij OOD-Detectie: De auteurs merken expliciet op dat de decompositie geen betrouwbare binaire OOD-detector is (ROC-AUC-waarden lagen dicht bij toeval, 0,54–0,62). De waarde ligt in foutvoorspelling en diagnostische lokalisatie, niet in classificatie.

Betekenis en Claims

Het artikel positioneert dit werk als een proof of concept voor een diagnostisch hulpmiddel in plaats van een opgelost probleem. De primaire betekenis ligt in bruikbaarheid:

• Praktische Richtlijnen: Door variantie te lokaliseren, vertelt de methode beoefenaars of ze meer diverse covariaten moeten verzamelen (als $\sigma^2_{\text{enc}}$ hoog is) of meer uitkomstdata (als $\sigma^2_{\text{head}}$ hoog is).
• Kostenefficiëntie: De decompositie voegt verwaarloosbare computerkosten toe boven standaard MC Dropout.
• Bescheidenheid: De auteurs erkennen beperkingen, waaronder het gebruik van laag-dimensionale synthetische generatoren, kunstmatig geïnduceerde shifts in real-world data, en de afhankelijkheid van MC Dropout als een ruwe posterior-approximatie. Ze benadrukken dat de waargenomen correlaties matig zijn bij synthetische data en sterker bij het laag-ruisende tweelingdataset, en dat het uiteindelijke doel is aan te tonen dat deze decompositie leidt tot betere beslissingen over dataverzameling en modelupdates, niet alleen tot betere onzekerheidsbeschrijvingen.