Finite-sample bias-variance tradeoff with variables related to trial participation inserted into causal forest models for ensuring generalizability

Technische Samenvatting: Bias-Variantie Trade-off bij Beperkte Steekproeven in Causale Bossen voor Generaliseerbare CATE-schatting

Probleemstelling
Het schatten van Conditional Average Treatment Effects (CATE) uit gerandomiseerde gecontroleerde trials (RCT's) om bevindingen te generaliseren naar bredere bronpopulaties is cruciaal voor gepersonaliseerde geneeskunde. Dit proces wordt echter bemoeilijkt door selectiebias die voortvloeit uit trial-participatie en de uitdagingen van hoogdimensionale covariaten. Hoewel identificatietheorie suggereert dat een onbevooroordeelde CATE-schatting in de bronpopulatie haalbaar is door te conditioneren op covariaten gerelateerd aan trial-participatie (aangeduid als $X_2$) naast effectmodificatoren van belang ($X_1$), blijft de praktische toepassing van deze theorie met machine learning-methoden zoals Causale Bossen onduidelijk. Er is met name zorg dat in beperkte steekproeven, zoals die typisch zijn voor medische RCT's, de variantie-inflatie veroorzaakt door het opnemen van hoogdimensionale selectiecovariaten de voordelen van biasreductie kan overtreffen.

Methodologie
De auteurs voerden een systematische evaluatie uit van bias-variantie trade-offs bij beperkte steekproeven aan de hand van simulatiestudies en een toepassing in de echte wereld.

• Datageneratie: De simulatie ging uit van een RCT-setting waarbij deelnemers ($S=1$) worden geselecteerd uit een grotere bronpopulatie ($S=0$) op basis van covariaten $X_2$. Het ware Individual Treatment Effect (ITE) werd gedefinieerd als een functie van effectmodificatoren ($X_{1,ALL}$), selectiecovariaten ($X_2$) en niet-gesignaleerde modificatoren ($O$). De steekproefgroottes van de trials varieerden van 200 tot 5.000, met bronpopulaties van 100.000.
• Schattingbenaderingen: De studie vergeleek vier verschillende strategieën voor het schatten van CATE met behulp van Causale Bossen:
  1. Model 1 (Naïef): Causale Bos gefit op trial-data met alleen $X_1$.
  2. Model 2 (Directe Opname): Causale Bos gefit op trial-data met zowel $X_1$ als $X_2$. Voor het schatten van $CATE(X_1)$ werd Monte Carlo-integratie gebruikt om te marginaliseren over $X_2$.
  3. Model 1IPW: Causale Bos gefit op trial-data gewogen met Inverse Probability Weighting (IPW) afgeleid van een logistische regressie van $X_2$, waarbij alleen $X_1$ in het bos werd gebruikt.
  4. Model 2IPW: Causale Bos gefit op IPW-gewogen trial-data met zowel $X_1$ als $X_2$.
• Evaluatiemetingen: De prestaties werden beoordeeld aan de hand van Mean Squared Error (MSE), bias en variantie voor twee doelen:
  • Doel A: Het schatten van $CATE(X_1)$ in de bronpopulatie.
  • Doel B: Het voorspellen van ITE via $CATE(X_1, X_2)$ in de bronpopulatie.
• Toepassing in de Echte Wereld: De methoden werden toegepast op de VITAL-trial (omega-3 vetzuren en coronaire hartziekte) met behulp van NHANES-data als bronpopulatie om de praktische impact van deze strategieën te illustreren.

Belangrijkste Resultaten

• Bias-variantie Trade-off: Theoretische identificatie suggereert dat het opnemen van $X_2$ (Model 2) onbevooroordeelde schattingen oplevert. Simulaties toonden echter aan dat bij realistische RCT-steekproefgroottes de variantie-inflatie door het toevoegen van $X_2$ aan de Causale Bos vaak de bescheiden reductie in bias overtrof.
• Gevoeligheid voor Steekproefgrootte: Het opnemen van >3 covariaten gerelateerd aan participatie ($X_2$) verslechterde de precisie aanzienlijk (verhoogde MSE), tenzij de steekproefgroottes zeer groot waren. Voor $X_1$ met $\ge3$ covariaten vereiste Model 2 aanzienlijk grotere steekproefgroottes om Model 1 te overtreffen.
• Superioriteit van IPW: IPW-gebaseerde methoden (Model 1IPW en Model 2IPW) verbeterden de prestaties consistent in alle scenario's. Model 1IPW bood in het bijzonder een gunstige bias-variantie-compromis en presteerde vaak beter dan de naïeve aanpak (Model 1), zelfs wanneer selectiebias aanwezig was.
• Vindingen uit Toepassing: In de toepassing op de VITAL-trial verplaatsten IPW-gecorrigeerde modellen de CATE-schattingen naar effecten in de bronpopulatie en verfijnden ze de heterogeniteitsbeoordelingen in vergelijking met ongewogen modellen.

Belangrijkste Bijdragen en Relevantie
Het artikel daagt de conventionele aanname uit dat het simpelweg opnemen van trial-selectievariabelen binnen CATE-schatting-algoritmen (zoals Causale Bossen) de optimale strategie is voor generaliseerbaarheid. De auteurs benadrukken een kritieke beperking bij beperkte steekproeven:

• Variantie-inflatie: Het direct invoegen van trial-participatievariabelen in Causale Bossen kan de variantie van de schatter zodanig inflateren dat de algehele voorspellingsprestatie (MSE) afneemt, met name in medische RCT's met steekproefgroottes onder de 5.000.
• Strategische Aanbeveling: De auteurs stellen dat het aanpakken van selectiebias apart – specifiek via Inverse Probability Weighting (IPW) – een redelijkere strategie is dan directe opname. Deze aanpak stelt de Causale Bos in staat zich te focussen op effectmodificatoren ($X_1$), terwijl IPW corrigeert voor het selectiemechanisme, waardoor een lagere variantie wordt behouden terwijl de nodige biascorrectie wordt bereikt.
• Theoretische Onderbouwing: De bevindingen worden gekaderd binnen de bias-variantie trade-off van niet-parametrische, op bomen gebaseerde schatters, waarbij wordt opgemerkt dat uitgebreide dimensionaliteit convergentiesnelheden verslechtert en het proces van random subspace feature-sampling verwaterd, wat suboptimale boomconstructie forceert.

Beperkingen
De auteurs erkennen dat hun conclusies gebaseerd zijn op simulaties binnen een specifieke context en dat de empirische toepassing niet volledig kon worden gevalideerd tegen uitkomsten in de bronpopulatie vanwege het ontbreken van contrafactuele data in real-world settings. Bovendien merken ze op dat hun vergelijking geen pseudo-outcome-benaderingen omvatte, aangezien deze in hun huidige vorm nog niet direct uitbreidbaar zijn naar hoogdimensionale CATE-schatting.