Powerful Multivariate Sensitivity Analysis via Sample Splitting in an Observational Study of the Effects of Poverty on Cardiovascular Disease Risk Factors

Technische Samenvatting: Krachtige Multivariabele Sensitiviteitsanalyse via Steekproefsplitsing

Probleemstelling
In observationele studies die de causale effecten van een blootstelling op meerdere uitkomsten (multivariabele settings) beoordelen, zoeken onderzoekers vaak naar een manier om een globale nulhypothese te testen (dat de bloostelling geen effect heeft op enige uitkomst). Een veelgebruikte strategie om de kracht en robuustheid tegen niet-gemeten verwarring (unmeasured confounding) te verbeteren, is het construeren van een lineaire combinatie van uitkomstspecifieke teststatistieken. Echter, bestaande methoden voor het vinden van de optimale lineaire combinatie—zoals die gebruikmaken van Scheffé-projecties of beperkte varianten (bijv. Cohen et al., 2020; Rosenbaum, 2016)—vereisen correcties voor meervoudige toetsing. Deze correcties vertrouwen op referentieverdelingen (bijv. chi-bar-kwadraat) waarvan de kritieke waarden schalen met het aantal uitkomsten ($K$). Naarmate $K$ toeneemt, worden deze kritieke waarden steeds strenger, wat de statistische kracht ondermijnt en het moeilijk maakt om de globale nulhypothese te verwerpen, zelfs wanneer er sterk bewijs aanwezig is. Bovendien neemt de computationele belasting voor het evalueren van deze verdelingen toe met $K$.

Methodologie
De auteurs stellen een nieuw framework voor sensitiviteitsanalyse voor dat gebruikmaakt van steekproefsplitsing (sample splitting) om de selectie van de lineaire combinatie te ontkoppelen van de inferentiestap. De procedure werkt als volgt:

1. Data-partitionering: De gematchte dataset wordt willekeurig gesplitst in een planning- (pilot-) steekproef en een analyse-steekproef.
2. Planningfase: Op de planning-steekproef lost de onderzoeker een optimalisatieprobleem op om de lineaire combinatie van teststatistieken te identificeren (beperkt tot de waarschijnlijkheidssimplex, $\Delta_+$) die de sensitiviteit voor niet-gemeten bias maximaliseert (oftewel de slechtst denkbare p-waarde minimaliseert onder het Rosenbaum-sensitiviteitsmodel). Dit levert een geschatte optimale gewichtsvector op, $\hat{\lambda}_{plan}$.
3. Inferentiefase: De vector $\hat{\lambda}_{plan}$ wordt behandeld als vooraf gespecificeerd voor de analyse-steefproef. De onderzoeker voert de sensitiviteitsanalyse uit op de analyse-steekproef met deze vaste lineaire combinatie.
4. Statistische Rechtvaardiging: Omdat de combinatie ten opzichte van de analyse-data vooraf is gespecificeerd, volgt de teststatistiek een standaard Normale verdeling onder de nulhypothese, in plaats van een complexe chi-bar-kwadraatverdeling die afhankelijk is van $K$. Dit maakt het gebruik van een kritieke waarde (bijv. 1,645 voor $\alpha=0,05$) mogelijk die onafhankelijk is van het aantal uitkomsten.

Theoretische Bijdragen
Het artikel adresseert een cruciale theoretische kloof: steekproefsplitsing introduceert doorgaans een "minimax-kloof" waarbij de onderzoeker zich eerst aan een strategie moet verbinden voordat de natuur (de niet-gemeten confounder) optreedt, wat potentieel leidt tot strikt lagere kracht dan full-sample methoden (zoals opgemerkt door Fogarty en Small, 2016).

• Minimax-stelling: De auteurs bewijzen een nieuwe minimax-stelling (Theorem 1) die aantoont dat voor het specifieke geval waar de verzameling lineaire combinaties de waarschijnlijkheidssimplex ($\Delta_+$) is, de volgorde van optimalisatie (onderzoeker eerst versus natuur eerst) niet uitmaakt. De minimax-gelijkheid houdt stand:
  $$\min_{\varrho \in P_\Gamma} \sup_{\lambda \in \Delta_+} F(\lambda, \varrho) = \sup_{\lambda \in \Delta_+} \min_{\varrho \in P_\Gamma} F(\lambda, \varrho)$$
• Asymptotische Kracht: Als een gevolg hiervan (Theorem 2) demonstreren zij dat de design-sensitiviteit (de asymptotische limiet van de sensitiviteitswaarde) van hun methode via steekproefsplitsing identiek is aan die van full-sample alternatieven. De methode offert dus niet de asymptotische kracht op, ondanks het gebruik van slechts een deel van de data voor inferentie.

Simulatie-resultaten
Uit extensieve simulatiestudies met $I=300$ gematchte paren en variërende aantallen uitkomsten ($K \in \{5, 15, 25\}$) en correlaties ($\rho \in \{0, 0,2\}$) bleek het volgende:

• Finite Sample Power: De methode via steekproefsplitsing vertoonde consistent een hogere kracht dan de full-sample implementatie van Cohen et al. (2020), met name naarmate $K$ toenam. Dit wordt toegeschreven aan het vermijden van $K$-afhankelijke kritieke waarden.
• Vergelijking met Oracle: Hoewel een "oracle" (die de optimale combinatie a priori kent) het best presteerde, presteerde de benadering via steekproefsplitsing aanzienlijk beter dan de full-sample concurrent en benaderde het de prestaties van de oracle in veel regimes.
• Effecten van Correlatie: Het krachtvoordeel van de voorgestelde methode was het meest uitgesproken wanneer uitkomsten ongecorreleerd of zwak gecorreleerd waren, hoewel de methode superieur bleef, zelfs bij matige positieve afhankelijkheid.

Toepassing: Armoede en Cardiovasculaire Ziekte (CVD) Risico
De methode werd toegepast op een studie naar de effecten van armoede (gedefinieerd als een Family Poverty Income Ratio < 1) op CVD-risicofactoren bij kinderen en adolescenten met behulp van NHANES-data (1999–2016).

• Studieontwerp: 4.027 gematchte paren werden gesplitst in een pilot-steekproef (25%) en een analyse-steekproef (75%).
• Uitkomsten: De studie onderzocht 9 uitkomsten, waaronder lichaamssamenstelling, fysieke activiteit, lipiden en tabaksexpositie (cotinine-niveaus).
• Bevindingen:
  • De methode via steekproefsplitsing verwierp de globale nulhypothese voor alle leeftijd/geslacht-strata bij $\Gamma=1$, terwijl de full-sample comparator alleen de globale nulhypothese verwierp voor jongens in de leeftijd van 8–11 jaar.
  • De methode identificeerde significante nadelige effecten van armoede op tabaksexpositie (cotinine-niveaus) over alle strata en op intensieve vrije tijd-lichamelijke activiteit (LTPA) voor adolescenten.
  • Robuustheid: De bevindingen met betrekking tot tabaksexpositie bleken robuust tegen niet-gemeten confounding tot $\Gamma \approx 2,25$ (sensitiviteitswaarde $\approx 3,05$). In tegenstelling hiertoe waren de bevindingen met betrekking tot fysieke activiteit en lichaamssamenstelling gevoelig voor kleinere hoeveelheden bias (niet in staat de nulhypothese te verwerpen bij $\Gamma \approx 1,05$–$1,15$).
  • Vergelijking: Een full-sample sensitiviteitsanalyse op dezelfde data leverde een veel lagere sensitiviteitswaarde ($\approx 1,67$) op voor de totale hypothese, wat het krachtverlies illustreert dat inherent is aan bestaande multivariabele methoden voor deze dataset.

Significantie
De auteurs stellen dat hun primaire bijdrage een praktisch en theoretisch gefundeerd framework is voor het uitvoeren van krachtige multivariabele sensitiviteitsanalyses in observationele studies met veel uitkomsten. Door gebruik te maken van steekproefsplitsing en een nieuwe minimax-stelling, stelt de methode de onderzoeker in staat om:

1. Kracht te herstellen: Het vermijdt het ernstige verlies aan kracht dat gepaard gaat met $K$-afhankelijke kritieke waarden in hoogdimensionale settings.
2. Validiteit te waarborgen: Het biedt valide $\alpha$-niveau inferentie zonder dat daar asymptotische correcties voor nodig zijn die afhankelijk zijn van de dimensie van de uitkomstruimte.
3. Data-gestuurd ontwerp mogelijk te maken: Het stelt onderzoekers in staat om de pilot-steekproef te gebruiken om de selectie van uitkomsten en teststatistieken te verfijnen (bijv. het identificeren van specifieke dieetcomponenten of leeftijdspecifieke effecten) zonder de validiteit van de uiteindelijke inferentie in gevaar te brengen.

De auteurs concluderen dat hoewel de robuustheid van hun specifieke bevindingen over armoede en CVD grotendeels wordt gedreven door het effect op tabaksexpositie, het methodologische framework er succesvol in slaagt om deze effecten te detecteren waar traditionele multivariabele sensitiviteitsanalyses waarschijnlijk zouden falen door een gebrek aan kracht.