Bias and Variance of Adjusting for Instruments

Deze simulatiestudie concludeert dat het aanpassen voor instrumentvariabelen binnen het kader van Large-Scale Propensity Score-modellen slechts een verwaarloosbaar kleine bias introduceert, zelfs wanneer deze variabelen een grote variantie in de behandeling verklaren, zolang de correlatie met de behandeling onder de 0,5 blijft en de equipoise boven de 0,5 ligt.

De kern

Het Grote Dilemma: Te veel of te weinig info?

Stel je voor dat je een kok bent die probeert te bepalen of een nieuw kruid (de behandeling) een soep lekkerder maakt (het resultaat).

Het probleem is dat je niet in een laboratorium zit, maar in een drukke keuken waar iedereen zijn eigen ding doet. Sommige mensen gebruiken al een ander kruid (een verwarrende factor of confounder) dat de soep ook lekkerder maakt. Als je dat niet meetelt, denk je dat het nieuwe kruid het werk doet, terwijl het eigenlijk dat andere kruid was.

Om dit op te lossen, proberen onderzoekers een "recept" te maken (een propensiteitscore) waarin ze alle mogelijke factoren meenemen die van invloed kunnen zijn. Maar hier ontstaat de verwarring:

• Groep A zegt: "Gebruik alle mogelijke ingrediënten in je recept, dan mis je niets."
• Groep B zegt: "Nee! Als je te veel ingrediënten toevoegt, kun je per ongeluk ook dingen toevoegen die de smaak verpesten. Soms voeg je iets toe dat alleen de keuze van het kruid beïnvloedt, maar niet de smaak van de soep. Dat noemen we een instrument."

Deze "instrumenten" zijn als een vlag die aangeeft welke kok welk kruid kiest, maar die vlag maakt de soep zelf niet lekkerder of minder lekker. De theorie zegt: "Als je die vlag in je recept opneemt, maak je je berekening juist minder nauwkeurig."

Wat hebben deze onderzoekers gedaan?

De onderzoekers (een team van artsen en data-experts) wilden weten: Is het echt zo gevaarlijk om die "vlaggen" (instrumenten) mee te nemen, of is de angst overdreven?

Ze hebben een enorme digitale simulatie gedaan. Ze bouwden duizenden virtuele keukens op en keken wat er gebeurde als ze:

1. Niets aanpasten (alleen kijken).
2. Alleen de echte verstorende factoren (de andere kruiden) corrigeerden.
3. Ook de "vlaggen" (de instrumenten) meenamen in hun berekening.

Ze keken specifiek naar situaties waar de "vlaggen" sterk genoeg waren om de keuze van het kruid te bepalen, maar niet zo sterk dat ze de hele analyse kapotmaakten. Ze gebruikten twee "alarmbellen" (diagnostische tests) die al in gebruik zijn bij grote studies:

• De Correlatie-test: Als een vlag te sterk samenhangt met de keuze van het kruid (meer dan 50%), wordt de analyse gestopt.
• De Evenwicht-test (Equipoise): Kijkt of er genoeg mensen zijn die voor beide opties kiezen. Als iedereen altijd voor optie A kiest, is de test niet goed.

De Resultaten: De Angst was Groot, maar de Schade Klein

Wat bleek er uit hun proef?

1. De "Vlag" doet weinig kwaad: Zelfs als de "vlag" (het instrument) een enorme invloed had op welke kruiden mensen kochten (20 keer sterker dan de andere kruiden), was de schade aan de smaakbepaling (de bias) klein.
2. Het gevaar van het niet corrigeren is groter: Het feit dat je een andere kruidenmix (verstorende factor) niet hebt meegenomen, zorgde voor een veel grotere fout in je conclusie dan het toevoegen van die ene "vlag".
3. De alarmbellen werken: Zolang de "vlag" niet te sterk samenhangt met de keuze (onder de 50%) en er een redelijke verdeling is tussen de opties, is het toevoegen van die vlag aan je recept veilig.

De Metafoor: De Navigatie in de Mist

Stel je voor dat je in de mist rijdt (de data is onvolledig).

• Je hebt een kompas (de verstorende factoren) dat je naar de juiste bestemming leidt, maar dat soms een beetje scheef staat.
• Je hebt ook een windwijzer (het instrument) die alleen aangeeft welke kant de wind waait, maar die je niet helpt om de weg te vinden.

De oude theorie zei: "Zorg dat je de windwijzer niet in je auto hebt, want als je hem gebruikt om te navigeren, ga je de mist in."

Deze studie zegt echter: "Als je de windwijzer gebruikt, maar je hebt een goed kompas, en de windwijzer staat niet te strak in de wind (onder de 50%), dan is het veel gevaarlijker om je kompas te negeren dan om die windwijzer per ongeluk mee te nemen. Je komt uiteindelijk veel dichter bij de bestemming."

Conclusie voor de Praktijk

De onderzoekers concluderen dat we ons niet te veel zorgen hoeven te maken over het per ongeluk meenemen van "instrumenten" als we een grote hoeveelheid data gebruiken (zoals in de Large-Scale Propensity Score methode).

Het is beter om veel variabelen mee te nemen en te vertrouwen op de alarmbellen (de tests), dan om te proberen handmatig alleen de "perfecte" variabelen te kiezen. Het risico dat je een verstorende factor mist, is veel groter dan het risico dat je per ongeluk een nutteloze variabele toevoegt.

Kortom: In de wereld van medisch onderzoek is "te veel informatie" (mits gecontroleerd) vaak veiliger dan "te weinig informatie".

Technische samenvatting

Titel: Bias en Variansie van het Aanpassen voor Instrumenten

Auteurs: George Hripcsak et al. (Columbia University, OHDSI, etc.)

---

1. Het Probleem

In observationeel onderzoek wordt propensiteitsscore-aanpassing (propensity score adjustment) veel gebruikt om verstorende factoren (confounding) te corrigeren. Er bestaat echter al decennia een controverse over welke covariaten in het propensiteitsmodel moeten worden opgenomen:

• Kieszame selectie: Slechts een beperkte set van door experts geselecteerde confounders opnemen.
• Brede inclusie: Alle beschikbare pre-behandelingscovariaten opnemen (zoals bij Large-Scale Propensity Score of LSPS).

Een groot risico bij brede inclusie is het per ongeluk opnemen van instrumentvariabelen. Een instrument is een variabele die geassocieerd is met de behandeling, maar niet met het uitkomstresultaat.

• Theoretisch risico: Het aanpassen voor een instrument in een model met onopgeloste confounding verhoogt de bias (vertekening) van het effectschattingsresultaat en verhoogt de variatie (onzekerheid).
• Praktische dilemma: Het is vaak moeilijk om confounders en instrumenten strikt te onderscheiden. LSPS gebruikt diagnostische filters (zoals een correlatiedrempel van 0,5 met de behandeling en een "equipoise"-score), maar het is onduidelijk hoeveel bias er overblijft als instrumenten deze filters doorstaan en toch in het model worden opgenomen.

2. Methodologie

De auteurs voerden een uitgebreide simulatiestudie uit om de operationele kenmerken van propensiteitsscore-aanpassing te kwantificeren wanneer instrumenten en onopgeloste confounding aanwezig zijn.

• Simulatieopzet:
  • Variabelen: Confounder ($X$), gemeten instrument ($Z$), ongemeten instrument ($U$), behandeling ($T$) en uitkomst ($Y$).
  • Het doel was om de bias en variatie te vergelijken tussen verschillende logistische regressiemodellen:
    1. Ruw model ($M_{crude}$): Geen covariaten.
    2. Alleen instrument ($M_{instr}$): Om het effect van het aanpassen voor een instrument te zien bij onopgeloste confounding.
    3. Alleen confounder ($M_{conf}$): De "ground truth" (onbevooroordeeld) schatting.
    4. Confounder + Instrument ($M_{conf-instr}$): Om te zien wat het effect is van het toevoegen van een instrument aan een correct gecontroleerd model.
• Variatie in parameters:
  • De sterkte van het instrument ($B$) werd gevarieerd.
  • De totale variantie van de behandeling bleef constant door de sterkte van het ongemeten instrument ($U$) aan te passen.
  • Er werd getest met één instrument en met tien gelijktijdige instrumenten.
• Diagnostische drempels: De simulatie keek specifiek naar situaties waar de correlatie tussen het instrument en de behandeling onder de 0,5 bleef (de LSPS-afkeurdrempel) en waar de equipoise (balans in behandelingsvoorkeur) boven de 0,5 lag.
• Steekproefgrootte: 200.000 proefpersonen per simulatie.

3. Belangrijkste Bijdragen

• Kwantificering van bias: De studie levert empirische data over hoeveel bias er wordt geïntroduceerd door instrumenten die de LSPS-diagnostische filters doorstaan.
• Validatie van LSPS-strategie: Het onderzoek test de geldigheid van de LSPS-benadering (alle covariaten opnemen met diagnostische filters) tegenover de theorie dat instrumenten altijd schadelijk zijn.
• Verdeling van bias: Het toont aan dat de extra bias door het aanpassen van een instrument vaak kleiner is dan de bias die wordt veroorzaakt door het niet aanpassen van een confounder.

4. Resultaten

De simulaties leverden de volgende cruciale bevindingen op:

• Bias:
  • Het aanpassen voor een instrument in een model met onopgeloste confounding verhoogde de bias, maar de toename was klein vergeleken met de bias veroorzaakt door de onopgeloste confounding zelf.
  • Zelfs wanneer de variantie van de behandeling die door het instrument werd veroorzaakt 20 keer groter was dan die van de onopgeloste confounder, was de extra verschuiving in de effectschatting door het instrument minder dan de verschuiving door de confounding alleen.
  • Bij een correlatie van net onder 0,5 (de LSPS-drempel) nam de bias met slechts ongeveer 50% toe ten opzichte van de ruwe bias.
• Variatie:
  • Het aanpassen voor instrumenten verhoogde de variatie van de schatting, maar deze toename bleef beperkt (minder dan 50% extra variatie bij de drempelwaarden).
• Meerdere instrumenten:
  • Zelfs bij het gebruik van tien instrumenten, zolang de equipoise boven de 0,5 lag (en zelfs tot 0,475), bleef de bias onder de drempel van de onopgeloste confounding.
  • De equipoise-score bleek effectief om de cumulatieve invloed van meerdere zwakke instrumenten te detecteren.

5. Betekenis en Conclusie

De studie concludeert dat de angst voor het per ongeluk opnemen van instrumenten in grote propensiteitsmodellen (zoals LSPS) overdreven is, mits de bestaande diagnostische filters worden toegepast.

• Empirische prioriteit: Het risico van het niet corrigeren voor een confounder (door te selecteren op basis van domain knowledge en instrumenten te vermijden) weegt zwaarder dan het risico van het opnemen van een zwak instrument.
• Bevestiging van LSPS: De resultaten ondersteunen de LSPS-methode waarbij alle pre-behandelingscovariaten worden opgenomen, zolang de correlatie met de behandeling onder 0,5 blijft en de equipoise-score de aggregatie van instrumenten in de gaten houdt.
• Praktische implicatie: Onderzoekers hoeven niet bang te zijn om een breed scala aan covariaten te gebruiken. De "quest" om alle confounders te vinden (door breed te zijn) is belangrijker dan het proberen perfect instrumenten te filteren, aangezien de extra bias door instrumenten binnen de diagnostische drempels verwaarloosbaar klein is ten opzichte van de bias door gemiste confounders.

Kortom: Het aanpassen voor instrumenten binnen de LSPS-drempels voegt slechts een minimale hoeveelheid bias toe, terwijl het niet aanpassen voor confounders een veel groter risico vormt.