Bias and Variance of Adjusting for Instruments

Diese Simulationsstudie zeigt, dass die Anpassung an Instrumentvariablen im Rahmen großer Propensity-Score-Modelle nur eine vernachlässigbare Verzerrung verursacht, solange die Korrelation mit der Behandlung unter 0,5 liegt und die Gleichgewichtsbewertung über 0,5 hinausgeht, was die Strategie stützt, viele Kovariaten einzubeziehen, anstatt nur eine begrenzte Menge an Confoundern zu identifizieren.

Das Wesentliche

Das große Rätsel: Soll man alles mitzählen oder nur das Wichtige?

Stellen Sie sich vor, Sie wollen herausfinden, ob ein bestimmtes Medikament (die Behandlung) wirklich hilft, Menschen gesund zu machen (das Ergebnis). Da Sie keine kontrollierte Laborstudie machen können, schauen Sie sich einfach die Krankenakten von echten Patienten an.

Das Problem dabei ist das Verwirrspiel (Confounding):
Vielleicht nehmen die Patienten, die das Medikament nehmen, auch noch viel Sport und essen gesund. Wenn sie dann gesünder sind, wissen Sie nicht: War es das Medikament oder der Sport? Der Sport ist hier ein „Störfaktor".

Um das zu lösen, nutzen Forscher eine Methode namens Propensity Score. Das ist wie eine Waage, die versucht, die Gruppen fair zu vergleichen, indem sie alle bekannten Unterschiede (Alter, Gewicht, Sport, etc.) berücksichtigt.

Die große Frage:
Soll man auf der Waage nur die wichtigen Störfaktoren (wie Sport) abwiegen oder alles, was man in den Akten findet?

Hier kommt das Problem der „Instrumente" ins Spiel.

Was ist ein „Instrument"? (Die Analogie des Wettervorhersage-Tools)

Ein Instrument ist eine Variable, die beeinflusst, ob jemand das Medikament bekommt, aber nichts mit der Gesundheit zu tun hat.

• Beispiel: Stellen Sie sich vor, ein Arzt verschreibt das Medikament nur, wenn es draußen regnet (weil er dann mehr Zeit hat).
• Der Effekt: Die Patienten, die das Medikament bekommen, sind eher solche, bei denen es regnete. Aber das Regenwetter macht sie nicht gesünder oder kranker.
• Das Problem: Wenn Sie das „Regenwetter" in Ihre Waage (das statistische Modell) einfügen, um die Gruppen fair zu vergleichen, könnte das die Waage eigentlich schief machen, anstatt sie zu verbessern. Es ist wie wenn Sie auf einer Waage ein schweres, aber nutzloses Gewicht hinzufügen, nur um es zu wiegen.

Die alte Lehrmeinung war: „Füge niemals Instrumente hinzu! Das macht alles schlimmer."

Was diese neue Studie herausfand

Die Autoren (eine Gruppe von Experten aus den USA) haben eine riesige Computersimulation durchgeführt, um zu testen, ob diese Angst berechtigt ist. Sie haben ein Szenario nachgebaut, in dem es echte Störfaktoren (Sport) gibt, die man nicht kennt, und sie haben geprüft, was passiert, wenn man versehentlich Instrumente (Regenwetter) mit in die Analyse nimmt.

Sie nutzten dabei zwei Sicherheits-Checks (wie eine Art „Gütesiegel" für die Daten):

1. Der Korrelations-Check: Wenn ein Faktor zu stark mit der Medikamentenvergabe zusammenhängt (mehr als 50 %), wird die Analyse gestoppt.
2. Der „Gleichgewicht"-Check (Equipoise): Prüft, ob die Patienten überhaupt eine echte Wahlmöglichkeit hatten oder ob sie zwangsläufig in eine Gruppe gedrängt wurden.

Die überraschende Entdeckung

Die Simulation zeigte etwas Erstaunliches:

Selbst wenn das „Instrument" (das Regenwetter) extrem stark war – so stark, dass es 20-mal mehr Einfluss auf die Medikamentenvergabe hatte als der unbekannte Störfaktor (Sport) – machte es kaum einen Unterschied.

• Die Metapher: Stellen Sie sich vor, Sie versuchen, ein Schiff (die Studie) gerade zu halten. Es gibt eine starke Strömung (der unbekannte Störfaktor), die das Schiff abdrückt. Sie fügen ein kleines Ruder (das Instrument) hinzu, das eigentlich nicht hilft.
  • Die alte Angst war: „Oh nein, das Ruder wird das Schiff noch mehr abdrücken!"
  • Die Realität laut Studie: „Das Ruder schaukelt das Schiff ein wenig, aber die Strömung (der Störfaktor) ist so stark, dass das Ruder kaum ins Gewicht fällt. Das Schiff bleibt fast so schief, wie es ohnehin war."

Das Ergebnis:
Solange die Sicherheits-Checks (Korrelation unter 0,5 und Gleichgewicht über 0,5) eingehalten werden, ist es besser, einfach alles mitzuzählen, als zu versuchen, nur die „perfekten" Faktoren auszuwählen.

Warum? Weil es viel gefährlicher ist, einen wichtigen Störfaktor (wie Sport) zu vergessen, als einen unnützen Faktor (wie Regenwetter) versehentlich mitzuzählen. Wenn man versucht, nur die Wichtigen auszuwählen, übersieht man oft Dinge. Wenn man alles nimmt, fängt man fast alle Störfaktoren ein, auch wenn ein paar unnütze Dinge dabei sind.

Fazit für den Alltag

Die Studie sagt uns im Grunde: Vertraue dem großen Netz.

In der modernen Medizin-Datenanalyse ist es oft besser, einen riesigen Korb mit allen möglichen Informationen zu nehmen und sie durch einen guten Filter (die Sicherheits-Checks) laufen zu lassen, als zu versuchen, mit der Hand nur die „richtigen" Dinge herauszufischen.

Die Angst, dass unnütze Daten (Instrumente) die Ergebnisse ruinieren, ist in der Praxis oft übertrieben. Solange man die grundlegenden Warnsignale beachtet, führt der Weg des „Alles-inkludieren" zu besseren und ehrlicheren Ergebnissen als der Weg des „Aussortierens".

Kurz gesagt: Es ist besser, ein bisschen Unordnung im Korb zu haben, als wichtige Schätze zu verpassen.

Technische Zusammenfassung

Titel: Bias und Varianz bei der Adjustierung für Instrumente (Bias and Variance of Adjusting for Instruments)

Autoren: George Hripcsak et al. (Columbia University, OHDSI, VA, Washington University, UPenn, UCLA, Johnson & Johnson)

---

1. Problemstellung

In der beobachtenden Forschung (Observational Research) wird die Propensity-Score-Adjustierung häufig eingesetzt, um Verzerrungen durch Confounder (Störfaktoren) zu minimieren. Eine langjährige Debatte besteht jedoch darüber, welche Kovariaten in das Propensity-Modell aufgenommen werden sollen:

• Selektive Auswahl: Nur eine kleine, von Experten ausgewählte Menge an Confoundern.
• Umfassende Auswahl: Einbeziehung aller verfügbaren prä-treatment Kovariaten (z. B. Large-Scale Propensity Score, LSPS).

Ein zentrales Risiko der umfassenden Auswahl ist die unbeabsichtigte Einbeziehung von Instrumentvariablen. Instrumente sind Variablen, die mit der Behandlung assoziiert sind, aber keinen direkten Einfluss auf das Ergebnis haben.

• Theoretisches Problem: Die Adjustierung für Instrumente in Gegenwart von nicht-adjustierten Confoundern kann den Bias der Effekt-Schätzung verstärken (Bias Amplification) und die Varianz der Schätzung erhöhen.
• Praktisches Dilemma: Es ist oft schwierig, Instrumente von echten Confoundern zu unterscheiden. Die Frage ist, unter welchen Bedingungen die Einbeziehung von Instrumenten (die als "Nebenprodukt" der umfassenden Suche nach Confoundern auftreten) die Schätzung so stark verzerrt, dass sie den Nutzen der Confounder-Kontrolle überwiegt.

2. Methodik

Die Autoren führten eine umfangreiche Simulation durch, um die Betriebscharakteristiken der Propensity-Score-Adjustierung in Anwesenheit von Instrumenten und nicht-adjustierten Confoundern zu quantifizieren.

• Simulationsdesign:
  • Datenstruktur: Es wurden folgende Variablen definiert: Confounder ($X$), gemessenes Instrument ($Z$), nicht gemessenes Instrument ($U$), Behandlung ($T$) und Ergebnis ($Y$).
  • Stärkenparameter: Die Stärke der Confounding ($C, D$), die Stärke des Instruments ($B$) und der Behandlungseffekt ($E=0.5$) wurden variiert.
  • Konstante Varianz: Um den Effekt des Confounders konstant zu halten, wurde die Varianz der Behandlung durch das gemessene Instrument ($Z$) und das nicht gemessene Instrument ($U$) so balanciert, dass die Gesamtvarianz konstant blieb ($B^2 \sigma_Z^2 + R^2 \sigma_U^2 = \text{konstant}$).
  • Stichprobengröße: $N = 200.000$.
  • Modelle: Es wurden vier logistische Regressionsmodelle verglichen:
    1. Rohmodell (keine Kovariaten).
    2. Nur Instrument ($Z$).
    3. Nur Confounder ($X$).
    4. Confounder und Instrument ($X + Z$).
• Diagnostics (LSPS-Kontext):
  • Korrelation: Pearson-Korrelationskoeffizient zwischen Instrument und Behandlung wurde berechnet. Der LSPS-Threshold liegt bei $0.5$ (Analysen werden abgebrochen, wenn dieser überschritten wird).
  • Equipoise (Preference Score): Ein Maß für die Überlappung der Propensity-Scores, um zu prüfen, ob eine Kombination von Instrumenten eine starke Assoziation mit der Behandlung erzeugt.
• Szenarien:
  1. Einzelnes Instrument mit variierender Stärke ($B$).
  2. Aggregation von 10 unabhängigen Instrumenten mit gleicher Stärke.

3. Wichtige Beiträge

• Quantifizierung des Bias: Die Studie liefert empirische Daten darüber, wie stark der Bias durch die Adjustierung von Instrumenten tatsächlich wird, wenn diese bestimmte diagnostische Schwellenwerte (Korrelation < 0.5, Equipoise > 0.5) erfüllen.
• Validierung von LSPS-Diagnostik: Die Arbeit testet spezifisch die Wirksamkeit der LSPS-Diagnostik (Korrelationstest und Equipoise-Test) als Filtermechanismus.
• Vergleich von Bias vs. Varianz: Es wird gezeigt, dass der Anstieg des Bias durch Instrumente oft geringer ist als der Bias, der durch das Nicht-Adjustieren von Confoundern entsteht.

4. Ergebnisse

• Bias-Verhalten:
  • Das Modell, das nur den Confounder adjustiert, liefert die korrekte Schätzung (Ground Truth: 0.5).
  • Das Rohmodell zeigt einen Bias durch Confounding (ca. 0.6).
  • Kernbefund: Selbst wenn die Varianz der Behandlung, die durch das Instrument erklärt wird, über 20-mal höher ist als die durch den unadjustierten Confounder, führt die Adjustierung für das Instrument nur zu einer geringen zusätzlichen Verschiebung der Effekt-Schätzung.
  • Bei einer Instrumentenstärke, die eine Korrelation von ca. 0.5 und ein Equipoise von > 0.5 ergibt (LSPS-Grenzwerte), stieg der Bias nur um 50 % des ursprünglichen Confounding-Bias an (von 0.6 auf 0.65).
• Varianz-Verhalten:
  • Die Adjustierung für Instrumente erhöht die Varianz der Schätzung.
  • Auch bei starken Instrumenten (Korrelation ~0.5) blieb die Varianzsteigerung moderat (unter 50 % über dem Basisniveau).
  • Die Kombination aus Confounder- und Instrumenten-Adjustierung führte zu einer additiven, aber nicht explosiven Varianzsteigerung.
• Multiple Instrumente:
  • Bei 10 Instrumenten blieb der Bias unter der Schwelle des Confounding-Bias, solange das Equipoise > 0.5 (bzw. sogar bis 0.475) war.
  • Der Equipoise-Score erwies sich als effektives Maß, um die kumulative Wirkung mehrerer schwacher Instrumente zu erkennen, selbst wenn die Einzelkorrelationen niedrig waren (z. B. 0.153).

5. Signifikanz und Schlussfolgerung

• Befürwortung von LSPS: Die Ergebnisse stützen die Praxis der Large-Scale Propensity Score (LSPS)-Adjustierung. Die Sorge, dass die Einbeziehung vieler Kovariaten (und damit potenzieller Instrumente) die Ergebnisse verfälscht, wird als übertrieben angesehen, solange die LSPS-Diagnostik angewendet wird.
• Trade-off: Der Gewinn durch das Erfassen von (oft unbekannten) Confoundern überwiegt den Nachteil der leichten Bias-Verstärkung durch schwache Instrumente.
• Empfehlung: Forscher sollten nicht versuchen, eine kleine, "perfekte" Menge an Confoundern manuell zu identifizieren, da dies oft zu verpassten Confoundern führt. Stattdessen sollte ein breiter Ansatz mit automatisierten Diagnostics (Korrelation < 0.5, Equipoise > 0.5) gewählt werden.
• Konsistenz: Diese Simulation bestätigt frühere empirische Studien, die zeigten, dass die Adjustierung für viele Kovariaten zu weniger verzerrten Ergebnissen führt als manuelle Selektion, selbst wenn dabei Instrumente enthalten sind.

Zusammenfassend zeigt die Studie, dass unter den Bedingungen der LSPS-Diagnostik die Adjustierung für Instrumente nur einen geringen zusätzlichen Bias verursacht, der im Vergleich zum Risiko des unadjustierten Confounding vernachlässigbar ist.