Using large language models for sensitivity analysis in causal inference: cases studies on Cornfield inequality and E-value

Titel: Nutzung von Large Language Models (LLMs) für die Sensitivitätsanalyse in der kausalen Inferenz: Fallstudien zur Cornfield-Ungleichung und zum E-Wert

1. Problemstellung

In Beobachtungsstudien ist die Schätzung kausaler Effekte zwischen Exposition und Outcome eine zentrale Herausforderung, da die Annahme „keine nicht gemesseten Confounder" (unmeasured confounding) oft nicht erfüllt ist. Um die Robustheit beobachteter Assoziationen gegenüber solchen nicht gemessenen Störfaktoren zu bewerten, wurden Methoden wie die Cornfield-Ungleichung und der E-Wert entwickelt.

• Herausforderung: Die Berechnung und insbesondere die Interpretation dieser Methoden sind für Kliniker und interdisziplinäre Forscher oft komplex und schwierig.
• Fragestellung: Können Large Language Models (LLMs) als zugängliche Werkzeuge dienen, um diese Sensitivitätsanalysen durchzuführen, E-Werte korrekt zu berechnen und plausible nicht gemessene Confounder zu identifizieren? Bisher wurde die Zuverlässigkeit von LLMs in diesem spezifischen Kontext noch nicht systematisch untersucht.

2. Methodik

Die Studie evaluiert vier weit verbreitete LLMs (ChatGPT, Claude, DeepSeek und Gemini) anhand von Fallstudien aus vier verschiedenen Bereichen (Rauchen, Rückenschmerzen, Alzheimer, Umweltgesundheit).

• Datengrundlage: Es wurden vier veröffentlichte Beobachtungsstudien ausgewählt, die Expositionen, Outcomes, gemessene Confounder und Effektgrößen (z. B. Risikoverhältnisse, Hazard Ratios) klar dokumentierten. Insgesamt wurden 11 E-Werte aus diesen Studien extrahiert.
• Prompt-Strategie: Die Autoren entwickelten strukturierte Prompts, um die LLMs als „Experten für Epidemiologie und kausale Inferenz" zu instruieren. Die Prompts umfassten drei Hauptaufgaben:
  1. Quantitative Berechnung: Berechnung des E-Werts basierend auf den bereitgestellten Effektgrößen (ohne explizite Formelvorgabe, um die autonome Rechenfähigkeit zu testen).
  2. Qualitative Interpretation: Bewertung der Robustheit der Ergebnisse gegenüber nicht gemessenen Confoundern unter Berücksichtigung sowohl der Cornfield-Ungleichung als auch des berechneten E-Werts. Die Modelle sollten zwischen „unwahrscheinlich", „möglich" und „hochwahrscheinlich" unterscheiden.
  3. Explorative Identifikation: Vorschlag von drei potenziellen nicht gemessenen Confoundern, die biologisch oder epidemiologisch plausibel sind.
• Implementierung: Die Inferenz erfolgte über APIs mit einer Temperatur von 0 (zur Minimierung von Zufälligkeit und Halluzinationen) und einem Token-Limit von 2000. Die Ergebnisse wurden mit den Originalwerten der Studien (Ground Truth) verglichen.

3. Wichtige Ergebnisse

• Berechnungsgenauigkeit (Quantitativ):

  • ChatGPT, Claude und Gemini konnten die E-Werte in allen 11 Fällen exakt berechnen (Bias = 0,0). Sie leiteten die Formel korrekt aus dem Kontext ab, obwohl sie nicht explizit angegeben wurde.
  • DeepSeek zeigte kleine, aber konsistente Verzerrungen (Bias zwischen -0,01 und 0,23) gegenüber den wahren Werten.

• Qualitative Interpretation (Robustheit):

  • Die Modelle ChatGPT, Claude und Gemini lieferten differenzierte Schlussfolgerungen, die mit der Größe der Effektgrößen und den E-Werten übereinstimmten. Bei großen E-Werten (z. B. 4,25) wurde die Rolle nicht gemessener Confounder als „unwahrscheinlich" eingestuft, bei kleineren Werten als „möglich".
  • DeepSeek neigte dazu, unabhängig von der Effektgröße oder dem E-Wert pauschal zu konkludieren, dass nicht gemessene Confounding „möglich" sei, und zeigte weniger Differenzierungsvermögen.
  • Nuancen: Bei sehr kleinen E-Werten (< 1,4) zeigten sich Unterschiede zwischen ChatGPT und Claude: Claude tendierte hier eher zu „hochwahrscheinlich", während ChatGPT bei „möglich" blieb.

• Identifikation von Confoundern:

  • Alle vier Modelle schlugen biologisch und epidemiologisch plausible nicht gemessene Confounder vor (z. B. genetische Prädisposition, berufliche Expositionen, Lebensstilfaktoren).
  • Unterschiede im Detailgrad: Claude, DeepSeek und Gemini lieferten spezifischere Vorschläge (z. B. „Fischkonsum" oder „Natriumaufnahme"), während ChatGPT tendenziell allgemeinere Begriffe verwendete.

4. Hauptbeiträge

1. Erstbewertung: Dies ist die erste Studie, die systematisch die Fähigkeit von LLMs zur Durchführung von Sensitivitätsanalysen (Cornfield-Ungleichung und E-Wert) untersucht.
2. Validierung der Rechenleistung: Es wurde gezeigt, dass fortschrittliche LLMs komplexe statistische Formeln (E-Wert) autonom und korrekt anwenden können, wenn sie mit den richtigen Kontextdaten versorgt werden.
3. Entwicklung von Prompts: Die Autoren stellen eine strukturierte Prompt-Strategie bereit, die LLMs anleitet, quantitative Berechnungen mit qualitativer epidemiologischer Urteilsfähigkeit zu verbinden.
4. Differenzierung: Im Gegensatz zu vielen Originalstudien, die oft eine einzige pauschale Schlussfolgerung für mehrere Expositionen ziehen, konnten die LLMs feine Unterschiede in der Robustheit basierend auf der Effektgröße erkennen.

5. Signifikanz und Implikationen

Die Studie demonstriert, dass LLMs unter Anleitung durch strukturierte Prompts effektive Assistenten für die Bewertung nicht gemessener Confounding in Beobachtungsstudien sein können.

• Für die Praxis: Die Tools können Kliniker und Forscher unterstützen, die Unsicherheit ihrer Ergebnisse besser zu quantifizieren und die Studiendesigns zu verbessern, indem sie potenzielle Lücken in der Messung von Confoundern aufzeigen.
• Zukunftsausblick: Obwohl die Studie nur vier Fallstudien umfasste, legt sie den Grundstein für den breiteren Einsatz von KI in der kausalen Inferenz. Die entwickelten Prompts können als Vorlage dienen, um die Zuverlässigkeit von Beobachtungsstudien in der klinischen und öffentlichen Gesundheitsforschung zu stärken.

Fazit: LLMs sind in der Lage, Sensitivitätsanalysen präzise durchzuführen und liefern interpretierbare, kontextbezogene Ergebnisse, die die menschliche Entscheidungsfindung in der epidemiologischen Forschung unterstützen können.