🤖 machine learning

Eliciting associations between clinical variables from LLMs via comparison questions across populations

Dieser Artikel stellt eine Methode vor, die strukturierte Fragen zu Patiententriplets und statistische Modellierung nutzt, um stabile, klinisch interpretierbare Korrelationen aus großen Sprachmodellen zu gewinnen, wodurch eine invariante kausale Vorhersage ermöglicht wird, um konservative kandidate kausale Zusammenhänge über verschiedene Patientensubpopulationen hinweg zu identifizieren, ohne auf die Modellinterna zugreifen zu müssen.

Ursprüngliche Autoren: Fabian Kabus, Kian Kordtomeikel, Thomas Brox, Heinz Wiendl, Daiana Stolz, Harald Binder

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fabian Kabus, Kian Kordtomeikel, Thomas Brox, Heinz Wiendl, Daiana Stolz, Harald Binder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, superschlauen Bibliothekar, der fast jedes je geschriebene medizinische Buch, jede Studie und jeden Artikel gelesen hat. Sie möchten wissen, wie zwei spezifische Gesundheitsfaktoren miteinander verbunden sind – zum Beispiel: „Bedeutet das Rauchen mehrerer Zigaretten normalerweise, dass Ihre Lungen schwächer sind?"

Wenn Sie den Bibliothekar direkt fragen: „Wie stark ist der Zusammenhang zwischen Rauchen und schwachen Lungen?", könnte er Ihnen eine Zahl nennen. Doch es gibt ein Problem: Der Bibliothekar könnte raten, sich nur an ein bestimmtes Buch erinnern oder sogar versuchen, Ihnen zu gefallen, indem er sagt, was er denkt, dass Sie hören wollen. Er könnte auch schlecht im Rechnen sein und Ihnen eine Zahl nennen, die sich richtig anhört, aber nicht dem entspricht, was er tief im Inneren „weiß".

Dieser Artikel schlägt einen cleveren, indirekten Weg vor, um den Bibliothekar zu befragen und herauszufinden, was er wirklich über diese Zusammenhänge weiß, ohne jemals seine internen Notizen oder sein Gehirn zu sehen.

Das „Ähnlichkeitsspiel" (Tripel-Fragen)

Anstatt nach einer Zahl zu fragen, spielen die Forscher ein Spiel: „Welches ist ähnlicher?"

Stellen Sie sich vor, Sie zeigen dem Bibliothekar drei erfundene Patienten:

Patient A: Raucht 10 Zigaretten pro Tag, hat eine durchschnittliche Lungenfunktion.
Patient B: Raucht 10 Zigaretten pro Tag, hat eine sehr schlechte Lungenfunktion.
Patient C: Raucht 20 Zigaretten pro Tag, hat eine unbekannte Lungenfunktion.

Sie fragen: „Ist Patient C Patient A oder Patient B ähnlicher?"

Wenn der Bibliothekar „Patient A" sagt, ignoriert er das starke Rauchen von Patient C.
Wenn er „Patient B" sagt, erkennt er, dass Patient C, da er viel raucht, wahrscheinlich schlechtere Lungen hat, genau wie Patient B.

Indem die Forscher die Zahlen leicht ändern (z. B. Patient C lässt 15, dann 25, dann 30 Zigaretten rauchen) und beobachten, wie die Wahl des Bibliothekars von A zu B kippt, können sie eine „Entscheidungslinie" kartieren. Diese Linie verrät ihnen, wie stark der Bibliothekar Rauchen mit der Lungengesundheit verbindet. Es ist so, als würde man testen, wie viel Gewicht man auf eine Waage legen muss, um das Gleichgewicht zu kippen.

Der Trick der „verschiedenen Nachbarschaften" (Geförderte Umgebungen)

Die Forscher stellten fest, dass der Bibliothekar je nach Kontext unterschiedliche „Meinungen" haben könnte. Daher schufen sie verschiedene „Nachbarschaften" oder Szenarien in ihren Fragen.

Szenario 1: „Stellen Sie sich eine Gruppe von Patienten vor, die starke Raucher sind und in einer Stadt mit Smog leben."
Szenario 2: „Stellen Sie sich eine Gruppe von Patienten vor, die nicht rauchen, aber in einem sehr verschmutzten Gebiet leben."
Szenario 3: „Stellen Sie sich eine Gruppe von Patienten vor, die nicht rauchen und in sauberer, ländlicher Luft leben."

Sie spielten das Ähnlichkeitsspiel in jedem dieser drei Szenarien. Wenn die „Entscheidungslinie" des Bibliothekars (wie er die Variablen verbindet) unabhängig davon, in welcher Nachbarschaft er sich befindet, gleich bleibt, deutet dies auf einen starken, kausalen Zusammenhang hin. Es ist so, als würde man sagen: „Egal wohin Sie gehen, starkes Rauchen führt immer zu schlechten Lungen."

Wenn sich die Linie zwischen den Nachbarschaften wild ändert, deutet dies darauf hin, dass der Zusammenhang schwach ist oder nur ein Zufall ist (eine „scheinbare Korrelation").

Was sie fanden

Die Forscher testeten dies in zwei realen medizinischen Bereichen: COPD (eine Lungenerkrankung) und Multiple Sklerose (eine Nervenkrankheit).

Es funktioniert besser als direkte Fragen: Als sie den Bibliothekar direkt nach Zahlen fragten, waren die Antworten chaotisch und inkonsistent. Doch als sie das „Ähnlichkeitsspiel" spielten, waren die Antworten glatt, stabil und medizinisch sinnvoll.
COPD-Ergebnisse: Die Methode fand starke, logische Zusammenhänge. Beispielsweise bestätigte sie, dass die Rauchergeschichte mit einer verminderten Lungen-Diffusion (wie gut die Lunge Sauerstoff austauscht) verbunden ist und dass Luftverschmutzung mit dem gesamten Lungenvolumen verbunden ist.
MS-Ergebnisse: Die Zusammenhänge waren schwächer und schwerer zu finden, was die Autoren darauf zurückführten, dass die medizinische Literatur zu MS zerklüfteter oder komplexer ist als für COPD.
Finden der „wahren" Ursachen: Durch den Trick der „verschiedenen Nachbarschaften" konnten sie das Rauschen filtern. Sie identifizierten eine kleine, sehr sichere Liste von Verbindungen, die echte Ursachen zu sein schienen (wie Rauchen, das Lungen schädigt), und nicht nur zufällige Assoziationen.

Das Fazit

Der Artikel behauptet nicht, neue medizinische Fakten entdeckt zu haben. Stattdessen zeigt er ein neues Werkzeug zum Stellen von Fragen an KI-Modelle.

Stellen Sie es sich so vor: Wenn Sie wissen wollen, was eine Person wirklich glaubt, fragen Sie sie nicht einfach: „Was denken Sie?" (sie könnten lügen oder raten). Fragen Sie sie stattdessen, in verschiedenen Situationen zwischen Optionen zu wählen. Indem Sie beobachten, wie sie wählen, können Sie ihre wahren zugrunde liegenden Überzeugungen herausfinden.

Die Autoren zeigten, dass wir durch die Verwendung dieser „wahlbasierten" Methode sinnvolle medizinische Muster aus KI-Modellen sicher extrahieren können, ohne einsehen zu müssen, wie das Gehirn der KI im Inneren funktioniert, und ohne sich von der KI täuschen zu lassen, die versucht, uns zu gefallen.

Technische Zusammenfassung: Ableitung von Assoziationen zwischen klinischen Variablen aus LLMs mittels Vergleichsfragen

Problemstellung
Large Language Models (LLMs) werden auf einer umfangreichen biomedizinischen Literatur trainiert, die diverse Patientengruppen umfasst und potenziell komplexe Korrelations- und Kausalstrukturen zwischen klinischen Variablen kodiert. Die direkte Abfrage von LLMs nach spezifischen statistischen Zusammenhängen (z. B. „Wie hoch ist die Korrelation zwischen X und Y in der Population Z?") ist jedoch mit erheblichen Fallstricken verbunden. Die direkte Elicitierung liefert häufig Antworten, die auf spezifischem Abruf statt auf aggregiertem Wissen basieren, leidet unter Schmeichelei (Anpassung an wahrgenommene Überzeugungen des Nutzers), ist empfindlich gegenüber der Reihenfolge der Prompts und kann halluzinierte oder nachträglich rationalisierte Ausgaben produzieren. Darüber hinaus können LLMs nicht als selbstreflektierende Agenten behandelt werden; sie müssen als experimentelle Subjekte betrachtet werden, deren interne Repräsentationen durch ihr Verhalten erschlossen werden müssen. Die Herausforderung besteht darin, aussagekräftige Assoziationsstrukturen und potenzielle kausale Zusammenhänge aus LLMs zu gewinnen, ohne Zugriff auf ihre internen Aktivierungen oder Gewichte zu haben, und dabei populationspezifische Variationen zu berücksichtigen.

Methodik
Die Autoren schlagen einen Rahmen vor, der das LLM als experimentelles Subjekt behandelt, strukturierte Vergleichsfragen zur Inferenz impliziter Korrelationen nutzt und Invariant Causal Prediction (ICP) anwendet, um robuste kausale Kandidaten zu identifizieren.

Triplet-Vergleichsfragen:
Anstatt nach einer numerischen Korrelation zu fragen, wird das LLM mit Triplet-Fragen befragt, die drei künstliche Patienten (1, 2 und 3) einbeziehen.
- Aufbau: Für ein Variablenpaar $X_j$ und $X_k$ werden die Werte von $X_j$ für alle drei Patienten spezifiziert. Der Wert von $X_k$ wird nur für Patient 3 spezifiziert.
- Aufgabe: Dem LLM wird gefragt, ob Patient 3 Patient 1 oder Patient 2 ähnlicher ist, wobei der Wert von $X_k$ berücksichtigt wird.
- Mechanismus: Durch systematisches Variieren der Werte von $X_k$ für Patient 3 bei konstant gehaltenen Referenzpatienten beobachtet die Methode, wie sich das „Gleichgewicht" der Ähnlichkeitsentscheidung verschiebt. Wenn $X_j$ und $X_k$ in der Repräsentation des LLM stark korreliert sind, wird der Wert von $X_k$ die Entscheidung erheblich beeinflussen.
Surrogat-Entscheidungsmodell:
Die binären Antworten (Patient 1 vs. Patient 2) werden mittels eines statistischen Surrogats modelliert. Die Autoren gehen von einer „rationalen" LLM-Repräsentation aus, bei der das Modell eine Schätzung mit umgekehrter Varianz durchführt, um den wahren Zustand eines Patienten basierend auf verrauschten Messungen und indirekten Hinweisen vorherzusagen.
- Die Wahrscheinlichkeit, Patient 2 zu wählen, wird als logistische Funktion der Differenz zwischen dem geschätzten Zustand von Patient 3 und einem Referenzmittelpunkt modelliert.
- Die angepassten logistischen Koeffizienten ( $\beta$ ) stehen in einem mathematischen Zusammenhang mit der zugrunde liegenden Populationskorrelation ( $\rho$ ).
- Symmetrischer Schätzer: Um störende Terme im Zusammenhang mit der Variablenskalierung und der relativen Gewichtung von Hinweisen zu eliminieren, vertauscht die Methode in einem zweiten Satz von Abfragen die Rollen von $X_j$ und $X_k$ . Die Korrelation wird aus dem Produkt der Steigungsquotienten der beiden gerichteten Abfragen rekonstruiert, was eine symmetrische Schätzung $\hat{\rho}$ ergibt.
Gepromptete Umgebungsverschiebungen und ICP:
Um von der Korrelation zur kausalen Inferenz zu gelangen, setzt die Methode Invariant Causal Prediction (ICP) ein.
- Synthetische Umgebungen: Die Autoren erstellen verschiedene „Umgebungen", indem sie den Prompt-Text variieren, um unterschiedliche Subpopulationen zu spezifizieren (z. B. unterschiedliche Mittelwerte für bestimmte Variablen wie Rauchgeschichte oder Luftverschmutzungsexposition).
- ICP-Anwendung: Für jede gepromptete Umgebung werden Korrelationsmatrizen geschätzt. ICP testet Teilmengen von Kandidatenprädiktoren, um festzustellen, ob ihre Regressionssteigungen auf eine Zielvariable über diese Umgebungen hinweg invariant bleiben. Scheinkorrelationen brechen typischerweise unter Verteilungsverschiebungen, während wahre kausale Zusammenhänge stabil bleiben.
- Konservatives Filtern: Eine Variable wird nur dann als Kandidaten-Elternvariable beibehalten, wenn sie aus keiner invarianten Menge ausgeschlossen werden kann, was eine konservative Menge kausaler Kandidaten sicherstellt.

Hauptbeiträge

Triplet-basierte Extraktion: Ein neuartiger Rahmen zur Gewinnung paarweiser Korrelationen aus LLM-Ähnlichkeitsurteilen ohne Zugriff auf die Modellinterna (Aktivierungen oder Gewichte).
Gepromptete Umgebungen zur kausalen Bewertung: Eine Methode zur Schätzung umgebungsspezifischer Korrelationen durch Manipulation der Prompt-Beschreibungen von Subpopulationen, die die Anwendung von ICP auf aus LLMs abgeleitete Daten ermöglicht.
Klinische Demonstration: Validierung in zwei unterschiedlichen klinischen Domänen: Chronisch obstruktive Lungenerkrankung (COPD) und Multiple Sklerose (MS).

Ergebnisse
Die Methode wurde mit den Modellen gpt-oss-120b und gpt-oss-20b von OpenAI an Datensätzen für COPD (Lungenfunktionsmarker) und MS (Biomarker und klinische Skalen) evaluiert.

Modellanpassung und Stabilität: Das Surrogat-Entscheidungsmodell passte sich gut an die binären Triplet-Antworten an. Die Entscheidungsoberflächen waren glatt und monoton, mit Entscheidungsgrenzen, die mit den erwarteten Korrelationsvorzeichen übereinstimmten (z. B. negative Steigungen für positiv korrelierte Paare).
Klinische Plausibilität:
- COPD: Die extrahierten Korrelationen zeigten eine starke, kohärente Struktur. Spirometrie-Variablen (FEV1, FEV1/FVC) bildeten einen dichten Block, und bekannte physiologische Zusammenhänge (z. B. negative Assoziation zwischen FEV1/FVC und Luftfängermetriken) wurden rekonstruiert.
- MS: Die Korrelationen waren im Allgemeinen schwächer als bei COPD, wahrscheinlich aufgrund spärlicherer oder heterogenerer Literatur in den Trainingsdaten. Dennoch wurden etablierte Paare (z. B. T25FW und T2-LV) rekonstruiert.
Vergleich mit direkten Abfragen: Triplet-basierte Schätzungen waren deutlich weniger verrauscht und stabiler als direkte numerische Abfragen. Direkte Abfragen erzeugten gestreute Verteilungen (Standardabweichungen 0,1–0,3) und waren weniger empfindlich gegenüber Umgebungsverschiebungen, wohingegen Triplet-Schätzungen über Umgebungen hinweg angemessen variierten, was eine Voraussetzung für ICP ist.
Kausale Inferenz (ICP):
- COPD: ICP identifizierte eine kleine Menge konservativer Kandidaten-Eltern: Pack-Jahre $\to$ DLCO, PM2,5 $\to$ TLC und BMI $\to$ R5-R20. Diese stimmen mit etabliertem klinischem Wissen überein (z. B. Verringerung der Diffusionskapazität durch Rauchen).
- MS: ICP identifizierte T1-black-hole-volume als Elternvariable von EDSS und sGFAP als Elternvariable von 9HPT, was mit meta-analytischen Evidenzen zur Läsionslast und Behinderung übereinstimmt.
Robustheit: Die Schätzungen waren über verschiedene Wahlmöglichkeiten von Referenzwerten hinweg stabil und zeigten eine konsistente relative Struktur über verschiedene Modellgrößen hinweg (120b vs. 20b), wobei das kleinere Modell jedoch etwas niedrigere absolute Korrelationsmagnituden lieferte.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die indirekte Elicitierung mittels Triplet-Vergleichen einen „vorsichtigen Weg" von impliziten Korrelationen in LLMs zu kausalen Aussagen bietet, die mit den Antwortmustern des Modells kongruent sind. Die Bedeutung liegt in:

Überwindung der Grenzen direkter Abfragen: Die Methode vermeidet Halluzinationen und Schmeichelei, die mit direkten numerischen Abfragen verbunden sind, indem sie auf relative Ähnlichkeitsurteile zurückgreift.
Behaviorales Abfragen: Sie behandelt LLMs als experimentelle Subjekte, indem sie ihre interne Repräsentation klinischer Zusammenhänge durch kontrollierte Verhaltensexperimente erschließt, anstatt davon auszugehen, dass sie die Wahrheit selbst berichten können.
Kausale Entdeckung ohne Daten: Sie demonstriert einen Weg, um invariant kausale Vorhersagen unter Verwendung ausschließlich von prompt-engineerten „synthetischen" Umgebungen durchzuführen und damit die Notwendigkeit mehrerer individueller klinischer Datensätze zu umgehen, die oft schwer zu beschaffen sind.

Die Autoren bleiben bescheiden und weisen darauf hin, dass die Methode vom Modell implizierte Assoziationen und nicht empirische klinische Wahrheiten rekonstruiert. Die Übersetzung von angepassten Steigungen in Korrelationen beruht auf spezifischen relationalen Annahmen, und die Studie ist auf zwei Domänen und einen bestimmten Satz von Modellen beschränkt. Dennoch bietet der Rahmen ein praktikables exploratives Werkzeug zur Untersuchung der Assoziationsstruktur, die innerhalb von LLMs repräsentiert ist.

Das „Ähnlichkeitsspiel" (Tripel-Fragen)

Der Trick der „verschiedenen Nachbarschaften" (Geförderte Umgebungen)

Was sie fanden

Das Fazit

Technische Zusammenfassung: Ableitung von Assoziationen zwischen klinischen Variablen aus LLMs mittels Vergleichsfragen

Mehr davon