Bias in respiratory diagnoses by Large Language Models (LLMs) in Low Middle Income Countries (LMICs)

Die Studie zeigt, dass große Sprachmodelle bei der Diagnose von Atemwegserkrankungen in Ländern mit niedrigem und mittlerem Einkommen aufgrund einer Verzerrung zugunsten der Epidemiologie hochentwickelter Länder weniger relevante Vorschläge machen als lokale Ärzte, selbst wenn der Standort explizit angegeben wird.

Das Wesentliche

🌍 Der digitale Arzt, der nur Amerika kennt

Stellen Sie sich vor, Sie haben einen super-intelligenten, digitalen Assistenten (einen sogenannten „Künstlichen Intelligenz"-Chatbot), der wie ein sehr gebildeter Arzt wirkt. Dieser Assistent wurde mit Millionen von Büchern, Artikeln und medizinischen Berichten trainiert, um Krankheiten zu erkennen.

Das Problem: Fast alle diese Bücher und Berichte kamen aus reichen Ländern wie den USA oder Großbritannien. Der digitale Arzt hat also nur gelernt, wie Krankheiten dort aussehen. Er weiß nicht viel über die Welt in Ländern mit weniger Geld (den sogenannten „LMICs" wie Ghana, Indien oder Brasilien).

🕵️‍♂️ Das Experiment: Ein Test mit fünf Fällen

Die Forscher haben sich fünf kurze, knifflige Krankengeschichten ausgedacht. Diese Geschichten waren so geschrieben, dass die richtige Diagnose davon abhängt, wo der Patient lebt.

• Beispiel: Ein Patient hat Husten und Fieber. In Großbritannien ist das vielleicht eine Lungenentzündung. In Ghana könnte es aber Tuberkulose oder eine andere tropische Krankheit sein, die es in Großbritannien gar nicht gibt.

Dann haben sie zwei Gruppen gebeten, die Diagnose zu stellen:

1. Echte Ärzte aus fünf verschiedenen Ländern (UK, Ghana, Indien, Jordanien, Brasilien).
2. Die KI-Chatbots (wie ChatGPT, Google Gemini, etc.).

🌐 Der Trick mit der „Brille"

Die Forscher haben die KI auf zwei Arten getestet:

1. Der „VPN-Trick": Sie haben die KI so getarnt, als würde sie sich tatsächlich in Ghana oder Indien befinden (durch einen digitalen Tunnel, der ihre Herkunft verschleiert).
2. Der „Hinweis": Sie haben der KI extra in den Prompt geschrieben: „Dieser Patient lebt in Ghana."

Das Ergebnis war überraschend:
Selbst wenn die KI wusste, dass sie sich in Ghana befand, oder wenn sie so getarnt war, als wäre sie dort, hatte sie immer noch die „reiche Welt"-Diagnosen im Kopf.

• Die echten Ärzte in Ghana dachten an viele verschiedene Möglichkeiten (eine breite Palette).
• Die KI dachte nur an die wenigen Möglichkeiten, die in reichen Ländern üblich sind.

🍎 Eine einfache Analogie: Der Supermarkt

Stellen Sie sich vor, die KI ist ein Supermarkt, der nur mit Lebensmitteln aus Europa gefüllt ist.

• Wenn Sie in Europa einkaufen, finden Sie alles, was Sie brauchen (Milch, Brot, Käse).
• Wenn Sie aber nach Afrika reisen und in denselben Supermarkt gehen, um dort einzukaufen, finden Sie keine Bananen, keine Maniok-Wurzeln und keine speziellen Gewürze, die dort üblich sind. Stattdessen finden Sie nur wieder europäisches Brot.

Die KI ist wie dieser Supermarkt. Sie wurde mit „europäischen Daten" gefüllt. Wenn sie versucht, ein Problem in Afrika zu lösen, schlägt sie Lösungen vor, die dort gar nicht verfügbar oder relevant sind. Selbst wenn Sie dem Supermarkt sagen: „Hey, wir sind jetzt in Afrika!", bleiben die Regale voll mit europäischen Produkten.

⚠️ Warum ist das gefährlich?

Wenn ein Arzt in einem Land wie Indien oder Brasilien auf diese KI hört, könnte er eine seltene, aber tödliche Krankheit übersehen, weil die KI sagt: „Das ist wahrscheinlich nur eine Grippe" (weil Grippe in den USA häufiger ist als die lokale Krankheit).

Die Studie zeigt: Die KI ist nicht neutral. Sie hat eine Voreingenommenheit (Bias) zugunsten reicher Länder.

💡 Was ist die Lösung?

Die Autoren sagen:

1. Vorsicht: Wir sollten diese KI-Systeme noch nicht blind in Ländern mit weniger Vertrauen einsetzen, ohne sie vorher dort getestet zu haben.
2. Diversität: Die Firmen, die diese KIs bauen, müssen ihre Datenbanken mit Wissen aus der ganzen Welt füllen, nicht nur aus den USA und Europa.
3. Prüfung: Bevor eine KI als „Arzt" zugelassen wird, muss sie beweisen, dass sie auch in armen Ländern gut funktioniert.

Kurz gesagt: Ein digitaler Arzt, der nur in New York studiert hat, ist vielleicht nicht der beste Arzt für einen Patienten in Nairobi. Wir brauchen KIs, die die ganze Welt verstehen, nicht nur die reiche Hälfte.

Technische Zusammenfassung

Titel: Bias bei respiratorischen Diagnosen durch Large Language Models (LLMs) in Ländern mit niedrigem und mittlerem Einkommen (LMICs)

1. Problemstellung

Kliniker und Patienten nutzen zunehmend Large Language Models (LLMs) zur Unterstützung bei Diagnosen. Da die meisten dieser Modelle (z. B. ChatGPT, Claude, Gemini) primär auf Daten aus Nordamerika und Europa trainiert wurden, besteht die Gefahr einer systematischen Verzerrung (Bias) zugunsten von High-Income Countries (HICs).
Die zentrale Forschungsfrage lautet: Sind die diagnostischen Vorschläge aktueller LLMs in den klinischen Kontexten von Ländern mit niedrigem und mittlerem Einkommen (LMICs) relevant und akkurat? Die Autoren befürchten, dass die Trainingsdaten die globale Epidemiologie nicht abbilden, was zu Fehldiagnosen oder dem Übersehen lokaler, häufiger Erkrankungen führen könnte.

2. Methodik

Die Studie verfolgte einen vergleichenden Ansatz zwischen menschlichen Experten und KI-Modellen:

• Studiendesign: Es wurden fünf kurze, absichtlich mehrdeutige klinische Fallvignetten (Fokus: respiratorische Notfälle) erstellt, bei denen die lokale Epidemiologie die wahrscheinlichste Diagnose beeinflusst.
• Teilnehmer (Mensch): 21 Ärzte aus fünf Ländern (UK, Ghana, Indien, Jordanien, Brasilien) wurden gebeten, unabhängig voneinander die vier wahrscheinlichsten Diagnosen für jede Vignette zu nennen. Die Ärzte hatten mindestens zwei Jahre Erfahrung in Pneumologie, Notfallmedizin oder Allgemeinmedizin.
• Teilnehmer (KI): Vier führende LLMs wurden getestet: ChatGPT-4o, Claude 3.5 Sonnet, Google Gemini-2.0-flash-001 und Microsoft Copilot (GPT-4).
• Experimentelle Bedingungen:
  1. VPN-Experiment: Die Modelle wurden über ein Virtual Private Network (VPN) aus den jeweiligen LMICs (Ghana, Indien, Jordanien, Brasilien) abgefragt, um die IP-Adresse zu maskieren.
  2. Prompt-Experiment: Den Modellen wurden dieselben Vignetten gegeben, jedoch mit der expliziten Instruktion im Prompt, dass sich der Fall in einem spezifischen LMIC abspielt.
  3. Kontrollgruppe: Alle Tests wurden auch für das UK (HIC) durchgeführt.
• Datenauswertung: Alle Diagnosen wurden von zwei Forschern in ICD-11-Codes umgewandelt. Es wurden zwei Metriken berechnet:
  • Coverage (Abdeckung): Der Anteil der von Ärzten genannten Diagnosen, die auch von der KI genannt wurden.
  • Agreement (Übereinstimmung): Der Anteil der von der KI genannten Diagnosen, die auch von den Ärzten in Betracht gezogen wurden.
• Statistik: Vergleich der Überlappungsraten zwischen UK und LMICs mittels Chi-Quadrat-Test.

3. Wichtige Ergebnisse

• Diagnosevielfalt: Die 21 Ärzte lieferten insgesamt 106 einzigartige Diagnosen, während die LLMs (mit VPN) nur 53 einzigartige Diagnosen generierten.
• Bias in LMICs: Die LLMs deckten nur 32,0 % (95%-KI: 23,1–42,3 %) der von Ärzten in LMICs genannten Diagnosen ab. Im Vergleich dazu lag die Abdeckung für das UK bei 50,0 % (95%-KI: 32,6–67,4 %).
• Statistische Signifikanz: Der Unterschied in der Leistung zwischen HIC und LMIC war statistisch signifikant (Chi-Quadrat p = 0,028).
• Ineffektivität von Prompting: Die Leistung der LLMs verbesserte sich nicht signifikant, wenn dem Modell im Prompt mitgeteilt wurde, dass sich der Fall in einem LMIC abspielt. Der Bias persistierte auch bei Nutzung eines VPN.
• Schlussfolgerung der Daten: Ärzte in LMICs berücksichtigen ein breiteres Spektrum an Differentialdiagnosen, das der lokalen Epidemiologie entspricht, während LLMs ein engeres, HIC-zentriertes Spektrum anbieten.

4. Hauptbeiträge und Signifikanz

• Erstmalige Untersuchung: Dies ist laut den Autoren die erste Studie, die spezifisch den diagnostischen Bias von LLMs in LMICs untersucht.
• Nachweis systemischer Verzerrung: Die Studie belegt, dass aktuelle "Foundational Models" in der medizinischen Diagnostik nicht neutral sind, sondern die Epidemiologie von High-Income Countries widerspiegeln. Dies gilt selbst bei technischer Anpassung (VPN) oder kontextueller Instruktion (Prompting).
• Warnung vor klinischem Einsatz: Die Autoren argumentieren, dass KI-gestützte Diagnosetools in LMICs derzeit nicht sicher für den klinischen Einsatz sind, es sei denn, sie wurden spezifisch für diese Regionen validiert.
• Implikationen für die KI-Entwicklung:
  • Entwickler müssen ihre Modelle vor dem Release auf LMIC-Bias testen.
  • Es wird ein neuer Benchmark vorgeschlagen, um Modelle kontinuierlich auf ihre Eignung für globale Gesundheitskontexte zu evaluieren.
  • Die Gefahr besteht, dass solche Tools klinische Notizen oder Diagnosen verfälschen, indem sie HIC-Erkrankungen überbetonen und lokale Krankheitsbilder ignorieren.

Fazit

Die Studie warnt eindringlich vor dem unkritischen Einsatz generativer KI in der Medizin in Ländern mit niedrigem und mittlerem Einkommen. Die aktuellen Modelle zeigen eine signifikante "High-Income Country"-Bias, die zu einer Unterrepräsentation lokaler Differentialdiagnosen führt. Eine Anpassung durch reine Prompt-Engineering-Maßnahmen reicht nicht aus; eine fundamentale Neuausrichtung der Trainingsdaten und eine rigorose lokale Validierung sind notwendig, bevor diese Technologien sicher eingesetzt werden können.