Bias in respiratory diagnoses by Large Language Models (LLMs) in Low Middle Income Countries (LMICs)

Deze studie toont aan dat grote taalmodellen (LLMs) in laag- en middeninkomenslanden (LMIC's) een significant hogere mate van bias vertonen bij het stellen van respiratoire diagnoses ten opzichte van artsen in deze regio's, zelfs wanneer de locatie expliciet wordt vermeld, wat wijst op een overmatige focus op de epidemiologie van hooginkomenslanden.

De kern

De "Amerikaanse Brillen" van de Medische AI: Waarom slimme robots niet altijd begrijpen wat er in Afrika of Azië gebeurt

Stel je voor dat je een zeer slimme, digitale dokter hebt. Deze robot, een zogenaamde "Large Language Model" (LLM), heeft miljoenen boeken, artikelen en medische dossiers gelezen. Hij kan razendsnel diagnoses stellen en lijkt net zo slim als een menselijke arts. Maar er zit een groot probleem aan deze digitale dokter: hij is opgeleid met boeken die voornamelijk uit Amerika en Europa komen.

Dit onderzoek, gedaan door een groep artsen uit verschillende landen, vraagt zich af: Wat gebeurt er als je deze "Amerikaanse" digitale dokter in een land als Ghana, India of Brazilië gebruikt?

De Proef: Een Medische Quiz

De onderzoekers bedachten vijf korte, vaag geschreven verhalen over patiënten met ademhalingsklachten. Denk aan iemand met koorts, hoesten en een buikpijn. In het echte leven hangt de diagnose sterk af van waar je bent. Een ziekte die in Nederland zeldzaam is, kan in Ghana heel gewoon zijn.

Vervolgens deden ze twee dingen:

1. De Menselijke Test: Ze vroegen echte artsen in het VK, Ghana, India, Jordanië en Brazilië om de vier meest waarschijnlijke diagnoses te geven.
2. De Robot Test: Ze gaven dezelfde verhalen aan vier populaire AI-systemen (zoals ChatGPT en Google Gemini). Ze lieten de AI zelfs denken dat ze in die specifieke landen zaten (door een digitale "vermomming" of VPN te gebruiken), of ze vertelden de AI gewoon: "Je zit nu in Ghana."

Het Resultaat: De Robot mist de lokale kleur

Het resultaat was verrassend en zorgwekkend.

• De Mensen: De echte artsen in de ontwikkelingslanden (LMIC's) dachten breed. Ze noemden een groot aantal verschillende ziektes, waaronder die welke specifiek voorkomen in hun regio. Ze hadden een "brede lens" op hun bril.
• De Robot: De AI-systemen dachten veel smaller. Ze noemden vooral de ziektes die in rijke westerse landen voorkomen. Het was alsof de AI een "smalle lens" had die alleen de wereld zag zoals die in New York of Londen eruit ziet.

Zelfs als je de AI vertelde: "Je zit nu in Ghana, pas daar je antwoord op aan", bleef de AI steken in zijn westerse denkpatroon. Hij gaf ongeveer 32% van de diagnoses die de lokale artsen gaven, terwijl hij in het VK wel 50% van de diagnoses van de Britse artsen raakte.

De Analogie: De Supermarkt

Stel je voor dat je een supermarkt hebt die is opgeleid op de producten die je in een dure winkel in Parijs ziet.

• Als je in Parijs vraagt: "Wat is er te koop?", zal de AI zeggen: "Wijn, kaas en baguette." Dat klopt perfect.
• Maar als je in een dorp in Ghana bent en vraagt: "Wat is er te koop?", zal diezelfde AI misschien nog steeds zeggen: "Wijn en kaas." Hij ziet de lokale producten zoals cassave of tropische vruchten niet, omdat die niet in zijn "Parijse" trainingsboekjes stonden.

De AI denkt dat de wereld eruitziet zoals de rijke wereld, en dat is gevaarlijk in de geneeskunde. Als een patiënt in India ziek is met een tropische ziekte, en de AI denkt alleen aan een westerse longontsteking, kan de behandeling verkeerd zijn.

Wat betekent dit voor ons?

De onderzoekers concluderen dat we nu nog niet blindelings op deze slimme robots moeten vertrouwen in landen die niet rijk zijn.

1. Vooringenomenheid: De AI is niet "neutraal". Hij is vooroordeels omdat hij is getraind op data van de rijke wereld.
2. Geen "One Size Fits All": Wat werkt in Londen, werkt niet automatisch in Lagos.
3. De Oplossing: Bedrijven die deze AI maken, moeten hun producten eerst testen in de landen waar ze worden gebruikt. Ze moeten hun "trainingsboeken" diverser maken, zodat de AI ook begrijpt wat er gebeurt in een ziekenhuis in Brazilië of Jordanië.

Kortom: De digitale dokter is slim, maar hij kijkt nog steeds door een westerse bril. Voordat we hem in elke kliniek ter wereld zetten, moeten we eerst zorgen dat hij ook de wereld buiten het Westen echt begrijpt.

Technische samenvatting

Titel: Bias in respiratoire diagnoses door Large Language Models (LLMs) in Laag- en Midden-Inkomende Landen (LMIC's)

1. Het Probleem

Large Language Models (LLMs) worden steeds vaker ingezet voor diagnostische ondersteuning in de gezondheidszorg. De meeste van deze modellen zijn echter getraind op datasets die voornamelijk afkomstig zijn uit Noord-Amerika en Europa (High-Income Countries, HIC's). Dit creëert het risico op een systematische HIC-bias: de modellen kunnen onnauwkeurige of irrelevante diagnostische suggesties doen wanneer ze worden toegepast in LMIC's, waar de epidemiologie, ziekteprevalentie en klinische presentaties fundamenteel kunnen verschillen. Er is een urgent behoefte om te onderzoeken of deze AI-modellen betrouwbaar zijn in niet-westerse contexten voordat ze routinematig worden ingezet.

2. Methodologie

Het onderzoek volgde een gestructureerde, vergelijkende opzet met de volgende componenten:

• Klinische Vignetten: Er werden vijf korte, intentioneel wat vage klinische casuïstieken ontwikkeld voor de spoedeisende hulp, specifiek gericht op respiratoire aandoeningen. Deze vignetten waren zo ontworpen dat de meest waarschijnlijke diagnose afhankelijk is van de lokale epidemiologie (bijv. een casus met koorts, gewichtsverlies en bloed in de ontlasting, zie Box 1).
• Human Referentiegroep: 21 artsen uit vijf landen (Verenigd Koninkrijk, Ghana, India, Jordanië en Brazilië) gaven onafhankelijk de vier meest waarschijnlijke diagnoses voor elke vignet. De artsen hadden minimaal twee jaar ervaring in longgeneeskunde, spoedeisende hulp of huisartsgeneeskunde.
• LLM-Experimenten: Vier geavanceerde LLM's werden getest (ChatGPT-4o, Claude 3.5 Sonnet, Google Gemini-2.0-flash-001 en Microsoft Copilot GPT-4).
  • Experiment 1 (VPN): De modellen werden benaderd via een Virtual Private Network (VPN) om het IP-adres te maskeren en de locatie te simuleren als respectievelijk het VK of een LMIC.
  • Experiment 2 (Prompt-Context): Dezelfde vignetten werden gegeven, maar met een expliciete instructie in de prompt dat het geval zich in een specifiek LMIC afspeelde.
• Data-analyse: Alle diagnoses werden gecodeerd volgens ICD-11. Er werd gekeken naar:
  • Coverage: Het percentage diagnoses van de artsen dat ook door de LLM werd genoemd.
  • Agreement: Het percentage LLM-diagnoses dat ook door de artsen werd overwogen.
  • Statistische analyse (Chi-kwadraat) om verschillen tussen HIC (VK) en LMIC-groepen te testen.

3. Belangrijkste Resultaten

• Aantal unieke diagnoses: De 21 artsen leverden in totaal 106 unieke diagnoses op. De LLM's leverden aanzienlijk minder variatie: 53 diagnoses (via VPN) en 59 diagnoses (met contextuele prompt).
• Overlapping (Coverage):
  • In het VK (HIC) bedroeg de overlap tussen LLM en artsen 50% (95% BI 32,6–67,4%).
  • In LMIC's daalde deze overlap significant naar 32,0% (95% BI 23,1–42,3%).
• Statistische significantie: Er was een significant verschil in de prestaties van de LLM's tussen HIC en LMIC settings (Chi-kwadraat p = 0,028). De LLM's presteerden slechter in het voorspellen van diagnoses die door lokale artsen werden overwogen.
• Impact van Prompting: Het informeren van de LLM over de locatie in de prompt (experiment 2) verholp de bias niet. De modellen bleven een smaller bereik aan diagnoses aanhouden dat meer overeenkwam met HIC-epidemiologie, zelfs wanneer de locatie expliciet werd genoemd.
• Conclusie van de data: Artsen in LMIC's overwegen een bredere reeks diagnoses (waarschijnlijk vanwege lokale ziektepatronen zoals tuberculose, parasitaire infecties of specifieke bacteriën) die door de LLM's vaak worden genegeerd.

4. Kernbijdragen

• Eerste bewijs van geografische bias: Dit is naar verluidt het eerste onderzoek dat specifiek de diagnostische bias van LLM's in LMIC's kwantificeert en vergelijkt met lokale klinische expertise.
• Validatie van het "HIC-bias" probleem: Het onderzoek bevestigt dat de trainingdata van huidige foundation-modellen onvoldoende vertegenwoordiging bevat van LMIC-epidemiologie, wat leidt tot een "diagnostische blindheid" voor veelvoorkomende ziekten in deze regio's.
• Onvoldoende effectiviteit van simpele prompting: Het onderzoek toont aan dat het simpelweg toevoegen van een locatie-instructie in de prompt niet voldoende is om de onderliggende bias in het model te corrigeren.
• Aanbeveling voor benchmarking: De auteurs stellen een nieuw benchmark-proces voor om AI-modellen continu te evalueren op bias tegenover LMIC's voordat ze worden vrijgegeven.

5. Betekenis en Conclusie

De studie concludeert dat huidige medische AI-tools niet veilig zijn voor routinematig klinisch gebruik in LMIC's zonder lokale validatie. Het gebruik van deze modellen kan leiden tot:

• Het missen van kritieke, lokaal voorkomende diagnoses.
• Een versterking van bestaande gezondheidsongelijkheden.
• Potentieel schadelijke "hallucinaties" of fabricaties die plausibel klinken maar epidemiologisch onjuist zijn.

Aanbevelingen:

1. Ontwikkelaars moeten hun modellen rigoros testen in de specifieke geografische contexten waarin ze worden ingezet.
2. Er is een dringende behoefte aan het ontwikkelen van trainingsdatasets die diverser zijn en LMIC-epidemiologie beter weerspiegelen.
3. Klinici in LMIC's moeten LLM's met grote voorzichtigheid hanteren en deze niet vertrouwen als primaire diagnostische hulpmiddelen zonder menselijke controle.

De auteurs benadrukken dat hoewel AI technologie snel evolueert, de fundamentele bias in de trainingsdata een structureel probleem blijft dat actief moet worden aangepakt om de wereldwijde gezondheidszorg te verbeteren.