Prompting language influences diagnostic reasoning and accuracy of large language models

Technische Samenvatting: De Prompt-taal Beïnvloedt Diagnostisch Redeneren en Nauwkeurigheid van Grootte Taalmodellen

Probleemstelling
Hoewel Grootte Taalmodellen (LLMs) veelbelovend zijn voor klinische besluitvorming, blijft hun betrouwbaarheid in niet-Engelse talen onzeker. De meeste evaluaties zijn gebaseerd op Engelstalige data en gestandaardiseerde meerkeuze-benchmarks, die de complexiteit van real-world klinisch redeneren niet adequaat weerspiegelen. Gezien het feit dat medische praktijk diep verweven is met taal, cultuur en lokale epidemiologie, bestaat er een kritieke kennislacune over de vraag of LLM's die voornamelijk zijn getraind op Engelstalige corpora diagnostisch redeneren met dezelfde fideliteit kunnen uitvoeren in andere talen, zoals het Frans. Deze dispariteit vormt risico's voor een rechtvaardige implementatie van gezondheidszorg en patiëntveiligheid, met name in meertalige settings.

Methodologie
De auteurs voerden een tweetalige vergelijkende evaluatie uit van diagnostisch redeneren en de nauwkeurigheid van de uiteindelijke diagnose bij vijf LLM's: o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct en BioMistral-7B.

• Dataset: De studie gebruikte 180 klinische casuïstieken die 16 medische specialismen bestreken (exclusief puur technische of chirurgische vakgebieden). De casuïstieken waren afgeleid van synthetische creatie, referentiemateriaal en geanonimiseerde real-world ontmoetingen. Elke casuïstiek werd opgesteld in het Frans en onafhankelijk vertaald naar het Engels door twee artsen, om semantische equivalentie en klinische nauwkeurigheid te waarborgen.
• Prompting: De modellen werden één keer per casuïstiek bevraagd in beide talen met een gestandaardiseerde prompt die het model instrueerde om op te treden als arts, klinisch redeneren te geven en de uiteindelijke diagnose in JSON-formaat te outputten.
• Evaluatiekader: Twee artsen beoordeelden onafhankelijk alle modeloutput met een 18-puntsschaal bestaande uit zes criteria:
  1. Interne Validiteit (0–5): Extractie en interpretatie van de casuïstiekdata.
  2. Externe Validiteit (0–3): Nauwkeurigheid van medische kennis buiten de casuïstiek.
  3. Hypothese en Differentiaaldiagnose (0–1): Generatie van relevante differentials.
  4. Logische Structuur (0–4): Coherentie en organisatie van het redeneren.
  5. Expressie (0–2): Syntactische en semantische correctheid.
  6. Nauwkeurigheid Uiteindelijke Diagnose (0–3): Overeenstemming met de referentiediagnose.
• Statistische Analyse: Prestatieverschillen tussen Engels en Frans werden geanalyseerd met lineaire gemengde modellen (LMM) met taal als vast effect en casuïstiek/beoordelaar als willekeurige intercepten. Eenzijdige tests werden gebruikt om de hypothese te toetsen dat de Engelse prestatie de Franse prestatie overtreft, met Bonferroni-correctie voor meervoudige vergelijkingen. De interbeoordelaarsbetrouwbaarheid werd beoordeeld met de Intraclass Correlation Coefficient (ICC) en Cohens kappa.

Belangrijkste Resultaten

• Algemene Prestatie: Vier van de vijf modellen (DeepSeek-R1, GPT-4-Turbo, Llama-405B, BioMistral-7B) presteerden significant beter in het Engels dan in het Frans. Het gemiddelde verschil in totaalscores varieerde van 0,37 tot 0,91 punten op de 18-puntsschaal (gecorrigeerde p < 0,05).
  • Llama-405B vertoonde het grootste verschil (0,91 punten).
  • BioMistral-7B, ondanks dat het medisch gespecialiseerd is, scoorde overall aanzienlijk lager (mediaan ~8–9/18) en vertoonde een significant taalgat (0,78 punten).
  • o3 was het enige model dat geen overall taaleffect vertoonde (gemiddeld verschil 0,08, p = 1,000), en bereikte een prestatie dicht bij het plafond (mediaan 18/18) in beide talen.
• Redeneerdimensies: Het taalgat was niet uniform over redeneertypes. Significante dispariteiten die het Engels bevoordeelden, werden waargenomen in:
  • Differentiaaldiagnose: Llama-405B, GPT-4-Turbo en DeepSeek-R1 genereerden consistentere differentials in het Engels.
  • Logische Structuur: GPT-4-Turbo, Llama-405B en BioMistral-7B toonden een coherente organisatie van het redeneren in het Engels.
  • Interne Validiteit: Llama-405B en DeepSeek-R1 toonden betere extractie en interpretatie van klinische data in het Engels.
  • Expressie: BioMistral-7B vertoonde vaker syntactische fouten in het Frans.
• Redeneertypes: Het taalgat was het meest uitgesproken voor hypothetico-deductief en algoritmisch redeneren, die complexe meerstapsinferentie vereisen. Geen taaleffect werd waargenomen voor probabilistisch redeneren bij enig model.
• Correlatie: Voor BioMistral-7B was de correlatie tussen redeneerkwaliteit en diagnose-nauwkeurigheid significant sterker in het Engels ($\rho=0,75$) dan in het Frans ($\rho=0,60$), wat suggereert dat redeneren en nauwkeurigheid in de Engelse context voor dit model strakker gekoppeld zijn.

Betekenis en Claims
Het artikel stelt dat de prompt-taal een cruciale determinant blijft van de prestaties van LLM's in klinisch diagnostisch redeneren. De bevindingen tonen aan dat het prestatiegat niet slechts een kwestie is van feitelijke herinnering, maar zich uitstrekt tot de kwaliteit, coherentie en interne validiteit van het klinische redeneerproces zelf.

De auteurs betogen dat:

1. Gerechtigheidsimplicaties: Als modellen redeneren van lagere kwaliteit en minder nauwkeurige diagnoses produceren in de moedertaal van een patiënt (niet-Engels), kan dit bestaande gezondheidsdispariteiten verergeren. Dit is bijzonder zorgwekkend nu LLM's steeds vaker direct door patiënten worden gebruikt voor gezondheidsinformatie.
2. Voorbij Examens: In tegenstelling tot eerdere studies die beperkt waren tot meerkeuze-medische toelatingsexamens, bevestigt deze studie dat taalgaten aanhouden bij open-ended diagnostische redeneertaken die de real-world klinische praktijk beter nabootsen.
3. Modelarchitectuur is van Belang: Het ontbreken van een taalgat bij o3 suggereert dat vooruitgang in redeneercapaciteiten (bijv. schaling van compute tijdens de testfase, uitgebreide chain-of-thought) taalkundige dispariteiten gedeeltelijk kan mitigeren, zelfs wanneer de trainingsdata voornamelijk Engels is.
4. Ressourcen Dispariteit: Aangezien Frans een relatief taal met hoge resources is met aanzienlijke vertegenwoordiging in trainingscorpora, stellen de auteurs dat deze dispariteiten waarschijnlijk versterkt zullen worden voor talen met lagere resources.

De studie concludeert dat het waarborgen van rechtvaardige prestaties over talen heen een prioriteit moet zijn voor modelontwikkeling en reguliere evaluatie, om te voorkomen dat LLM's de kans missen om ongelijkheden in de toegang tot betrouwbare gezondheidsinformatie te verminderen in plaats van te vergroten. Om toekomstig onderzoek te ondersteunen, hebben de auteurs de volledige tweetalige dataset en evaluatiecode vrijgegeven.