Gender-Dependent Diagnostic Substitution in LLM Medical Triage: Same Symptoms, Unequal Urgency

Technische Samenvatting: Geslachtsafhankelijke Diagnostische Substitutie in LLM Medische Triage

Probleemstelling
Deze studie onderzoekt of Large Language Models (LLM's) die geïntegreerd zijn in zorgtoepassingen, uiteenlopende medische triage-aanbevelingen produceren voor identieke klinische presentaties wanneer enkel de opgegeven geslachtsidentiteit en leeftijd van de patiënt variëren. De studie adresseert een cruciale vereiste voor klinische AI: demografische pariteit in urgentiebeoordeling. Specifiek wordt de hypothese getest dat identieke neurologische symptomen equivalente urgentie-aanbevelingen moeten opleveren, ongeacht geslacht, tenzij geslacht klinisch relevant is voor de urgentie van de actie (onderscheidend van de diagnose zelf). Het werk wordt gemotiveerd door gedocumenteerde menselijke klinische vooroordelen waarbij neurologische en cardiale symptomen bij vrouwen vaak worden toegeschreven aan benigne of psychosomatische oorzaken, wat leidt tot vertraagde of minder agressieve onderzoeken.

Methodologie
De auteurs voerden een experiment met tegenfeitelijke patiëntvariatie (counterfactual patient variation, CPV) uit met drie state-of-the-art, deployment-tier LLM-families: Gemini 3.5 Flash, Claude Sonnet 4.6 en GPT-5.4-mini. Deze specifieke modellen werden geselecteerd omdat zij de meest waarschijnlijke kandidaten vertegenwoordigen voor integratie in productie-waardige symptoomcontrole-tools vanwege hun kosten- en latentieprofielen.

• Experimenteel Ontwerp: De studie maakte gebruik van een enkel, gestandaardiseerd neurologisch symptoomprofiel dat tekenen beschrijft van verhoogde intracraniële druk (aanhoudende hoofdpijn die niet reageert op analgetica, wazig zien, ochtendmisselijkheid en visuele verstoringen).
• Condities: De symptoomtekst was identiek over 30 proeven per conditie, waarbij enkel de demografische identificatoren varieerden. De condities omvatten drie leeftijdsgroepen (25, 38, 65) gekruist met twee geslachten (man, vrouw), plus een geslacht-ongespecificeerde baseline (leeftijd 38). Dit resulteerde in 630 totale proeven (210 per model).
• Output Beperkingen: Modellen werden via API geprompt (temperatuur 0.3) om gestructureerde JSON terug te geven met een diagnose, ernstscore (1–10), urgentieclassificatie (Spoed/Dringend/Routine), aanbevolen actie (SEH/Doktersafspraak/Zelfzorg) en differentiële testen.
• Analyse: De primaire uitkomst was het verwijzingspercentage naar de Spoedeisende Hulp (SEH). De secundaire analyse richtte zich op de specifieke gegenereerde diagnoses. Statistische significantie werd bepaald met Fisher's exact tests met Bonferroni-correctie, en effectgroottes werden berekend met Cohen's h.

Belangrijkste Bevindingen
De studie identificeerde een scherpe, systemische geslachtsdispariteit in triage-urgentie voor jonge patiënten, die werd gedreven door een mechanisme dat diagnostische substitutie wordt genoemd.

1. Dispariteit in SEH-verwijzingen: Jonge vrouwen ontvingen significant lagere SEH-verwijzingspercentages dan leeftijnsgenotelege mannen, ondanks identieke symptomen en vergelijkbare ernstscores (7–9/10).

   • Leeftijd 25:
     • Gemini: 0% SEH voor vrouwen versus 23,3% voor mannen ($p < 0,001$).
     • Claude: 6,7% SEH voor vrouwen versus 96,7% voor mannen ($p < 0,001$).
     • GPT: 6,7% SEH voor vrouwen versus 66,7% voor mannen ($p < 0,001$).
   • Leeftijd 65: De dispariteit verdween volledig over alle modellen heen, waarbij beide geslachten 90–100% SEH-verwijzingen ontvingen.

2. Mechanisme: Diagnostische Substitutie: De modellen wijzigden niet simpelweg de urgentie voor dezelfde diagnose bij vrouwen. In plaats daarvan veranderden ze de diagnose zelf op basis van geslachtsgebonden epidemiologische priors.

   • Jonge Vrouwen: De modellen ankerden overweldigend op Idiopathische Intracraniële Hypertensie (IIH), een conditie die statistisch vaker voorkomt bij vrouwen in de vruchtbare leeftijd. Bijgevolg stuurden zij deze patiënten naar poliklinische afspraken, uitgaande van de aanname dat IIH niet-acuut wordt beheerd.
   • Jonge Mannen: De modellen gaven prioriteit aan ruimte-innemende laesies (massa's, tumoren) in de differentiële diagnose, wat leidde tot hoog-urgente SEH-verwijzingen om deze condities uit te sluiten.
   • Klinische Fout: De auteurs merken op dat hoewel IIH een geldige differentiaaldiagnose is voor jonge vrouwen, de beschreven symptomen (progressieve visuele verstoring, aanhoudende hoofdpijn) constitueren rode vlaggen voor verhoogde intracraniële druk die een urgente evaluatie vereisen, ongeacht of de etiologie IIH of een massa is. De modellen beoordeelden de ernst correct, maar ontkoppelden urgentie onjuist van de diagnose.

3. Leeftijdsmodulatie: De bias was strikt leeftijdsafhankelijk. Op 65-jarige leeftijd stopten de modellen met het ankeren op IIH voor vrouwen (consistent met de epidemiologie van IIH die na de menopauze afneemt) en verschoven zij naar leeftijdsgepaste differentiaaldiagnoses (bijv. temporale arteritis, cerebrovasculaire ziekte) die urgente trajecten triggerden voor beide geslachten.

Bijdragen

1. Demonstratie van Systemische Dispariteit: Het artikel levert empirisch bewijs van significante geslachtsdispariteiten in triage-urgentie over drie leidende LLM-families, met effectgroottes die Cohen's h > 2,2 bereiken.
2. Identificatie van het Mechanisme: Het identificeert diagnostische substitutie als het gedeelde mechanisme, waarbij modellen een geslacht-gelinkte diagnose (IIH) selecteren die onbedoeld de urgentie onderdrukt, in plaats van een ruwe "vrouwen zijn minder urgent"-heuristiek toe te passen.
3. Epidemiologische Priors versus Klinische Urgentie: De studie demonstreert dat de bias wordt gedreven door statistische klinische priors geleerd uit trainingsdata. De modellen repliceren menselijke klinische fouten waarbij een geslacht-geassocieerde diagnose wordt gebruikt om de diagnostische loop voortijdig te sluiten, waardoor de noodzaak voor acute zorg wordt verminderd.
4. Open Science: De auteurs stellen alle code, prompts en ruwe resultaten beschikbaar om verdere auditing te faciliteren.

Betekenis en Claims
Het artikel beweert dat klinische LLM's gedocumenteerde menselijke klinische vooroordelen repliceren, niet door expliciete instructie, maar door het leren en toepassen van epidemiologische priors die klinisch ongepast zijn in de context van urgentiebeoordeling. De auteurs stellen dat:

• Urgentie moet worden losgekoppeld van diagnose: Voor symptomen die duiden op verhoogde intracraniële druk, moet de noodzaak voor een urgente evaluatie worden bepaald door de ernst van de symptomen, niet door de waarschijnlijkheid van een specifieke diagnose zoals IIH.
• Audit-vereisten moeten evolueren: Het auditen van AI-triage-systemen vereist het analyseren van de diagnostische redenering (de differentiële diagnose), niet alleen de uiteindelijke actie (SEH versus Doktersbezoek). Een model kan hoge ernstscores produceren en toch patiënten naar inferieure zorgtrajecten leiden via diagnostische substitutie.
• Epidemiologische accuratesse is geen klinische veiligheid: Het correct identificeren door een model dat IIH vaker voorkomt bij jonge vrouwen is niet voldoende; het faalt als deze statistische waarschijnlijkheid leidt tot een reductie in de urgentie van de zorg voor een conditie die onmiddellijke aandacht vereist.

De auteurs concluderen dat hoewel de modellen niet "seksistisch" zijn in de ruwe zin van het woord, ze een specifiek, klinisch gegrond patroon hebben geleerd dat slechtere uitkomsten voor vrouwen produceert door statistische waarschijnlijkheid prioriteit te geven boven de onmiddellijke noodzaak van een urgente onderzoek.