Technische Samenvatting: PersianMedQA

Probleemstelling

Hoewel Large Language Models (LLM's) menselijk niveau prestaties hebben bereikt op diverse benchmarks voor Natural Language Processing, blijft hun betrouwbaarheid in hoog-risicodomeinen zoals de geneeskunde onderbelicht, met name voor talen met beperkte hulpbronnen. Bestaande benchmarks voor medische vraag- en antwoordopgaven zijn overwegend Engels-gecentreerd, wat een aanzienlijke evaluatiekloof creëert voor niet-Engelse contexten. Bovendien is een simpele vertaling van medische vragen ontoereikend; dit ontdoet vragen vaak van cruciale culturele aanwijzingen, lokale klinische protocollen en regio-specifieke terminologie, wat kan leiden tot gevaarlijke misinterpretaties in de klinische praktijk. Er ontbreekt expert-gevalideerde, tweetalige datasets die LLM's rigoureus kunnen evalueren op Perzisch medisch redeneren, terwijl rekening wordt gehouden met deze contextuele nuances.

Methodologie

Dataset Constructie: PersianMedQA

De auteurs introduceerden PersianMedQA, een grootschalige dataset bestaande uit 20.785 expert-gevalideerde meerkeuzevragen afgeleid van 14 jaar Iraanse nationale examens voor medische specialisatie en pre-specialisatie (uitgevoerd door het Medical Education Assessment Center, Sanjesh).

• Scope: De dataset bestrijkt 23 medische specialisaties, waarvan ongeveer 70% als klinisch wordt geclassificeerd (patiëntcases) en 30% als niet-klinisch (basiswetenschappen).
• Preprocessing: Er werd een strenge opschoningspipeline toegepast, waaronder het verwijderen van duplicaten via LaBSE-embeddings, het uitsluiten van vragen die afhankelijk zijn van afbeeldingen om een tekst-only evaluatie te waarborgen, en een drie-niveau verificatie van antwoordcodes door het National Center for Medical Education Assessment.
• Annotatie: Vragen werden geannoteerd voor onderwerp (specialisatie), domeintype (klinisch versus niet-klinisch) en patiëntdemografie (leeftijd, geslacht) met een combinatie van expertreview en door LLM's ondersteunde extractie.
• Tweetalige Vertaling: Om cross-linguale evaluatie mogelijk te maken, werd de dataset naar het Engels vertaald met behulp van Google Translate, GPT-4.1 en Gemini-2.5-Flash. Expertvalidatie bevestigde dat Gemini-2.5-Flash de meest accurate behoud van medische terminologie en klinische betekenis bood.
• Integriteitscontroles: De auteurs implementeerden beveiligingsmaatregelen tegen datacontaminatie, waaronder exacte zoekverificatie op openbare webbronnen en temporele analyse van examenjaren (2011–2024), waarmee werd bevestigd dat de dataset niet aanwezig was in de trainingscorpora van de meeste geëvalueerde modellen.

Experimentele Opstelling

De studie zette 41 state-of-the-art modellen in benchmarktesten over drie categorieën:

1. Algemeen doel LLM's (zowel gesloten-gewicht als open-gewicht).
2. Perzisch-specifieke LLM's (modellen aangepast voor de Perzische taal).
3. Medisch-specifieke LLM's (modellen fijn afgestemd op biomedische corpora).

Evaluatieprotocollen:

• Zero-shot: Modellen werden geëvalueerd op zowel de originele Perzische vragen als de Engelse vertalingen met gestandaardiseerde prompts.
• Chain-of-Thought (CoT): Geselecteerde modellen werden geëvalueerd met redeneerstappen om de impact van expliciet redeneren te beoordelen.
• Alleen-Antwoord Evaluatie: Modellen werden getest op antwoordkeuzes zonder vraagstammen om te bepalen of ze leunden op statistische patronen in plaats van op oprecht redeneren.
• Ensembling: Meerderheidsstemming-ensembles van diverse modelfamilies werden getest om te zien of het combineren van modellen de nauwkeurigheid verbeterde.

Belangrijkste Bijdragen

1. PersianMedQA Dataset: De eerste grootschalige, expert-gevalideerde tweetalige (Perzisch-Engels) medische vraag- en antwoordbenchmark afgeleid van nationale licentie-examens, begeleid door een tweetalig medisch woordenboek.
2. Uitgebreide Benchmarking: Een evaluatie van 41 modellen, die aanzienlijke prestatieverschillen blootlegde tussen gesloten-gewicht, open-gewicht, Perzisch-aangepaste en medisch-aangepaste modellen.
3. Vertalingsimpactanalyse: Een kwantitatieve demonstratie dat, hoewel Engelse vertalingen over het algemeen hogere scores opleveren, 3–10% van de vragen alleen correct kan worden beantwoord in het originele Perzisch vanwege verloren culturele en klinische context (bijvoorbeeld regionale vaccinatieregelingen en beschikbaarheid van medicijnen).
4. Domeinadaptatie-inzichten: Bewijs dat modelgrootte alleen ontoereikend is voor robuuste medische prestaties zonder sterke domein- of taaladaptatie, en dat huidige Perzische LLM's aanzienlijk worstelen met medisch redeneren.

Belangrijkste Resultaten

Prestatiehiërarchie

• Dominantie Gesloten-Gewicht: Gesloten-gewicht modellen, met name GPT-4.1, behaalden de hoogste nauwkeurigheid met 83,09% in het Perzisch en 80,71% in het Engels.
• Prestaties Open-Gewicht: Het beste open-gewicht model, DeepSeek-Chat-V3, behaalde 68,05% in het Perzisch en 73,30% in het Engels.
• Perzische LLM's: Modellen specifiek aangepast voor het Perzisch (bijvoorbeeld Dorna, PersianMind) presteerden slecht, waarbij Dorna slechts 34,87% scoorde in het Perzisch. Deze modellen hadden vaak moeite met het volgen van instructies en domeinredenering.
• Medische LLM's: Gespecialiseerde medische modellen (bijvoorbeeld Meditron3) toonden slechts bescheiden verbeteringen ten opzichte van algemene modellen en faalden om effectief te generaliseren naar Perzische klinische data (bijvoorbeeld Meditron3 scoorde 38,67% in het Perzisch).

Taalkundige en Contextuele Bevindingen

• Vertalingsverlies: Hoewel de meeste modellen beter presteerden op Engelse vertalingen, werd een subset van vragen (3–10%) alleen correct beantwoord in het Perzisch. Handmatige analyse schreef dit toe aan het verlies van regionale protocollen (bijvoorbeeld specifieke richtlijnen voor tetanusprofylaxe in Iran versus westerse standaarden) en semantische drift in medische terminologie.
• Subdomeinvariatie: Modellen presteerden het beste op farmacologie en niet-klinische vragen (feitelijke herinnering), maar worstelden aanzienlijk met chirurgie en medische statistiek, die complex redeneren en begrip van taalspecifieke richtlijnen vereisen.
• Redeneren versus Patroonherkenning: Bij een "alleen-antwoord" evaluatie behaalden modellen 35,60% nauwkeurigheid (tegenover 25% willekeurig gokken), wat suggereert dat ze statistische artefacten in antwoordkeuzes exploiteren, met name bij vragen over medische ethiek, in plaats van oprecht ethisch redeneren.

Prompting en Ensembling

• Chain-of-Thought: CoT-prompting verbeterde de nauwkeurigheid met ongeveer 2% voor grote algemene modellen op klinische vragen, maar bood verwaarloosbare winsten voor kleinere modellen.
• Ensembling: Een meerderheidsstemming-ensemble van vijf diverse open-gewicht modellen behaalde 73,7% nauwkeurigheid, wat 3,3% beter was dan het beste individuele open-gewicht model in die groep.

Betekenis en Claims

Het artikel stelt dat PersianMedQA een fundamentele benchmark vestigt voor het evalueren van tweetalig en cultureel onderbouwd medisch redeneren in LLM's. De auteurs stellen dat:

1. Vertaling ontoereikend is: Directe vertaling van medische richtlijnen is inefficiënt en potentieel gevaarlijk vanwege regionale variaties in zorgsystemen, beschikbaarheid van medicijnen en culturele contexten. Evaluatie in de moedertaal is essentieel voor talen met beperkte hulpbronnen.
2. Huidige Kloven: Er is een aanzienlijke "taalkloof" waarbij Perzische LLM's en medisch-specifieke modellen momenteel onderpresteren ten opzichte van algemene gesloten-gewicht modellen, wat wijst op de noodzaak van hoogwaardige, domeinrelevante trainingsdata in het Perzisch.
3. Toekomstige Richtingen: Het werk benadrukt de noodzaak voor de ontwikkeling van Perzische medische corpora, retrieval-versterkte systemen die toegang hebben tot cultureel passende richtlijnen, en verdere evaluatie in andere talen met beperkte hulpbronnen.

De auteurs benadrukken dat de geteste modellen niet zijn gecertificeerd voor klinisch gebruik en pleiten voor verdere ontwikkeling met experts in de loop om verantwoorde implementatie in zorgomgevingen te waarborgen.