Polish-English medical knowledge transfer: A new benchmark and results

Technische Samenvatting: Pols-Engelse medische kennisoverdracht: Een nieuwe benchmark en resultaten

Probleemstelling
Hoewel Large Language Models (LLM's) een aanzienlijk potentieel hebben getoond in het oplossen van medische problemen, richten bestaande evaluaties zich voornamelijk op Engelstalige contexten. Dit creëert een kloof in het begrip van de modelprestaties in niet-Engelstalige omgevingen, met name waar medische richtlijnen, ziekteprevalentie en klinische praktijken verschillen van Engelstalige regio's. Bovendien introduceert de afhankelijkheid van machinaal vertaalde datasets voor kruislingse evaluatie ruis, aangezien de kwaliteit van de vertaling de werkelijke capaciteiten van het model kan maskeren. Er is behoefte aan een rigoureuze, hoogwaardige benchmark die is afgeleid van werkelijke medische licentie- en specialisatieexamens in een niet-Engelse taal (Pools), om LLM's te evalueren tegenover menselijke professionals en om de kruislingse kennisoverdracht met door experts vertaalde corpora te beoordelen.

Methodologie
De auteurs introduceren een nieuwe benchmark-dataset afkomstig van het Medisch Examen Centrum (CEM) en de Hoge Medische Kamer (NIL) in Polen. De dataset omvat meer dan 22.000 vragen uit drie primaire examentypes:

1. LEK (Medisch Eindexamen): Voor afgestudeerde medici.
2. LDEK (Dentale Eindexamen): Voor afgestudeerde tandartsen.
3. PES (Nationaal Specialisatie-examen): Voor artsen en tandartsen die een specialisatieopleiding voltooien.

De dataset bevat een uniek parallel sub-corpus waarbij een deel van de LEK- en LDEK-vragen professioneel naar het Engels is vertaald door menselijke medische experts van het examencentrum, in plaats van via machinale vertaling. Dit maakt een directe vergelijking mogelijk van de prestaties van modellen op identieke medische inhoud in verschillende talen.

De studie evalueert een diverse reeks LLM's, gecategoriseerd in:

• Medisch-specifieke modellen: Fine-tuned op Engelse medische data (bijv. BioMistral, Meditron, MedLlama).
• Algemene meertalige modellen: Inclusief Qwen2.5, Llama-3.1/3.2 en Mistral-varianten.
• Pools-specifieke modellen: Zoals Bielik-11B.
• Beperkte API-modellen: GPT-4o en GPT-4o-mini.

Modellen werden geëvalueerd met zero-shot prompting om meerkeuzevragen te beantwoorden, waarbij de werkelijke examenomgeving werd nagebootst zonder few-shot voorbeelden. Prestaties werden gemeten aan de hand van nauwkeurigheidspercentages en het aantal afgelegde examens (waarbij specifieke score-drempels werden gehaald: 56% voor LEK/LDEK, 60% voor PES). Resultaten werden vergeleken met geanonimiseerde menselijke data van duizenden medische studenten en specialisten.

Belangrijkste Bijdragen

1. Een Nieuwe Benchmark: Het artikel presenteert de eerste grootschalige, publiekelijk beschikbare benchmark voor Poolse medische examens, die meer dan 22.000 vragen beslaat over algemene en gespecialiseerde domeinen.
2. Door Experts Vertaalde Parallelle Corpus: In tegen tegenstelling tot eerdere kruislingse studies die vertrouwen op machinale vertaling, maakt deze benchmark gebruik van door menselijke experts vertaalde teksten, wat de semantische getrouwheid tussen de Poolse en Engelse versies van dezelfde vragen waarborgt.
3. Uitgebreide Evaluatie: De studie biedt een granulaire analyse van de prestaties van modellen over verschillende medische specialismen (72 PES-specialismen), examentypes en talen, inclusief een directe vergelijking met menselijke prestaties.
4. Kruislingse Analyse: Het levert empirisch bewijs over hoe LLM's medische kennis overdragen tussen het Pools en het Engels, waarbij de verschillen in prestaties op basis van modelgrootte en de samenstelling van de trainingsdata worden benadrukt.

Resultaten

• Modelprestaties: GPT-4o behaalde de hoogste algehele prestaties, bereikte bijna menselijk niveau en slaagde voor bijna alle geëvalueerde examens. Onder de open-source modellen was Meta-Llama-3.1-70B-Instruct de beste performer. Algemene meertalige modellen presteerden over het algemeen beter dan medisch-specifieke modellen die zijn gefine-tuned op Engelse data, wat suggereert dat brede pre-training momenteel effectiever is dan smalle domein fine-tuning voor deze taken.
• Menselijke Vergelijking: Top-presterende modellen (GPT-4o en Llama-3.1-70B) presteerden vergelijkbaar met of beter dan de gemiddelde medische student op LEK-examens. Echter, op de meer gespecialiseerde PES-examens scoorden zelfs de beste modellen lager dan de mediaan van menselijke deelnemers in meer dan 30% van de specialismen. In sommige specifieke velden (bijv. Audiologie) presteerden de modellen slechter dan alle menselijke examende partijen.
• Kruislingse Overdracht: De meeste modellen presteerden aanzienlijk beter op de Engelse versies van de examens vergeleken met de Poolse versies, waarschijnlijk door de dominantie van het Engels in hun trainingscorpora. Echter, naarmate de modelgrootte toenam (bijv. van 8B naar 70B parameters), verkleinde de prestatiekloof tussen de talen zich. Opvallend genoeg presteerde GPT-4o iets beter op de Poolse versie dan op de Engelse versie, terwijl het Pools-specifieke model (Bielik) slechts een voordeel toonde in specifieke contexten maar werd overtroffen door grotere meertalige modellen.
• Variatie per Specialisme: De prestaties varieerden sterk per medisch specialisme. Modellen hadden de meeste moeite met tandheelkunde (met name orthodontie) en excelleerden in laboratoriumdiagnostiek en volksgezondheid, wat waarschijnlijk de beschikbaarheid van data en patroonherkenningscapaciteiten weerspiegelt.

Betekenis en Claims
Het artikel claimt dat hoewel LLM's een menselijk niveau van prestaties benaderen bij het ophalen van algemene medische kennis (zoals getest bij licentie-examens), ze inconsistent blijven over verschillende gespecialiseerde domeinen en talen. De auteurs benadrukken dat de resultaten de beperkingen onderstrepen van het inzetten van LLM's in de klinische praktijk zonder grondige verificatie, aangezien de prestaties niet uniform zijn over alle medische specialismen.

De studie concludeert dat algemene modellen getraind op internetschaal data momenteel beter presteren dan gespecialiseerde medische modellen voor deze taken. De auteurs stellen verder dat de parallelle, door experts vertaalde corpus een cruciaal instrument is voor het onderzoek naar kruislingse kennisoverdracht, waarbij wordt aangetoond dat hoewel grotere modellen de taalbarrière overbruggen, er nog steeds aanzienlijke verschillen bestaan. De auteurs waarschuwen dat het slagen voor meerkeuze-examens niet gelijkstaat aan klinische competentie, aangezien de echte medische praktijk complexe redenering, datasynthese en menselijke interactie vereist die huidige LLM's niet volledig kunnen repliceren. Bijgevolg positioneert het artikel deze modellen als potentiële ondersteunende instrumenten voor professionals in plaats van vervangingen voor uitgebreide medische kwalificaties.