Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

Wanneer een patiënt het ziekenhuis verlaat, zijn de ontslaginstructies die zij ontvangen meer dan slechts een lijst met taken; ze vormen een cruciale brug tussen professionele zorg en het dagelijks leven. Als deze instructies niet worden begrepen, stijgt het risico op medicatiefouten, gemiste vervolgafspraken en verslechterende gezondheidstoestanden scherp. Voor patiënten die Spaans als hun primaire taal spreken, moet deze brug in hun moedertaal worden gebonden. Decennialang hebben ziekenhuizen vertrouwd op menselijke vertalers om te garanderen dat deze documenten accuraat zijn, maar de snelle opkomst van kunstmatige intelligentie heeft een nieuwe, snellere manier geboden om deze vertalingen te genereren. Large language models, hetzelfde type technologie dat essays kan schrijven of complexe vragen kan beantwoorden, worden nu getest om te zien of ze medische documenten met dezelfde zorg en precisie kunnen vertalen als een menselijke expert. De centrale vraag is niet alleen of de machine woorden kan vertalen, maar of zij betekenis kan vertalen, vooral wanneer één verkeerd woord de opvatting van een patiënt over de eigen gezondheid kan veranderen.

Een team van onderzoekers aan de University of Colorado School of Medicine zette zich in om deze vraag te beantwoorden door te testen hoe goed kunstmatige intelligentie ziekenhuisontslaginstructies van het Engels naar het Spaans vertaalt. Ze vroegen de computer niet simpelweg om te vertalen; ze bouwden een rigoureus experiment om te zien hoe verschillende manieren van de computer vragen hoe de resultaten zouden veranderen. Ze namen tweehonderd echte, geanonimiseerde ontslaginstructies uit een grote medische database en voerden deze in drie verschillende kunstmatige intelligentiemodellen. Om te zien of de manier waarop een mens tegen de machine spreekt ertoe doet, gebruikten ze twee verschillende methoden van prompting. In de ene methode vertelden ze de computer om te fungeren als een deskundige clinicus op een intensive care afdeling, verantwoordelijk voor het vertalen van de tekst. In de andere methode gaven ze een veel eenvoudigere, letterlijke instructie om simpelweg de woorden te vertalen, zonder enige rol of context. Het doel was om te zien of het kaderen van de machine als een arts zou leiden tot betere medische vertalingen dan het behandelen van de machine als een simpel hulpmiddel voor woordverwisseling.

Om de kwaliteit van deze vertalingen te beoordelen, gebruikten de onderzoekers drie verschillende benaderingen, waarbij elke benadering de tekst vanuit een andere hoek bekijkt. Ten eerste gebruikten ze geautomatiseerde computermetrieken, wat standaardinstrumenten zijn in het vakgebied van taaltechnologie die tellen hoeveel woorden en zinsdelen in de vertaling overeenkomen met de originele tekst. Deze tools zijn snel en kunnen duizenden documenten verwerken, maar ze kijken primair naar oppervlakkige gelijkenissen. Ten tweede gebruikten ze een gestructureerd kader genaamd de Multidimensional Quality Metric, of MQM. Deze methode breekt vertaling af in specifieke categorieën, zoals of de medische termen correct zijn, of de toon gepast is voor een patiënt, en of de grammatica natuurlijk verloopt. Ze lieten een systeem van kunstmatige intelligentie optreden als rechter om de vertalingen over deze categorieën te scoren. Ten slotte, en het belangrijkste, brachten ze menselijke experts in. Twee tweetalige artsen die vloeiend zowel Engels als Spaans spreken, beoordeelden een willekeurige selectie van de vertalingen. Zij scoorden de documenten met behulp van dezelfde gestructureerde categorieën, waarbij zij dienden als de gouden standaard voor wat een hoogwaardige, veilige vertaling zou moeten zijn.

De resultaten onthulden een verrassende discrepantie tussen wat de computers dachten dat goed was en wat de menselijke artsen vonden dat goed was. De geautomatiseerde metrieken, die woordoverlappen tellen, gaven consequent de voorkeur aan de vertalingen die werden gegenereerd door de eenvoudige, letterlijke prompts. Wanneer de computer werd verteld om simpelweg woord-voor-woord te vertalen, waren de geautomatiseerde scores hoger, wat suggereerde dat de output dichter bij de originele Engelse tekst lag. Echter, toen de onderzoekers naar de gestructureerde kwaliteitsscores en de menselijke beoordelingen keken, kwam er een ander beeld naar voren. De vertalingen gegenereerd door de "clinician" prompt, waarbij de computer werd gevraagd te fungeren als een medisch expert, presteerden vaak beter wat betreft stijl en toon, zelfs als de geautomatiseerde woordtel-tools hen lager beoordeelden. Dit suggereert dat de instrumenten die in het verleden werden gebruikt om vertaalsucces te meten, mogelijk niet de nuances vastleggen die het meest van belang zijn in een ziekenhuissetting.

Toen de onderzoekers de scores die de kunstmatige intelligentie-rechters gaven vergeleken met de scores die de menselijke artsen gaven, was de overeenstemming verrassend laag. De computer en de menselijke experts waren het vaak oneens over de vraag of een vertaling accuraat was of dat de medische terminologie correct was. Het hoogste niveau van overeenstemming tussen de machine en de mens werd gevonden in gebieden zoals opmaak en lokale conventies, waar regels duidelijk en objectief zijn. Echter, in de meest kritieke gebieden — zoals de nauwkeurigheid van de medische betekenis en de geschiktheid van de taal voor een patiënt — zagen de machine en de mens zaken vaak verschillend. Zelfs de twee menselijke artsen waren het niet altijd met elkaar eens, wat benadrukt dat het beoordelen van medische vertaling een mate van menselijke interpretatie vereist die moeilijk te automatiseren is. De studie vond dat hoewel de kunstmatige intelligentiemodellen over het algemeen kwalitatief hoogwaardige vertalingen produceerden, de gebieden waarin zij het meest moeite hadden, precies de gebieden waren die de diepste kennis van de klinische context vereisen.

De onderzoekers concludeerden dat geen enkele methode voldoende is om de veiligheid van vertaalde medische documenten te waarborgen. De geautomatiseerde tools zijn nuttig voor het snel controleren van grote hoeveelheden tekst, en de gestructureerde scoresystemen helpen bij het organiseren van de evaluatie, maar geen van beide kan de beoordeling van een menselijke expert volledig vervangen. De studie suggereert dat de beste aanpak er een is van lagen: het gebruik van snelle, geautomatiseerde controles om overduidelijke fouten eruit te filteren, gevolgd door gerichte beoordelingen door menselijke clinici voor de meest kritieke delen van de tekst. Deze combinatie zorgt ervoor dat de efficiëntie van kunstmatige intelligentie wordt gebalanceerd met de noodzakelijke menselijke controle om de patiëntveiligheid te beschermen. De bevindingen dienen als een herinnering dat in omgevingen met hoge inzet, zoals de gezondheidszorg, het vermogen om woorden te vertalen niet hetzelfde is als het vermogen om zorg te communiceren, en dat menselijke expertise een essentieel onderdeel van het proces blijft.