Rater choice determines measured fidelity: a multi-model evaluation of large language model raters for AI-generated plain-language biomedical summaries
Deze studie toont aan dat de keuze van de large language model-beoordelaar de gemeten getrouwheid en veiligheidstoepasbaarheid in door AI gegenereerde biomedische samenvattingen significant beïnvloedt, waarbij verschillende modellen foutpercentages produceren die variëren met een factor vier en leiden tot uiteenlopende conclusies over de kwaliteit van de samenvatting.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin de belangrijkste medische ontdekkingen zijn opgesloten achter een muur van complexe taal. Wetenschappelijke artikelen zijn geschreven voor experts, vol technische termen en dichte data die de gemiddelde persoon niet kan ontcijferen. Toch kan deze barrière, voor een patiënt die probeert een nieuwe behandeling voor zijn aandoening te begrijpen, gevaarlijk zijn. Als zij de studie niet kunnen lezen, kunnen zij de risico's, de beperkingen of de werkelijke voordelen van een therapie niet kennen. Om deze kloof te overbruggen, vertrouwen onderzoekers en toezichthouders steeds vaker op "samenvattingen in begrijpelijke taal" — korte, eenvoudige uitleg van complexe studies die bedoeld zijn voor het algemene publiek. Terwijl het volume van medisch onderzoek explodeert, is het handmatig schrijven van deze samenvattingen onmogelijk geworden. In plaats daarvan wordt gevraagd aan krachtige computerprogramma's, bekend als large language models, om het werk te doen: het vertalen van dichte wetenschap naar leesbare proza in enkele seconden. Maar een cruciale vraag blijft: als een computer de samenvatting schrijft, kan een andere computer dan worden vertrouwd om te controleren of deze accuraat is?
Een recente studie zette zich af om deze vraag te beantwoorden door vier verschillende kunstmatige intelligentiemodellen op de proef te stellen. De onderzoeker, die ook de tool bouwde die de samenvattingen genereerde, creëerde een gecontroleerde omgeving om te zien of deze AI-"rechters" betrouwbaar fouten konden opsporen. Het proces begon met vijftig echte, door vakgenoten beoordeelde medische artikelen die vijf verschillende ziekten beslaan. Een applicatie voor samenvattingen, ontworpen om de inhoud aan te passen aan verschillende doelgroepen zoals patiënten of professionals, veranderde deze artikelen in 200 afzonderlijke begrijpelijke secties. Het doel was om te zien of de samenvattingen getrouw waren aan de oorspronkelijke tekst. Hiervoye deed vier verschillende AI-modellen — elk een ander type large language model — de opdracht om dezelfde 196 samenvattingen te beoordelen met behulp van een identieke, strikte checklist. Deze checklist was verankerd aan de brontekst, wat betekende dat elke vraag die de AI moest beantwoorden direct gekoppeld was aan een specifiek feit in het originele artikel, zoals: "Werd dit specifieke bijwerking vermeld?" of "Werd de beperking van de studie correct weergegeven?".
De resultaten onthulden een verbijsterende inconsistentie. Wanneer de vier AI-modellen dezelfde samenvattingen beoordeelden, waren ze het niet met elkaar eens. Sterker nog, hun metingen van hoeveel fouten aanwezig waren, verschilden met een factor vier. Twee van de modellen waren zeer strikt en vonden een hoog aantal fouten in de tekst, terwijl de andere twee veel milder waren en vaak bijna geen enkele fout vonden. Het verschil was zo groot dat het belangrijker was dan het type ziekte dat werd besproken of de beoogde doelgroep van de samenvatting. Eén model vond in het bijzonder dat meer dan de helft van de samenvattingen geen primaire fouten bevatte, terwijl het strengste model fouten in bijna elke enkele samenvatting vond. Deze divergentie was geen willekeurige ruis; het wees op een specifiek gebrek in de werking van de modellen. De milde modellen leken alleen te controleren wat er wel aanwezig was in de samenvatting, waarbij ze de dingen misten die er juist hadden moeten zijn, maar die ontbraken. Ze merkten niet op wanneer een cruciale veiligheidswaarschuwing of een beperking van een studie volledig was weggelaten.
Dit falen om ontbrekende informatie te detecteren heeft ernstige gevolgen voor de patiëntveiligheid. De studie richtte zich zwaar op "veiligheidskritische weglatingen", zoals waarschuwingen over wie een medicijn niet mag gebruiken of welke gevaarlijke bijwerkingen kunnen optreden. In de bronartikelen bevatten achtentwintig secties ten minste één veiligheidsverklaring. Het strengste AI-model stelde vast dat tweeentwintig van deze samenvattingen die veiligheidsinformatie hadden weggelaten. Het meest milde model had echter slechts vier van deze gevaarlijke weglatingen opgemerkt. Wanneer de onderzoeker de AI-resultaten vergeleken met een menselijke expert die een kleinere steekproef van dezelfde samenvattingen beoordeelde, werd het patroon duidelijk. De menselijke expert vond een foutpercentage dat tussen de strikte en de milde AI-modellen in lag. Het strikte AI-model kwam nauw overeen met het oordeel van de mens, terwijl de milde modellen consequent meer dan de helft van de fouten die de mens vond, hadden gemist. Dit suggereert dat het vertrouwen op een milde AI om veiligheid te controleren een vals gevoel van veiligheid kan geven, waardoor gevaarlijke samenvattingen onopgemerkt door een kwaliteitscontrole glippen.
De studie bracht ook een verborgen technisch probleem aan het licht dat het beeld nog verder compliceert. Tijdens het testen faalden sommige AI-modellen erin om überhaupt een antwoord te geven, waarbij ze lege reacties terugstuurden. In de computercode die voor de studie werd gebruikt, werden deze lege reacties per abuis behandeld als perfecte scores, alsof het model de tekst had gelezen en deze foutloos bevond. Wanneer de onderzoeker deze specifieaties tests opnieuw uitvoerde, werd ontdekt dat veel van de "perfecte" scores in werkelijkheid stille fouten waren waarbij het model de strijd had opgegeven. Zelfs toen rekening werd gehouden met deze fouten, bleef de conclusie hetzelfde: de milde modellen detecteerden systematisch te weinig fouten. De studie concludeert dat er niet zoiets bestaat als een universeel betrouwbare AI-rechter. Een model dat goed werkt voor één taak of één type tekst, kan bij een andere taak volledig falen. De enige manier om te weten of een AI betrouwbaar is voor het controleren van medische samenvattingen, is door het te testen tegen een menselijke standaard op de specifieke inhoud die het zal beoordelen. Zonder deze validatie kan de keuze van welke AI als rechter wordt gebruikt, de gehele conclusie over de vraag of een samenvatting veilig is om te lezen, veranderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.