Toward Better Assessment of LLMs' Performance in Clinical Error Detection
Dit artikel toont aan dat standaard geaggregeerde metrieken zoals F1-scores misleidend kunnen zijn voor klinische foutdetectie, omdat ze vaak een gebrekkige prestatie in paarsgewijze discriminatie en taalspecifieke biases in LLM's maskeren, wat de adoptie van gepaarde evaluatiemethoden noodzakelijk maakt voor veiligere klinische toepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, door papier gevulde gangen van de moderne gezondheidszorg kan één verkeerd geplaatst woord in een artsennotitie een rimpeleffect veroorzaken, waardoor een juiste diagnose verandert in een gevaarlijke fout. Deze documenten, die alles vastleggen van de symptomen van een patiënt tot het behandelplan, vormen de ruggengraat van de medische zorg, maar zijn tevens een veelvoorkomende bron van vermijdbare schade. Jarenlang hebben onderzoekers gehoopt dat kunstmatige intelligentie als een onvermoeibare tweede paar ogen zou kunnen fungeren, die deze notities scant om fouten op te sporen voordat ze de patiënt bereiken. De belofte is helder: als een computer een foutieve diagnose of een gemiste infectie kan signaleren, zou dat levens kunnen redden. Maar om te weten of deze computers werkelijk in staat zijn, moeten wetenschappers eerst uitzoeken hoe ze hen eerlijk kunnen testen. De uitdaging ligt in het onderscheid maken tussen een model dat werkelijk medisch redeneren begrijpt en een model dat simpelweg elke keer hetzelfde antwoord raadt, ongeacht de tekst die het leest.
Een team van onderzoekers ondernam onlangs een onderzoek naar precies dit probleem, waarbij zij zich richtten op een specifieke manier van testen die grotendeels over het hoofd was gezien. Zij onderzochten vijftien verschillende grote taalmodellen, de krachtige computerprogramma's die menselijke taal kunnen lezen en schrijven, en vroegen hen om fouten in klinische notities te vinden. De onderzoekers gebruikten een slimme testmethode waarbij elke notitie die een fout bevatte, werd gekoppeld aan een bijna identieke notitie die perfect correct was, waarbij het verschil slechts bestond uit één enkele zin. Deze koppeling stelde hen in staat om te zien of de modellen het verschil tussen de twee konden waarnemen. Wat zij vonden was een ernstige waarschuwing: hoewel de modellen op standaardtests redelijk presteerden, faalden ze grotendeels op de kernopgave van discriminatie. Toen de onderzoekers nauwkeuriger keken, ontdekten zij dat de meeste van deze modellen niet daadwerkelijk fouten identificeerden; ze kozen er simpelweg voor om op een standaard antwoord terug te vallen, waarbij ze ofwel elke notitie als gevaarlijk markeerden, ofwel elke notitie als veilig vrijgaven, zonder de inhoud werkelijk te begrijpen.
De studie begon met het testen van vijftien verschillende modellen over vier sets medische notities geschreven in het Engels, Chinees en Japans. In een typische evaluatie kijken onderzoekers wellicht naar een enkele score, zoals hoe vaak het model het antwoord in zijn algemeenheid goed had. Echter, de onderzoekers realiseerden zich dat deze benadering gebrekkig was omdat het elke notitie als een geïsoleerde gebeurtenis behandelde. In plaats daarvan behandelden zij het paar notities — de ene met de fout en de andere zonder — als een enkele eenheid van waarheid. Ze berekenden een nieuwe maatstaf, waarbij ze in essentie vroegen: identificeerde het model de fout in de eerste notitie correct en gaf het de tweede notitie ook correct vrij? Als een model voor alles "fout" zou raden, zou het het eerste deel goed doen maar het tweede deel fout doen. Als het voor alles "geen fout" zou raden, zou het het eerste deel fout doen maar het tweede deel goed doen. Alleen een model dat het werkelijke verschil begreep, kon beide delen van het paar correct uitvoeren.
De resultaten waren verrassend en zorgwekkend. Van de vijftien geteste modellen faalden er dertien om beter te presteren dan een willekeurige gok wanneer zij werden beoordeeld volgens deze gepaarde standaard. Sterker nog, hun vermogen om te differentiëren tussen een onjuiste en een juiste notitie was vaak slechter dan het opgooien van een munt. Toch, toen de onderzoekers naar de standaardscores keken waarop de meeste mensen vertrouwen, leken diezelfde modellen een behoorlijke taak te volbrengen, met scores die duidden op matig succes. Deze discrepantie onthulde een verborgen valstrik in de manier waarop deze systemen momenteel worden geëvalueerd. De standaardscores werden opgeblazen door een consistente bias. Sommige modellen waren zo enthousiast om fouten te vinden dat ze bijna elke notitie als gevaarlijk markeerden, terwijl andere zo voorzichtig waren dat ze bijna alles vrijgaven. Omdat de tests niet waren ontworpen om dit gedrag te detecteren, ontvingen de modellen hoge cijfers voor het consequent fout hebben in de ene of de andere richting, in plaats van voor het accuraat zijn.
De onderzoekers groeven dieper om te begrijpen waarom de modellen faalden. Zij ontdekten dat de bias niet consistent was; het veranderde afhankelijk van de taal. Dezelfdeel kon in het Engels overdreven wantrouwig zijn tegenover fouten, maar in het Chinees juist te vertrouwend zijn. Deze inconsistentie betekende dat een model niet betrouwbaar kon worden ingezet over verschillende talen zonder zorgvuldige afstemming. Nog onthullender was een analyse van wat de modellen schreven wanneer ze een fout maakten. De onderzoekers vroegen de modellen om hun redenering toe te lichten, waarbij zij wezen op de specifieke zinnen die tot hun besluit leidden. Zij ontdekten dat de modellen vaak goed waren in het vinden van de juiste zin. Wanneer een model een notitie als foutief markeerde, wees het vaak naar de exacte zin die de fout bevatte. Het zou echter dezelfde fout maken op de schone versie van de notitie, waarbij het een vergelijkbare zin aanwees en beweerde dat deze ook een fout was. De modellen konden het bewijs lokaliseren, maar konden dat bewijs niet gebruiken om tot het juiste oordeel te komen.
Deze kloof tussen het vinden van het bewijs en het correct beoordelen ervan suggereert dat de modellen de structuur van medisch redeneren nabootsen zonder de logica erachter werkelijk te vatten. Ze kunnen de juiste woorden markeren, maar ze kunnen niet beslissen of die woorden een fout constitueren. De studie toonde ook aan dat de relatie tussen de standaardscores en het werkelijke vermogen tot discriminatie verbroken was. In veel gevallen waren de modellen die het hoogst scoorden op standaardtests, juist de slechtste in het onderscheiden van een correcte notitie van een onjuiste notitie. Dit betekent dat als een ziekenhuis een systeem van kunstmatige intelligentie zou kiezen op basis van de huidige standaardmetrieken, zij waarschijnlijk het systeem zouden kiezen dat het meest vatbaar is voor systematische fouten.
De onderzoekers concludeerden dat voor deze instrumenten veilig genoeg te zijn voor gebruik in ziekenhuizen, de manier waarop zij worden getest moet veranderen. Het vertrouwen op een enkele algemene score is niet langer voldoende. In plaats daarvan moeten evaluaties deze gepaarde vergelijkingen bevatten om te garanderen dat het model daadwerkelijk het verschil kan zien tussen een juiste en een onjuiste notitie. Tot die tijd blijft de huidige generatie kunstmatige intelligentie, ondanks haar indrukwekkende vermogen om tekst te genereren en informatie te lokaliseren, te onbetrouwbaar om zelfstandig met de kritieke taak van het detecteren van medische fouten te worden belast. De weg vooruit houdt niet alleen in dat er grotere modellen worden gebouwd, maar dat er betere tests worden ontwikkeld die door de illusie van competentie heen kunnen kijken en de werkelijke grenzen van deze systemen kunnen onthullen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.