Auditing Data Leakage Candidate Coverage and Calibration in Clinical Abbreviation Disambiguation Benchmarks
Dit artikel introduceert een controleerbaar evaluatieprotocol voor de disambiguatie van klinische afkortingen dat blootlegt hoe hoge benchmark-nauwkeurigheden vaak datalekken en problemen met de dekking van kandidaten maskeren, waarmee wordt aangetoond dat een betrouwbare beoordeling van klinische NLP aparte rapportage vereist van lekbestendigheid, kandidaatondersteuning en gekalibreerde betrouwbaarheid in plaats van te vertrouwen op een enkele nauwkeurigheidsscore.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, ongestructureerde wereld van medische dossiers schrijven artsen en verpleegkundigen aantekeningen die vol zitten met afkortingen. Om tijd te besparen, gebruiken ze afkortingen, maar deze verkortingen zijn vaak ambigu. Een enkele korte reeks letters kan in een cardiologieverslag iets heel anders betekenen dan in een neurologisch verslag. Om computers te helpen artsen, moeten ze eerst leren dit puzzelstukje op te lossen, een taak die bekend staat als afkortingsdisambiguatie. Onderzoekers hebben publieke tests, of benchmarks, gebouwd om te zien hoe goed computerprogramma's de juiste betekenis van deze verkortingen kunnen raden. Deze tests produceren meestal één getal, een percentage, dat bedoeld is om aan te geven hoe nauwkeurig de computer is. Als een programma negentig vijf procent scoort, wordt er vaak van uitgegaan dat het bijna perfect is. Echter, dit getal kan misleidend zijn als de test zelf verborgen gebreken bevat, zoals het herhalen van dezelfde zinnen in zowel de leerfase als de testfase, of als de test de moeilijkste gevallen verwijdert voordat de computer ze ooit te zien krijgt.
Een team van onderzoekers zette zich af om deze tests te auditeren, niet alleen om te zien of de computers slim waren, maar om te zien of de tests eerlijk waren. Ze richtten zich op een veelgebruikte collectie medische aantekeningen met vijfenzeventig verschillende afkortingen. Hun doel was om een nieuwe manier te ontwikkelen om deze systemen te evalueren die achter het gordijn van de definitieve score keek. Ze ontdekten dat de standaardmanier waarop deze tests worden uitgevoerd, vaak twee grote problemen verbergt. Ten eerste kan dezelfde zin per ongeluk zowel in de trainingsdata, waar de computer leert, als in de testdata, waar hij wordt beoordeeld, voorkomen. Dit is alsof je een student een oefenexamen geeft dat exact dezelfde vragen bevat als het uiteindelijke examen; de hoge score weerspiegelt geheugen, niet begrip. Ten tweede verwijderen de tests vaak zeldzame betekenissen van afkortingen omdat er slechts een paar voorbeelden van zijn. Dit creëert een vals gevoel van veiligheid, omdat een computer in de echte wereld uiteindelijk deze zeldzame gevallen zal tegenkomen en geen correct antwoord zal hebben om uit te kiezen.
Om dit op te loss ik, ontwierpen de onderzoekers een strikt protocol dat fungeert als een rigoureuze kwaliteitscontrole. Voordat de data werd gesplitst in leer- en testgroepen, scanden ze op dubbele zinnen en verwijderden ze de extra's, om ervoor te zorgen dat elke zin in de testset echt nieuw was voor de computer. Ze weigerden ook de zeldzame betekenissen te verwijderen. In plaats daarvan verplaatsten ze deze moeilijke gevallen naar een aparte "stress-testgroep". Deze groep stelde hen in staat om te zien wat er gebeurt wanneer een computer wordt gevraagd een betekenis te raden die hij nog nooit eerder heeft leren herkennen. Ze controleerden ook het vertrouwen van de computer. Een goed systeem moet niet alleen het juiste raden, maar ook weten wanneer het aan het gokken is. De onderzoekers maten of de computer het verschil kon zien tussen een situatie waarin hij een goed antwoord had en een situatie waarin hij gedwongen werd blind te gokken.
Toen ze dit nieuwe, striktere protocol toepasten op de vijfenzeventig afkortingen, waren de resultaten onthullend. De computersystemen presteerden nog steeds goed, maar de onderzoekers ontdekten dat de hoge scores die in het verleden werden gerapporteerd, niet volledig te danken waren aan de intelligentie van de systemen. Door de dubbele zinnen te verwijderen die tussen de trainings- en testsets waren gelekt, daalden de scores slechts licht, met ongeveer twee honderdste van een procentpunt. Deze kleine verandering suggereerde dat hoewel de datalekken aanwezig waren, ze niet de belangrijkste drijfveer waren achter de hoge scores in deze specifieke dataset. Het echte verhaal kwam echter naar voren toen ze naar de zeldzame betekenissen keken. Wanneer de computer werd gedwongen te kiezen uit een lijst met opties die het juiste antwoord niet bevatten, gokte hij nog steeds in meer dan de helft van de gevallen zelfverzekerd fout. Specifiek, wanneer de juiste betekenis ontbrak uit zijn lijst met keuzes, slaagde het systeem nog steeds in vijfennegentig procent van die gevallen voor een vertrouwenscheck die ontworpen was om slechte gokken te filteren. Dit betekent dat de computer vaak heel zeker was van zijn foute antwoorden.
De studie vergeleek ook verschillende soorten computermodellen, waarbij niet alleen naar nauwkeurigheid werd gekeken, maar ook naar hoeveel rekenkracht ze vereisten. Ze ontdekten dat een complexer model niet noodzakelijkerwijs beter presteerde dan een eenvoudiger model, en wanneer dat wel het geval was, was de verbetering zo klein dat het de enorme toename in tijd en energie die nodig is om het te draaien, mogelijk niet waard was. Eén model was drieënveertig keer groter en honderden keren langzamer dan een ander, terwijl het slechts een minimale voorsprong bood in prestaties. Dit onderstreept dat een enkel getal zoals "nauwkeurigheid" niet genoeg is om een systeem te beoordelen. Het verbergt de kosten van het draaien van het systeem en vertelt ons niet of het systeem betrouwbaar is wanneer het met het onbekende wordt geconfronteerd.
De onderzoekers concludeerden dat de manier waarop we medische kunstmatige intelligentie evalueren, moet veranderen. We kunnen niet vertrouwen op een enkel getal om ons te vertellen of een systeem klaar is voor de echte wereld. In plaats daarvan hebben we een pakket aan bewijslast nodig dat ook bevat hoe de test is opgebouwd, of het systeem met zeldzame gevallen om kan gaan en hoeveel het kost om te draaien. Door deze verschillende factoren te scheiden, kunnen artsen en ontwikkelaars betere beslissingen nemen. Ze kunnen zien of een systeem werkelijk robuust is of dat het gewoon goed is in het memoriseren van de test. Uiteindelijk is het doel niet alleen om een computer te bouwen die een hoog cijfer haalt op een test, maar om een hulpmiddel te bouwen dat vertrouwd kan worden wanneer een arts een cruciale beslissing neemt op basis van een verwarrende aantekening. De onderzoekers lieten zien dat we, door de test zelf te auditeren, kunnen stoppen met het vertrouwen op getallen die er goed uitzien, maar die misschien de waarheid verbergen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.