Creating A Gold Standard Annotation Guideline for Electronic Health Records

In de stille brom van een ziekenhuis, tussen het gepiep van monitoren en het geritsel van papieren dossiers, wordt een enorme bibliotheek aan menselijke ervaringen geschreven. Al decennia lang leggen artsen de verhalen van hun patiënten vast in elektronische patiëntendossiers, waarbij ze digitale bestanden vullen met aantekeningen over symptomen, behandelingen en de complexe geschiedenis van een leven dat met ziekte wordt geleefd. Deze dossiers zijn een schatkist aan informatie, maar ze zijn geschreven in een taal die vaak slordig, ongestructureerd en diep persoonlijk is. Hoewel computers uitstekend zijn in het verwerken van getallen, hebben ze historisch gezien moeite gehad om deze vrije tekstnotities te lezen met dezelfde nuance die een menselijke arts bezit. Dit is waar een vakgebied genaamd natuurlijke taalverwerking (natural language processing) in beeld komt, als een brug tussen menselijke spraak en machinale begrip. Het doel is om computers te leren medische aantekeningen te lezen, de vitale feiten die verborgen liggen in de paragrafen te extraheren, en die kennis te gebruiken om de zorg voor miljoenen mensen te verbeteren. Maar om een computer te leren hoe hij een aantekening van een arts moet lezen, moet deze eerst worden onderwezen door mensen die hem precies kunnen laten zien wat er toe doet.

Een team van onderzoekers van King's College London en de Universiteit van Swansea heeft een belangrijke stap voorwaarts gezet in deze inspanning door een nieuwe, hoogwaardige gids te creëren voor het onderwijzen van computers hoe ze de medische dossiers van mensen met epilepsie moeten lezen. Epilepsie is een veelvoorkomende neurologische aandoening die wordt gekenmerkt door terugkerende aanvallen, en hoewel veel mensen dit goed beheersen met medicatie, doet een aanzienlijk deel dat niet. Om te begrijpen waarom sommige patiënten niet reageren op behandeling, moeten artsen kijken naar de volledige, gedetailleerde geschiedenis van de ziekte, inclusief de specifieke gebruikte medicijnen, de frequentie van de aanvallen en de vele andere factoren die het leven van een patiënt beïnvloeden. Deze details zijn verspreid over duizenden elektronische patiëntendossiers, vaak begraven in vrije tekstbeschrijvingen. De onderzoekers zetten zich in om een "gouden standaard"-dataset te creëren — een collectie van deze dossiers die zorgvuldig door experts zijn gelezen en gelabeld, vergezeld door een strikte set regels over hoe ze te labelen. Deze bron is ontworend om AI-systemen te helpen deze cruciale details automatisch te vinden, waardoor een berg tekst wordt omgezet in gestructureerde, bruikbare gegevens.

Om deze bron op te bouwen, verzamelde het team 1.500 elektronische patiëntendossiers van epilepsiepoliklinieken bij Guy's and St Thomas' Trust in Londen. Deze documenten werden niet willekeurig gekozen; ze werden zorgvuldig geselecteerd om een brede dwarsdoorsnede van patiënten te vertegenwoordigen, waarbij een mix van leeftijden, verschillende soorten medicatie en variërende frequenties van aanvallen werd gewaarborgd. De dossiers zelf zijn een mengeling van gestructureerde data, zoals de geboortedatum van een patiënt, en ongestructureerde tekst, waarin artsen hun observaties, behandelplannen en aantekeningen over hoe een patiënt ermee omgaat, opschrijven. De onderzoekers brachten vervolgens een team van acht personen samen om deze documenten te lezen en te labelen. Dit team bestond uit een mix van vijf clinici, die medisch artsen zijn, en drie datawetenschappers die gespecialiseerd zijn in epilepsie. Ze gebruikten een gespecialiseerde softwaretool waarmee ze specifieke stukjes informatie in de tekst konden markeren en deze konden toewijzen aan categorieën, zoals het type epilepsie dat een patiënt heeft, de medicijnen die zij gebruiken, de dosering en eventuele andere gezondheidstoestanden die zij mogelijk hebben.

Het proces was ontworpen om zo duidelijk en consistent mogelijk te zijn. Het team creëerde een gedetailleerde set richtlijnen die uitlegden hoe de tekst precies geïnterpreteerd moest worden. Als een arts bijvoorbeeld schreef dat een patiënt "mogelijk" aanvallen had, vertelden de richtlijnen de annotatoren hoe ze dat niveau van zekerheid moesten beoordelen. Het team moest ook beslissen hoe ze complexe situaties moesten afhandelen, zoals een patiënt die een medicijn op verschillende momenten van de dag in verschillende doses inneemt. Om te testen hoe goed deze richtlijnen werkten, werd elk document gelezen en gelabeld door twee verschillende mensen: één clinicus en één datawetenschapper. Dit dubbelcontrolesysteem stelde de onderzoekers in staat om te meten in hoeverre de twee lezers met elkaar overeenstemden. Als de richtlijnen duidelijk waren en de taak recht door zee, zouden de twee lezers dezelfde informatie op dezelfde manier labelen. Als ze van mening verschilden, suggereerde dit dat de richtlijnen duidelijker moesten zijn of dat de informatie in de tekst te ambigu was.

De resultaten van deze inspanning toonden aan dat het team grotendeels was geslaagd in het creëren van een betrouwbaar systeem. Wanneer de onderzoekers het werk van de twee lezers voor elk document vergeleken, stelden ze een hoog niveau van overeenstemming vast over het algemeen. De meest consistente labels waren voor de meest eenvoudige feiten, zoals de namen van de anti-epileptische medicijnen die een patiënt gebruikt en of de patiënt momenteel vrij is van aanvallen. Deze details verschenen vaak in duidelijke, lijstachtige secties van de aantekeningen, waardoor ze gemakkelijk voor zowel de artsen als de datawetenschappers te spotten en te bevestigen waren. De onderzoekers ontdekten echter ook dat de overeenstemming afnam wanneer de aantekeningen subjectiever of complexer werden. Wanneer de tekst bijvoorbeeld de zekerheid van een diagnose of de exacte timing van gebeurtenissen besprak, verschilden de twee lezers soms van mening. In bepaalde blokken documenten was de overeenstemming lager, wat suggereerde dat bepaalde delen van de aantekeningen moeilijker te interpreteren waren dan andere. De onderzoekers merkten op dat dit niet kwam omdat de documenten zelf anders waren, maar waarschijnlijk omdat de menselijke lezers het moeilijk vonden om de regels in elk geval perfect toe te passen, vooral bij het werken met vage taal of meerdere doseringen van medicatie.

Ondanks deze uitdagingen was het algemene niveau van overeenstemming sterk genoeg om computergestuurde systemen te trainen. Het team concludeerde dat hun richtlijnen over het algemeen reproduceerbaar waren en dat de resulterende dataset een waardevolle bron is voor de toekomst. Ze ontdekten dat de moeilijkheid bij het overeenstemmen over een stuk informatie niet afhing van hoe zeldzaam die informatie was; zelfs veelvoorkomende feiten konden moeilijk te verklaren zijn als ze ambigu waren opgeschreven. De studie suggereert dat voor kunstmatige intelligentie om de kunst van het lezen van medische aantekeningen echt te beheersen, toekomstige richtlijnen nog meer nadruk moeten leggen op het omgaan met onzekerheid en het aanleren van redeneren over tijd en waarschijnlijkheid aan machines. Terwijl het team doorgaat met het annoteren van meer dossiers en het verfijnen van hun regels, zal deze groeiende bibliotheek van gelabelde gegevens dienen als fundament voor het bouwen van slimmere tools. Deze tools zouden artsen uiteindelijk kunnen helpen om duizenden patiëntgeschiedenissen in seconden te analyseren, waardoor patronen worden ontdekt die kunnen leiden tot betere behandelingen voor hen die worstelen met medicatieresistente epilepsie.