Creating A Gold Standard Annotation Guideline for Electronic Health Records

Nel ronzio silenzioso di un ospedale, tra il bip dei monitor e il fruscio delle cartelle cliniche cartacee, viene scritta una vasta biblioteca di esperienze umane. Da decenni, i medici registrano le storie dei loro pazienti nelle cartelle cliniche elettroniche, riempiendo file digitali con note su sintomi, trattamenti e la complessa storia di una vita vissuta con la malattia. Questi record sono un tesoro di informazioni, eppure sono scritti in un linguaggio che è spesso disordinato, non strutturato e profondamente personale. Sebbene i computer siano eccellenti nel calcolare numeri, storicamente hanno faticato a leggere queste note in testo libero con la stessa sfumatura che possiede un medico umano. È qui che interviene un campo noto come elaborazione del linguaggio naturale, agendo come un ponte tra il parlato umano e la comprensione delle macchine. L'obiettivo è insegnare ai computer a leggere le note mediche, estrarre i fatti vitali nascosti nei paragrafi e usare quella conoscenza per migliorare l'assistenza a milioni di persone. Tuttavia, affinché un computer impari a leggere una nota medica, deve prima essere istruito da esseri umani che possano mostrargli esattamente cosa conta.

Un team di ricercatori del King's College London e della Swansea University ha compiuto un passo significativo in questo sforzo, creando una nuova guida di alta qualità per insegnare ai computer come leggere le cartelle cliniche di persone affette da epilessia. L'epilessia è una comune condizione neurologica caratterizzata da crisi ricorrenti e, sebbene molte persone la gestiscano bene con i farmaci, una parte significativa non ci riesce. Per capire perché alcuni pazienti non rispondono al trattamento, i medici devono esaminare la storia completa e dettagliata della malattia, inclusi i farmaci specifici assunti, la frequenza delle crisi e i molti altri fattori che influenzano la vita di un paziente. Questi dettagli sono sparsi in migliaia di cartelle cliniche elettroniche, spesso sepolti in descrizioni in testo libero. I ricercatori si sono posti l'obiettivo di creare un dataset "gold standard" — una collezione di questi record che sia stata attentamente letta e etichettata da esperti, accompagnata da un rigoroso insieme di regole su come etichettarli. Questa risorsa è progettata per aiutare a addestrare i sistemi di intelligenza artificiale a trovare automaticamente questi dettagli critici, trasformando una montagna di testo in dati strutturati e utilizzabili.

Per costruire questa risorsa, il team ha raccolto 1.500 cartelle cliniche elettroniche dalle cliniche di epilessia del Guy's and St Thomas' Trust di Londra. Questi documenti non sono stati scelti a caso; sono stati selezionati con cura per rappresentare un ampio ventaglio di pazienti, garantendo un mix di età, diversi tipi di farmaci e varie frequenze di crisi. I record stessi sono un mix di dati strutturati, come la data di nascita di un paziente, e testo non strutturato, dove i medici scrivono le loro osservazioni, i piani di trattamento e le note su come un paziente stia affrontando la situazione. I ricercatori hanno poi riunito un team di otto persone per leggere ed etichettare questi documenti. Questo team era composto da cinque clinici, ovvero medici, e tre scienziati dei dati specializzati in epilessia. Hanno utilizzato uno strumento software specializzato che permetteva loro di evidenziare parti specifiche di informazione nel testo e assegnarle a categorie, come il tipo di epilessia del paziente, i farmaci che sta assumendo, il dosaggio e qualsiasi altra condizione sanitaria che potrebbe avere.

Il processo è stato progettato per essere il più chiaro e coerente possibile. Il team ha creato linee guida dettagliate che spiegavano esattamente come interpretare il testo. Ad esempio, se un medico scriveva che un paziente ha "possibilmente" delle crisi, le linee guida dicevano agli annotatori come valutare quel livello di certezza. Il team ha anche dovuto decidere come gestire situazioni complesse, come un paziente che assume un farmaco a dosi diverse in momenti diversi del giorno. Per testare quanto bene funzionassero queste linee guida, ogni singolo documento è stato letto ed etichettato da due persone diverse: un clinico e uno scienziato dei dati. Questo processo di doppia verifica ha permesso ai ricercatori di misurare quanto i due lettori concordassero tra loro. Se le linee guida erano chiare e il compito era semplice, i due lettori avrebbero etichettato la stessa informazione nello stesso modo. Se discordevano, ciò suggeriva che le linee guida potessero aver bisogno di maggiore chiarezza o che l'informazione nel testo fosse troppo ambigua.

I risultati di questo sforzo hanno dimostrato che il team era riuscito ampiamente a creare un sistema affidabile. Quando i ricercatori hanno confrontato il lavoro dei due lettori per ogni documento, hanno riscontrato un alto livello di accordo complessivo. Le etichette più coerenti erano quelle per i fatti più diretti, come i nomi dei farmaci anticonvulsivanti che un paziente stava assumendo e se fosse attualmente libero da crisi. Questi dettagli apparivano spesso in sezioni chiare e simili a elenchi nelle note, rendendoli facili da individuare e su cui concordare sia per i medici che per gli scienziati dei dati. Tuttavia, i ricercatori hanno anche scoperto che l'accordo diminuiva quando le note diventavano più soggettive o complesse. Ad esempio, quando il testo discuteva la certezza di una diagnosi o il tempo esatto di un evento, i due lettori talvolta discordavano. In alcuni blocchi di documenti, l'accordo era più basso, suggerendo che alcune parti delle note fossero più difficili da interpretare rispetto ad altre. I ricercatori hanno notato che questo non era dovuto al fatto che i documenti fossero diversi, ma probabilmente perché i lettori umani trovavano difficile applicare le regole perfettamente in ogni singolo caso, specialmente quando si trattava di un linguaggio vago o di dosaggi multipli di farmaci.

Nonostante queste sfide, il livello complessivo di accordo era sufficientemente forte da essere utile per addestrare i sistemi informatici. Il team ha concluso che le loro linee guida erano generalmente riproducibili e che il dataset risultante è una risorsa preziosa per il futuro. Hanno scoperto che la difficoltà di concordare su un'informazione non dipendeva dalla rarità della stessa; anche i fatti comuni potevano essere difficili da concordare se scritti in modo ambiguo. Lo studio suggerisce che, affinché l'intelligenza artificiale padroneggi davvero l'arte di leggere le note mediche, le linee guida future dovranno porre un'enfasi ancora maggiore sulla gestione dell'incertezza e sull'insegnare alle macchine come ragionare sul tempo e sulla probabilità. Mentre il team continua ad annotare ulteriori record e a perfezionare le proprie regole, questa crescente biblioteca di dati etichettati servirà da fondamento per la creazione di strumenti più intelligenti. Questi strumenti potrebbero in seguito aiutare i medici ad analizzare migliaia di storie cliniche in pochi secondi, scoprendo schemi che potrebbero portare a migliori trattamenti per coloro che lottano con l'epilessia farmaco-resistente.