Creating A Gold Standard Annotation Guideline for Electronic Health Records

En el silencioso zumbido de un hospital, entre el pitido de los monitores y el crujido de las historias clínicas de papel, se está escribiendo una vasta biblioteca de la experiencia humana. Durante décadas, los médicos han registrado las historias de sus pacientes en registros de salud electrónicos, llenando archivos digitales con notas sobre síntomas, tratamientos y la compleja historia de una vida vivida con enfermedades. Estos registros son un tesoro de información, pero están escritos en un lenguaje que a menudo es desordenado, no estructurado y profundamente personal. Si bien las computadoras son excelentes para procesar números, históricamente han tenido dificultades para leer estas notas de texto libre con la misma sutileza que posee un médico humano. Aquí es donde interviene un campo conocido como procesamiento de lenguaje natural, actuando como un puente entre el habla humana y la comprensión de las máquinas. El objetivo es enseñar a las computadoras a leer notas médicas, extraer los hechos vitales ocultos dentro de los párrafos y utilizar ese conocimiento para mejorar la atención de millones de personas. Sin embargo, para que una computadora aprenda a leer la nota de un médico, primero debe ser enseñada por humanos que puedan mostrarle exactamente qué es lo que importa.

Un equipo de investigadores del King's College London y la Universidad de Swansea ha dado un paso significativo en este esfuerzo al crear una nueva guía de alta calidad para enseñar a las computadoras cómo leer los registros médicos de personas con epilepsia. La epilepsia es una condición neurológica común caracterizada por convulsiones recurrentes y, aunque muchas personas la controlan bien con medicación, una parte significativa no lo logra. Para entender por qué algunos pacientes no responden al tratamiento, los médicos necesitan observar la historia completa y detallada de la enfermedad, incluyendo los fármacos específicos tomados, la frecuencia de las convulsiones y los muchos otros factores que influyen en la vida de un paciente. Estos detalles se encuentran dispersos a través de miles de registros de salud electrónicos, a menudo enterrados en descripciones de texto libre. Los investigadores se propusieron crear un conjunto de datos de "estándar de oro" (gold standard)—una colección de estos registros que ha sido cuidadosamente leída y etiquetada por expertos, acompañada de un conjunto estricto de reglas sobre cómo etiquetarlos. Este recurso está diseñado para ayudar a entrenar sistemas de inteligencia artificial para encontrar estos detalles críticos de forma automática, convirtiendo una montaña de texto en datos estructurados y utilizables.

Para construir este recurso, el equipo recopiló 1,500 registros de salud electrónicos de clínicas de epilepsia en el Guy's and St Thomas' Trust en Londres. Estos documentos no fueron elegidos al azar; fueron cuidadosamente seleccionados para representar una amplia sección transversal de pacientes, asegurando una mezcla de edades, diferentes tipos de medicamentos y diversas frecuencias de convulsiones. Los registros en sí son una mezcla de datos estructurados, como la fecha de nacimiento de un paciente, y texto no estructurado, donde los médicos escriben sus observaciones, planes de tratamiento y notas sobre cómo se está adaptando el paciente. Luego, los investigadores ensamblaron un equipo de ocho personas para leer y etiquetar estos documentos. Este equipo era una mezcla de cinco clínicos, que son médicos, y tres científicos de datos especializados en epilepsia. Utilizaron una herramienta de software especializada que les permitía resaltar piezas específicas de información en el texto y asignarlas a categorías, tales como el tipo de epilepsia que tiene el paciente, los medicamentos que está tomando, la dosis y cualquier otra condición de salud que pudieran tener.

El proceso fue diseñado para ser lo más claro y consistente posible. El equipo creó un conjunto detallado de directrices que explicaban exactamente cómo interpretar el texto. Por ejemplo, si un médico escribía que un paciente "posiblemente" estaba teniendo convulsiones, las directrices indicaban a los anotadores cómo calificar ese nivel de certeza. El equipo también tuvo que decidir cómo manejar situaciones complejas, como un paciente que toma un medicamento en diferentes dosis en diferentes momentos del día. Para probar qué tan bien funcionaban estas directrices, cada uno de los documentos fue leído y etiquetado por dos personas diferentes: un clínico y un científico de datos. Este proceso de doble verificación permitió a los investigadores medir cuánto coincidían los dos lectores entre sí. Si las directrices eran claras y la tarea era sencilla, los dos lectores etiquetarían la misma información de la misma manera. Si discrepaban, sugería que las directrices podrían necesitar ser más claras o que la información en el texto era demasiado ambigua.

Los resultados de este esfuerzo demostraron que el equipo había tenido éxito en gran medida al crear un sistema fiable. Cuando los investigadores compararon el trabajo de los dos lectores para cada documento, encontraron un alto nivel de acuerdo general. Las etiquetas más consistentes fueron para los hechos más sencillos, como los nombres de los medicamentos antiepilépticos que un paciente estaba tomando y si actualmente estaba libre de convulsiones. Estos detalles a menudo aparecían en secciones claras, de tipo lista, en las notas, lo que los hacía fáciles de detectar y de acordar tanto para los médicos como para los científicos de datos. Sin embargo, los investigadores también descubrieron que el acuerdo disminuía cuando las notas se volvían más subjetivas o complejas. Por ejemplo, cuando el texto discutía la certeza de un diagnóstico o el momento exacto de los eventos, los dos lectores a veces discrepaban. En algunos bloques de documentos, el acuerdo fue menor, lo que sugiere que ciertas partes de las notas eran más difíciles de interpretar que otras. Los investigadores señalaron que esto no se debía a que los documentos fueran diferentes, sino que probablemente se debía a que a los lectores humanos les resultaba difícil aplicar las reglas perfectamente en cada caso, especialmente cuando se trataba de lenguaje vago o múltiples dosis de medicación.

A pesar de estos desafíos, el nivel general de acuerdo fue lo suficientemente fuerte como para ser útil para entrenar sistemas computacionales. El equipo concluyó que sus directrices eran generalmente reproducibles y que el conjunto de datos resultante es un recurso valioso para el futuro. Descubrieron que la dificultad para acordar una pieza de información no dependía de qué tan rara fuera esa información; incluso los hechos comunes podían ser difíciles de acordar si estaban escritos de forma ambigua. El estudio sugiere que, para que la inteligencia artificial realmente domine el arte de leer notas médicas, las futuras directrices deben poner un énfasis aún mayor en el manejo de la incertidumbre y en la enseñanza a las máquinas sobre cómo razonar acerca del tiempo y la probabilidad. A medida que el equipo continúa anotando más registros y refinando sus reglas, esta creciente biblioteca de datos etiquetados servirá como base para la construcción de herramientas más inteligentes. Estas herramientas podrían eventualmente ayudar a los médicos a analizar miles de historias de pacientes en segundos, descubriendo patrones que podrían conducir a mejores tratamientos para aquellos que luchan contra la epilepsia resistente a los fármacos.