Automated Identification of Complex Percutaneous Coronary Intervention from Cardiac Catheterization Reports Using Large Language Models

Los hospitales generan un vasto océano de texto no estructurado cada día. Entre estos documentos, los más críticos son los informes narrativos escritos después de una cateterización cardíaca, un procedimiento en el que los médicos introducen un tubo delgado a través de las arterias para examinar los vasos sanguíneos del corazón. Estos informes son ricos en detalles sobre la anatomía del corazón de un paciente y las técnicas específicas utilizadas para reparar obstrucciones, pero están escritos en párrafos de flujo libre en lugar de campos de casillas de verificación ordenados. Para los investigadores y los equipos de mejora de la calidad, esto crea un cuello de botella significativo. Para estudiar qué tan bien funcionan estos procedimientos o para rastrear la complejidad de los casos a través de un sistema de salud, los expertos humanos deben leer manualmente miles de estos informes y extraer puntos de datos específicos. Este proceso es lento, costoso y difícil de escalar, lo que a menudo limita el tamaño y la velocidad de estudios médicos importantes.

El auge de los modelos de lenguaje extensos, un tipo de inteligencia artificial capaz de comprender y generar texto similar al humano, ofrece una solución potencial a este problema. Estos sistemas pueden ser entrenados para leer documentos complejos y extraer hechos específicos, de manera muy similar a un asistente de investigación muy rápido e incansable. Sin embargo, no estaba claro si estas herramientas podrían manejar el lenguaje matizado y especializado que se encuentra en las notas de procedimientos cardíacos, particularmente cuando se les pide identificar casos "complejos" que involucran múltiples obstrucciones o técnicas difíciles. Un equipo de investigadores se propuso probar esta cuestión utilizando una gran colección de informes de cateterización cardíaca del mundo real.

Los investigadores recopilaron 1,412 notas de procedimientos desidentificadas de tres hospitales diferentes dentro del sistema de salud Yale New Haven. Estos documentos cubrieron procedimientos realizados entre 2011 y 2017 e incluyeron una mezcla de exámenes diagnósticos y de intervenciones reales donde los médicos colocaron stents o utilizaron globos para abrir arterias bloqueadas. Para crear un estándar confiable de comparación, un grupo de especialistas cardíacos expertos leyó manualmente cada una de las notas. Primero determinaron si un informe describía un procedimiento donde realmente se utilizó un stent o un globo para tratar una arteria coronaria. Para aquellos que lo hicieron, luego extrajeron seis detalles específicos que definen un procedimiento "complejo": el número de vasos sanguíneos tratados, el número de obstrucciones distintas reparadas, el número total de stents colocados, si se utilizó una técnica específica de dos stents para un vaso ramificado, la longitud total de todos los stents combinados y si se trató una oclusión total crónica —una obstrucción completa y de larga duración—.

Con este "estándar de oro" verificado por humanos en su lugar, el equipo probó tres modelos diferentes de inteligencia artificial para ver si podían replicar el trabajo de los expertos. Eligieron modelos de código abierto, lo que significa que su código y pesos están disponibles públicamente, lo que permitió a los investigadores ejecutarlos en computadoras locales seguras para proteger la privacidad del paciente. Un modelo era un sistema masivo de propósito general con 70 mil millones de parámetros, una medida de su tamaño y capacidad de razonamiento. Los otros dos eran modelos más pequeños preentrenados específicamente en literatura médica, con 7 mil millones de parámetros cada uno, diseñados para comprender la terminología clínica. Los investigadores alimentaron los mismos prompts de texto e informes a los tres modelos, pidiéndoles que identificaran si ocurría un procedimiento y que extrajeran las seis variables específicas.

Los resultados mostraron una distincción clara en la capacidad. El modelo grande de propósito general superó significamente a los dos modelos más pequeños y específicos de medicina. Cuando se les pidió simplemente identificar si un informe describía un procedimiento cardíaco, el modelo grande logró una sensibilidad perfecta, lo que significa que no omitió ningún procedimiento real, e identificó correctamente los no procedimientos con alta precisión. En contraste, los modelos más pequeños tuvieron dificultades, con uno confundiendo frecuentemente las notas de no procedimientos con procedimientos y el otro fallando casi por completo en el reconocimiento de los procedimientos reales.

La brecha se amplió cuando la tarea requería la extracción de los seis detalles complejos. El modelo grande identificó con éxito el número de stents y la longitud total de los stents con una precisión muy alta, superando a menudo el 90 por ciento. También funcionó bien al identificar el número de vasos tratados. Sin embargo, su rendimiento disminuyó en variables que requerían más interpretación, como contar el número exacto de obstrucciones distintas o determinar si se utilizó una técnica específica de dos stents para un vaso ramificado. En estos casos, el modelo a veces omitió detalles o malinterpretó el contexto, aunque seguía siendo mucho más preciso que los modelos más pequeños. Los modelos médicos más pequeños, a pesar de su entrenamiento especializado, no lograron extraer estos detalles de manera consistente, produciendo a menudo resultados que eran demasiado poco fiables para su uso en investigación.

El estudio también examinó si los modelos se desempeñaban de manera diferente en los tres sitios hospitalarios. Si bien el modelo grande mantuvo una alta precisión en las tres ubicaciones, hubo variaciones notables en su desempeño en cada sitio, probablemente debido a las diferencias en cómo los médicos en cada hospital escribían sus notas. Los modelos más pequeños mostraron una inconsistencia aún mayor, con su desempeño fluctuando salvajemente dependiendo de la ubicación. Esto sugiere que, si bien el modelo grande es robusto, la forma en que se documenta la información aún puede influir en los resultados.

Los investigadores analizaron los errores cometidos por el modelo con mejor desempeño para comprender dónde presentaba dificultades. Encontraron que los errores a menudo ocurrían cuando la documentación era ambigua o fragmentada. Por ejemplo, el modelo a veces confundía una prueba diagnóstica con un tratamiento, o tenía dificultades para distinguir entre un stent que se colocó con éxito y uno que se intentó pero no se desplegó. También tuvo dificultades cuando un informe mencionaba una obstrucción que no fue tratada realmente, o cuando la descripción de una oclusión total crónica era implícita en lugar de estar declarada explícitamente. Estos errores resaltan que, si bien la tecnología es poderosa, aún no es perfecta para navegar la realidad desordenada e inconsistente de la escritura médica humana.

En última instancia, el estudio demuestra que un modelo de inteligencia artificial de código abierto y gran escala puede extraer con precisión datos complejos de informes de procedimientos cardíacos no estructurados, una tarea que tradicionalmente ha requerido horas de labor manual. Los hallazgos sugieren que para muchas variables, particularmente aquellas que se declaran explícitamente como el número de stents, estas herramientas pueden alcanzar un nivel de precisión adecuado para la investigación. Sin embargo, para las variables que requieren una interpretación contextual profunda, la tecnología aún enfrenta desafíos. El trabajo indica que el futuro de la investigación cardiovascular escalable puede residir en el uso de estos modelos poderosos para manejar la mayor parte de la extracción de datos, potencialmente combinados con la supervisión humana para los casos más difíciles, en lugar de depender únicamente de modelos especializados más pequeños o de la revisión manual.