Resumen Técnico: Evaluación Centrada en el Clínico de Resúmenes de Alta Generados por LLM para Hospitalizaciones Prolongadas

Planteamiento del Problema

Los resúmenes de alta hospitalaria son críticos para transiciones de cuidado seguras, pero imponen una carga cognitiva significativa en los clínicos, particularmente durante hospitalizaciones largas (7 a 21 días). Estas estancias prolongadas generan un alto volumen de documentación fragmentada, repetitiva y compleja, lo que dificulta la síntesis de un documento de transición conciso y preciso. Si bien los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) han mostrado potencial en la generación de resúmenes de alta, las evaluaciones previas se han centrado mayoritariamente en estancias cortas y rara vez han examinado las prioridades específicas de los clínicos receptores (Médicos de Atención Primaria, o PCPs) o el reporte de hallazgos incidentales. Además, la literatura existente carece de evidencia sobre si los LLM pueden procesar eficazmente los Registros Médicos Electrónicos (EHR) que exceden las limitaciones actuales de la ventana de contexto del modelo, un desafío común en casos de estancia larga.

Metodología

El estudio realizó una evaluación centrada en el clínico comparando resúmenes de alta generados por LLM frente a resúmenes redactados por humanos para 60 hospitalizaciones de Medicina Interna con una duración de entre 7 y 21 días.

Procesamiento de Datos y Pipeline:

• Cohorte: Se estratificaron 60 encuentros de un grupo de 400 casos de hospitalización históricos en el Stony Brook University Hospital (enero 2023–diciembre 2024).
• Datos de Entrada: El pipeline extrajo 370 tipos de notas únicos (incluyendo notas de urgencias, interconsultas, notas de progreso e informes de imagenología) del EHR Oracle Cerner. Esto resultó en una reducción promedio del 55% en el volumen de texto por encuentro tras el filtrado.
• Arquitectura del LLM: Para abordar las limitaciones de la ventana de contexto, los autores desarrollaron un pipeline escalable utilizando un enfoque de ventana deslizante. Los documentos clínicos se segmentaron en fragmentos de 50,000 tokens. Se empleó un proceso de refinamiento iterativo donde el LLM (GPT-5.2) generó un borrador inicial cronológico y con viñetas a partir del primer segmento y lo actualizó a medida que se procesaban los segmentos sucesivos.
• Hallazgos Incidentales: Se diseñó un flujo de trabajo de prompts separado para identificar y extraer hallazgos incidentales clínicamente relevantes de los informes de radiología.
• Resultado Final: El sistema consolidó el borrador cronológico y los hallazgos incidentales en un resumen narrativo final.

Protocolo de Evaluación:

• Revisores: 12 médicos adjuntos (6 hospitalistas y 6 PCPs) evaluaron los resúmenes de forma independiente.
• Alineación del Flujo de Trabajo: Los hospitalistas revisaron todas las notas del paciente hospitalizado antes de evaluar los resúmenes, mientras que los PCPs revisaron primero los resúmenes y luego corroboraron los hallazgos con las notas de hospitalización para simular los flujos de trabajo reales de transición de cuidados.
• Métricas:
  • Cuantitativas: Los revisores calificaron los resúmenes en una escala de Likert de 5 puntos para calidad, legibilidad, veracidad y completitud. Los PCPs proporcionaron calificaciones adicionales sobre la facilidad de comprensión, la verbalización al paciente y la utilidad de seguimiento.
  • Anotación de Errores: Los revisores anotaron imprecisiones y omisiones, calificando el potencial de daño y la probabilidad de daño utilizando una escala adaptada de la Agencia para la Investigación y Calidad de la Atención Médica (AHRQ).
  • Hallazgos Incidentales: Los revisores evaluaron la precisión y la idoneidad de los hallazgos incidentales reportados.
• Cualitativa: Se realizaron sesiones de debriefing semiestructuradas post-revisión para recopilar comentarios cualitativos sobre el flujo de trabajo y la confianza.

Resultados Clave

Desempeño y Preferencia:

• Preferencia: Los médicos revisores prefirieron los resúmenes generados por LLM en el 95% de los 60 encuentros.
• Métricas de Calidad: Los resúmenes generados por LLM recibieron puntuaciones medias significativamente más altas que los redactados por humanos en todas las métricas:
  • Calidad: 4.71 vs. 3.16 ($p = 1.40 \times 10^{-17}$)
  • Legibilidad: 4.66 vs. 3.39 ($p = 3.25 \times 10^{-15}$)
  • Veracidad: 4.62 vs. 3.73 ($p = 1.08 \times 10^{-13}$)
  • Completitud: 4.69 vs. 3.42 ($p = 2.67 \times 10^{-15}$)
• Consistencia: Los resúmenes de LLM demostraron una mayor consistencia, con una desviación absoluta media en las puntuaciones de Likert menos de la mitad que la de los resúmenes redactados por humanos (0.49 vs. 1.07).

Análisis de Errores:

• Frecuencia: Los resúmenes generados por LLM contenían menos errores totales (media 0.42) en comparación con los redactados por humanos (media 0.73; $p = 0.011$).
• Tipos de Error: La reducción de errores fue impulsada principalmente por menores omisiones en los resúmenes de LLM. No hubo una diferencia significativa en la tasa de imprecisiones entre los dos grupos.
• Potencial de Daño: No hubo una diferencia estadísticamente significativa en el potencial de daño estimado o en la probabilidad de daño de los errores entre los resúmenes generados por LLM y los redactados por humanos.

Hallazgos Específicos de los Interesados:

• Perspectiva del PCP: Los PCPs calificaron los resúmenes de LLM significativamente más alto que los hospitalistas en cuanto a legibilidad y completitud. Los PCPs identificaron significativamente más omisiones tanto en los tipos de resumen como en los hospitalistas, y asignaron puntuaciones de probabilidad de daño más altas a los errores, reflejando su responsabilidad en el cuidado longitudinal post-alta.
• Hallazgos Incidentales: De los 31 hallazgos incidentales identificados por el LLM, el 93.5% fueron calificados como fácticamente correctos y el 87.1% como apropiados para su reporte.

Percepciones Cualitativas:

• Los revisores citaron la reducción de la carga cognitiva, la mayor consistencia y la presentación más clara del razonamiento del tratamiento y los problemas de seguimiento no resueltos como las razones principales para preferir los resúmenes de LLM.
• Los hospitalistas señalaron que los resúmenes redactados por humanos a menudo sufrían de redundancia y variabilidad dependiente del médico, mientras que los resúmenes de LLM eran más uniformes y sucintos.
• Los PCPs enfatizaron que los resúmenes de LLM facilitaban mejor la transición de cuidados al resaltar elementos accionables y resultados pendientes.

Significancia y Reivindicaciones

El artículo afirma que este estudio extiende el trabajo previo al demostrar la utilidad clínica de los LLM para resumir hospitalizaciones más largas y complejas, un escenario previamente poco explorado debido a desafíos técnicos y de volumen de documentación.

• Diseño Centrado en el Interesado: Los resultados resaltan que diseñar documentos de transición alrededor de las prioridades informativas de los clínicos receptores (específicamente los PCPs) produce mejoras significativas en la calidad percibida y la utilidad. El estudio sugiere que las estrategias de prompting alineadas con los flujos de trabajo de los PCPs (por ejemplo, enfocarse en elementos de acción y seguimiento) son cruciales.
• Escalabilidad Técnica: El estudio proporciona evidencia de que los LLM pueden procesar eficazmente los EHR que exceden las ventanas de contexto estándar utilizando técnicas de ventana deslizante iterativa, manteniendo una salida de alta calidad incluso para hospitalizaciones de 21 días.
• Seguridad y Supervisión: Aunque los resúmenes generados por LLM mostraron menos omisiones y mayor calidad, los autores enfatizan que no están libres de errores. Los hallazgos apoyan un modelo de resumen asistido por LLM supervisado, donde la IA reduce la carga cognitiva y mejora la calidad de la documentación, pero la supervisión del clínico sigue siendo esencial para la verificación, particularmente en lo que respecta al contenido de alto riesgo como cambios en la medicación y hallazgos incidentales.

Los autores concluyen que el resumen de alta asistido por LLM tiene el potencial de reducir la carga del clínico y mejorar la comunicación en la transición de cuidados, siempre que se implemente con flujos de trabajo de verificación clínica apropiados.