Towards Multidisciplinary Summarization of Hospital Stays: Efficient Sentence-Level Clinical Provenance Categorization

Resumen Técnico: Hacia una Resumición Multidisciplinaria de Estancias Hospitalarias

Planteamiento del Problema
La resumición clínica eficaz para "todo el equipo" en entornos de alta complejidad, como la Unidad de Cuidados Intensivos Neonatales (UCIN), se ve obstaculizada por la naturaleza desequilibrada de las Historias Clínicas Electrónicas (HCE). La extensa documentación de los médicos suele eclipsar las contribuciones de otras disciplinas (enfermeros, terapeutas), lo que genera salidas incoherentes cuando se agrupa de forma simple texto heterogéneo. Para permitir una resumición estructurada que preserve las perspectivas multidisciplinarias, los autores identifican la necesidad de una categorización precisa, a nivel de oración, de la procedencia clínica (identificar la disciplina o sección de origen de una nota) a través de diversas notas clínicas. Si bien los enfoques anteriores han pasado de la coincidencia basada en reglas a modelos supervisados conscientes del contexto, estos suelen tener dificultades para generalizar en entornos clínicos especializados debido a la falta de anotación específica del dominio y de alineación de esquemas.

Metodología
El estudio propone un flujo de trabajo utilizando el Ajuste Fino Supervisado (SFT, por sus siglas en inglés) de Modelos de Lenguaje de Gran Escala (LLM) para categorizar segmentos a nivel de oración basados en la procedencia clínica.

• Conjuntos de Datos:
  • Dominio de Origen (UCI de Adultos): Los autores utilizaron MedSecId, un corpus de 2,002 notas de MIMIC-III. Las anotaciones se destilaron en 17 categorías de alta prevalencia (p. ej., Historia de la Enfermedad Actual, Curso Hospitalario), lo que resultó en 1,562 notas. Los datos se formatearon como una tarea de ajuste de instrucciones basada en chat estructurado con 134,640 segmentos a nivel de oración, donde cada instancia incluía la oración objetivo, su contexto inmediato (predecesor y sucesor) y una instrucción de sistema para asignar un encabezado único.
  • Dominio de Destino (UCIN): Se construyó un "Conjunto de Evaluación Piloto de la UCIN" de estándar de oro que contiene 227 segmentos a nivel de oración derivados de tres resúmenes de alta de tres de carácter multidisciplinario y desidentificados. Este esquema incluye 25 categorías finas (p. ej., Alimentación-Nutrición, Respiratorio, resúmenes específicos de la disciplina) que solo se solapan parcialmente con los encabezados de la UCI de adultos, lo que crea una prueba rigurosa para la generalización semántica bajo un cambio de esquema.
• Arquitectura del Modelo y Entrenamiento:
  • Se evaluaron dos modelos Llama-3: Llama-3.1-8B-Instruct y Llama-3.3-70B-Instruct.
  • Estrategia de Ajuste Fino: Los modelos fueron ajustados mediante QLoRA (Adaptación de Bajo Rango Cuantizada) para reducir el uso de memoria en aproximadamente un 75% en comparación con el almacenamiento de 16 bits.
  • Cuantización: Los modelos fueron cuantizados a una precisión de 4 bits Normal Float (NF4).
  • Alcance de la Adaptación: Los adaptadores LoRA (rango $r=16$, $\alpha=32$) se acoplaron a todas las proyecciones lineales (capas de puerta, up y down del MLP), en lugar de restringir la adaptación a los módulos de atención, aumentando la cobertura de parámetros entrenables.
  • Hardware: El modelo 70B fue entrenado en cuatro GPUs A100 (80 GB de memoria cada una) utilizando entrenamiento de paralelismo de datos.
  • Hiperparámetros: Las tasas de aprendizaje se establecieron en $2 \times 10^{-4}$ para el modelo 8B y $1 \times 10^{-4}$ para el modelo 70B.

Resultos Clave

• Rendimiento Intra-dominio (MedSecId): Ambos modelos lograron una fuerte alineación con el esquema de procedencia clínica, obteniendo puntuaciones F1 ponderadas casi idénticas de 0.94 y puntuaciones F1 Macro entre 0.92 y 0.93. El rendimiento fue consistente en categorías de alta y baja frecuencia, sin que se observara una ventaja estadísticamente significativa para el modelo 70B sobre el 8B dentro del dominio de origen.
• Transferencia Cross-Domain (UCIN): Surgió una divergencia distinta en las capacidades de generalización al evaluar en el Conjunto Piloto de la UCIN:
  • Modelo 70B: Demostró un efecto de transferencia dependiente de la escala. El modelo 70B ajustado mejoró su F1 Macro de 0.52 (Base) a 0.59 y su F1 Ponderado de 0.56 a 0.60. Notablemente, el modelo 70B cuantizado y ajustado superó a su línea base de precisión completa, reduciendo simultáneamente los requisitos computacionales.
  • Modelo 8B: Mostró mejoras apenas marginales. Si bien el F1 Ponderado mejoró ligeramente (0.47 a 0.50), el F1 Macro permaneció esencialmente sin cambios (0.53 a 0.52). Esto sugiere que el modelo 8B reforzó el rendimiento en las clases de alta frecuencia pero no logró generalizar a las categorías de baja prevalencia bajo un cambio de dominio.
• Significancia Estadística: Los autores señalan que, aunque las diferencias de rendimiento son numéricamente significativas, una prueba exacta de McNemar arrojó un valor p de 0.24. Esta falta de significancia estadística se atribuye al tamaño limitado de la muestra (227 segmentos) y a la alta correlación intra-nota.

Significancia y Reivindicaciones
El artículo sostiene que la capacidad suficiente del modelo es crítica para preservar la flexibilidad semántica durante la transferencia clínica entre dominios. Mientras que los modelos más pequeños (8B) pueden aprender esquemas complejos en el dominio, presentan una capacidad limitada para traducir la supervisión estructurada en un rendimiento equilibrado entre dominios. En contraste, los modelos de mayor capacidad (70B) logran interiorizar restricciones estructuradas manteniendo la flexibilidad para reconocer categorías especializadas de baja prevalencia en dominios no vistos.

Además, el estudio demuestra que la adaptación cuantizada eficiente (usando QLoRA y cuantización de 4 bits) permite el uso de modelos de gran capacidad para el modelado de procedencia estructurada dentro de las limitaciones de hardware de investigación clínica estándar (una sola GPU de 80 GB). Los autores posicionan este trabajo como un paso fundacional hacia un flujo de trabajo de recuperación consciente de la procedencia, que podría servir como base para una resumición de "todo el equipo" al segmentar con precisión las notas en zonas específicas de cada disciplina, reduciendo así las alucinaciones y mejorando la utilidad clínica.

Limitaciones
Los autores reconocen explícitamente que el Conjunto Piloto de la UCIN es pequeño (227 segmentos de tres resúmenes) y que la creación de tales conjuntos de datos de "estándar de oro" requiere muchos recursos debido a la necesidad de realizar referencias cruzadas manuales de diversas notas específicas de cada disciplina. Por consiguiente, el poder estadístico de la comparación entre dominios es limitado.