Automatic identification of diagnosis from hospital discharge letters via weakly supervised Natural Language Processing

Resumen Técnico: Identificación Automática de Diagnósticos a partir de Cartas de Alta Hospitalaria mediante NLP Débilmente Supervisado

Planteamiento del Problema
La identificación de diagnósticos de pacientes a partir de las cartas de alta hospitalaria es fundamental para la selección de cohortes a gran escala y la investigación epidemiológica. Sin embargo, los enfoques tradicionales de Procesamiento de Lenguaje Natural (NLP) supervisados requieren una anotación manual extensiva de etiquetas a nivel de documento, un proceso que es laborioso, costoso y, a menudo, impracticable para grandes conjuntos de datos textuales. Este desafío se ve exacerbado en entornos clínicos por la heterogeneidad de los documentos médicos, los léxicos especializados, las abreviaturas ambiguas y la escasez de datos etiquetados manualmente, particularmente para lenguas con pocos recursos como el italiano. Si bien las herramientas de NLP existentes están optimizadas para el inglés, su transferibilidad al italiano es limitada debido a la falta de recursos lingüísticos específicos del dominio y de corpus anotados. Además, los métodos de aprendizaje débilmente supervisado existentes suelen depender de variables estructuradas de la Historia Clínica Electrónica (HCE) (por ejemplo, códigos de diagnóstico, registros de medicación) o de datos agregados a través de múltiples encuentros, los cuales pueden estar incompletos o no disponibles en admisiones de departamentos de urgencias donde los resúmenes de alta son la principal fuente diagnóstica.

Metodología
Los autores proponen un flujo de trabajo (pipeline) de NLP débilmente supervisado de tres pasos, diseñado para identificar automáticamente diagnósticos de cartas de alta hospitalaria italianas sin requerir la anotación manual a nivel de documento. El flujo de trabajo opera únicamente con documentos clínicos de texto libre.

1. Preentrenamiento de Transformer para Documentos Médicos Italianos (TPT):
   Para abordar la falta de modelos de lenguaje específicos del dominio para el italiano, los autores realizan un preentrenamiento adicional en un modelo basado en transformer (específicamente variantes de UmBERTo, XLM-RoBERTa y RemBERT) utilizando el European Clinical Case Corpus (E3C). Este corpus incluye documentos médicos multilingües (artículos de revistas, pruebas de admisión, prospectos de pacientes, resúmenes de tesis). Los documentos no italianos se traducen automáticamente al italiano utilizando la API de Google Translate. El modelo se somete a un preentrenamiento adicional de Modelado de Lenguaje Enmascarado (MLM) sobre este corpus médico italiano agregado para mejorar la adaptación al dominio antes de ser utilizado en los pasos posteriores.

2. Etiquetado Semi-Automático (SAL):
   Este paso genera etiquetas débiles para un subconjunto de los datos mediante un enfoque basado en agrupamiento (clustering):

• Extracción: Se utilizan expresiones regulares para extraer cadenas de diagnóstico de las secciones de diagnóstico designadas en las cartas de alta.
• Agrupamiento (Clustering): Las cadenas extraídas se normalizan y se codifican (embedding) utilizando el codificador transformer adaptado al dominio. Se aplica un procedimiento de agrupamiento de dos niveles:
  • Primer Nivel: HDBSCAN agrupa las representaciones vectoriales de alta dimensión (tras la reducción de dimensionalidad mediante PCA) para agrupar cadenas de diagnóstico semánticamente similares.
  • Segundo Nivel: Cada grupo es resumido mediante la extracción de palabras clave representativas. Estos resúmenes de palabras clave se vuelven a codificar y se agrupan nuevamente para fusionar grupos semánticamente relacionados, refinando las agrupaciones.
• Mapeo a Etiquetas Débiles: Los clínicos definen las enfermedades de interés mediante conjuntos de palabras clave positivas y negativas. Los grupos se mapean a etiquetas de enfermedad si sus resúmenes de palabras clave satisfacen estas definiciones. Los documentos con cadenas de diagnóstico asignadas a grupos "positivos" reciben una etiqueta positiva débil (1); aquellos asignados a otros grupos reciben una etiqueta negativa débil (0). Los documentos sin cadena extraída o con cadenas no agrupadas se excluyen del conjunto de entrenamiento débilmente etiquetado.

3. Clasificación Débilmente Supervisada (WLC):
   El conjunto de datos débilmente etiquetado se utiliza para entrenar un clasificador binario basado en transformer. El modelo consiste en el codificador adaptado al dominio con una capa de clasificación lineal añadida encima. El modelo se entrena para minimizar la pérdida de entropía cruzada binaria contra las etiquetas débiles. La entrada es la carta de alta completa (truncada a 512 tokens si es necesario), lo que permite al modelo aprender de todo el contexto narrativo, no solo de la sección de diagnóstico extraída.

Contribuciones Clave

• Primera Aplicación a Cartas de Alta Italianas: Este es el primer estudio que aborda la identificación de diagnósticos directamente desde cartas de alta hospitalaria italianas utilizando un enfoque débilmente supervisado.
• Preentrenamiento Adaptado al Dominio: Los autores demuestran la eficacia del preentrenamiento adicional en un corpus médico multilingüe (traducido al italiano) para mejorar el rendimiento en textos clínicos en un entorno de lengua con pocos recursos.
• Agrupamiento de Dos Niveles para la Generación de Etiquetas Débiles: El flujo de trabajo introduce un método robusto para generar etiquetas débiles mediante el agrupamiento de cadenas de diagnóstico y el resumen de las mismas vía palabras clave, reduciendo el ruido inherente al emparejamiento directo de palabras clave en el texto bruto.
• Escalabilidad sin Anotación a Nivel de Documento: El enfoque elimina la necesidad de anotación manual a nivel de documento, requiriendo únicamente la intervención clínica para las definiciones de palabras clave, lo cual es significativamente menos demandante que la anotación completa.

Resultados
El flujo de trabajo fue evaluado en dos conjuntos de datos de la red Pedianet en la Región de Veneto, Italia:

1. Conjunto de Datos de Bronquiolitis: 33,176 cartas de alta (2017–2020) con 335 casos positivos anotados manualmente.
2. Conjunto de Datos de Bronquitis: 3,188 cartas de alta (2020–2025) con 97 casos positivos anotados manualmente.

• Rendimiento: El mejor modelo débilmente supervisado (WS-UmBERTo-TPT) alcanzó un AUROC del 77.68% y un AUPRC del 73.13% en el conjunto de datos de bronquiolitis. Este rendimiento superó a los baselines no supervisados basados en reglas y a los enfoques de Modelos de Lenguaje de Gran Escala (LLM) de cero disparos (zero-shot), acercándose al rendimiento de los modelos totalmente supervisados entrenados con etiquetas de oro (que alcanzaron un AUPRC de 77.57%).
• Comparación: El enfoque débilmente supervisado superó a un baseline que utilizaba el marco XPRESS (que aplicaba palabras clave directamente al texto completo) y a los métodos estándar basados en reglas. El preentrenamiento adaptado al dominio (TPT) mejoró consistentemente el rendimiento en todos los modelos transformer.
• Robustez: El modelo demostró robustez ante variaciones en la selección de grupos y mostró una degradación de rendimiento suave cuando se redujo la proporción de etiquetas de oro en el entrenamiento, lo que indica resiliencia al ruido de las etiquetas.
• Eficiencia: El método redujo la necesidad de anotación manual en más de 1,500 horas para un conjunto de datos de este tamaño en comparación con un enfoque totalmente supervisado.

Significancia y Reivindicaciones
El artículo afirma que los métodos de NLP débilmente supervisados ofrecen un marco práctico y escalable para la identificación de enfermedades a partir de cartas clínicas de alta, particularmente en entornos donde la anotación manual es inviable. Los autores enfatizan que, si bien existe una brecha de rendimiento modesta (4–6% de AUPRC) en comparación con los modelos totalmente supervisados, este compromiso es aceptable para la selección de cohortes a gran escala donde el objetivo es identificar grupos de pacientes potencialmente relevantes en lugar de lograr una clasificación perfecta a nivel individual.

El estudio destaca que el flujo de trabajo aprende eficazmente de todo el texto de las cartas de alta, lo que resulta ventajoso cuando la extracción automática de cadenas de diagnóstico falla o cuando los diagnósticos no se mencionan explícitamente en la sección designada. Los autores concluyen que su enfoque proporciona una solución generalizable para el NLP clínico en italiano, reduciendo la carga de la etiqueta manual mientras mantiene un rendimiento competitivo. Reconocen las limitaciones respecto al estándar de oro de un único anotador y el tamaño pequeño del segundo conjunto de datos de validación, sugiriendo que el trabajo futuro debería incluir doble anotación y validación en conjuntos de datos más diversos y multiregionales.