Resumen Técnico: Modelado Jerárquico de Códigos CIE en Modelos Fundacionales de EHR

Declaración del Problema

Los modelos fundacionales de Registros Médicos Electrónicos (EHR), como BEHRT y Med-BERT, suelen tratar los códigos de diagnóstico de la Clasificación Internacional de Enfermedades (CIE) como tokens planos e independientes. Este enfoque pasa por alto la estructura jerárquica clínicamente significativa inherente a los sistemas de codificación CIE, que organiza las enfermedades en familias, subcategorías y diagnósticos cada vez más específicos. En consecuencia, los métodos de aprendizaje de representaciones existentes no logran explotar explícitamente esta ontología, tratando los diagnósticos relacionados como símbolos aislados. Esto es particularmente problemático en datos clínicos donde los diagnósticos suelen ser dispersos, de cola larga y específicos de cada institución. El artículo plantea la hipótesis de que modelar explícitamente esta jerarquía como un sesgo inductivo podría mejorar el aprendizaje de representaciones al permitir que los códigos raros se beneficien de los datos asociados con códigos clínicamente similares, capturando trayectorias de atención más amplias y mejorando la robustez ante cambios de dominio.

Metodología

Los autores proponen y evalúan dos mecanismos complementarios para inyectar la jerarquía de CIE-10-CM en el aprendizaje de representaciones de EHR contemporáneo, denominados colectivamente modelos de CIE Jerárquicos (HICD). Definen tres niveles de jerarquía anidados ($G_0, G_1, G_2$) que van desde la granularidad más gruesa a la más fina.

1. HICD-BERT (Inyección a Nivel de Token)

Este enfoque extiende la arquitectura Transformer de BEHRT. En lugar de tratar los códigos CIE como identificadores atómicos, el modelo aumenta las incrustaciones (embeddings) de tokens estándar con incrustaciones específicas de la jerarquía derivadas mediante el truncamiento de prefijos de cadena.

• Mecanismo: Para un código de diagnóstico, el modelo añade incrustaciones aditivas correspondientes a diferentes niveles de la cadena del código (por ejemplo, prefijo de 1 carácter, prefijo de 2 caracteres, categoría de 3 caracteres).
• Fuente de Datos: Este método está impulsado por los datos, no requiere acceso a una ontología externa durante el entrenamiento; la jerarquía se deriva directamente de las cadenas de los códigos.
• Entrenamiento: Preentrenado mediante el Modelado de Lenguaje Enmascarado (MLM) en secuencias de diagnósticos, seguido de un ajuste fino para tareas de seguimiento.

2. HICD-Graph (Codificación a Nivel de Grafo)

Este enfoque inyecta la jerarquía a nivel de grafo de códigos antes de inicializar un codificador Transformer.

• Mecanismo: Se construye un grafo híbrido de coocurrencia de diagnósticos. Combina:
  • Aristas empíricas: Ponderadas por la Información Mutua de Punto a Punto (PMI) basada en la coocurrencia de diagnósticos dentro de las visitas de los pacientes.
  • Aristas ontológicas: Aristas de peso uniforme que conectan los nodos de diagnóstico hoja con sus nodos ancestros en la jerarquía CIE ($G_0, G_1, G_2$).
• Entrenamiento: Una Red Convolucional de Grafos (GCN) se entrena con un objetivo de predicción de enlaces para aprender incrustaciones de códigos conscientes de la jerarquía. Estas incrustaciones luego inicializan la tabla de incrustaciones de un codificador de nivel de paciente basado en Transformer.

Configuración Experimental

• Conjuntos de Datos: MIMIC-IV (utilizado para el preentrenamiento y la evaluación intra-dominio) y eICU (utilizado para la evaluación de transferencia entre conjuntos de datos).
• Tareas:
  1. Reingreso a los 30 días (MIMIC-IV): Clasificación binaria.
  2. Predicción de Admisión de Emergencia (MIMIC-IV): Clasificación binaria.
  3. Reingreso en UCI (eICU): Clasificación binaria para la evaluación de transferencia (codificador congelado, clasificador ajustado).
• Ablación: El estudio evalúa sistemáticamente todas las ocho combinaciones de los tres niveles de jerarquía ($G_0, G_1, G_2$) para ambas arquitecturas frente a una línea base sin jerarquía.

Resultados Clave

Rendimiento Intra-dominio (MIMIC-IV)

• Mejora General: Las configuraciones aumentadas por jerarquía superaron a la línea base sin jerarquía en 26 de las 28 comparaciones por pares en ambos modelos y tareas.
• HICD-BERT: Las ganancias de rendimiento fueron impulsadas principalmente por el nivel de granularidad más fina ($G_2$). El nivel intermedio ($G_1$) por sí solo no mejoró significativamente el rendimiento, pero contribuyó cuando se combinó con otros niveles. La configuración óptima varió según la tarea (por ejemplo, todos los niveles para reingreso, un solo nivel fino para predicción de emergencia).
• HICD-Graph: Mostró una tendencia de mejora monotónica donde la adición de más niveles de jerarquía aumentó progresivamente el rendimiento. La arquitectura basada en grafos integró eficazmente la información de múltiples niveles de granularidad simultáneamente.

Transferencia entre Conjuntos de Datos (MIMIC-IV a eICU)

• HICD-Graph: Demostró una transferibilidad robusta. Seis de las siete variantes de jerarquía mejoraron significativamente sobre la línea base, con la configuración de todos los niveles logrando el AUROC más fuerte (0.587). La estructura relacional basada en grafos pareció ser más invariante a los cambios de conjunto de datos.
• HICD-BERT: Los beneficios de la jerarquía desaparecieron en gran medida bajo el cambio de distribución. Solo la configuración de un solo nivel más grueso ($G_0$) mostró una mejora significativa sobre la línea base. Los autores sugieren que los patrones de tokens secuenciales aprendidos por HICD-BERT están más estrechamente acoplados a las estructuras de visita específicas de MIMIC-IV, mientras que la estructura de grafo anclada a la ontología es más generalizable.

Análisis de Incrustaciones (Embeddings)

• Agrupamiento Semántico: Los modelos conscientes de la jerarquía produjeron grupos de códigos más coherentes. Específicamente, la configuración $G_1+G_2$ en HICD-Graph resultó en los grupos de códigos locales más apretados en el espacio de incrustaciones.
• Correlación con el Rendimiento: Las configuraciones que produjeron los grupos clínicamente significativos más apretados (por ejemplo, códigos que comparten el mismo prefijo de 2 caracteres) también lograron el rendimiento predictivo más fuerte en tareas de seguimiento, lo que sugiere que la jerarquía mejora el rendimiento al dar forma a la geometría de las incrustaciones para respetar las relaciones clínicas.

Significado y Reivindicaciones

El artículo afirma que la estructura jerárquica presente en los sistemas de codificación CIE es una señal infrautilizada en los modelos fundacionales de EHR. Las contribuciones y reivindicaciones clave incluyen:

1. La Jerarquía como un Sesgo Inductivo Robusto: Codificar explícitamente la jerarquía de CIE mejora significativamente el rendimiento de la predicción en el seguimiento a través de diferentes arquitecturas (basadas en Transformer y basadas en Grafos) y tareas.
2. Dependencia de la Granularidad: La utilidad de los niveles de jerarquía no es uniforme; el nivel óptimo depende tanto del enfoque de modelado (a nivel de token vs. a nivel de grafo) como de la tarea de seguimiento.
3. Transferibilidad de la Estructura: La codificación de la jerarquía basada en grafos se transfiere de manera más robusta entre conjuntos de datos que la inyección a nivel de token, lo que sugiere que las estructuras relacionales derivadas de la ontología capturan relaciones clínicas más fundamentales que los patrones de tokens secuenciales.
4. Integración de Bajo Costo: Los beneficios se logran con modificaciones arquitectónicas mínimas (incrustaciones aditivas o aristas de grafo adicionales) sin cambiar los objetivos de preentrenamiento o los procesos principales.
5. Generalizabilidad: Los conocimientos sobre el valor de las ontologías clínicas estructuradas se extienden más allá de CIE-10-CM y pueden aplicarse a otros vocabularios estructurados (por ejemplo, códigos ATC para medicamentos) y métodos de aprendizaje de representaciones.

Los autores mantienen la modestia, señalando que, si bien las mejoras absolutas de AUROC son modestas, son estadísticamente robustas y consistentes. Reconocen limitaciones respecto a la generalizabilidad a otros resultados clínicos, instituciones y sistemas de EHR, y señalan que sus niveles de jerarquía fueron definidos manualmente en lugar de aprendidos automáticamente.