💬 NLP

Bridging the Version Gap: Multi-version Training Improves ICD Code Prediction, Especially for Rare Codes

Este documento demuestra que entrenar un modelo de atención modificado por etiqueta sobre una combinación de datos ICD-9 e ICD-10 mejora significativamente el rendimiento en la predicción de códigos ICD-10, particularmente para códigos raros, al cerrar eficazmente las brechas entre versiones y abordar el problema de la cola larga con menos parámetros.

Autores originales: Jinghui Liu, Anthony Nguyen

Publicado 2026-05-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jinghui Liu, Anthony Nguyen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Un Objetivo en Movimiento y una Cola Larga

Imagina que estás intentando organizar una biblioteca masiva de registros médicos. Para hacerlo, debes asignar a cada paciente una "etiqueta" específica (un código ICD) que describa su enfermedad. Hay dos grandes dolores de cabeza en este trabajo:

El Diccionario Sigue Cambiando: El diccionario oficial de etiquetas médicas (llamado ICD) se actualiza constantemente. A veces, una etiqueta del diccionario antiguo (ICD-9) no coincide perfectamente con una etiqueta del nuevo diccionario (ICD-10). Es como intentar aprender un nuevo idioma mientras tus libros de texto antiguos siguen en la estantería. La mayoría de los programas informáticos están entrenados para hablar solo una "versión" del idioma, por lo que cuando las reglas cambian, se confunden.
El Problema de la "Cola Larga": La mayoría de los pacientes tienen condiciones comunes (como la gripe o la presión arterial alta), que son fáciles de etiquetar. Pero hay miles de enfermedades raras que solo un puñado de personas padece. En el mundo de los datos, estas son la "cola larga". Debido a que hay tan pocos ejemplos de estas enfermedades raras, los modelos informáticos luchan por aprenderlas, a menudo ignorándolas por completo.

La Solución: Mezclando Libros Viejos y Nuevos

Los investigadores se hicieron una pregunta sencilla: ¿Y si enseñáramos a la computadora utilizando ambos los registros médicos antiguos (ICD-9) y los nuevos (ICD-10) al mismo tiempo?

Por lo general, la gente piensa que mezclar estos dos sería un desastre porque las etiquetas no coinciden perfectamente (solo alrededor del 24% de las etiquetas antiguas tienen una coincidencia directa en el nuevo sistema). Es como intentar enseñar a un estudiante a hablar inglés mezclando algunas palabras en francés; esperarías que se confundiera.

Sin embargo, los investigadores construyeron un modelo especial llamado DUALLAAT y probaron exactamente esto. Le alimentaron un "batido" hecho de:

Registros antiguos de MIMIC-III (ICD-9)
Registros más recientes de MIMIC-IV (ICD-9)
Registros más nuevos de MIMIC-IV (ICD-10)

¿Qué Pasó? (Los Resultados)

Los resultados fueron sorprendentemente buenos, actuando como una "salsa secreta" para el modelo informático:

El Impulso para las Enfermedades Raras: La mayor victoria fue para las enfermedades raras (la "cola larga"). Al agregar los datos antiguos, la capacidad del modelo para detectar códigos ICD-10 raros aumentó un 27%. Es como si los registros antiguos contuvieran pistas ocultas sobre los conceptos de las enfermedades, incluso si los nombres específicos de las etiquetas eran diferentes. El modelo aprendió el significado de la enfermedad, no solo la etiqueta.
El Impulso para las Enfermedades Comunes: El modelo también mejoró en el manejo de enfermedades comunes, mejorando su precisión general sin necesidad de volverse más complejo.
Eficiencia: En lugar de necesitar tres modelos diferentes (uno para cada versión del conjunto de datos), solo necesitaron uno para manejarlos a todos. Esto ahorró una cantidad masiva de memoria informática y tiempo de entrenamiento. Es como tener un traductor universal en lugar de necesitar un diccionario diferente para cada país que visitas.

El "Por Qué" (El Ingrediente Secreto)

El artículo sugiere que el éxito no provino de que las etiquetas coincidieran perfectamente. En cambio, provino del significado clínico compartido.

Piénsalo así: incluso si la palabra para "ataque cardíaco" cambió de "Infarto de Miocardio" en el libro antiguo a "Infarto Agudo de Miocardio" en el libro nuevo, la descripción de los síntomas del paciente en las notas permaneció similar. Al leer tanto las notas antiguas como las nuevas, el modelo aprendió a reconocer la historia de la enfermedad, haciéndolo mucho más inteligente que un modelo que solo leyera las notas nuevas.

Resumen

El artículo demuestra que no tienes que tirar los datos médicos antiguos cuando los sistemas se actualizan. Al mezclar registros antiguos y nuevos, puedes entrenar un único modelo informático más inteligente que es mejor para detectar enfermedades raras y no se rompe cuando cambia el sistema de codificación. Convierte los datos "obsoletos" en una herramienta de entrenamiento valiosa.

A continuación se presenta un resumen técnico detallado del artículo "Bridging the Version Gap: Multi-version Training Improves ICD Code Prediction, Especially for Rare Codes" (Superando la Brecha de Versión: El Entrenamiento Multiversión Mejora la Predicción de Códigos CIE, Especialmente para Códigos Raros).

Enunciado del Problema

El artículo aborda dos desafíos críticos en la codificación automatizada de la Clasificación Internacional de Enfermedades (CIE):

Evolución de Versiones: Los sistemas CIE experimentan actualizaciones continuas (por ejemplo, de CIE-9 a CIE-10, y la próxima CIE-11). Los modelos entrenados en una versión específica con un espacio de etiquetas fijo luchan para manejar estos cambios, lo que genera desajustes en la distribución de datos cuando se adoptan nuevas versiones.
Distribución de Cola Larga: Las distribuciones de códigos CIE están fuertemente sesgadas. En conjuntos de datos como MIMIC-IV, los códigos raros (que aparecen menos de 10 veces) constituyen aproximadamente el 70% del conjunto total de códigos (18.000 de 26.000 códigos). Los modelos actuales a menudo tienen un rendimiento deficiente en estos códigos raros debido a muestras de entrenamiento insuficientes, creando un cuello de botella para sistemas robustos e implementables.

Una pregunta clave permanece sin explorar: ¿Es viable combinar datos anotados en diferentes versiones de CIE (por ejemplo, mezclando CIE-9 y CIE-10) para entrenar un único modelo independiente de la versión, o introduce la discrepancia terminológica ruido que perjudica el rendimiento?

Metodología

Los autores proponen un enfoque de entrenamiento multiversión utilizando un modelo modificado de Atención por Etiqueta (LWA) denominado DUALLAAT (Dual Label-wise Attention / Atención Dual por Etiqueta).

Arquitectura del Modelo:
- Codificadores Duales: A diferencia de los modelos LWA estándar que solo codifican notas clínicas, DUALLAAT emplea dos codificadores de texto: uno para las notas clínicas y otro separado para las descripciones de los códigos CIE.
- Incrustaciones de Códigos: En lugar de utilizar incrustaciones fijas para los códigos, el modelo genera incrustaciones de códigos dinámicamente a partir de las descripciones textuales de los códigos CIE. Esto permite que el modelo procese códigos de diferentes versiones (CIE-9 o CIE-10) siempre que se proporcionen como cadenas de texto.
- Mecanismo de Atención: El modelo utiliza atención por etiqueta para alinear los tokens relevantes en la nota clínica con la descripción específica del código, generando una matriz de probabilidades para $N$ notas y $C$ códigos.
- Variantes: Los autores probaron dos configuraciones de codificador: DUALLAATcnn (utilizando una CNN básica) y DUALLAAT (utilizando una RNN/GRU).
Estrategia de Datos:
- Conjuntos de Datos: El estudio utilizó tres conjuntos de datos derivados de MIMIC: MIMIC-III (CIE-9), MIMIC-IV (CIE-9) y MIMIC-IV (CIE-10).
- Expansión del Espacio de Etiquetas: Los autores reextrajeron todos los códigos de MIMIC para incluir códigos raros (frecuencia < 10), expandiendo el espacio de etiquetas de CIE-10 de 8.000 (frecuentes) a 26.000 (conjunto completo).
- Procedimiento de Entrenamiento: Los conjuntos de entrenamiento de los tres conjuntos de datos se agregaron. Para manejar el entrenamiento por lotes con versiones mezcladas, los autores implementaron un muestreador que asegura que cada lote contenga solo una versión de CIE (ya sea CIE-9 o CIE-10), mientras mezcla lotes de diferentes versiones durante el proceso de entrenamiento. Esto estabiliza el tamaño del espacio de etiquetas mientras expone el modelo a datos multiversión.
Líneas Base:
- PLM-ICD: Una línea base sólida que utiliza BERT de dominio con ventanas deslizantes y LWA.
- CoRelation: Un modelo que utiliza grafos bipartitos para modelar las relaciones entre códigos.
- CAML y LAAT: Modelos LWA anteriores basados en CNN y RNN.

Resultados Clave

Los experimentos demostraron que mezclar datos de CIE-9 en el entrenamiento de CIE-10 produce mejoras significativas, particularmente para códigos raros.

Rendimiento en Códigos Raros (CIE-10):
- La adición de datos de CIE-9 al conjunto de entrenamiento resultó en un aumento relativo del 27,4% en la Micro F1 para 18.000 códigos CIE-10 raros (mejorando de 8,4 a 10,7) en comparación con el entrenamiento solo con datos de CIE-10.
- Esta mejora se logró con un modelo significativamente más pequeño (37 millones de parámetros para DUALLAAT frente a 137 millones para PLM-ICD).
Rendimiento en Códigos Frecuentes:
- Para los 8.000 códigos CIE-10 frecuentes, el entrenamiento multiversión mejoró la puntuación Macro F1 en aproximadamente un 7% (de 27,9 a 29,9).
- El DUALLAAT con entrenamiento mixto logró un rendimiento comparable o superior al de PLM-ICD y CoRelation en conjuntos de códigos completos, con puntuaciones Macro F1 notablemente más altas (11,2 frente a 6,3 para CoRelation), lo que indica una mejor robustez a lo largo de la cola larga.
Eficiencia:
- Eficiencia de Parámetros: Un único modelo DUALLAAT entrenado con datos mixtos puede manejar múltiples versiones de CIE, mientras que se requerirían modelos PLM-ICD separados para cada versión.
- Tiempo de Entrenamiento: El DUALLAAT con datos mixtos convergió en aproximadamente 18 horas (57 horas para el conjunto de datos mixto completo), significativamente más rápido que las 95 horas requeridas para entrenar tres modelos PLM-ICD separados para las tres pruebas de referencia.

Significado y Afirmaciones

El artículo afirma que combinar conjuntos de datos multiversión crea un efecto sinérgico para la codificación CIE, desafiando la suposición de que las discrepancias de versiones introducen necesariamente ruido dañino.

Semántica Compartida sobre Superposición Directa: Los autores señalan que solo el ~24,3% de los códigos CIE-9 tienen coincidencias exactas en CIE-10. Las mejoras de rendimiento observadas sugieren que los beneficios surgen de aprender semánticas clínicas compartidas entre versiones en lugar de una superposición directa de etiquetas.
Utilización de Datos Legados: El estudio demuestra que los registros de pacientes legados (por ejemplo, CIE-9) pueden aprovecharse eficazmente para entrenar modelos más robustos para sistemas actuales (CIE-10), resolviendo potencialmente problemas de inicio en frío para futuras versiones (CIE-11).
Datos vs. Arquitectura: Los hallazgos sugieren que mejorar la diversidad de los datos de entrenamiento (mediante la mezcla multiversión) puede ser tan impactante como las mejoras arquitectónicas, que han sido el foco principal de la literatura reciente.
Despliegue Práctico: El enfoque ofrece una solución más eficiente para entornos de bajos recursos al reducir el número de parámetros de modelo requeridos y el tiempo de entrenamiento, manteniendo un alto rendimiento en diferentes versiones de CIE.

Los autores concluyen que, aunque su estudio se limita a los conjuntos de datos MIMIC y a CIE-CM en inglés, los principios del entrenamiento multiversión ofrecen una dirección prometedora para escalar la investigación sobre codificación CIE y manejar las modificaciones continuas del sistema.