📄 health informatics

Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization

Este estudio demuestra que, si bien una ontología determinista y un proceso basado en incrustaciones pueden armonizar parcialmente los datos heterogéneos de condiciones de ensayos clínicos en Alemania con los estándares CIE-10, los modelos de lenguaje de gran tamaño (específicamente GPT-4o) lo superan significativamente al lograr una concordancia casi perfecta con la codificación de expertos humanos, ofreciendo así una solución superior para el análisis del panorama de enfermedades entre registros.

Autores originales: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ndabashinze, R., Franzen, D., Kozuch, E., Aagerup, J., Fink, A., Yerunkar, S. S., Hunter, K., Mayo-Wilson, E., Ying, X., Kilicoglu, H., Schorr, S. G., Seidler, A. L.

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina intentar organizar una biblioteca masiva donde cada libro está escrito en un idioma diferente, utiliza un alfabeto distinto y, a veces, solo tiene una nota adhesiva que dice "algo sobre una persona enferma" en lugar de un título. Este es el estado actual de los datos de los ensayos clínicos. Los científicos realizan miles de experimentos para probar nuevos medicamentos, pero registran estos ensayos en diferentes bases de datos por todo el mundo. Algunos utilizan códigos médicos estrictos, otros usan diccionarios médicos sofisticados y algunos simplemente lo escriben en inglés o alemán común. Es como intentar contar cuántas personas están estudiando "problemas cardíacos" cuando una base de datos dice "problemas cardíacos", otra dice "molestias del corazón" y una tercera simplemente dice "ay, me duele el pecho". Sin una forma de traducir todas estas diferentes descripciones a un lenguaje común, es increíblemente difícil ver el panorama general de qué enfermedades están estudiando realmente los científicos y dónde están las brechas.

Para resolver esto, los investigadores necesitan un traductor. En el mundo médico, el "lenguaje universal" para las enfermedades se llama CIE-10, una lista gigante de códigos que categoriza cada condición de salud conocida. El desafío es tomar las descripciones desordenadas y mixtas de los registros de ensayos y convertirlas automáticamente en el código CIE-10 correcto. Durante mucho tiempo, los científicos han intentado construir programas informáticos que actúen como bibliotecarios estrictos, siguiendo un libro de reglas rígido para emparejar palabras con códigos. Más recientemente, un nuevo tipo de cerebro informático superinteligente llamado Modelo de Lenguaje Extenso (LLM) ha entrado en la conversación. Estos modelos están entrenados con enormes cantidades de texto y son excelentes para entender el contexto y los matices, casi como un humano que puede leer entre líneas. La gran pregunta es: ¿Pueden estos cerebros de IA hacer un mejor trabajo traduciendo las descripciones de los ensayos que los antiguos sistemas basados en reglas?

Este artículo se sumerge directamente en esa pregunta construyendo un proceso de alta tecnología para traducir las descripciones de ensayos clínicos de cuatro de los principales registros en Alemania a los códigos estándar de la CIE-10. Los investigadores crearon un "proceso determinista", que es una forma elegante de decir un proceso robótico de varios pasos. Primero, el robot extrae las menciones de la enfermedad. Luego, intenta emparejarlas utilizando un diccionario médico estricto (ontología) y un motor de búsqueda inteligente que busca significados similares (embeddings). Incluso añadieron una segunda versión que reclasifica las mejores opciones para ver si puede encontrar la correcta. Pero no se detuvieron ahí. También probaron un poderoso Modelo de Lenguaje Extenso (GPT-4o), pero con un giro: obligaron a la IA a seguir la misma lógica paso a paso y las mismas reglas que utilizan los expertos humanos, solo para ver si la IA podía ser un mejor "bibliotecario" que el robot.

Los resultados fueron un poco impactantes para el enfoque de la vieja escuela. Cuando probaron su proceso de robot basado en reglas contra un "estándar de oro" de códigos escritos por expertos médicos humanos, el robot acertó solo aproximadamente el 49% de las veces al buscar el código específico de tres letras. Fue decente adivinando la categoría general (como "enfermedad del corazón" frente a "enfermedad de los pulmones), acertando aproximadamente el 59%, pero tuvo dificultades con los detalles. El robot a menudo se confundía con enfermedades de nombres similares o no podía encontrar el código correcto en su diccionario.

Sin embargo, el Modelo de Lenguaje Extenso estaba en una liga completamente diferente. Cuando la misma IA recibió las mismas reglas y el mismo trabajo, alcanzó una asombrosa precisión del 96.7%. Estuvo en acuerdo con los expertos humanos casi perfectamente. El artículo sugiere que el superpoder de la IA no es solo conocer los códigos, sino su capacidad para entender el contexto de una oración. Por ejemplo, si un ensayo menciona "diabetes de inicio en la edad adulta", la IA sabe instantáneamente que eso significa diabetes tipo 2, mientras que el robot podría quedarse trabado intentando emparejar las palabras exactas. La IA también logró asignar códigos plausibles a aproximadamente el 82% de las menciones que el robot descartó y rechazó.

Los autores encontraron que el principal fallo del robot no fue en la clasificación de los códigos, sino en siquiera encontrar el código correcto para empezar. Si el código correcto no estaba en la lista inicial de candidatos del robot, ninguna cantidad de reclasificación podría salvarlo. La IA, por otro lado, fue mucho mejor para descifrar cuál debería ser el código correcto, incluso cuando el texto era desordenado o vago. El estudio concluye que, si bien los antiguos sistemas basados en reglas están bien para obtener una idea general de las tendencias de las enfermedades, los Modelos de Lenguaje Extenso son los claros ganadores para lograr la precisión en los detalles. Sugieren que los estudios futuros que busquen el panorama de los ensayos clínicos utilicen estas herramientas de IA para obtener una imagen mucho más clara y precisa de qué enfermedades se están estudiando, ayudando a asegurar que los esfuerzos de investigación estén realmente enfocados en las necesidades de salud que más importan.

Resumen Técnico: Ontologías y Pipelines Basados en Embeddings frente a Modelos de Lenguaje de Gran Escala para la Armonización de la CIE-10 en Ensayos Clínicos Alemanes

Planteamiento del Problema
Los ensayos clínicos en Alemania se registran en múltiples sistemas heterogéneos, incluyendo el Registro Alemán de Ensayos Clínicos (DRKS), ClinicalTrials.gov, el Registro de Ensayos Clínicos de la UE (EUCTR) y el Sistema de Información de Ensayos Clínicos (CTIS). Estos registros utilizan terminologías de clasificación dispares —como la CIE-10-GM, MeSH, MedDRA y descripciones de texto libre— para registrar condiciones de salud. Esta falta de estandarización impide el análisis entre registros, limita la interoperabilidad con taxonomías globales como la Carga Global de la Enfermedad (GBD) y oscurece el verdadero panorama de las prioridades de investigación en enfermedades. Aunque la codificación manual es posible, requiere mucha mano de obra y es propensa a la variabilidad entre codificadores. El estudio aborda la necesidad de un método automatizado y reproducible para armonizar estas diversas descripciones de condiciones en una clasificación unificada de la CIE-10 de la OMS.

Metodología
Los autores desarrollaron y evaluaron dos enfoques distintos para mapear menciones de condiciones a códigos CIE-10: un pipeline híbrido determinista y un Modelo de Lenguaje de Gran Escala (LLM) restringido por la misma lógica de decisión utilizada por expertos humanos.

Fuentes de Datos y Preprocesamiento:
- El estudio analizó 23.061 ensayos intervencionales afiliados a Alemania registrados entre 2013 y 2025.
- Se extrajeron los campos de condición, se normalizaron (incluyendo la traducción de alemán a inglés y la consolidación de sinónimos) y se dividieron en menciones individuales.
- Un método de vinculación jerárquica fusionó los registros entre los registros utilizando identificadores y coincidencia de títulos.
El Pipeline Híbrido (Enfoque de Cuatro Etapas):
- Etapa 1 (Extracción y Normalización): Analiza los campos de condición, distinguiendo términos de enfermedades reales de las descripciones narrativas del estudio.
- Etapa 2 (Clasificación de Menciones): Clasifica las menciones como mapeables a la CIE (Nivel 1: A–Q, U; Nivel 2: R, S, T, O, Z) o no mapeables (Nivel 3: voluntarios sanos, estudios farmacocinéticos). Esto utiliza un clasificador de regresión logística de elastic-net supervisado, entrenado con etiquetas de estándar de plata (silver-standard), con una anulación conservadora para palabras clave de enfermedades explícitas.
- Etapa 3 (Mapeo de Ontología Determinista): Genera códigos candidatos mediante rutas de UMLS:
  - DRKS: Mapeo directo desde CIE-10-GM.
  - ClinicalTrials.gov: Términos MeSH vinculados a la CIE-10 vía UMLS.
  - CTIS/EUCTR: Términos MedDRA vinculados vía UMLS.
  - Alternativa (Fallback): Coincidencia de cadenas Jaro-Winkler si los enlaces de la ontología fallan.
- Etapa 4 (Ranking Apoyado en Embeddings): Utiliza embeddings de SapBERT para recuperar los 10 candidatos más similares semánticamente a la CIE-10. Un puntaje de confianza híbrido combina evidencia de la ontología, similitud de embeddings (SapBERT), similitud léxica (Jaro-Winkler) y bonificaciones/penalizaciones específicas (por ejemplo, para coincidencias exactas, códigos vagos o alineación con el área terapéutica). También se probó un re-clasificador (reranker) de codificador cruzado (Método 2) para refinar los principales candidatos.
Evaluación del LLM:
- Se evaluó GPT-4o en paralelo contra una muestra estratificada de 500 menciones (incluyendo casos de alta confianza, de banda de revisión, de banda de rechazo y casos de Nivel 3).
- Crucialmente, no se le pidió al LLM que generara códigos libremente. Se le restringió a seguir la misma cascada de decisión que los revisores humanos: intentar la asignación directa, usar el contexto del ensayo si era necesario, mapear a categorías de la GBD si la CIE-10 era imposible, y asignar "NO_ICD" solo como último recurso.
Marco de Evaluación:
- Se creó un estándar de oro mediante dos revisores médicos que codificaron independientemente el subconjunto de muestra de 500 menciones (acuerdo inter-evaluador $\kappa \ge 0.70$ ).
- El rendimiento se midió mediante precisión, exactitud (precision), exhaustividad (recall), puntuación F1 y el coeficiente de Cohen $\kappa$ a los niveles de tres caracteres, bloque y capítulo.
- El análisis de errores distinguió entre errores dentro de la misma familia y errores de capítulo cruzado.

Contribuciones Clave

Desarrollo de Pipeline: La creación de un pipeline sensible a los registros, de cuatro etapas, que integra el mapeo de ontología determinista (UMLS) con la recuperación semántica basada en embeddings (SapBERT) para armonizar los datos de ensayos de múltiples registros.
Benchmarking Comparativo: Una comparación rigurosa frente a frente de un complejo pipeline determinista contra un LLM restringido (GPT-4o) utilizando un estándar de referencia de experto unificado.
Caracterización de Errores: Análisis detallado que revela que una parte significativa de los errores del pipeline (aprox. 25%) provienen de fallos en la generación de candidatos (el código correcto nunca fue recuperado), más que de errores de clasificación (ranking).
Análisis de Recuperación: Demostración de la capacidad del LLM para asignar códigos clínicamente plausibles a menciones que el pipeline rechazó (82.4% de las menciones de la banda de rechazo) o excluyó (62.8% de las menciones de Nivel 3).

Resultos

Rendimiento del Pipeline: El pipeline híbrido base logró una exactitud del 49.0% y un coeficiente de Cohen $\kappa$ de 0.487 al nivel de tres caracteres de la CIE-10 frente al estándar de expertos. El rendimiento mejoró en niveles más amplios (58.7% de exactitud, $\kappa$ = 0.561 al nivel de capítulo). El re-clasificador de codificador cruzado (Método 2) proporcionó solo mejoras marginales.
Exhaustividad de Candidatos: El código correcto estaba presente en el conjunto de candidatos recuperados en solo el 73.7% de los casos, lo que indica un techo de rendimiento para los métodos de clasificación si el candidato correcto no está presente.
Rendimiento del LLM: El LLM restringido superó significativamente al pipeline, logrando un 96.7% de exactitud y un coeficiente de Cohen $\kappa$ de 0.966 al nivel de tres caracteres.
Adjudicación: La exactitud reportada del 96.7% refleja resultados adjudicados donde los revisores expertos resolvieron las discrepancias iniciales entre el LLM y el estándar de referencia. Antes de la adjudicación, la exactitud bruta del LLM frente al estándar fue del 62.7% (Cohen $\kappa$ = 0.625); tras la revisión de expertos de estas discrepancias, la exactitud aumentó al 96.7%, sugiriendo que muchas discrepancias iniciales se debían a frases ambiguas o interpretación del contexto más que a un fallo del modelo.
Tipos de Error: La mayoría de los errores del pipeline fueron dentro de la misma familia de enfermedades (64.3%), mientras que las clasificaciones erróneas de capítulo cruzado representaron el 30.4%.

Significancia y Reivindicaciones
El artículo sostiene que la armonización automatizada de los datos de condiciones de ensayos clínicos a través de registros heterogéneos es factible y respalda el uso de un marco común de la CIE-10 para análisis entre registros. Los autores concluyen que, si bien los pipelines de ontología determinista y de embeddings logran un acuerdo moderado con la codificación de expertos, los LLM restringidos a un marco de decisión estructurado logran un acuerdo casi perfecto (cuando se adjudican contra estándares de expertos).

El estudio postula que el valor principal de los LLM modernos en este dominio no radica en generar códigos desde cero, sino en el razonamiento clínico, la desambiguación y la evaluación de candidatos dentro de un conjunto restringido de diagnósticos plausibles proporcionados por fuentes de conocimiento externas. Los hallazgos sugieren que los LLM pueden apoyar eficazmente el análisis de la distribución de condiciones de salud en los ensayos clínicos alemanes y servir como una herramienta prometedora para clasificar otras características de ensayos no estandarizadas, siempre que operen dentro de un marco fundamentado que mitigue las alucinaciones y garantice la alineación con la lógica de codificación establecida.

Resumen Técnico: Ontologías y Pipelines Basados en Embeddings frente a Modelos de Lenguaje de Gran Escala para la Armonización de la CIE-10 en Ensayos Clínicos Alemanes

Más como este