Resumen Técnico: Embeddings Alineados con la Tarea para la Recuperación de Códigos Clínicos

Declaración del Problema

La codificación clínica es una tarea de recuperación semántica de grano fino y alto riesgo, donde menciones clínicas breves deben mapearse a códigos específicos de la ICD-10/CIE-10. A diferencia de la búsqueda semántica general, esta tarea requiere distinguir entre condiciones clínicamente similares que difieren solo por calificadores sutiles como la gravedad, la localización anatómica, la lateralidad, la temporalidad o la etiología. Por ejemplo, los códigos para "Brucelosis debida a Brucella suis" y "Brucelosis debida a Brucella melitensis" son semánticamente cercanos, pero representan códigos distintos y no intercambiables.

El campo enfrenta cuatro limitaciones principales:

1. Sesgo Lingüístico: La mayoría de los modelos de embeddings públicos (p. ej., BioBERT, ClinicalBERT) y recursos biomédicos están optimizados para el inglés, lo que deja al español y otras lenguas clínicas subrepresentadas.
2. Desajuste de Granularidad: Los codificadores de propósito general capturan la relación semántica amplia, pero fallan en aprender las fronteras de decisión de grano fino requeridas para la asignación de códigos específicos.
3. Escasez de Datos: Los datos clínicos anotados manualmente son costosos y escasos, particularmente en entornos multilingües donde los vocabularios de codificación locales y los niveles de granularidad varían.
4. Desalineación Arquitectónica: Los sistemas de recuperación en dos etapas suelen sufrir de desalineación; un bi-encoder de alto recall puede fallar al recuperar el código correcto, o un re-clasificador (reranker) puede ser incapto de ordenar candidatos clínicamente adyacentes si la recuperación inicial es deficiente.

Metodología

Los autores proponen una arquitectura de recuperación neuronal de dos etapas entrenada con supervisión sintética de alta calidad y alineada con la tarea, generada por un Modelo de Lenguaje Grande (LLM) de frontera.

1. Generación de Datos Sintéticos

En lugar de depender de la supervisión débil a escala web, los autores utilizaron Google DeepMind Gemini 2.5 Flash Pro para actuar como un "tutor" de un espacio de etiquetas controlado. El LLM generó dos conjuntos de datos distintos fundamentados en la jerarquía de la ICD-10:

• Dataset A (Entrenamiento del Bi-Encoder): 19,502 ejemplos sintéticos en seis idiomas (inglés, español, catalán, italiano, portugués, francés). Cada ejemplo incluye una consulta clínica, pares positivos (paráfrasis/descripciones canónicas), negativos difíciles (códigos semánticamente adyacentes dentro del mismo capítulo) y negativos suaves (capítulos no relacionados). Este diseño obliga al modelo a aprender distinciones de grano fino.
• Dataset B (Entrenamiento del Cross-Encoder): 10,628 grupos de tipo listwise anclados en menciones clínicas reales en español (de CodiESP). Cada grupo contiene una consulta, un positivo y hasta nueve negativos difíciles muestreados por adyacencia léxica y de embeddings.

2. Arquitectura del Modelo

El sistema sigue un paradigma de recuperación y re-clasificación (retrieve-and-rerank):

• Bi-Encoder (Etapa 1): Inicializado desde PlanTL-GOB-ES/bsc-bio-ehr-es (un modelo BERT biomédico en español). Es ajustado (fine-tuned) utilizando MultipleNegativesRankingLoss en el Dataset A. Proyecta consultas y candidatos en un espacio vectorial compartido para una recuperación eficiente de los top-k.
• Cross-Encoder (Etapa 2): Inicializado desde el checkpoint del bi-encoder ajustado. Procesa conjuntamente los pares de consulta y candidato para producir una puntuación de relevancia precisa. Se entrena en el Dataset B utilizando un objetivo de entropía cruzada listwise softmax con negativos difíciles.

3. Configuración de la Evaluación

El sistema fue evaluado en dos conjuntos de datos de codificación clínica en español:

• CodiESP v4: 3,664 pares mención-código (benchmark principal).
• DISTEMIST: 1,224 menciones de enfermedades (benchmark secundario para generalización).

El rendimiento se midió frente a baselines léxicos (BM25) y sentence-transformers estándar (MiniLM-L6-v2, BioBERT-ST, MPNet-v2) utilizando F1, MAP@10, Precisión y Recall a nivel de código exacto, categoría (3 caracteres) y capítulo.

Resultados Clave

El sistema propuesto superó significativamente a todos los baselines públicos y a los resultados previos del estado del arte en el benchmark de CodiESP.

• Rendimiento en CodiESP v4:
  • TietAI Cross-Encoder: Logró un F1 = 0.709 (código exacto) y un MAP@10 = 0.747.
  • Comparación: Esto representa una mejora de 48.4 puntos porcentuales sobre el mejor codificador público (MiniLM-L6-v2, F1=0.225) y una mejora de 51.6 puntos sobre el baseline de inglés en el dominio S-BioBERT (F1=0.193).
  • Jerarquía: A nivel de categoría, el sistema logró F1 = 0.823 y MAP@10 = 0.851.
• Rendimiento en DISTEMIST:
  • El sistema logró un F1 = 0.776 (código exacto) y un MAP@10 = 0.812, confirmando que los resultados se generalizan a un corpus diferente.
• Fallos de los Baselines: De forma contraintuitiva, modelos más grandes (MPNet-v2) y el preentrenamiento biomédico en inglés (S-BioBERT) tuvieron un rendimiento inferior a modelos más pequeños de propósito general (MiniLM-L6-v2) y al sistema propuesto alineado con la tarea. Esto sugiere que el preentrenamiento biomédico genérico no se transfiere bien a la codificación clínica en español sin una alineación específica con la tarea.

Contribuciones y Significado

El artículo realiza tres contribuciones primarias:

1. Receta Reproducible: Documenta un método para entrenar recuperadores de ICD de dos etapas utilizando supervisión generada por un LLM multilingüe, demostrando que los datos sintéticos de alta calidad pueden compensar la falta de corpus clínicos anotados a gran escala.
2. Curación de Datos sobre Escala de Modelo: Los resultados indican que la supervisión alineada con la tarea y la cobertura lingüística son más críticas que la escala del modelo o el preentrenamiento biomédico genérico. Los autores argumentan que los conjuntos de datos sintéticos cuidadosamente curados (aprox. 19.5k pares para el bi-encoder y 10.6k grupos para el cross-encoder) pueden permitir sistemas compactos y efectivos sin necesidad de entrenamiento a escala web.
3. Papel de la Re-clasificación (Reranking): El estudio cuantifica la necesidad de la re-clasificación mediante cross-encoder para resolver las distinciones de nivel de calificador (p. ej., lateralidad, gravedad) comunes en la ICD-10. Mientras que el bi-encoder proporciona un fuerte recall (MAP@10 ~0.69 a nivel de categoría), el cross-encoder es esencial para calibrar el orden del top-1.

Conclusión y Trabajo Futuro

Los autores concluyen que para la recuperación médica especializada, la curación de datos es la restricción vinculante, no el tamaño del modelo. Su pipeline logra un F1 de 0.709 en CodiESP, superando el mejor resultado de la tarea compartida CodiESP de 2020 (F1=0.687), a pesar de utilizar un bi-encoder entrenado exclusivamente con datos sintéticos fuera de la muestra.

El artículo sugiere una arquitectura de producción que consista en un bi-encoder universal y curado para la generación de candidatos, emparejado con cross-encoders específicos de idioma o de especialidad para la re-clasificación. El trabajo futuro propuesto incluye:

• Evaluación multilingüe para aislar los efectos del lenguaje (probando italiano, portugués y catalán).
• Escalar el corpus sintético en un orden de magnitud para cubrir combinaciones de calificadores poco comunes.
• Reemplazar el cross-encoder con un agente de codificación basado en LLM que opere sobre la lista corta del bi-encoder.

Los autores mantienen una postura modesta, señalando que los datos sintéticos no son un sustituto de la evaluación clínica real y que los ejemplos generados pueden carecer del ruido de las notas del mundo real. Sin embargo, afirman que sus hallazgos demuestran la viabilidad de los enfoques de pocos datos y alineados con la tarea para la búsqueda semántica clínica.