Evaluation and LLM-Guided Learning of ICD Coding Rationales

Este trabajo evalúa la fidelidad y plausibilidad de los fundamentos de codificación ICD, introduce un nuevo conjunto de datos anotado con fundamentos basado en MIMIC-IV e ICD-10, y propone métodos de aprendizaje guiados por modelos de lenguaje grandes (LLM) para mejorar la generación de fundamentos convincentes mediante supervisión distante y aprendizaje con pocos ejemplos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre cómo enseñar a una computadora a ser un detective médico que no solo adivina el diagnóstico, sino que también sabe explicar por qué lo hizo.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🕵️‍♂️ El Problema: El Detective Silencioso

En los hospitales, los médicos escriben notas muy largas y complejas sobre los pacientes (llamadas "Historias Clínicas"). Luego, alguien tiene que traducir esas notas a códigos estandarizados (como códigos de barras) para que el hospital pueda cobrar y llevar estadísticas. Esto se llama codificación ICD.

Antes, lo hacían humanos, pero es lento y costoso. Ahora, usamos Inteligencia Artificial (IA). El problema es que estas IAs son como detectives que resuelven el crimen pero se niegan a decirte cómo lo hicieron. Si la IA dice "Este paciente tiene diabetes", pero no te muestra qué parte de la nota la llevó a esa conclusión, los médicos no se fían de ella. Es como si un amigo te dijera "¡Cuidado, hay un oso!" pero no te dejara ver el oso.

🔍 La Solución: El "Por Qué" es tan importante como el "Qué"

Los autores de este estudio querían arreglar eso. Querían que la IA no solo diera el código, sino que señalara las palabras exactas en la nota que justifican la decisión. A estas palabras las llaman "razonamientos" (rationales).

Pero, ¿cómo sabemos si la IA está mintiendo o si realmente está bien? Para eso, crearon un nuevo juego de reglas con dos preguntas clave:

1. ¿Es fiel? (Si quitamos esas palabras, ¿la IA sigue acertando? Si no, es que esas palabras son la clave).
2. ¿Es plausible? (¿Un médico humano diría: "Sí, esas palabras tienen sentido para ese diagnóstico"?).

🛠️ Lo que hicieron (La "Cocina" del estudio)

1. Crearon un nuevo libro de recetas (El Dataset RD-IV-10)
Antes, los estudios usaban libros de recetas viejos (datos antiguos de 2008). Los autores crearon uno nuevo y actualizado con datos de 2019 (MIMIC-IV).

• La analogía: Imagina que antes intentaban enseñar a cocinar usando un libro de recetas de 1950, pero ahora tienen uno de 2024 con ingredientes modernos. Además, en este nuevo libro, los "chef" (médicos expertos) subrayaron con rotulador fluorescente exactamente qué frases justificaban cada código. ¡Y subrayaron mucho más que antes!

2. Probaron tres tipos de "detectives"
Compararon tres formas en que la IA podría señalar las palabras clave:

• El Detective Básico (Entidades): Busca nombres de enfermedades directamente. Ejemplo: Si ve "diabetes", la marca. (Funciona, pero es un poco tonto).
• El Detective de la IA Clásica (Atención): La IA mira sus propias "atenciones" internas. Ejemplo: "Pienso que esta palabra es importante". (Resultó ser muy malo, a veces señalaba palabras al azar, como si el detective señalara la ventana en lugar del asesino).
• El Detective Inteligente (LLM): Usaron una Inteligencia Artificial muy avanzada (como un Chatbot experto) para que leyera la nota y escribiera ella misma las razones. Ejemplo: "El paciente tiene diabetes porque dice 'necesita insulina' y 'azúcar alta'". (¡Este fue el ganador! Se parecía mucho a lo que haría un humano).

3. El truco del "Estudiante y el Maestro"
Aquí viene la parte más genial. Como los médicos expertos son caros y lentos para escribir estas explicaciones, usaron al Detective Inteligente (la IA avanzada) para enseñar a otros modelos más pequeños.

• La analogía: Imagina que tienes un profesor genio (la IA grande) que escribe las respuestas perfectas. Luego, usas esas respuestas para entrenar a un estudiante (otro modelo de IA) para que aprenda a explicar las cosas bien.
• El toque mágico (Few-Shot): Para que el profesor no se equivoque, le mostraron 5 ejemplos de cómo un humano real lo hacía. ¡Y funcionó! El profesor escribió explicaciones aún mejores, y el estudiante aprendió mucho más rápido.

🏆 Los Resultados: ¿Qué aprendimos?

1. Las IAs clásicas son malas explicando: Los modelos tradicionales de codificación médica señalan palabras al azar. No son confiables para explicar sus decisiones.
2. Las IAs modernas (LLMs) son excelentes: Pueden leer una nota médica y encontrar las frases clave casi tan bien como un médico humano.
3. La enseñanza funciona: Usar las explicaciones de una IA potente para entrenar a otras es una forma barata y rápida de tener sistemas médicos transparentes.
4. El "Efecto Ejemplo": Si le das a la IA unos cuantos ejemplos de cómo un humano lo hace, mejora drásticamente su capacidad de explicación. Es como si le dieras un "chuleta" (copias) de un examen pasado para que estudie mejor.

💡 En resumen

Este estudio nos dice que para confiar en la IA en medicina, no basta con que acierte el diagnóstico. Tiene que saber explicar su trabajo. Los autores crearon un nuevo estándar de oro (un dataset nuevo) y demostraron que, usando IA avanzada como "maestra", podemos crear sistemas que no solo diagnostiquen, sino que también nos digan: "Mira, aquí está la prueba de que tienes diabetes".

¡Es como pasar de tener un oráculo que da respuestas mágicas a tener un médico asistente que te muestra su cuaderno de notas y te explica el razonamiento paso a paso!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Evaluation and LLM-Guided Learning of ICD Coding Rationales" en español:

1. Planteamiento del Problema

La codificación clínica (ICD) es el proceso de mapear textos no estructurados de las Historias Clínicas Electrónicas (EHR) a códigos estandarizados. Aunque los modelos de aprendizaje profundo han mejorado la precisión de esta tarea, carecen de explicabilidad, lo que socava la confianza de los profesionales de la salud.

El artículo identifica tres brechas críticas en la investigación actual:

• Falta de datos de referencia modernos: Los conjuntos de datos existentes para evaluar explicaciones (como MDACE) se basan en MIMIC-III y el obsoleto sistema ICD-9, presentando un desplazamiento de distribución de etiquetas significativo y anotaciones de justificación (rationales) escasas.
• Evaluación limitada de tipos de justificación: La mayoría de los estudios se centran exclusivamente en justificaciones basadas en puntuaciones de atención (attention scores), sin compararlas sistemáticamente con otros tipos de evidencia.
• Ausencia de métodos de aprendizaje de justificación: No existen enfoques dedicados entrenados explícitamente para generar justificaciones plausibles debido a la falta de grandes conjuntos de datos supervisados.

2. Metodología

A. Construcción de un Nuevo Conjunto de Datos (RD-IV-10)

Los autores crearon RD-IV-10, un nuevo conjunto de datos de justificaciones basado en MIMIC-IV y el sistema ICD-10.

• Annotación: Realizada por profesionales médicos, capturando justificaciones ricas en múltiples niveles de granularidad (palabras, frases, oraciones completas o parciales).
• Ventaja: A diferencia de MDACE, RD-IV-10 mantiene una distribución de códigos muy similar a la original (93.15% de superposición en configuración completa) y ofrece un promedio de 35.94 justificaciones por documento, frente a las 14.10 de MDACE.

B. Evaluación de Explicabilidad

Se evaluaron tres tipos de justificaciones bajo dos dimensiones fundamentales:

1. Fidelidad (Faithfulness): ¿Qué tan bien las justificaciones reflejan el razonamiento interno del modelo? Se midió mediante Suficiencia (mantener solo la justificación) y Compreensibilidad (eliminar la justificación) en modelos como CAML, LAAT y PLM-ICD.
2. Plausibilidad (Plausibility): ¿Qué tan convincentes son las justificaciones para un humano? Se compararon contra las anotaciones humanas usando métricas de coincidencia exacta e independiente de posición (tokens y span).
   • Tipos evaluados:
     • Entidades enlazadas (Naive): Basadas en datasets de vinculación de entidades (SNOMED CT).
     • Generadas por LLM: Extraídas por modelos de lenguaje grandes (Gemini 2-Flash, LLaMA-3.3).
     • Generadas por el modelo: Basadas en pesos de atención de los modelos de codificación.

C. Aprendizaje Guiado por LLM (LLM-Guided Learning)

Aprovechando la alta plausibilidad de las justificaciones generadas por LLM, se propusieron dos enfoques para entrenar modelos que aprendan a generar justificaciones:

1. Aprendizaje Multi-objetivo: Se añade una función de pérdida que minimiza la discrepancia entre los pesos de atención del modelo y las máscaras de justificación generadas por el LLM (supervisión débil).
2. Formulación NER (Reconocimiento de Entidades Nombradas): Se reformula la tarea como un problema de NER, donde las justificaciones son "entidades" y los códigos ICD son las clases. Esto unifica la extracción de justificaciones y la clasificación de códigos en una sola tarea.

D. Mejora con Few-Shot Prompting

Se incorporaron ejemplos humanos anotados (few-shot) en los prompts del LLM (Gemini 2-Flash) para mejorar la calidad de las justificaciones generadas, las cuales luego se utilizaron como señales de supervisión para entrenar los modelos de aprendizaje.

3. Contribuciones Clave

1. RD-IV-10: Un nuevo dataset de referencia para justificaciones en codificación ICD basado en ICD-10 y MIMIC-IV, con anotaciones más ricas y precisas que las existentes.
2. Evaluación Comparativa Exhaustiva: La primera comparación sistemática de justificaciones basadas en entidades, LLM y modelos de atención, demostrando que las justificaciones basadas en atención tienen una plausibilidad humana muy baja.
3. Métodos de Aprendizaje Guiado por LLM: Propuesta de enfoques de aprendizaje (Multi-objetivo y NER) que utilizan justificaciones generadas por LLM como supervisión débil.
4. Impacto del Few-Shot: Demostración de que incluir ejemplos humanos en los prompts del LLM mejora significativamente tanto la generación de justificaciones como el rendimiento de los modelos de aprendizaje posterior.

4. Resultados Principales

• Fidelidad: Los modelos basados en atención (CAML, LAAT, PLM-ICD) muestran fidelidad moderada; sin embargo, la eliminación de las "justificaciones" (tokens con alta atención) no degrada drásticamente el rendimiento en todos los casos, sugiriendo que el modelo utiliza información residual.
• Plausibilidad:
  • Las justificaciones generadas por el modelo (atención) tienen un rendimiento casi nulo en métricas de coincidencia humana (<1% en coincidencia de span exacta).
  • Las justificaciones basadas en entidades enlazadas son mejores, pero limitadas por la alineación de esquemas de codificación.
  • Gemini 2-Flash obtuvo el mejor rendimiento en plausibilidad entre todos los métodos evaluados.
• Efecto del Few-Shot: La inclusión de ejemplos humanos en los prompts de Gemini mejoró la puntuación F1 en la generación de justificaciones en un promedio de ~40-50% en las métricas de coincidencia de span y token.
• Aprendizaje de Justificaciones:
  • El enfoque Multi-objetivo mejoró ligeramente la plausibilidad (~1%) sin degradar la precisión de codificación.
  • El enfoque NER logró la plausibilidad de nivel de span más alta, superando incluso al modelo maestro (Gemini 2-Flash) en métricas de coincidencia de span, aunque con un costo en la precisión general de codificación (trade-off). Esto se debe a que el modelo NER se especializa en reconocer patrones de entidades específicas.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la IA en salud por varias razones:

• Establece un nuevo estándar: Proporciona un recurso de evaluación (RD-IV-10) moderno y de alta calidad, superando las limitaciones de los datasets anteriores obsoletos.
• Valida el uso de LLMs: Demuestra que los LLMs pueden generar explicaciones clínicas plausibles que superan a los métodos tradicionales basados en atención, actuando como "maestros" efectivos para la supervisión débil.
• Nuevos Paradigmas de Aprendizaje: Introduce la reformulación de la tarea de codificación ICD como un problema de NER para la extracción de justificaciones, logrando un nivel de explicabilidad humana sin precedentes en modelos automáticos.
• Escalabilidad: Al usar LLMs guiados por pocos ejemplos humanos, se ofrece una ruta viable para escalar la creación de datos de justificación de alta calidad sin depender exclusivamente de la anotación manual costosa.

En conclusión, el artículo no solo evalúa críticamente la explicabilidad actual en codificación médica, sino que propone y valida un marco efectivo para mejorarla mediante la sinergia entre LLMs y modelos de aprendizaje supervisado.