Can Reasoning LLMs Enhance Clinical Document Classification?

Resumen Técnico: ¿Pueden los LLM de Razonamiento Mejorar la Clasificación de Documentos Clínicos?

Planteamiento del Problema
La clasificación de documentos clínicos es un proceso crítico pero desafiante en la atención médica, que requiere la conversión de narrativas médicas no estructuradas en diagnósticos estandarizados ICD-10. Esta tarea se ve dificultada por la complejidad del lenguaje médico, que incluye terminología específica del dominio, abreviaturas y diversos estilos de escritura institucional. Además, las estrictas regulaciones de privacidad y la escasez de conjuntos de datos anotados de alta calidad impiden el desarrollo de modelos robustos. Si bien los Modelos de Lenguaje Extensos (LLM) han surgido como herramientas transformadoras para la comprensión del lenguaje natural, existe una brecha de investigación significativa con respecto a la cuantificación sistemática de si los LLM mejorados por razonamiento ofrecen beneficios tangibles sobre los LLM estándar sin razonamiento en el contexto específico de la codificación clínica. No está claro si la complejidad computacional adicional de las arquitecturas de razonamiento se traduce en una mejora de la precisión y la consistencia del codificado diagnóstico.

Metodología
El estudio evaluó ocho LLM —cuatro modelos de razonamiento (Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking) y cuatro modelos sin razonamiento (Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)— sobre un subconjunto equilibrado del conjunto de datos MIMIC-IV.

• Construcción del Conjunto de Datos: El conjunto de datos comprendió 3,000 resúmenes de alta hospitalaria, distribuidos uniformemente entre los 10 códigos ICD-10 principales (derivados tanto de diagnósticos primarios como secundarios). Para cada código, se seleccionaron 150 muestras positivas (diagnóstico confirmado) y 150 muestras negativas (sin diagnóstico) para asegurar el equilibrio de clases.
• Preprocesamiento: Las narrativas clínicas no estructuradas fueron procesadas utilizando cTAKES (Sistema de Análisis de Texto Clínico y Extracción de Conocimiento). Esta herramienta tokenizó el texto en códigos SNOMED estructurados, capturando matices contextuales como la afirmación o negación, reduciendo así la longitud del documento y mejorando la eficiencia del procesamiento.
• Protocolo Experimental: Cada modelo recibió la tarea de clasificar los 3,000 resúmenes tokenizados en "Sí" o "No" para códigos ICD-10 específicos. Para garantizar la robustez, cada modelo se ejecutó en tres ejecuciones experimentales independientes. Las predicciones finales se determinaron mediante votación por mayoría a través de las tres ejecuciones.
• Métricas de Evaluación: El rendimiento se evaluó mediante Precisión (Accuracy), Puntuación F1 y Consistencia (la proporción de resúmenes que recibieron clasificaciones idénticas en las tres ejecuciones).

Contribuciones Clave

1. Análisis Comparativo de Razonamiento vs. Sin Razonamiento: El estudio proporciona una comparación empírica directa entre las arquitecturas de LLM con razonamiento y sin razonamiento en un contexto de codificación clínica, abordando una brecha en la literatura sobre la utilidad específica de las capacidades de razonamiento para la clasificación ICD-10.
2. Compromiso entre Consistencia y Precisión: La investigación identifica un compromiso distintivo donde los modelos de razonamiento logran una mayor precisión, pero exhiben una menor estabilidad, mientras que los modelos sin razonamiento demuestran una consistencia superior.
3. Mapeo Granular del Rendimiento: El estudio categoriza los códigos ICD-10 basándose en el rendimiento de los modelos, distinguiendo entre condiciones bien definidas (donde los modelos funcionan bien) y categorías diagnósticas abstractas (donde el rendimiento varía significativamente).

Resultos

• Rendimiento General: Los modelos de razonamiento superaron a los modelos sin razonamiento en precisión de clasificación y puntuaciones F1. Los modelos de razonamiento lograron una precisión promedio del 71% y una puntuación F1 del 67%, en comparación con el 68% de precisión y 60% de F1 de los modelos sin razonamiento.
• Mejores Desempeños: Gemini 2.0 Flash Thinking (razonamiento) alcanzó la mayor precisión (75%) y puntuación F1 (76%). Por el contrario, GPT 4o Mini (sin razonamiento) registró el desempeño más bajo (64% de precisión, 47% de F1).
• Consistencia: Los modelos sin razonamiento demostraron una mayor estabilidad, con una consistencia promedio del 91%, frente al 84% de los modelos de razonamiento. Modelos como GPT o3 Mini y Deepseek Chat mostraron una alta consistencia (95%), mientras que los modelos de razonamiento como Qwen QWQ y Gemini 2.0 Flash Thinking mostraron una menor consistencia (78%).
• Variaciones Específicas de Código:
  • Condiciones bien definidas (ej., Sepsis/A41, Infarto de Miocardio/I21): Todos los modelos mostraron una fuerte consistencia y puntuaciones F1.
  • Desempeño Variable (ej., E78, I13): La consistencia se mantuvo alta, pero las puntuaciones F1 variaron ampliamente entre los modelos.
  • Categorías Abstractas (ej., Z79, Z87): Tanto la consistencia como las puntuaciones F1 fluctuaron significativamente. Notablemente, algunos modelos (ej., GPT o3 Mini) alcanzaron un 100% de consistencia pero un 0% de F1, lo que indica que clasificaron consistentemente todos los registros como negativos.

Significancia y Reivindicaciones
El artículo sostiene que, si bien los LLM de razonamiento ofrecen una precisión de clasificación y una puntuación F1 superiores —particularmente en casos clínicos complejos—, introducen una mayor variabilidad en los resultados en comparación con los modelos sin razonamiento, que son más estables. Los autores sugieren que el enfoque óptimo para la codificación clínica automatizada puede ser una estrategya híbrida que aproveche la alta precisión de los modelos de razonamiento junto con la confiabilidad de los modelos sin razonamiento.

El estudio concluye que las capacidades de razonamiento mejoran la capacidad de capturar relaciones clínicas complejas, pero no garantizan la estabilidad. Por lo tanto, el despliegue futuro en entornos de atención médica requiere equilibrar la precisión con la confiabilidad. Los autores proponen que el trabajo futuro debe centrarse en la clasificación multietiqueta, el ajuste fino (fine-tuning) específico del dominio y el modelado de conjunto (ensemble modeling) para mejorar aún más el rendimiento y la generalización en aplicaciones del mundo real.