Reinforcement Learning Improves LLM Accuracy and Reasoning in Disease Classification from Radiology Reports

Aquí presento un resumen técnico detallado del artículo "Reinforcement Learning Improves LLM Accuracy and Reasoning in Disease Classification from Radiology Reports" en español.

1. Planteamiento del Problema

La clasificación precisa de enfermedades a partir de informes de radiología es fundamental para aplicaciones clínicas. Aunque el ajuste fino supervisado (SFT, por sus siglas en inglés) de Modelos de Lenguaje Grandes (LLM) ligeros mejora la precisión, presenta una limitación crítica: degrada la capacidad de razonamiento del modelo.

• El dilema: El SFT tradicional suele entrenarse solo con etiquetas de enfermedades (resultados), omitiendo las cadenas de razonamiento intermedias. Esto provoca que el modelo aprenda a predecir la etiqueta correcta sin explicar por qué, lo cual es inaceptable en medicina donde la transparencia y la explicabilidad son vitales para la toma de decisiones clínicas y la confianza del usuario.
• Restricciones de recursos: Los LLMs masivos requieren hardware especializado y plantean riesgos de privacidad si se usan mediante APIs externas. Los LLMs ligeros (como LLaMA-8B, Qwen-3B, Phi-3) permiten un despliegue local, pero a menudo carecen de la capacidad de razonamiento robusta necesaria para tareas médicas complejas.

2. Metodología Propuesta

Los autores proponen un marco de trabajo de dos etapas que combina ajuste supervisado y aprendizaje por refuerzo, diseñado para mejorar tanto la clasificación como el razonamiento sin necesidad de datos de razonamiento etiquetados en la segunda fase.

Etapa 1: Ajuste Fino Supervisado (SFT)

• Objetivo: Adaptar el LLM ligero al dominio de la radiología.
• Datos: Se utiliza un conjunto de 2,000 informes de radiología (MIMIC-CXR) con etiquetas de enfermedades extraídas automáticamente.
• Proceso: El modelo se entrena solo con las etiquetas de enfermedades (sin explicaciones). La salida se formatea como <reasoning></reasoning><answer>...</answer>, pero la sección de razonamiento se deja vacía intencionalmente durante este entrenamiento.

Etapa 2: Optimización de Política Relativa de Grupo (GRPO)

• Objetivo: Refinar las predicciones y forzar la generación de razonamiento explícito sin supervisión de razonamiento humano.
• Algoritmo: Se aplica GRPO (una variante de Aprendizaje por Refuerzo) sobre el mismo conjunto de datos de la Etapa 1.
• Función de Recompensa: En lugar de usar etiquetas de razonamiento, se utiliza una función de recompensa basada en reglas que evalúa:
  1. Precisión de Clasificación: Promedio de precisión y recall.
  2. Correctitud del Formato: Se asigna una recompensa de cero si la sección de razonamiento está vacía o si simplemente repite la lista de enfermedades. Esto incentiva al modelo a generar una justificación coherente basada en evidencia del informe.
  • Fórmula: $Recompensa = 0.8 \times Recompensa_{precisión} + 0.2 \times Recompensa_{formato}$.

Inferencia y Post-procesamiento

• Votación Mayoritaria: Para cada informe, se generan 5 inferencias independientes. La etiqueta final de la enfermedad se determina mediante votación mayoritaria, lo que aumenta la robustez.
• Resumen de Razonamiento: Un LLM ligero original (no ajustado) se utiliza para sintetizar las 5 justificaciones generadas en un único informe de razonamiento coherente y completo.

3. Contribuciones Clave

1. Marco de Entrenamiento Híbrido: Demostración de que el GRPO puede restaurar y mejorar la capacidad de razonamiento de LLMs ligeros después de un SFT que la había degradado, sin requerir datos costosos de razonamiento etiquetado por expertos.
2. Métricas Nuevas para Razonamiento: Introducción de dos métricas específicas para evaluar la calidad del razonamiento generado:
   • Recall de Razonamiento: Proporción de enfermedades reales mencionadas en el razonamiento.
   • Comprehensividad del Razonamiento: Proporción de enfermedades predichas que están respaldadas por evidencia explícita en el texto.
3. Validación Rigurosa: Evaluación en tres conjuntos de datos de referencia (MIMIC-CXR, NIH-CXR, MIDRC) con anotaciones de radiólogos, comparando múltiples modelos (LLaMA, Qwen, Phi-3) y baselines (BERT, GPT-4o).

4. Resultados Principales

• Mejora en Clasificación: El enfoque SFT + GRPO superó consistentemente a los modelos base y a los modelos solo con SFT.
  • En el conjunto MIMIC-CXR, el modelo Qwen-3B mejoró su puntuación F1 micro en un 13.2% al añadir GRPO.
  • LLaMA-8B alcanzó una precisión de clasificación casi equivalente a la de GPT-4o (usado como modelo "maestro" para generar etiquetas de entrenamiento).
• Recuperación del Razonamiento:
  • El SFT solo causó una pérdida catastrófica de razonamiento en LLaMA (recall de razonamiento de 0.00).
  • GRPO restauró significativamente esta capacidad. En Qwen y Phi-3, el GRPO mejoró tanto el recall como la comprehensividad del razonamiento en 8 de 9 cohortes evaluadas.
  • Radiólogos certificados validaron que las salidas de SFT+GRPO eran más precisas y coherentes que las de SFT solo en la mayoría de los casos revisados.
• Comparación con otros métodos:
  • El enfoque propuesto (SFT + GRPO) superó o igualó a modelos más grandes como Qwen-7B en ciertos escenarios y superó consistentemente a BioClinicalBERT en la capacidad de generar razonamiento natural.
  • Comparado con un ajuste fino adicional con datos de razonamiento (SFT Disease + SFT Reasoning), el método GRPO logró una clasificación superior o comparable con menos costo de datos (no requiere etiquetas de razonamiento en la segunda etapa).

5. Significado e Impacto

Este estudio demuestra que es posible superar la compensación tradicional entre precisión y explicabilidad en modelos de IA médica ligeros.

• Viabilidad Clínica: Permite desplegar modelos de IA precisos y explicables en entornos locales (hospitales) sin depender de APIs costosas o riesgos de privacidad, utilizando hardware accesible.
• Eficiencia de Datos: Elimina la necesidad de costosos conjuntos de datos con razonamiento etiquetado por expertos para entrenar modelos de alto rendimiento, utilizando en su lugar funciones de recompensa basadas en reglas.
• Confianza: Al generar justificaciones clínicamente coherentes basadas en evidencia textual, el modelo fomenta la confianza de los radiólogos, facilitando la adopción de herramientas de diagnóstico asistido por IA.

En resumen, la integración de GRPO en el flujo de trabajo de LLMs ligeros representa un avance significativo hacia sistemas de diagnóstico automatizado que no solo son precisos, sino también transparentes y confiables para la práctica médica real.