MedUPS: Towards Diagnostic Assistance in Uncommon Medical Cases with Large Language Models

Resumen Técnico: MedUPS – Asistencia Diagnóstica en Casos Médicos Poco Comunes con Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Los modelos clínicos de lenguaje de gran escala (CLLM) actuales y los referentes de evaluación médica evalúan predominantemente el rendimiento basándose en el diagnóstico final derivado de una viñeta de caso completamente especificada. Esta evaluación "estilo examen" no refleja la realidad de la práctica clínica, particularmente para casos poco comunes o que se salen de las guías establecidas. En estos escenarios, los médicos deben navegar la incertidumbre diagnóstica tomando una serie de decisiones de gestión intermedia (por ejemplo, solicitar pruebas específicas, involucrar a especialistas o perseguir diagnósticos diferenciales) basadas en evidencia acumulada e incompleta. Los referentes existentes rara vez capturan este proceso de toma de decisiones longitudinal, y el diagnóstico final es a menudo un objetivo de entrenamiento poco fiable para condiciones raras debido a su escasez, la variabilidad en la formulación de texto libre y la incertidumbre inherente incluso en los registros publicados. En consecuencia, existe una falta de señales de supervisión que reflejen cómo los clínicos razonan hacia adelante desde información parcial hacia la siguiente acción apropiada.

Metodología
Los autores presentan MedUPS, un marco de alineación, y MedUPSQA, un conjunto de datos diseñado para supervisar a los modelos en puntos de decisión clínica intermedia en lugar de diagnósticos terminales.

1. Construcción del Conjunto de Datos (MedUPSQA):

   • Fuente: El conjunto de datos se deriva de 5,535 reportes de casos del mundo real (extendidos del corpus CUPCase) publicados en el BMC Journal of Medical Case Reports.
   • Segmentación: Las presentaciones de casos en texto libre se segmentan automáticamente en "fragmentos" (chunks) cronológicamente ordenados y clínicamente coherentes ($c_1, \dots, c_T$) mediante el uso de prompting de pocos disparos (few-shot prompting) con GPT-4o. Cada fragmento captura un único concepto clínico dominante (por ejemplo, la evolución de un síntoma o un resultado de laboratorio).
   • Formulación de la Tarea: Para cada prefijo de la trayectoria $\{c_1, \dots, c_i\}$, el modelo tiene la tarea de predecir el siguiente paso clínicamente relevante ($a_i$) que ocurre en el fragmento subsiguiente ($c_{i+1}$).
   • Generación y Validación: Un LLM externo (DeepSeek-R1) genera preguntas ($q_i$), razonamiento de cadena de pensamiento ($r_i$) y respuestas ($a_i$) basadas en el contexto. Un LLM separado actuando como juez (DeepSeek-Chat) valida estas instancias, asegurando que la respuesta generada sea clínicamente equivalente a la referencia en $c_{i+1}$ basándose en una rúbrica de cuatro criterios: Corrección, Especificidad, Fundamentación y Completitud.
   • Escala: El conjunto de datos final contiene 21,874 puntos de decisión de siguiente paso validados.

2. Marco de Alineación (MedUPS):

   • Objetivo: El marco optimiza los modelos para predecir el siguiente paso utilizando Optimización de Política Relativa de Grupo (GRPO). Este es un método de gradiente de política sin crítico que normaliza las recompensas contra una media del grupo, evitando la necesidad de una red de valor entrenada por separado.
   • Señal de Recompensa: La recompensa es proporcionada por un juez externo basado en LLM que califica la salida del modelo según la rúbrica. La puntuación es una suma ponderada de los cuatro criterios, normalizada al intervalo $[0, 1]$.
   • Optimización: Los modelos se ajustan finamente utilizando Adaptadores de Bajo Rango (LoRA) con un modelo de referencia congelado para la regularización KL. El proceso implica el muestreo de grupos de completaciones, su calificación y la actualización de la política para favorecer las completaciones que superan el promedio del grupo.
   • Líneas Base: Los autores comparan GRPO frente al Ajuste Fino Supervisado (SFT) sobre los mismos pares intermedios para aislar la contribución del optimizador del objetivo. También evalúan modelos abiertos no alineados y modelos cerrados de frontera (por ejemplo, variantes de GPT-5.6) como líneas base.

Contribuciones Clave

1. Objetivo de Alineación de Mitad de Trayectoria: El artículo formaliza la predicción del siguiente paso a lo largo de las líneas de tiempo del paciente como un objetivo de aprendizaje por refuerzo. Demuestra que GRPO sobre este objetivo único mejora el razonamiento clínico en casos poco comunes a través de tres arquitecturas no relacionadas (Qwen3.6-27B, Qwen3.5-9B, HuatuoGPT-3-8B) sin requerir etiquetas de diagnóstico final.
2. Conjunto de Datos MedUPSQA: Un conjunto de datos abierto de 21,874 puntos de decisión de siguiente paso validados con trazas de razonamiento, derivados de reportes de casos del mundo real segmentados, junto con checkpoints de modelos alineados y código.
3. Alineación sobre Escala: El estudio proporciona evidencia de que la supervisión intermedia dirigida puede ser más impactante que el tamaño del modelo para el razon el razonamiento en casos poco comunes. Los modelos abiertos más pequeños, alineados en la mitad de la trayectoria, igualan o superan a modelos de frontera y modelos abiertos sustancialmente más grandes en tareas de predicción del siguiente paso.

Resultados

• Ganancias de Rendimiento: La alineación de mitad de trayectoria mejoró significativamente la precisión del siguiente paso en todas las arquitecturas probadas:
  • Qwen3.6-27B: Aumentó de 55.2% a 66.7%.
  • Qwen3.5-9B: Aumentó de 47.2% a 57.8%.
  • HuatuoGPT-3-8B: Aumentó de 37.8% a 44.4%.
  • Todas las mejoras fueron estadísticamente significativas (IC 95%).
• Comparación con SFT: Aunque el SFT en los mismos datos mejoró todas las arquitecturas por encima de sus versiones base, GRPO superó al SFT en la arquitectura más grande (Qwen3.6-27B), lo que sugiere que el aprendizaje por refuerzo relativo de grupo es efectivo cuando la política base es lo suficientemente fuerte como para generar variaciones informativas.
• Escala vs. Alineación: El modelo abierto alineado de 27B (66.7%) superó a los modelos de frontera no alineados (variantes de GPT-5.6, ~60%) y a los modelos abiertos más grandes no alineados (Qwen3.5-397B-A17B, ~53%). El modelo de 9B alineado también superó a su base de 27B no alineada.
• Robustez del Juez: Los autores reconocen que la evaluación depende de un LLM actuando como juez. La re-calificación con diferentes jueces (GPT-5.6, Opus 5) mostró una concordancia moderada (Coeficiente $\kappa$ de Cohen $\approx 0.56-0.65$) y una caída en la precisión absoluta (de 67.2% a 58.0% con GPT-5.6), lo que indica que, si bien el orden relativo de los modelos alineados frente a los base se mantiene, las puntuaciones absoltas y el margen sobre los modelos de frontera dependen del juez.
• Análisis de Errores: El análisis de fallos reveló que muchas predicciones "incorrectas" no eran errores clínicos, sino desacuerdos sobre el orden específico de pasos defendibles o la granularidad del reporte de referencia. Los errores genuinos de razonamiento clínico (Categoría E) representaron solo un ~2.0% de las decisiones.

Significancia y Reivindicaciones
El artículo sostiene que, para casos médicos poco comunes, el objetivo de entrenamiento (alineación de mitad de trayectoria) importa más que la escala del modelo. Al desplazar el enfoque del diagnóstico final hacia el "siguiente paso apropiado", el marco se alinea mejor con la realidad clínica del razonamiento bajo incertidumbre. Los autores postulan que este enfoque ofrece una vía viable para desplegar sistemas clínicamente útiles de forma local (on-premises) utilizando modelos abiertos más pequeños, abordando así las restricciones de privacidad y costo asociadas con las API de frontera cerradas.

Los autores mantienen la modestia sobre sus afirmaciones, señalando explícitamente:

• La evaluación depende de jueces LLM, no de la adjudicación de clínicos, por lo que los resultados reflejan la alineación con los criterios del juez más que la verdad clínica absoluta.
• La superioridad de los modelos abiertos alineados sobre los modelos de frontera es específica del juez de evaluación utilizado y requiere validación adicional con familias de jueces independientes.
• La construcción del conjunto de datos es totalmente automatizada sin verificación clínica de la segmentación o la generación de preguntas, lo cual se trata como una limitación principal.
• El trabajo está destinado al apoyo de la decisión clínica bajo la supervisión de un médico, no como un reemplazo del juicio humano.