Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

Resumen Técnico: El ajuste fino supervisado con datos de razonamiento sintéticos perjudica la predicción de enfermedades en el mundo real

Planteamiento del problema
El artículo investiga una suposición prevalente en la IA médica: que el Ajuste Fino Supervisado (SFT, por sus siglas en en inglés) con datos de razonamiento sintético mejora el rendimiento de los modelos de lenguaje en tareas de predicción clínica al enseñar a los modelos no solo qué predecir, sino por qué. Si bien trabajos previos sugieren que aprender cadenas de razonamiento mejora la generalización, la interpretabilidad y la auditabilidad, este estudio cuestiona si esta intuición se mantiene en entornos de predicción del mundo real de alto riesgo, caracterizados por señales dispersas y heterogéneas. Los autores se centran en la predicción a cinco años de la Enfermedad de Alzheimer y Demencias Relacionadas (ADRD) a partir de historias clínicas longitudinales, una tarea donde el riesgo se acumula a través de vías diversas y débiles, en lugar de un único precursor definitorio.

Metodología
Los autores llevaron a cabo un experimento controlado a gran escala que involucró 504 configuraciones para probar el impacto del SFT basado en razonamientos.

• Conjunto de datos: El estudio utilizó una cohorte de 42,566 participantes (8,802 casos de ADRD y 33,764 controles emparejados) derivados de los datos de UK Biobank. Las entradas consistieron en historias médicas con marcas de tiempo de edad (códigos CIE-10, pruebas cognitivas, factores de estilo de vida) con un promedio de solo 17.7 características observadas por registro, creando un entorno de señal dispersa.
• Diseño experimental: Los modelos fueron ajustados finamente para la misma tarea de predicción de ADRD utilizando tres formatos distintos de objetivos de entrenamiento:
  1. Sin razonamiento: El modelo solo devuelve la etiqueta binaria (0 o 1).
  2. Razonamiento libre: El modelo devuelve una narrativa de forma libre y médicamente plausible que explica la predicción, seguida de la etiqueta.
  3. Razonamiento por pasos: El modelo devuelve un proceso de razonamiento estructurado de tres pasos, seguido de la etiqueta.
     Los razonamientos fueron generados por un LLM antes del SFT, con la instrucción de utilizar únicamente la evidencia presente en el registro del paciente.
• Modelos e hiperparámetros: Los experimentos cruzaron tres formatos de objetivo, tres tamaños de muestra de entrenamiento (1.5K, 3.8K, 15.3K), cuatro tasas de aprendizaje, dos modelos base (Qwen2.5-7B-Instruct y el orientado al razonamiento Qwen3-8B) y siete configuraciones de decodificación (greedy, top-k, top-p en varios niveles de temperatura).
• Evaluación: El rendimiento se midió mediante ROC-AUC, PR-AUC, puntuación F1 y recall en un conjunto de prueba mantenido fuera (held-out) de 853 individuos. La significancia estadística se evaluó mediante pruebas t de muestras pareadas y la prueba de DeLong de muestras pareadas.
• Controles de calidad: Para descartar que una mala calidad de los datos fuera la causa del fallo, los autores realizaron la anotación por expertos humanos de los razonamientos generados y experimentos de inferencia de pocos disparos (few-shot) utilizando los mismos razonamientos como demostraciones en lugar de objetivos de entrenamiento.

Resultados clave
El estudio encontró que el SFT basado en razonamientos degrada de manera constante y sustancial el rendimiento de la predicción en comparación con el ajuste fino de solo etiquetas.

• Degradación del rendimiento: En las 504 configuraciones, los modelos entrenados con objetivos de solo etiquetas alcanzaron un ROC-AUC medio de 0.734. En contraste, los modelos entrenados con razonamientos de forma libre alcanzaron 0.604, y aquellos con razonamientos por pasos alcanzaron 0.592. Esta degradación persistió en todos los tamaños de conjunto de entrenamiento y modelos base.
• Modelos orientados al razonamiento: Cambiar a un modelo base orientado al razonamiento (Qwen3-8B) no mitigó la degradación; de hecho, Qwen3-8B funcionó ligeramente peor que Qwen2.5-7B-Instruct cuando se entrenó con razonamientos.
• La calidad del razonamiento no es el problema:
  • Anotación humana: Los expertos clínicos calificaron los razonamientos generados como médicamente precisos y fieles a la evidencia del paciente (puntuaciones altas en lógica, corrección biomédica y fidelidad).
  • Demostraciones de pocos disparos (few-shot): Cuando el mismo estilo de razonamiento se utilizó como demostración durante la inferencia (aprendizaje de pocos disparos) en lugar de como objetivo de entrenamiento, el rendimiento mejoró significativamente (el ROC-AUC aumentó de ~0.56 a 0.65). Esto confirma que los razonamientos contienen una señal discriminativa genuina, pero fallan cuando se utilizan como objetivos de SFT.
• Análisis de errores: Los modelos de solo etiquetas aprendieron a centrarse en características discriminativas específicas y de alto valor (por ejemplo, delirio, Parkinson, enfermedad cerebrovascular). Sin embargo, los modelos basados en razonamientos aprendieron a priorizar marcadores de morbilidad general "plausibles" pero menos discriminativos (por ejemplo, trastornos retinianos, úlceras duodenales), lo que condujo a mayores tasas de falsos positivos en controles y falsos negativos en casos.

Análisis de la causa raíz
Los autores identifican un conflicto estructural entre la plausibilidad narrativa y la optimización discriminativa.

• Plausibilidad vs. Discriminación: Un razonamiento médicamente plausible debe contar una historia coherente consistente con las vías de riesgo conocidas, enfatizando a menudo marcadores amplios comunes tanto en casos como en controles. La optimización discriminativa, sin embargo, requiere aprender las combinaciones de características específicas y a menudo dispersas que distinguen a los casos futuros de los controles emparejados en una cohorte específica.
• Presupuesto de optimización: En el SFT basado en razonamientos, la pérdida está dominada por el texto generado (50–150 tokens), mientras que el token de la etiqueta representa menos del 2% de la completitud. En consecuencia, el modelo optimiza para reproducir la estructura narrativa en lugar de aprender la frontera de decisión. Esto redirige el presupuesto de optimización lejos de la señal discriminativa necesaria para una predicción precisa.

Significancia y afirmaciones
El artículo afirma proporcionar una comprensión precisa de las limitaciones de la supervisión basada en razonamientos en la predicción clínica.

• Limitación contextual: Los hallazgos sugieren que, si bien los razonamientos sintéticos son valiosos para la guía en el tiempo de inferencia (demostraciones), son contraproducentes como objetivos de entrenamiento en entornos donde las señales discriminativas son dispersas y heterogéneas.
• Desarrollo responsable: El trabajo advierte contra el uso de razonamientos sintéticos como un atajo para obtener explicaciones confiables en dominios de alto riesgo. Argumenta que el ajuste fino de solo etiquetas no es un enfoque "más débil" en estos contextos, sino que es superior porque mantiene el objetivo de optimización directamente alineado con la tarea de predicción.
• Direcciones futuras: Los autores sugieren que el trabajo futuro debería explorar el filtrado de razonamientos discriminativos, funciones de pérdida ponderadas por etiquetas u objetivos híbridos para recuperar los beneficios del razonamiento sin sacrificar el rendimiento discriminativo. Expresan explícitamente que sus resultados no implican que el razonamiento clínico sea poco informativo, sino que el método actual de usar razonamientos generados como objetivos de SFT es poco fiable para este tipo de configuración de predicción específica.