Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

Résumé technique : Le réglage fin supervisé avec des données de raisonnement synthétiques nuit à la prédiction de maladies en conditions réelles

Énoncé du problème
L'article examine une hypothèse prédominante dans l'IA médicale : le fait que le réglage fin supervisé (SFT - Supervised Fine-Tuning) avec des données de raisonnement (rationale) synthétiques améliore les performances des modèles de langage sur les tâches de prédiction clinique en leur apprenant non seulement ce qu'il faut prédire, mais aussi pourquoi. Bien que des travaux antérieurs suggèrent que l'apprentissage de chaînes de raisonnement améliore la généralisation, l'interprétabilité et l'auditabilité, cette étude remet en question la validité de cette intuition dans des contextes de prédiction réels et à enjeux élevés, caractérisés par des signaux épars et hétérogènes. Les auteurs se concentrent sur la prédiction à cinq ans de la maladie d'Alzheimer et des troubles apparentés (ADRD) à partir d'antécédents de santé longitudinaux, une tâche où le risque s'accumule via des voies diverses et faibles plutôt que par un seul précurseur déterminant.

Méthodologie
Les auteurs ont mené une expérience contrôlée à grande échelle comprenant 504 configurations pour tester l'impact du SFT basé sur le raisonnement.

• Jeu de données : L'étude a utilisé une cohorte de 42 566 participants (8 802 cas d'ADRD et 33 764 témoins appariés) issus des données de l'UK Biobank. Les entrées consistaient en des antécédents médicaux horodatés (codes CIM-10, tests cognitifs, facteurs de mode de vie) avec une moyenne de seulement 17,7 caractéristiques observées par dossier, créant un environnement de signal parcimonieux.
• Conception expérimentale : Les modèles ont été soumis à un réglage fin sur la même tâche de prédiction d'ADRD en utilisant trois formats de cibles d'entraînement distincts :
  1. Sans raisonnement : Le modèle produit uniquement l'étiquette binaire (0 ou 1).
  2. Raisonnement libre : Le modèle produit un récit de forme libre, médicalement plausible, expliquant la prédiction, suivi de l'étiquette.
  3. Raisonnement par étapes : Le modèle produit un processus de raisonnement structuré en trois étapes, suivi de l'étiquette.
     Les raisonnements ont été générés par un LLM avant le SFT, avec pour instruction d'utiliser uniquement les preuves présentes dans le dossier du patient.
• Modèles et hyperparamètres : Les expériences ont croisé trois formats de cibles, trois tailles d'échantillons d'entraînement (1,5K, 3,8K, 15,3K), quatre taux d'apprentissage, deux modèles de base (Qwen2.5-7B-Instruct et le modèle orienté raisonnement Qwen3-8B) et sept paramètres de décodage (greedy, top-k, top-p à diverses températures).
• Évaluation : La performance a été mesurée via l'AUC-ROC, l'AUC-PR, le score F1 et le rappel sur un ensemble de test réservé de 853 individus. La signification statistique a été évaluée via des tests t appariés et le test de DeLong apparié.
• Contrôles de qualité : Pour écarter l'hypothèse d'une mauvaise qualité des données comme cause de l'échec, les auteurs ont effectué une annotation par des experts humains des raisonnements générés et des expériences d'inférence en few-shot utilisant les mêmes raisonnements comme démonstrations plutôt que comme cibles d'entraînement.

Résultats clés
L'étude a révélé que le SFT basé sur le raisonnement dégrade systématiquement et substantiellement la performance de prédiction par rapport au réglage fin sur étiquette seule.

• Dégradation de la performance : À travers les 504 configurations, les modèles entraînés avec des cibles d'étiquette seule ont atteint un AUC-ROC moyen de 0,734. En revanche, les modèles entraînés avec des raisonnements de forme libre ont atteint 0,604, et ceux avec des raisonnements par étapes ont atteint 0,592. Cette dégradation persiste à travers toutes les tailles de jeux d'entraînement et tous les modèles de base.
• Modèles orientés raisonnement : Le passage à un modèle de base orienté raisonnement (Qwen3-8B) n'a pas atténué la dégradation ; en fait, Qwen3-8B a légèrement moins bien performé que Qwen2.5-7B-Instruct lorsqu'il était entraîné avec des raisonnements.
• La qualité du raisonnement n'est pas le problème :
  • Annotation humaine : Les experts cliniques ont jugé les raisonnements générés comme étant médicalement exacts et fidèles aux preuves du patient (scores élevés pour la logique, la correction biomédicale et la fidélité).
  • Démonstrations en few-shot : Lorsque ce même style de raisonnement était utilisé comme démonstration lors de l'inférence (apprentissage few-shot) plutôt que comme cible d'entraînement, la performance s'est considérablement améliorée (l'AUC-ROC est passé de ~0,56 à 0,65). Cela confirme que les raisonnements contiennent un signal discriminatif réel, mais échouent lorsqu'ils sont utilisés comme cibles de SFT.
• Analyse d'erreur : Les modèles entraînés sur l'étiquette seule ont appris à se concentrer sur des caractéristiques discriminantes spécifiques à haute valeur (ex: délire, maladie de Parkinson, maladie cérébrovasculaire). Les modèles basés sur le raisonnement, cependant, ont appris à donner la priorité à des marqueurs de morbidité larges, mais « plausibles » (ex: troubles rétiniens, ulcères du duodénum), entraînant des taux de faux positifs plus élevés sur les témoins et des faux négatifs sur les cas.

Analyse de la cause profonde
Les auteurs identifient un conflit structurel entre la plausibilité narrative et l'optimisation discriminative.

• Plausibilité vs Discrimination : Un raisonnement médicalement plausible doit raconter une histoire cohérente, cohérente avec les voies de risque connues, en mettant souvent l'accent sur des marqueurs larges communs aux cas et aux témoins. L'optimisation discriminante, cependant, nécessite d'apprendre les combinaisons de caractéristiques spécifiques, souvent éparses, qui distinguent les futurs cas des témoins appariés dans une cohorte spécifique.
• Budget d'optimisation : Dans le SFT basé sur le raisonnement, la perte est dominée par le texte généré (50 à 150 jetons/tokens), tandis que le jeton de l'étiquette représente moins de 2 % de la complétion. Par conséquent, le modèle optimise la reproduction de la structure narrative plutôt que l'apprentissage de la frontière de décision. Cela détourne le budget d'optimisation du signal discriminatif nécessaire à une prédiction précise.

Signification et affirmations
L'article affirme fournir une compréhension précise des limites du raisonnement supervisé dans la prédiction clinique.

• Limitation contextuelle : Les conclusions suggèrent que si les raisonnements synthétiques sont précieux pour le guidage lors de l'inférence (démonstrations), ils sont contre-productifs en tant que cibles d'entraînement dans des contextes où les signaux discriminants sont épars et hétérogènes.
• Développement responsable : Ce travail met en garde contre l'utilisation de raisonnements synthétiques comme raccourci pour obtenir une explication de confiance dans des domaines à enjeux élevés. Il soutient que le réglage fin sur étiquette seule n'est pas une approche « plus faible » dans ces contextes, mais est en réalité supérieure car il maintient la cible d'optimisation directement alignée sur la tâche de prédiction.
• Directions futures : Les auteurs suggèrent que les travaux futurs explorent le filtrage des raisonnements discriminants, les fonctions de perte pondérées par l'étiquette ou des objectifs hybrides pour récupérer les bénéfices du raisonnement sans sacrifier la performance discriminante. Ils précisent explicitement que leurs résultats n'impliquent pas que le raisonnement clinique est dépourvu d'information, mais plutôt que la méthode actuelle consistant à utiliser des raisonnements générés comme cibles de SFT est peu fiable pour ce type spécifique de prédiction.