Reinforcement Learning Improves LLM Accuracy and Reasoning in Disease Classification from Radiology Reports

1. Problématique et Contexte

L'extraction précise de diagnostics à partir de rapports radiologiques en texte libre est cruciale pour de nombreuses applications médicales. Bien que le Fine-Tuning Supervisé (SFT) des grands modèles de langage (LLM) légers améliore la précision de classification des maladies, il présente une limitation majeure : il tend à dégrader la capacité du modèle à générer des chemins de raisonnement explicites et cohérents.

Dans le domaine médical, la transparence et l'explicabilité sont essentielles pour la prise de décision clinique et la confiance des praticiens. Le SFT classique, souvent entraîné uniquement sur des étiquettes de maladies (sans supervision du raisonnement), conduit fréquemment à un « oubli catastrophique » des capacités de raisonnement, le modèle se contentant de lister les maladies sans justifier ses choix. De plus, l'utilisation de modèles lourds ou d'API externes pose des problèmes de confidentialité des données et de coût computationnel, rendant les modèles légers (Lightweight LLMs) plus attractifs pour un déploiement local, mais souvent moins performants en termes de raisonnement.

2. Méthodologie Proposée

Les auteurs proposent une approche en deux étapes combinant le SFT et l'apprentissage par renforcement pour surmonter ces limites, sans nécessiter de données de supervision explicite pour le raisonnement.

A. Architecture du Pipeline (Figure 1)

1. Étape 1 : Fine-Tuning Supervisé (SFT)

   • Le modèle est entraîné sur un jeu de données de rapports radiologiques avec des étiquettes de maladies (Ground Truth).
   • Contrainte clé : La supervision ne porte que sur la liste des maladies. La section de raisonnement dans la sortie est laissée vide ou ignorée pendant l'entraînement, ce qui permet au modèle de s'adapter au domaine médical mais risque de supprimer sa capacité à raisonner.

2. Étape 2 : Optimisation par Politique Relative de Groupe (GRPO)

   • Une fois le SFT terminé, une étape d'apprentissage par renforcement (RL) est appliquée sur le même jeu de données.
   • Fonction de Récompense : Contrairement aux méthodes traditionnelles, aucune supervision humaine du raisonnement n'est requise. La récompense est basée sur des règles :
     • Précision et Rappel de classification : Vérification de la justesse des maladies prédites.
     • Récompense de format : Le modèle doit respecter une structure stricte incluant une section <reasoning> et une section <answer>. Si la section de raisonnement est vide ou ne fait que répéter la liste des maladies, la récompense est nulle. Cela force le modèle à générer un raisonnement explicite pour obtenir une récompense maximale.
   • Algorithme : Utilisation de GRPO (Group Relative Policy Optimization), une variante efficace du PPO qui optimise la politique en comparant les résultats d'un groupe d'échantillons.

3. Inférence et Agrégation

   • Pour chaque rapport, le modèle génère cinq inférences indépendantes (avec une température de 0.1).
   • Voting Majoritaire : Les étiquettes de maladies finales sont déterminées par un vote majoritaire sur les cinq prédictions, augmentant la robustesse.
   • Synthèse du Raisonnement : Un LLM léger (le modèle original) est sollicité pour résumer les cinq raisonnements générés en un rapport de justification unique et cohérent.

3. Contributions Clés

• Amélioration du Raisonnement sans Supervision Explicite : La méthode démontre qu'il est possible de restaurer et d'améliorer les capacités de raisonnement d'un LLM après un SFT, simplement en optimisant la structure de sortie et la précision via le RL, sans avoir besoin de datasets coûteux annotés par des experts pour le raisonnement.
• Framework Hybride SFT + GRPO : L'intégration de GRPO après le SFT permet de corriger l'oubli catastrophique du raisonnement tout en maintenant, voire en améliorant, la précision de classification.
• Évaluation Rigoureuse : Introduction de deux métriques spécifiques pour évaluer la qualité du raisonnement :
  • Rappel du raisonnement (Reasoning Recall) : Proportion des maladies réelles mentionnées dans le raisonnement.
  • Exhaustivité du raisonnement (Reasoning Comprehensiveness) : Proportion des maladies prédites qui sont soutenues par un raisonnement explicite.
• Validation Humaine : Une évaluation par deux radiologues certifiés confirme que les sorties combinant SFT et GRPO sont jugées plus précises et cohérentes que celles du SFT seul.

4. Résultats Expérimentaux

L'étude a été évaluée sur trois jeux de données de rapports radiologiques (MIMIC-CXR, NIH-CXR, MIDRC) et trois modèles légers (LLaMA 3.1-8B, Qwen 2.5-3B, Phi-3).

• Précision de Classification :

  • Le SFT améliore significativement les performances par rapport aux modèles de base (Baseline).
  • L'ajout de GRPO améliore encore le score F1 micro-avéré dans 8 des 9 cohortes évaluées. Par exemple, sur MIMIC-CXR, Qwen-3B passe de 0,640 (SFT) à 0,707 (SFT+GRPO).
  • Les performances finales de LLaMA avec GRPO rivalisent avec celles de GPT-4o (utilisé comme modèle enseignant pour les données d'entraînement).

• Performance du Raisonnement :

  • SFT seul : Entraîne souvent une perte totale de capacité de raisonnement (notamment pour LLaMA, où le rappel du raisonnement tombe à 0,00).
  • SFT + GRPO : Restaure et améliore massivement le raisonnement. Pour Qwen, le rappel du raisonnement passe de ~0,45 (SFT) à 0,725 (SFT+GRPO) sur MIMIC-CXR.
  • L'exhaustivité du raisonnement augmente également, prouvant que le modèle justifie mieux ses prédictions.

• Comparaison avec d'autres approches :

  • Le modèle SFT+GRPO surpasse ou égale un modèle entraîné avec une supervision explicite du raisonnement (SFT Disease + SFT Reasoning) sur la classification, tout en étant plus efficace en termes de données (pas besoin de données de raisonnement annotées pour l'étape RL).
  • Les modèles légers surpassent souvent les classificateurs textuels traditionnels comme BioClinicalBERT, tout en offrant la capacité de générer du langage naturel pour justifier les décisions.

5. Signification et Impact

Cette recherche démontre que l'apprentissage par renforcement, spécifiquement via GRPO, est un outil puissant pour aligner les LLM légers sur des tâches médicales complexes où la transparence est aussi importante que la précision.

• Déploiement Clinique : La méthode permet d'utiliser des modèles légers déployables localement (respectant la confidentialité des données) tout en garantissant des explications cliniques fiables, un prérequis pour l'adoption par les médecins.
• Efficacité des Données : Elle résout le problème de la pénurie de données annotées pour le raisonnement médical en utilisant des récompenses basées sur des règles pour guider l'apprentissage.
• Futur de l'IA Médicale : L'étude ouvre la voie à des systèmes d'aide à la décision qui ne se contentent pas de prédire, mais qui « pensent » et expliquent leur logique, renforçant ainsi la confiance des utilisateurs dans l'IA.

En conclusion, l'approche proposée transforme les LLM légers en assistants radiologiques capables non seulement de détecter des maladies avec une haute précision, mais aussi de fournir des justifications cliniques robustes, comblant ainsi le fossé entre la performance algorithmique et l'interprétabilité clinique.