📄 medical education

Infoxmed2.0-27B: Instruction Tuning, Preference Alignment, and GRPO-Based Reward Model Training for Medical LLMs

L'article présente Infoxmed2.0-27B, un modèle de fondation médicale dérivé de Qwen3.5-27B qui atteint des performances supérieures sur les benchmarks médicaux grâce à un pipeline de post-entraînement multi-étapes rigoureux impliquant la synthèse de données propriétaires, l'ajustement d'instructions basé sur LoRA, l'alignement de préférences par DPO et l'entraînement de modèles de récompense basés sur GRPO.

Auteurs originaux : Xie, J., Guo, Z., Zhao, H., Ni, H.

Publié 2026-06-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xie, J., Guo, Z., Zhao, H., Ni, H.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

La vue d'ensemble : Construire un « Super-Stagiaire Médical »

Imaginez que vous avez un étudiant brillant et très cultivé (le modèle de base Qwen3.5-27B). Cet étudiant connaît beaucoup de choses sur le monde, sait rédiger des essais et comprend la logique générale. Cependant, si vous lui posez une question médicale complexe, il pourrait deviner, inventer des faits ou donner des conseils qui semblent bons mais qui sont en réalité dangereux.

Les auteurs de cet article voulaient transformer cet « étudiant généraliste » en un « super-stagiaire médical » qui est précis, sûr et respecte des règles médicales strictes. Ils ne l'ont pas fait en lui enseignant un tout nouveau diplôme à partir de zéro, mais en le faisant passer par un camp d'entraînement rigoureux en quatre étapes.

Étape 1 : L'usine à manuels scolaires (Synthèse de données)

Avant que l'étudiant puisse étudier, il lui faut les bons manuels.

Le Problème : On ne peut pas simplement collecter des conseils médicaux aléatoires sur Internet ; ils sont remplés d'erreurs et de doublons.
La Solution : L'équipe a construit une usine personnalisée.
1. Minage : Ils ont fouillé dans une base de données privée et organisée (comme une immense bibliothèque) pour extraire des questions et réponses structurées.
2. Tri : Ils ont organisé ces questions dans un « Arbre de catégories médicales » (comme un classeur avec des dossiers pour l'Oncologie, la Cardiologie, etc.) afin que l'étudiant ne soit pas submergé.
3. Les Éditeurs : Une équipe de docteurs en médecine (PhD) a agi comme des éditeurs stricts. Ils ont vérifié l'exactitude de chaque réponse. Si un fait était faux, il était jeté.
4. Le Filtre : Ils ont utilisé un outil d'IA intelligent (Chinese RoBERTa) pour trouver et supprimer les questions dupliquées, garantissant que l'étudiant apprenne à partir d'exemples uniques.
5. Polissage : Enfin, ils ont utilisé une API pour lisser le langage, rendant les réponses naturelles et claires sans modifier les faits médicaux.

Analogie : C'est comme prendre une pile de notes manuscrites désordonnées, faire vérifier chaque fait par un professeur, supprimer les photocopies, puis embaucher un éditeur professionnel pour rendre le texte lisible.

Étape 2 : La salle de classe (Affinage des instructions / SFT)

Maintenant que l'étudiant possède les manuels, il va en classe.

La Méthode : Ils ont utilisé une technique appelée LoRA (Low-Rank Adaptation).
L'Analogie : Imaginez que l'étudiant possède déjà un cerveau complet. Au lieu de réécrire l'intégralité de son cerveau (ce qui est coûteux et lent), l'équipe a ajouté un petit « carnet de notes » spécialisé (LoRA) dans sa poche. Ce carnet contient des règles et des schémas médicaux spécifiques.
Le Résultat : L'étudiant a appris à suivre des instructions médicales et à structurer ses réponses correctement. Il est passé par trois versions de ce cours (v0.0, v0.2, v0.4), s'améliorant à chaque fois.

Étape 3 : Le coach de débat (Alignement des préférences / DPO)

Connaître les faits ne suffit pas ; l'étudiant doit savoir comment choisir la meilleure réponse lorsque plusieurs options existent.

La Configuration : L'équipe a créé 6 283 « jeux » de cartes. Chaque jeu contenait deux réponses à la même question médicale :
- Le Gagnant : Une réponse parfaite, détaillée et basée sur des preuves.
- Le Perdant : Une réponse vague, incomplète ou hallucinée (inventée).
L'Entraînement : Ils ont utilisé une méthode appelée DPO (Direct Preference Optimization). Au lieu d'embaucher un juge pour noter chaque réponse (ce qui est lent), ils ont simplement montré à l'étudiant : « Voici une bonne réponse, voici une mauvaise. Apprends à préférer la bonne. »
Le Processus : Ils ont effectué cet entraînement 8 fois (v0 à v7), en ajustant la « sévérité » du coach à chaque fois. Ils ont choisi la version (v7) qui était la meilleure pour distinguer une bonne d'une mauvaise réponse.

Analogie : C'est comme un coach montrant à un joueur d'échecs une partie où il a gagné et une partie où il a perdu, puis en disant : « Ne joue pas comme tu l'as fait dans la partie perdante. »

Étape 4 : Le marqueur (Entraînement du modèle de récompense / GRPO)

Pendant que l'étudiant apprenait à préférer les bonnes réponses, l'équipe a également entraîné un « Marqueur » (Scorekeeper) IA distinct.

L'Objectif : Le travail de ce Marqueur est de noter automatiquement les futures réponses de l'étudiant.
L'Approche Hybride : Le Marqueur utilise deux types de notation :
1. Règles Internes : Une liste de contrôle (ex: « A-t-il utilisé les bons termes médicaux ? A-t-il cité des preuves ? »).
2. Sagesse Externe : Il demande à une IA puissante extérieure (DeepSeek) un « pressentiment » général sur la qualité.
L'Astuce Technique : Le modèle de base qu'ils ont utilisé avait une particularité : il attendait deux notes au lieu d'une seule. L'équipe a habilement adapté le système pour travailler avec cette particularité, en soustrayant la « mauvaise » note de la « bonne » pour obtenir une note finale.

Analogie : C'est comme un enseignant qui utilise une grille de correction stricte (Règles Internes) mais qui demande aussi l'avis d'un expert invité (IA Externe), puis combine les deux pour donner une note finale.

L'examen final (Résultats)

L'équipe a testé leur nouveau « Super-Stagiaire Médical » (Infoxmed2.0-27B) contre d'autres modèles d'IA médicale de haut niveau en utilisant deux examens :

MedMCQA (Choix multiples) :
- Le modèle a obtenu 77 % de précision.
- Il a obtenu un score plus élevé que ses concurrents (comme Baichuan-M2 et MedGemma) dans presque toutes les catégories, particulièrement en « Couverture » (couvrir toutes les parties de la question) et en « Structure » (écrire clairement).
- La Progression : Le modèle de base a commencé avec un score de +6,69. Après la classe (SFT), il est passé à +7,06. Après le coach de débat (DPO), il a atteint +7,18.
HLE (Évaluation de la logique difficile) :
- Cela a testé le raisonnement profond. Le modèle a obtenu +2,59.
- Le Bémol : Bien qu'il soit excellent en structure et en sécurité, il est devenu légèrement moins bon en « Ancrage » (respect des faits) sur des questions extrêmement difficiles et hors domaine par rapport au modèle de base. L'article admet que c'est une limite : le modèle est très doué pour paraître professionnel, mais il a encore parfois du mal avec des faits extrêmement obscurs.

Résumé

L'article affirme qu'en combinant des données vérifiées par des experts, un entraînement en classe efficace, un coaching de débat basé sur les préférences et un marqueur hybride, ils ont créé une IA médicale qui est actuellement la meilleure de ses pairs en termes de qualité globale et de structure, bien qu'elle ait encore de la marge de progression pour éviter les « hallucinations » dans des scénarios très difficiles.

Note Importante : L'article stipule explicitement qu'il s'agit d'un prépublication de recherche et qu'il ne doit pas encore être utilisé pour guider la pratique clinique (soins réels aux patients). C'est une avancée dans la recherche, pas un outil médical terminé.

Résumé Technique : Infoxmed2.0-27B

Énoncé du Problème

Bien que les grands modèles de langage (LLM) aient démontré des capacités remarquables dans les domaines généraux, leur application dans des contextes médicaux spécialisés est entravée par un manque de connaissances spécifiques au domaine, de schémas de raisonnement et de sensibilisation à la sécurité. Les efforts existants concernant les LLM médicaux souffrent souvent de trois limitations principales : (1) une qualité de données d'entraînement incohérente, reposant fréquemment sur des données synthétiques sans validation professionnelle rigoureuse ; (2) une dépendance au réglage fin (fine-tuning) à étape unique, manquant des bénéfices synergiques de la combinaison du réglage fin supervisé par instruction, de l'alignement des préférences et de la modélisation de la récompense ; et (3) une intégration sous-explorée de modèles de récompense spécifiquement entraînés pour l'évaluation de la qualité médicale. Ces lacunes nécessitent un cadre d'adaptation de domaine systématique et multi-étapes pour garantir la précision et la sécurité dans les scénarios cliniques à enjeux élevés.

Méthodologie

Les auteurs présentent Infoxmed2.0-27B, un modèle de fondation médical dérivé de Qwen3.5-27B. Le modèle est développé via un pipeline de post-entraînement complet en quatre étapes :

1. Synthèse de Données Médicales de Haute Qualité

Pour remédier aux goulots d'étranglement de la qualité des données, les auteurs ont construit un pipeline propriétaire :

Source : Des paires de questions-réponses structurées ont été extraites d'une base de données MySQL contenant des connaissances médicales curatées à travers divers sous-domaines (anatomie, pharmacologie, pathologie, etc.).
Organisation : Les données ont été structurées à l'aide d'un MedicalCategoryTree hiérarchique (discipline → sous-discipline → sujet spécifique) pour assurer une couverture équilibrée.
Assurance Qualité : Une équipe de docteurs en médecine (PhD) a mené des audits pour vérifier l'exactitude, la complétude logique et le marquage des limites cliniques. Un modèle RoBERTa chinois a effectué une déduplication sémantique (seuil de 0,85).
Raffinement : Un processus assisté par API a optimisé l'organisation du langage et le naturel tout en préservant strictement l'exactitude du contenu médical.

2. Réglage Fin Supervisé par Instruction (SFT)

Le modèle de base Qwen3.5-27B a été affiné en utilisant LoRA (Low-Rank Adaptation) avec un rang $r=8$ et un facteur d'échelle $\alpha=32$ sur toutes les couches linéaires.

Cadre : MS-Swift a été utilisé pour l'entraînement sur 4× NVIDIA A800 80GB GPU.
Processus : Le processus impliquait des cycles itératifs (Infoxmed2.0.0 → 2.0.2 → 2.0.4) avec une évaluation systématique à chaque étape pour affiner les hyperparamètres et la qualité des données.

3. Optimisation de la Préférence Directe (DPO) avec Régularisation RPO

Pour aligner les sorties du modèle avec les préférences humaines sans entraînement explicite de modèle de récompense, les auteurs ont appliqué la DPO sur 6 283 paires de préférences médicales curatées (issues de MedMCQA et Hle).

Construction des Données : Les paires consistaient en des réponses "choisies" (raisonnement complet, structuré, citations de preuves) et des réponses "rejetées" (vagues, hallucinées ou incomplètes).
Fonction de Perte : L'entraînement a utilisé une perte DPO-RPO, combinant l'optimisation des préférences avec une régularisation SFT ( $\alpha_{RPO} = 0,1$ ) pour éviter un écart excessif par rapport à la base SFT.
Sélection Progressive : Huit itérations d'entraînement (v0–v7) ont été conduites. Le modèle final a été sélectionné sur la base du checkpoint présentant la marge de récompense choisie-rejetée optimale sans inflation de la récompense rejetée.

4. Entraînement du Modèle de Récompense basé sur GRPO

Parallèlement à la DPO, un modèle de récompense médical dédié a été entraîné en utilisant l'Optimisation de Politique Relative de Groupe (GRPO) sur Qwen3.5.

Signal de Récompense Hybride : Le modèle combine des récompenses internes basées sur des règles (vérification de la correction des champs, opérateurs booléens, syntaxe) avec des signaux externes provenant de DeepSeek (évaluation holistique de la qualité).
Adaptation de l'Architecture : Un défi technique spécifique est apparu où la configuration du modèle de base imposait une sortie num_labels=2 malgré un paramètre num_labels=1. Les auteurs se sont adaptés en extrayant les scores positifs et négatifs des doubles sorties pour calculer la perte par paire.
Résultat : Le modèle de récompense entraîné a atteint une précision par paire de 46 %, démontrant une capacité discriminative fonctionnelle.

Principales Contributions

Pipeline Synergique Multi-étapes : Contrairement aux travaux antérieurs qui traitent les techniques de manière isolée, cet article propose un cadre cohérent intégrant la synthèse de données, le LoRA-SFT, le DPO-RPO et la modélisation de la récompense basée sur GRPO.
Données Validées par des Professionnels : L'introduction d'un pipeline de synthèse de données guidé par des PhD, avec déduplication sémantique et raffinement assisté par API, répond au problème critique de l'hallucination médicale et des erreurs factuelles dans les données d'entraînement.
Techniques d'Alignement Avancées : L'application de la DPO avec régularisation RPO et l'entraînement parallèle d'un modèle de récompense basé sur GRPO spécifiquement pour l'évaluation de la qualité médicale.
Adaptation Technique : Adaptation réussie de l'architecture Qwen3.5 pour gérer les contraintes de modélisation de la récompense (spécifiquement la divergence num_labels) via l'extraction de scores à double sortie.

Résultats Expérimentaux

Le modèle a été évalué via un cadre LLM-as-Judge (GPT-5.4) sur deux benchmarks : MedMCQA (200 questions) et HLE (Hard Logic Evaluation, 200 questions).

Performance MedMCQA :
- Précision : 77,0 % (surpassant des pairs comme Baichuan-M2-32B à 72,5 % et MedGemma-27B à 69,0 %).
- Score de Qualité : A atteint un score moyen de +7,18, montrant une progression claire par rapport au modèle de base (+6,69) et à l'étape SFT (+7,06).
- Dimensions : Forte performance en Couverture (+8,70) et en Expression & Structure (+8,25).
Performance HLE :
- Précision : 95,5 %.
- Score de Qualité : Moyenne de +2,59, menant les modèles pairs.
- Observation : Bien que le modèle se soit amélioré en expression et en sécurité, le score de "Grounding" (Ancrage) est de -3,08 (inférieur au -1,41 du modèle de base), indiquant des défis persistants concernant les hallucinations sur les questions hors domaine.
Modèle de Récompense : Le modèle de récompense entraîné par GRPO a atteint 46 % de précision par paire, validant la stratégie de récompense combinée interne-externe.

Signification et Revendications

L'article affirme qu'Infoxmed2.0-27B mène de manière exhaustive les modèles pairs (incluant Baichuan-M2-32B, MedGemma-27B, Lingshu-32B et HuatuoGPT-3-32B) sous des conditions d'évaluation identiques. La signification de ce travail réside dans la démonstration qu'un pipeline de post-entraînement systématique et multi-étapes — ancré par des données validées professionnellement et des techniques d'optimisation de préférence avancées — peut considérablement améliorer les capacités de raisonnement médical et de sécurité des modèles de langage généralistes.

Cependant, les auteurs maintiennent un ton modeste concernant les limites :

Le modèle présente toujours des scores d'ancrage négatifs sur l'évaluation de la logique dure, suggérant que l'hallucination sur les questions hors domaine reste un défi.
La précision par paire du modèle de récompense (46 %) est fonctionnelle mais non parfaite.
L'évaluation est actuellement limitée à deux benchmarks (MedMCQA et HLE).
Les frontières de sécurité, bien qu'améliorées, ne sont pas encore parfaites.

Ce travail sert de preuve de concept pour l'intégration d'une curation de données rigoureuse avec des techniques d'alignement modernes (DPO, GRPO) afin de construire une IA médicale spécialisée, tout en reconnaissant que des recherches supplémentaires sont nécessaires pour résoudre pleinement les problèmes d'hallucination médicale et de sécurité.