📄 medical education

Infoxmed2.0-27B: Instruction Tuning, Preference Alignment, and GRPO-Based Reward Model Training for Medical LLMs

Het artikel introduceert Infoxmed2.0-27B, een medisch fundamenteel model afgeleid van Qwen3.5-27B dat superieure prestaties levert op medische benchmarks door middel van een rigoureuze meerfasige post-training pipeline bestaande uit propriëtaire datasynthese, LoRA-gebaseerde instructie-afstemming, DPO-voorkeur-afstemming en GRPO-gebaseerde beloningsmodeltraining.

Oorspronkelijke auteurs: Xie, J., Guo, Z., Zhao, H., Ni, H.

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xie, J., Guo, Z., Zhao, H., Ni, H.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Plaatje: Het bouwen van een "Medische Super-Stagiair"

Stel je voor dat je een briljante, goed geïnformeerde universiteitsstudent hebt (het Qwen3.5-27B basismodel). Deze student weet veel over de wereld, kan essays schrijven en begrijpt algemene logica. Echter, als je hem een complexe medische vraag stelt, kan hij gaan gokken, feiten verzinnen of advies geven dat goed klinkt maar in werkelijkheid gevaarlijk is.

De auteurs van dit paper wilden deze "algemene student" transformeren tot een "medische super-stagiair" die accuraat is, veilig handelt en strikte medische regels volgt. Dit deden ze niet door hem vanaf nul een hele nieuwe graad te leren, maar door hem door een rigoureus vierfasen trainingskamp te leiden.

Fase 1: De Textielfabriek (Data Synthese)

Voordat de student kan studeren, heeft hij de juiste tekstboeken nodig.

Het Probleem: Je kunt niet zomaar willekeurig medisch advies van het internet scrapen; het zit vol fouten en duplicaten.
De Oplossing: Het team bouwde een aangepaste fabriek.
1. Mining: Ze groeven door een private, georganiseerde database (zoals een enorme bibliotheek) om gestructureerde vragen en antwoorden naar boven te halen.
2. Sorteren: Ze organiseerden deze vragen in een "Medische Categorieboom" (zoals een archiefkast met mappen voor Oncologie, Cardiologie, etc.) zodat de student niet overweldigd raakt.
3. De Redacteuren: Een team van Medische PhD's fungeerde als strikte redacteuren. Zij controleerden elk antwoord op nauwkeurigheid. Als een feit onjuist was, werd het weggegooid.
4. De Filter: Ze gebruikten een slim AI-instrument (Chinese RoBERTa) om dubbele vragen op te sporen en te verwijderen, zodat de student leert van unieke voorbeelden.
5. Polijsten: Ten slotte gebruikten ze een API om de taal te verfijnen, waardoor de antwoorden natuurlijk en helder klinken zonder de medische feiten te veranderen.

Analogie: Het is alsof je een rommelige stapel handgeschreven aantekeningen neemt, een professor laat controleren of elk feit klopt, de kopieën verwijdert en vervolgens een professionele redacteur inhuurt om de tekst leesbaar te maken.

Fase 2: Het Klaslokaal (Instruction Fine-Tuning / SFT)

Nu de student de tekstboeken heeft, gaat hij naar de les.

De Methode: Ze gebruikten een techniek genaamd LoRA (Low-Rank Adaptation).
De Analogie: Stel je voor dat de student al een volledig brein heeft. In plaats van hun hele brein te herschrijven (wat duur en traag is), voegde het team een klein, gespecialiseerd "notitieblok" (LoRA) toe aan hun zak. Dit notitieblok bevat specifieke medische regels en patronen.
Het Resultaat: De student leerde hoe hij medische instructies moest opvolgen en zijn antwoorden correct moest structureren. Ze gingen drie versies van deze les door (v0.0, v0.2, v0.4), waarbij ze telkens beter werden.

Fase 3: De Debatcoach (Preference Alignment / DPO)

Weten wat de feiten zijn is niet genoeg; de student moet ook weten hoe hij het beste antwoord moet kiezen wanneer er meerdere opties bestaan.

De Opzet: Het team maakte 6.283 "stapels" kaarten. Elke stapel had twee antwoorden op dezelfde medische vraag:
- De Winnaar: Een perfect, gedetailleerd en op bewijs gebaseerd antwoord.
- De Verliezer: Een vaag, incompleet of gehallucineerd (verzonnen) antwoord.
De Training: Ze gebruikten een methode genaamd DPO (Direct Preference Optimization). In plaats van een rechter in te huren om elk antwoord te beoordelen (wat traag is), lieten ze de student simpelweg zien: "Hier is een goed antwoord, hier is een slecht antwoord. Leer de voorkeur te geven aan het goede antwoord."
Het Proces: Ze voerden deze training 8 keer uit (v0 tot v7), waarbij ze de "strengheid" van de coach telkens bijstuurden. Ze kozen de versie (v7) die het beste was in het herkennen van het verschil tussen een goed en een slecht antwoord.

Analogie: Het is als een coach die een schaker laat zien waar hij won en waar hij verloor, en dan zegt: "Speel niet zoals je deed in het verliezende spel."

Fase 4: De Scorekeeper (Reward Model Training / GRPO)

Terwijl de student leerde om de voorkeur te geven aan goede antwoorden, trainde het team ook een aparte "Scorekeeper" AI.

Het Doel: De taak van deze Scorekeeper is om de toekomstige antwoorden van de student automatisch te beoordelen.
De Hybride Aanpak: De Scorekeeper gebruikt twee soorten beoordeling:
1. Interne Regels: Een checklist (bijv. "Heb je de juiste medische termen gebruikt? Heb je bewijs aangehaald?").
2. Externe Wijsheid: Het vraagt een krachtige externe AI (DeepSeek) om een algemeen "onderbuikgevoel" over de kwaliteit.
De Technische Truc: Het basismodel dat ze gebruikten had een eigenaardigheid waarbij het twee cijfers verwachtte in plaats van één. Het team paste het systeem slim aan om met deze eigenaardigheid te werken, door het "slechte" cijfer van het "goede" cijfer af te trekken om een eindcijfer te krijgen.

Analogie: Het is als een docent die een strikt beoordelingsschema gebruikt (Interne Regels), maar ook een externe expert (Externe AI) om een mening vraagt, en beide combineert om een eindcijfer te geven.

Het Eindexamen (Resultaten)

Het team testte hun nieuwe "Medische Super-Stagiair" (Infoxmed2.0-27B) tegen andere top medische AI-modellen met twee examens:

MedMCQA (Meerkeuzevragen):
- Het model behaalde een nauwkeurigheid van 77%.
- Het scoorde hoger dan zijn concurrenten (zoals Baichuan-M2 en MedGemma) in bijna elke categorie, vooral in "Dekking" (alle delen van de vraag dekken) en "Structuur" (helder schrijven).
- De Progressie: Het basismodel begon met een score van +6.69. Na de klas (SFT) ging het naar +7.06. Na de debatcoach (DPO) bereikte het +7.18.
HLE (Hard Logic Evaluation):
- Dit testte diep redeneren. Het model scoorde +2.59.
- De Kanttekening: Hoewel het geweldig was in structuur en veiligheid, werd het op zeer moeilijke vragen buiten het eigen domein zelfs iets slechter in "Grounding" (het vasthouden aan feiten) vergeleken met het basismodel. Het paper geeft toe dat dit een beperking is: het model is erg goed in het professioneel overkomen, maar soms worstelt het nog steeds met extreem obscure feiten.

Samenvatting

Het paper beweert dat door het combineren van expert-geverifieerde data, efficiënte klas-training, voorkeursgebaseerde debatcoaching en een hybride scorekeeper, zij een medische AI hebben gecreëerd die momenteel de beste is onder zijn gelijken wat betreft algemene kwaliteit en structuur, hoewel er nog ruimte is voor verbetering in het vermijden van "hallucinaties" in zeer moeilijke scenario's.

Belangrijke Opmerking: Het paper vermeldt expliciet dat dit een onderzoeks-preprint is en nog niet gebruikt mag worden voor de klinische praktijk (echte patiëntenzorg). Het is een stap voorwaarts in onderzoek, niet een voltooid medisch hulpmiddel.

Technische Samenvatting: Infoxmed2.0-27B

Probleemstelling

Hoewel Large Language Models (LLMs) opmerkelijke capaciteiten hebben getoond in algemene domeinen, wordt hun toepassing in gespecialiseerde medische contexten gehinderd door een gebrek aan domeinspecifieke kennis, redeneerpatronen en veiligheidsbewustzijn. Bestaande inspanningen voor medische LLM's lijden vaak aan drie primaire beperkingen: (1) inconsistente kwaliteit van trainingsdata, die frequent leunt op synthetische data zonder rigoureuze professionele validatie; (2) afhankelijkheid van single-stage fine-tuning, waardoor de synergetische voordelen van het combineren van instructie-tuning, preferentie-alignement en reward modeling worden gemist; en (3) een onderbelichte integratie van reward modellen die specifiek zijn getraind voor medische kwaliteitsbeoordeling. Deze hiaten vereisen een systematisch, multi-stage domeinadaptatie-framework om nauwkeurigheid en veiligheid in klinische scenario's met een hoog risico te waarborgen.

Methodologie

De auteurs presenteren Infoxmed2.0-27B, een medisch fundamentmodel afgeleid van Qwen3.5-27B. Het model is ontwikkeld via een uitgebreide, vierfasen post-training pipeline:

1. Hoogwaardige Medische Datasynthese

Om de knelpunten in datakwaliteit aan te pakken, hebben de auteurs een eigen pipeline geconstrueerd:

Bron: Gestructureerde V&A-paren werden geëxtraheerd uit een MySQL-database met gecureerde medische kennis over subdomeinen (anatomie, farmacologie, pathologie, etc.).
Organisatie: De data werd gestructureerd met behulp van een hiërarchische MedicalCategoryTree (discipline → subdiscipline → specifiek onderwerp) om een evenwichtige dekking te garanderen.
Kwaliteitsborging: Een team van medische PhD's voerde audits uit op nauwkeurigheid, logische volledigheid en klinische grensbepaling. Een Chinees RoBERTa-model voerde semantische deduplicatie uit (drempelwaarde 0,85).
Verfijning: Een API-ondersteund proces optimaliseerde de taalkundige organisatie en natuurlijkheid, terwijl de medische inhoudelijke nauwkeurigheid strikt werd bewaard.

2. Instruction Supervised Fine-Tuning (SFT)

Het Qwen3.5-27B basismodel werd gefine-tuned met LoRA (Low-Rank Adaptation) met rank $r=8$ en een schaleringsfactor $\alpha=32$ over alle lineaire lagen.

Framework: MS-Swift werd gebruikt voor training op 4× NVIDIA A800 80GB GPU's.
Proces: Het proces omvatte iteratieve rondes (Infoxmed2.0.0 → 2.0.2 → 2.0.4) met systematische evaluatie in elke fase om hyperparameters en datakwaliteit te verfijnen.

3. Direct Preference Optimization (DPO) met RPO-regularisatie

Om de output van het model af te stemmen op menselijke voorkeuren zonder expliciete training van een reward model, pasten de auteurs DPO toe op 6.283 gecureerde medische preferentieparen (afgeleid van MedMCQA en HLE bronnen).

Dataconstructie: De paren bestonden uit "gekozen" (chosen) responsen (volledige redenering, gestructureerd, met bewijsverwijzingen) en "afgewezen" (rejected) responsen (vaag, hallucinerend of incompleet).
Loss Functie: De training maakte gebruik van een DPO-RPO loss, die preferentie-optimalisatie combineert met SFT-regularisatie ( $\alpha_{RPO} = 0,1$ ) om excessieve afwijking van de SFT-baseline te voorkomen.
Progressieve Selectie: Acht training-iteraties (v0–v7) werden uitgevoerd. Het uiteindelijke model werd geselecteerd op basis van het checkpoint met de optimale chosen–rejected reward margin zonder rejected reward inflatie.

4. GRPO-gebaseerde Reward Model Training

Parallel aan DPO werd een specifiek medisch reward model getraind met behulp van Group Relative Policy Optimization (GRPO) op Qwen3.5.

Hybride Reward Signaal: Het model combineerde interne regelgebaseerde rewards (controleren van veldcorrectheid, booleaanse operatoren, syntaxis) met externe signalen van DeepSeek (holistische kwaliteitsbeoordeling).
Architecturale Adaptatie: Er ontstond een specifiek technisch probleem waarbij de configuratie van het basismodel dwong tot een num_labels=2 output ondanks een num_labels=1 instelling. De auteurs pasten dit aan door positieve en negatieve scores te extraheren uit de duale outputs om de pairwise loss te berekenen.
Resultaat: Het getrainde reward model behaalde 46% pairwise accuratesse, wat een functioneel discriminerend vermogen aantoont.

Belangrijkste Bijdragen

Synergetisch Multi-Stage Pipeline: In tegen tegenstelling tot eerdere werken die technieken geïsoleerd behandelen, stelt dit artikel een samenhangend framework voor dat datasynthese, LoRA-SFT, DPO-RPO en GRPO-gebaseerde reward modeling integreert.
Professioneel Gevalideerde Data: De introductie van een door PhD's geleide datasynthese-pipeline met semantische deduplicatie en API-ondersteunde verfijning pakt het cruciale probleem van medische hallucinaties en feitelijke fouten in trainingsdata aan.
Geavanceerde Alignement Technieken: De toepassing van DPO met RPO-regularisatie en de parallelle training van een GRPO-gebaseerd reward model specifiek voor medische kwaliteitsbeoordeling.
Technische Adaptatie: Succesvolle adaptatie van de Qwen3.5 architectuur om de restricties van reward modeling (specifiek de num_labels discrepantie) te hanteren via duale output score-extractie.

Experimentele Resultaten

Het model werd geëvalueerd met een LLM-as-Judge framework (GPT-5.4) op twee benchmarks: MedMCQA (200 vragen) en HLE (Hard Logic Evaluation, 200 vragen).

MedMCQA Prestaties:
- Accuratesse: 77,0% (presteert beter dan peers zoals Baichuan-M2-32B op 72,5% en MedGemma-27B op 69,0%).
- Kwaliteitsscore: Behaalde een gemiddelde score van +7,18, wat een duidelijke progressie laat zien vanaf het basismodel (+6,69) en de SFT-fase (+7,06).
- Dimensies: Sterke prestaties in Coverage (+8,70) en Expression & Structure (+8,25).
HLE Prestaties:
- Accuratesse: 95,5%.
- Kwaliteitsscore: Gemiddelde score van +2,59, leidend ten opzichte van peer-modellen.
- Observatie: Hoewel het model verbeterde in expressie en veiligheid, was de "Grounding" score -3,08 (slechter dan de -1,41 van het basismodel), wat wijst op aanhoudende uitdagingen met hallucinaties bij vragen buiten het domein.
Reward Model: Het GRPO-getrainde reward model behaalde 46% pairwise accuratesse, wat de gecombineerde interne-externe reward strategie valideert.

Betekenis en Claims

Het artikel claimt dat Infoxmed2.0-27B de peer-modellen (inclusief Baichuan-M2-32B, MedGemma-27B, Lingshu-32B en HuatuoGPT-3-32B) onder identieke evaluatiecondities omvattend verslaat. De betekenis van het werk ligt in het aantonen dat een systematische, multi-stage post-training pipeline — verankerd door professioneel gevalideerde data en geavanceerde preferentie-optimalisatietechnieken — de medische redeneer- en veiligheidscapaciteiten van algemene LLM's aanzienlijk kan verbeteren.

De auteurs behouden echter een bescheiden toon met betrekking tot beperkingen:

Het model vertoont nog steeds negatieve grounding scores bij harde logische evaluaties, wat suggereert dat hallucinaties bij vragen buiten het domein een uitdaging blijven.
De pairwise accuratesse van het reward model (46%) is functioneel maar niet perfect.
De evaluatie is momenteel beperkt tot twee benchmarks (MedMCQA en HLE).
Veiligheidsgrenzen zijn weliswaar verbeterd, maar nog niet perfect.

Het werk dient als een proof-of-concept voor het integreren van rigoureuze datacuratie met moderne alignment technieken (DPO, GRPO) om gespecialiseerde medische AI te bouwen, terwijl het erkent dat verder onderzoek nodig is om problemen met medische hallucinatie en veiligheid volledig op te lossen.