📄 medical education

Infoxmed2.0-27B: Instruction Tuning, Preference Alignment, and GRPO-Based Reward Model Training for Medical LLMs

Das Papier stellt Infoxmed2.0-27B vor, ein medizinisches Fundamentmodell, das aus Qwen3.5-27B abgeleitet wurde und durch eine rigorose mehrstufige Post-Training-Pipeline unter Verwendung proprietärer Datensynthese, LoRA-basierter Instruktionsanpassung, DPO-Präferenzabgleich und GRPO-basiertem Belohnungsmodelltraining eine überlegene Leistung auf medizinischen Benchmarks erzielt.

Ursprüngliche Autoren: Xie, J., Guo, Z., Zhao, H., Ni, H.

Veröffentlicht 2026-06-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xie, J., Guo, Z., Zhao, H., Ni, H.

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das große Ganze: Den Bau eines „Medizinischen Super-Praktikanten“ zu gestalten

Stellen Sie sich vor, Sie haben einen brillanten, gut lesenden Universitätsstudenten (das Qwen3.5-27B Basismodell). Dieser Student weiß viel über die Welt, kann Aufsätze schreiben und versteht allgemeine Logik. Wenn Sie ihn jedoch nach einer komplexen medizinischen Frage fragen, könnte er raten, Fakten erfinden oder Ratschläge geben, die zwar gut klingen, aber tatsächlich gefährlich sind.

Die Autoren dieses Papers wollten diesen „allgemeinen Studenten“ in einen „medizinischen Super-Praktikanten“ verwandeln, der präzise, sicher ist und strengen medizinischen Regeln folgt. Dies taten sie nicht, indem sie ihm von Grund auf einen völlig neuen Abschluss beibrachten, sondern indem sie ihn durch ein strenges vierstufiges Trainingslager schickten.

Stufe 1: Die Lehrbuchfabrik (Datensynthese)

Bevor der Student studieren kann, braucht er die richtigen Lehrbücher.

Das Problem: Man kann nicht einfach wahllos medizinische Ratschläge aus dem Internet kopieren; diese sind voller Fehler und Duplikate.
Die Lösung: Das Team baute eine maßgeschneiderte Fabrik.
1. Bergbau (Mining): Sie durchsuchten eine private, organisierte Datenbank (wie eine riesige Bibliothek), um strukturierte Fragen und Antworten zu extrahieren.
2. Sortierung: Sie organisierten diese Fragen in einem „Medizinischen Kategorienbaum“ (wie ein Aktenschrank mit Ordnern für Onkologie, Kardiologie usw.), damit der Student nicht überfordert wird.
3. Die Editoren: Ein Team von Mediziner-PhDs fungierte als strenge Redakteure. Sie überprüften jede Antwort auf Genauigkeit. Wenn ein Fakt falsch war, wurde er aussortiert.
4. Der Filter: Sie verwendeten ein intelligentes KI-Tool (Chinese RoBERTa), um doppelte Fragen zu finden und zu entfernen, um sicherzustellen, dass der Student aus einzigartigen Beispielen lernt.
5. Das Polieren: Schließlich nutzten sie eine API, um die Sprache zu glätten, damit die Antworten natürlich und klar klingen, ohne die medizinischen Fakten zu verändern.

Analogie: Es ist, als würde man einen ungeordneten Haufen handgeschriebener Notizen nehmen, einen Professor die Verifizierung jedes Fakts durchführen lassen, die Fotokopien entfernen und dann einen professionellen Editor engagieren, um den Text lesbar zu machen.

Stufe 2: Das Klassenzimmer (Instruction Fine-Tuning / SFT)

Jetzt, da der Student die Lehrbücher hat, geht er in den Unterricht.

Die Methode: Sie verwendeten eine Technik namens LoRA (Low-Rank Adaptation).
Die Analogie: Stellen Sie sich vor, der Student hat bereits ein volles Gehirn. Anstatt sein gesamtes Gehirn neu zu schreiben (was teuer und langsam ist), fügte das Team ein kleines, spezialisiertes „Notizbuch“ (LoRA) in seine Tasche ein. Dieses Notizbuch enthält spezifische medizinische Regeln und Muster.
Das Ergebnis: Der Student lernte, wie man medizinische Anweisungen befolgt und seine Antworten korrekt strukturiert. Er durchlief drei Versionen dieses Unterrichts (v0.0, v0.2, v0.4) und verbesserte sich jedes Mal.

Stufe 3: Der Debattier-Coach (Preference Alignment / DPO)

Es reicht nicht aus, die Fakten zu kennen; der Student muss auch wissen, wie er die beste Antwort wählt, wenn mehrere Optionen existieren.

Das Setup: Das Team erstellte 6.283 „Kartendecks“. Jedes Deck enthielt zwei Antworten auf dieselbe medizinische Frage:
- Der Gewinner: Eine perfekte, detaillierte, evidenzbasierte Antwort.
- Der Verlierer: Eine vage, unvollständige oder halluzinierte (erfundene) Antwort.
Das Training: Sie verwendeten eine Methode namens DPO (Direct Preference Optimization). Anstatt einen Richter zu engagieren, der jede Antwort bewertet (was langsam ist), zeigten sie dem Studenten einfach: „Hier ist eine gute Antwort, hier ist eine schlechte. Lerne, die gute zu bevorzugen.“
Der Prozess: Sie führten dieses Training 8 Mal durch (v0 bis v7) und passten die „Strenge“ des Coaches jedes Mal an. Sie wählten die Version (v7), die am besten darin war, den Unterschied zwischen einer guten und einer schlechten Antwort zu erkennen.

Analogie: Es ist wie ein Coach, der einem Schachspieler ein Spiel zeigt, in dem er gewonnen hat, und ein Spiel, in dem er verloren hat, und dann sagt: „Spiel nicht so, wie du im verlorenen Spiel gespielt hast.“

Stufe 4: Der Punktezähler (Reward Model Training / GRPO)

Während der Student lernte, gute Antworten zu bevorzugen, trainierte das Team auch eine separate „Punktezähler“-KI.

Das Ziel: Die Aufgabe dieses Punktezählers ist es, die zukünftigen Antworten des Studenten automatisch zu bewerten.
Der hybride Ansatz: Der Punktezähler nutzt zwei Arten der Bewertung:
1. Interne Regeln: Eine Checkliste (z. B. „Hast du die richtigen medizinischen Begriffe verwendet? Hast du Belege angeführt?“).
2. Externe Weisheit: Er fragt eine leistungsstarke externe KI (DeepSeek) nach einem allgemeinen „Bauchgefühl“ bezüglich der Qualität.
Der technische Trick: Das Basismodell, das sie verwendeten, hatte eine Eigenart, bei der es zwei statt nur einer Note erwartete. Das Team passte das System clever an, um mit dieser Eigenart zu arbeiten, indem es die „schlechte“ Punktzahl von der „guten“ Punktzahl abzieht, um eine Endnote zu erhalten.

Analogie: Es ist wie ein Lehrer, der ein strenges Rubrik-System (interne Regeln) verwendet, aber auch einen externen Experten (externe KI) nach seiner Meinung fragt und dann beides kombiniert, um eine Endnote zu geben.

Die Abschlussprüfung (Ergebnisse)

Das Team testete ihren neuen „Medizinischen Super-Praktikanten“ (Infoxmed2.0-27B) gegen andere führende medizinische KI-Modelle anhand zweier Prüfungen:

MedMCQA (Multiple Choice):
- Das Modell erreichte eine Genauigkeit von 77 %.
- Es schnitt besser ab als seine Konkurrenten (wie Baichuan-M2 und MedGemma) in fast jeder Kategorie, insbesondere in der „Abdeckung“ (Coverage – Abdecken aller Teile der Frage) und der „Struktur“ (Structure – klar schreiben).
- Die Progression: Das Basismodell startete mit einem Wert von +6,69. Nach dem Klassenzimmer (SFT) lag es bei +7,06. Nach dem Debattier-Coach (DPO) erreichte es +7,18.
HLE (Hard Logic Evaluation):
- Dies testete tiefes logisches Denken. Das Modell erzielte +2,59.
- Der Haken: Während es sehr gut in Struktur und Sicherheit war, wurde es bei sehr schwierigen Fragen außerhalb des Standardbereichs (out-of-domain) in Bezug auf die „Fundierung“ (Grounding – das Festhalten an Fakten) im Vergleich zum Basismodell tatsächlich etwas schlechter. Das Paper gibt dies als Einschränkung zu: Das Modell ist sehr gut darin, professionell zu wirken, aber manchmal kämpft es dennoch mit extrem obskuren Fakten.

Zusammenfassung

Das Paper behauptet, dass sie durch die Kombination von expertenverifizierten Daten, effizientem Klassenzimmer-Training, präferenzbasiertem Debattier-Coaching und einem hybriden Punktezähler eine medizinische KI geschaffen haben, die in Bezug auf allgemeine Qualität und Struktur derzeit die beste unter ihren Neben competitors ist, obwohl sie noch Raum zur Verbesserung bei der Vermeidung von „Halluzinationen“ in sehr schwierigen Szenarien hat.

Wichtiger Hinweis: Das Paper stellt ausdrücklich klar, dass dies ein Forschungs-Preprint ist und noch nicht zur Anleitung der klinischen Praxis (echte Patientenversorgung) verwendet werden sollte. Es ist ein Schritt vorwärts in der Forschung, kein fertiges medizinisches Werkzeug.

Technisches Resümee: Infoxmed2.0-27B

Problemstellung

Obwohl Large Language Models (LLMs) in allgemeinen Domänen bemerkenswerte Fähigkeiten demonstriert haben, wird ihre Anwendung in spezialisierten medizinischen Kontexten durch einen Mangel an domänenspezifischem Wissen, Denkmustern und Sicherheitsbewusstsein behindert. Bestehende Bemühungen im Bereich medizinischer LLMs leiden häufig unter drei primären Einschränkungen: (1) inkonsistente Qualität der Trainingsdaten, die häufig auf synthetischen Daten ohne rigorose professionelle Validierung basieren; (2) die Abhängigkeit von einstufigem Fine-Tuning, wodurch die synergistischen Vorteile der Kombination aus Instruction Tuning, Preference Alignment und Reward Modeling ungenutzt bleiben; und (3) eine unzureichend untersuchte Integration von Reward Models, die speziell für die Bewertung der medizinischen Qualität trainiert wurden. Diese Lücken machen ein systematisches, mehrstufiges Domänenadaptations-Framework erforderlich, um Genauigkeit und Sicherheit in klinischen Hochrisikoszenarien zu gewährleisten.

Methodik

Die Autoren präsentieren Infoxmed2.0-27B, ein medizinisches Fundamentmodell, das aus Qwen3.5-27B abgeleitet wurde. Das Modell wurde durch eine umfassende, vierstufige Post-Training-Pipeline entwickelt:

1. Hochwertige Synthese medizinischer Daten

Um die Engpässe bei der Datenqualität zu adressieren, konstruierten die Autoren eine proprietäre Pipeline:

Quelle: Strukturierte Frage-Antwort-Paare wurden aus einer MySQL-Datenbank extrahiert, die kuratierte medizinische Fachkenntnisse über verschiedene Subdomänen hinweg (Anatomie, Pharmakologie, Pathologie usw.) enthält.
Organisation: Die Daten wurden mithilfe eines hierarchischen MedicalCategoryTree (Disziplin → Subdisziplin → spezifisches Thema) strukturiert, um eine ausgewogene Abdeckung zu gewährleisten.
Qualitätssicherung: Ein Team aus medizinischen PhDs führte Audits hinsichtlich Genauigkeit, logischer Vollständigkeit und klinischer Grenzmarkierungen durch. Ein chinesisches RoBERTa-Modell führte eine semantische Deduplizierung (Schwellenwert 0,85) durch.
Verfeinerung: Ein API-gestützter Prozess optimierte die sprachliche Organisation und Natürlichkeit, während die medizinische fachliche Korrektheit strikt gewahrt blieb.

2. Instruction Supervised Fine-Tuning (SFT)

Das Qwen3.5-27B Basismodell wurde mittels LoRA (Low-Rank Adaptation) mit einem Rang $r=8$ und einem Skalierungsfaktor $\alpha=32$ über alle linearen Schichten hinweg feinjustiert.

Framework: MS-Swift wurde für das Training auf 4× NVIDIA A800 80GB GPUs verwendet.
Prozess: Der Prozess umfasste iterative Runden (Infoxmed2.0.0 → 2.0.2 → 2.0.4) mit systematischer Evaluierung in jeder Phase, um Hyperparameter und Datenqualität zu verfeinern.

3. Direct Preference Optimization (DPO) mit RPO-Regularisierung

Um die Ausgaben des Modells mit menschlichen Präferenzen in Einklang zu bringen, ohne ein explizites Reward Model trainieren zu müssen, wandten die Autoren DPO auf 6.283 kuratierte medizinische Präferenzpaare (abgeleitet aus MedMCQA und HLE-Quellen) an.

Konstruktion der Daten: Die Paare bestanden aus "gewählten" Antworten (vollständige Argumentation, strukturiert, mit Quellenangaben) und "abgelehnten" Antworten (vage, halluziniert oder unvollständig).
Verlustfunktion: Das Training nutzte einen DPO-RPO-Loss, der Preference Optimization mit SFT-Regularisierung ( $\alpha_{RPO} = 0,1$ ) kombiniert, um eine übermäßige Abweichung vom SFT-Baseline-Modell zu verhindern.
Progressive Selektion: Es wurden acht Trainingsiterationen (v0–v7) durchgeführt. Das finale Modell wurde basierend auf dem Checkpoint mit der optimalen Differenz zwischen gewählter und abgelehnter Belohnung (Chosen–Rejected Reward Margin) ausgewählt, ohne dass eine Inflation der abgelehnten Belohnung auftrat.

4. GRPO-basiertes Reward Model Training

Parallel zu DPO wurde ein dediziertes medizinisches Reward Model mittels Group Relative Policy Optimization (GRPO) auf Qwen3.5 trainiert.

Hybrides Reward-Signal: Das Modell kombinierte interne regelbasierte Rewards (Prüfung der Korrektheit von Feldern, boolescher Operatoren, Syntax) mit externen Signalen von DeepSeek (ganzheitliche Qualitätsbewertung).
Architekturanpassung: Eine spezifische technische Herausforderung ergab sich, als die Konfiguration des Basismodells trotz einer Einstellung von num_labels=1 ein num_labels=2 Output erzwang. Die Autoren passten dies an, indem sie positive und negative Scores aus den dualen Outputs extrahierten, um den Pairwise-Loss zu berechnen.
Ergebnis: Das trainierte Reward Model erreichte eine Pairwise-Genauigkeit von 46 %, was eine funktionale diskriminative Fähigkeit demonstriert.

Zentrale Beiträge

Synergistische mehrstufige Pipeline: Im Gegensatz zu früheren Arbeiten, die Techniken isoliert behandeln, schlägt dieses Paper ein kohärentes Framework vor, das Datensynthese, LoRA-SFT, DPO-RPO und GRPO-basiertes Reward Modeling integriert.
Professionell validierte Daten: Die Einführung einer von PhDs geleiteten Datensynthese-Pipeline mit semantischer Deduplizierung und API-gestützter Verfeinerung adressiert das kritische Problem medizinischer Halluzinationen und faktischer Fehler in Trainingsdaten.
Fortgeschrittene Alignment-Techniken: Die Anwendung von DPO mit RPO-Regularisierung und das parallele Training eines GRPO-basierten Reward Models speziell für die medizinische Qualitätsbewertung.
Technische Anpassung: Erfolgreiche Anpassung der Qwen3.5-Architektur zur Handhabung von Reward-Modeling-Beschränkungen (speziell die num_labels-Diskrepanz) durch Extraktion dualer Output-Scores.

Experimentelle Ergebnisse

Das Modell wurde mittels eines LLM-as-Judge-Frameworks (GPT-5.4) auf zwei Benchmarks evaluiert: MedMCQA (200 Fragen) und HLE (Hard Logic Evaluation, 200 Fragen).

MedMCQA Leistung:
- Genauigkeit: 77,0 % (übertrifft Peers wie Baichuan-M2-32B mit 72,5 % und MedGemma-27B mit 69,0 %).
- Qualitätswert: Erreichte einen Mittelwert von +7,18, was eine klare Progression vom Basismodell (+6,69) und der SFT-Phase (+7,06) zeigt.
- Dimensionen: Starke Leistung in den Bereichen Coverage (+8,70) sowie Expression & Structure (+8,25).
HLE Leistung:
- Genauigkeit: 95,5 %.
- Qualitätswert: Mittelwert von +2,59, womit es Peer-Modelle anführt.
- Beobachtung: Während das Modell Verbesserungen in Ausdruck und Sicherheit zeigte, lag der "Grounding"-Score bei -3,08 (schlechter als der des Basismodells mit -1,41), was auf anhaltende Herausforderungen bei Halluzinationen bei Out-of-Domain-Fragen hindeutet.
Reward Model: Das GRPO-trainierte Reward Model erreichte eine Pairwise-Genauigkeit von 46 %, was die kombinierte interne-externe Reward-Strategie validiert.

Bedeutung und Behauptungen

Das Paper behauptet, dass Infoxmed2.0-27B unter identischen Evaluierungsbedingungen die Peer-Modelle (einschließlich Baichuan-M2-32B, MedGemma-27B, Lingshu-32B und HuatuoGPT-3-32B) umfassend anführt. Die Bedeutung der Arbeit liegt in dem Nachweis, dass eine systematische, mehrstufige Post-Training-Pipeline – verankert durch professionell validierte Daten und fortgeschrittene Preference-Optimization-Techniken – die medizinischen Denk- und Sicherheitsfähigkeiten allgemeiner Purpose-LLMs signifikant verbessern kann.

Dennoch bewahren die Autoren einen bescheidenen Ton hinsichtlich der Limitationen:

Das Modell weist immer noch negative Grounding-Scores bei Hard-Logic-Evaluierungen auf, was darauf hindeutet, dass Halluzinationen bei Out-of-Domain-Fragen weiterhin eine Herausforderung darstellen.
Die Pairwise-Genauigkeit des Reward Models (46 %) ist funktional, aber nicht perfekt.
Die Evaluierung beschränkt sich derzeit auf zwei Benchmarks (MedMCQA und HLE).
Die Sicherheitsgrenzen sind zwar verbessert, aber noch nicht perfekt.

Die Arbeit dient als Proof-of-Concept für die Integration von strenger Datenkuratierung mit modernen Alignment-Techniken (DPO, GRPO), um spezialisierte medizinische KI zu bauen, während gleichzeitig eingeräumt wird, dass weitere Forschung notwendig ist, um Probleme der medizinischen Halluzination und Sicherheit vollständig zu lösen.