🤖 AI

Fully Open Meditron: An Auditable Pipeline for Clinical LLMs

Dit artikel introduceert Fully Open Meditron, de eerste end-to-end controleerbare pijplijn voor klinische LLM's die een door clinici geverifieerd trainingscorpus combineert met een reproduceerbaar kader om state-of-the-art prestaties op medische benchmarks te bereiken terwijl volledige transparantie en reproduceerbaarheid worden behouden.

Oorspronkelijke auteurs: Xavier Theimer-Lienhard, Mushtaha El-Amin, Fay Elhassan, Sahaj Vaidya, Victor Cartier-Negadi, David Sasu, Lars Klein, Mary-Anne Hartley

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xavier Theimer-Lienhard, Mushtaha El-Amin, Fay Elhassan, Sahaj Vaidya, Victor Cartier-Negadi, David Sasu, Lars Klein, Mary-Anne Hartley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante, superintelligente student voor die bijna elk boek ter wereld heeft gelezen. Deze student is uitstekend in het beantwoorden van algemene vragen, maar heeft nog geen geneeskunde gestudeerd. Je wilt deze student omtoveren tot een toponderwijsend medisch expert.

Lange tijd was de manier om dit te doen om deze student een geheime stapel medische leerboeken en casestudy's te geven en vervolgens te zeggen: "Hier zijn de antwoorden die je moet memoriseren." Maar er was een addertje onder het gras: niemand mocht de leerboeken of de studienotities zien. Je zag alleen de resultaten van het eindexamen. Dit betekende dat je niet kon verifiëren of de student de juiste dingen had geleerd, of dat deze gewoon de antwoorden op de specifieke vragen had gememoriseerd waar hij op werd getest.

Dit paper introduceert een nieuwe aanpak genaamd Fully Open Meditron. Denk hierbij aan het openen van de volledige klasdeur, de bibliotheek en de lesplannen van de leraar voor iedereen om te inspecteren.

Hier is de uiteenzetting van hun "Fully Open"-recept:

1. De "Open Keuken"-filosofie

De meeste "open" medische AI-modellen zijn als restaurants die je alleen het eindgerecht laten zien (de modelgewichten), maar het recept, de ingrediënten en de aantekeningen van de chef-kok verborgen houden.

Het probleem: Als je de ingrediënten niet kunt zien, weet je niet of de chef verse, geverifieerde medische richtlijnen heeft gebruikt of dat hij gewoon het menu van een vorig examen heeft gememoriseerd.
De oplossing: De auteurs hebben een pijplijn gebouwd waarbij alles publiek is. Ze hebben het basismodel vrijgegeven, de exacte data die ze erin hebben gevoerd, de code die ze gebruikten om het te trainen, en de regels die ze hebben gevolgd. Het is als een restaurant waar je de keuken kunt binnenlopen, kunt kijken hoe de chef kookt, en de rauwe ingrediënten kunt proeven.

2. Het bouwen van de "Studiebibliotheek" (Het Corpus)

Om deze modellen te trainen, hebben ze niet zomaar willekeurige medische vragen van het internet geplukt. Ze hebben een enorme, georganiseerde bibliotheek gebouwd met drie distincte secties:

De Examenzaal: Ze hebben acht bestaande publieke medische vraagbanken (zoals oefentests voor artsen) verzameld en opgeschoond zodat ze allemaal dezelfde taal spraken.
De Richtlijnenbibliotheek: Ze hebben 46.469 klinische praktijkrichtlijnen uit de echte wereld (de officiële regelboeken die artsen volgen) genomen en omgezet in vraag-en-antwoordparen. Dit zorgt ervoor dat de AI leert van de daadwerkelijke regels van de geneeskunde, en niet alleen van oude examenvragen.
De "Wat-zou-er-gebeuren"-scenario's: Ze hebben nieuwe, complexe patiëntverhalen (vignettes) gecreëerd die echte spoedeisende hulp-situaties nabootsen. Ze hebben een "leraar"-AI gebruikt om deze te genereren, maar lieten vervolgens vier echte artsen het werk controleren om ervoor te zorgen dat de verhalen realistisch waren en de antwoorden correct.

Waarom dit belangrijk is: Vorige medische AI-bibliotheken misten veel "noodgeval"- en "levensbedreigende" gevallen. Deze nieuwe bibliotheek is als een trainingsimulatie die specifiek die gevaarlijke gaten opvult, zodat de AI klaar is voor de ergste scenario's, en niet alleen voor routinecontroles.

3. De "Schone Kamer" (Decontaminatie)

Een groot probleem bij AI is "valsspelen". Als de AI de toetsvragen eerder heeft gezien tijdens zijn training, is hij niet echt slim; hij memoreert gewoon.

De oplossing: De auteurs hebben een rigoureuze "decontaminatie"-procedure uitgevoerd. Ze hebben hun volledige trainingsbibliotheek gescand tegen alle standaard medische tests die worden gebruikt om AI te beoordelen. Als ze zelfs een kleine overlap vonden (zoals een gedeelde zin of zinnetje), gooiden ze die data weg. Dit zorgt ervoor dat de AI de concepten leert, en niet alleen de antwoorden.

4. Het "Eindexamen" (Evaluatie)

Hoe test je een medische AI? Meestal geef je hem meerkeuzevragen (MCQ's). Maar de auteurs betogen dat dit is als het testen van een piloot alleen in een simulator met vaste paden. Echte geneeskunde is rommelig en open-ended.

De nieuwe test: Ze hebben een nieuwe evaluatiemethode ontwikkeld genaamd Auto-MOOVE. In plaats van alleen te controleren of de AI "A, B, C of D" heeft gekozen, vragen ze de AI om zijn redenering voor complexe patiëntgevallen op te schrijven.
De rechter: Ze hebben een krachtige AI gebruikt om deze antwoorden te beoordelen, maar ze hebben deze AI-rechter eerst gekalibreerd tegen 204 menselijke artsen om ervoor te zorgen dat de AI-rechter eerlijk en accuraat was. Ze hebben de modellen ook getest op HealthBench, een benchmark waarbij artsen gedetailleerde rubrieken schrijven voor hoe een "goed" antwoord eruit ziet.

De resultaten: Heeft het gewerkt?

Ze hebben dit "Fully Open"-recept toegepast op vijf verschillende basismodellen. De resultaten waren indrukwekkend:

Beter dan de basis: Elk enkel model dat met dit open recept was getraind, werd aanzienlijk beter in medische taken dan zijn originele, ongetrainde versie.
Het verslaan van de "geheime" modellen: Een van hun modellen, volledig gebouwd op open data en open code, presteerde beter dan MedGemma, een beroemd medisch model dat geheime, propriëtaire data gebruikt.
Nieuw record: Hun grootste model (Apertus-70B-MeditronFO) vestigde een nieuw record voor de beste prestatie ooit behaald door een volledig open medische AI.

De conclusie

Het paper beweert dat je geen geheime, propriëtaire data nodig hebt om een wereldklasse medische AI te bouwen. Door volledig transparant te zijn – het delen van de data, de code en het trainingsproces – kun je een model bouwen dat niet alleen zeer nauwkeurig is, maar ook controleerbaar. Artsen en regelgevers kunnen onder de motorkap kijken om precies te zien hoe de AI heeft geleerd, zodat wordt gegarandeerd dat deze veilig en betrouwbaar is.

Kortom: Ze hebben bewezen dat als je een medische AI bouwt met een duidelijk, open en rigoureus recept, deze net zo goed kan presteren als (en soms beter dan) die welke zijn gebouwd met geheime ingrediënten.

Technische Samenvatting: Fully Open Meditron: Een Auditabele Pipeline voor Klinische LLM's

Probleemstelling

Huidige Klinische Beslissingssteunsystemen op basis van Large Language Models (LLM-CDSS) lijden aan een fundamenteel gebrek aan transparantie. Hoewel veel "open" medische modellen gewichten vrijgeven, houden ze de data-provenance, curatieprocedures en generatiepipelines achter die het modelgedrag bepalen. Deze ondoorzichtigheid verhindert een rigoureuze audit om te bepalen of modellen hebben geleerd van op richtlijnen gebaseerd bewijs, benchmark-artefacten of synthetische hallucinaties. Bovendien zijn standaard medische benchmarks vaak verzadigd, wat leidt tot prestatiewinst die eerder data-contaminatie of memorisatie weerspiegelt dan echte klinische bekwaamheid. Bestaande "Fully Open" (FO) modellen, die de volledige trainingsstapel end-to-end blootleggen, bestaan momenteel niet in het medische domein, waardoor er een kloof blijft tussen de behoefte aan auditabele AI en de realiteit van ondoorzichtige adaptatiepipelines.

Methodologie

De auteurs introduceren Fully Open Meditron, de eerste volledig open pipeline voor het aanpassen van FO-foundationmodellen tot medische specialisten. De methodologie bestaat uit drie kerncomponenten:

1. Het Fully Open Meditron Corpus

Het corpus is geconstrueerd om distributieverschillen in publieke medische datasets aan te pakken (bijv. ondervertegenwoordiging van spoedeisende zorg, levensbedreigende gevallen en settings met beperkte middelen).

Aggregatie: Acht publieke medische QA-datasets (MedQA, MedMCQA, PubMedQA, MedExpQA, HealthSearchQA, LiveQA, AfriMed-QA v1/v2) worden verenigd in een genormaliseerd conversatieformaat met stap-voor-stap redeneringen.
Synthetische Uitbreiding: Om de dekking uit te breiden, maken de auteurs gebruik van GPT-OSS-120B om drie synthetische componenten te genereren, gevalideerd door een panel van vier artsen:
- Synthetisch Gecureerd QA: Nieuwe examenvormige QA-paren, gezaaid vanuit het gecureerde pool, gestratificeerd per vraagtype.
- Richtlijnen QA: QA-paren gebaseerd op 46.469 klinische praktijkrichtlijnen van 16 wereldwijde instellingen.
- Synthetisch MOOVE: Open-eindende klinische casussen, gezaaid vanuit de MOOVE-trainingssplit, om complexe diagnostische redenering op te roepen.
Kwaliteitscontrole: De pipeline dwingt systeemwijde decontaminatie af met behulp van een tweestaps n-gram- en token-uitlijningspipeline (aangepast van Apertus) om overlap met evaluatie-benchmarks te elimineren. Synthetische doelen ondergaan gold-label rejection sampling (tot 8x bij T=0.7) om hallucinaties te mitigeren.

2. Trainingskader

Het recept wordt toegepast op vijf volledig open basismodellen: Apertus-70B/8B-Instruct, OLMo-2-32B-SFT, EuroLLM-22B/9B-Instruct, en één open-weight controlemodel, Gemma-3-27B-IT.

Modellen worden aangepast via supervised fine-tuning (SFT) op het Fully Open Meditron corpus.
Training behoudt het native instructie-tuningformaat van elk basismodel.
Infrastructuur maakt gebruik van NVIDIA GH200-nodes met Flash Attention 2 en mixed-precision training.

3. Evaluatieprotocol

De auteurs gaan voorbij aan standaard meerkeuzevragen (MCQ's) om open-eindende klinische redenering te vangen.

Gestructureerde Benchmarks: Evaluatie op MedQA, MedMCQA, PubMedQA en de vastgehouden MedXpertQA (voor OOD-checks).
Open-eindende Evaluatie:
- HealthBench: Gebruikt door artsen geschreven rubrieken om open-eindende antwoorden te scoren.
- Auto-MOOVE: Een geautomatiseerd "LLM-as-a-judge"-protocol met Qwen3-235B-A22B (gevalideerd tegen 204 menselijke beoordelaars) om paarwijze vergelijkingen uit te voeren op klinische casussen. Het beoordeelt negen criteria: vraagbegrip, logisch redeneren, relevantie, onschadelijkheid, eerlijkheid, contextbewustzijn, communicatie, helderheid en richtlijnconformiteit.

Belangrijkste Bijdragen

Een Fully Open Medische Adaptatiekader: Een reproduceerbare, end-to-end pipeline die corpusconstructie, synthetische generatie, decontaminatie, training en evaluatie omvat.
Een door Artsen Geaudit Knowledge Corpus: Een verenigde dataset die publieke QA combineert met synthetische uitbreidingen die de dekking aanzienlijk verschuiven naar spoedeisende zorg (15,0% $\to$ 38,7%) en levensbedreigende ernst (8,6% $\to$ 31,8%).
Een Geautomatiseerd Open-eindend Evaluatieprotocol: Het Auto-MOOVE-kader, gevalideerd tegen menselijke inter-beoordelaarsovereenstemming, om multidimensionale klinische redenering te beoordelen.
Een Familie van Fully Open Medische Specialist: Vijf nieuwe modellen die aantonen dat concurrerende medische specialisatie haalbaar is onder FO-beperkingen.

Resultaten

Benchmarkprestaties: Alle MeditronFO-varianten presteren beter dan hun respectievelijke basismodellen. Apertus-70B-MeditronFO vestigt een nieuwe state-of-the-art (SoTA) voor volledig open modellen, met een verbetering van de geaggregeerde medische benchmarkscores van 47,2% naar 53,8% (+6,6 punten).
Vergelijking met Propriëtaire/Open-weight Modellen:
- Apertus-70B-MeditronFO verkleint de kloof met MedGemma-27B (60,67% vs 53,77%), maar blijft het sterkste fully open systeem.
- Gemma-3-27B-MeditronFO wordt verkozen boven het proprietaire MedGemma in 58,6% van de Auto-MOOVE paarwijze vergelijkingen en presteert beter op HealthBench (58,0% vs 55,9%).
Open-eindende Evaluatie: Elke MeditronFO-variant wordt verkozen boven zijn basis in paarwijze evaluaties (winstpercentages variërend van 67,2% tot 92%). Verbeteringen zijn consistent over alle negen klinische criteria, niet beperkt tot één dimensie.
Ablatiestudies: Het verwijderen van specifieke corpuscomponenten onthult trade-offs. Het verwijderen van "Guidelines QA" verbeterde de MCQA-nauwkeurigheid lichtjes, maar liet de open-eindende voorkeur onveranderd, terwijl het verwijderen van "Curated QA" de open-eindende kwaliteit significant verslechterde, wat aangeeft dat examenvormige supervisie bijdraagt aan bredere klinische redenering.

Betekenis en Claims

Het artikel beweert dat Fully Open Meditron aantoont dat volledig open pipelines state-of-the-art domeinspecifieke prestaties kunnen bereiken zonder auditbaarheid of reproduceerbaarheid op te offeren. De auteurs betogen dat de prestatiekloof tussen open en gesloten modellen het gevolg is van corpusconstructie en niet van een inherente beperking van open modellen. Door een transparante, door artsen geauditte pipeline te bieden, maakt het werk rigouzeuze validatie mogelijk en adresseert het het "onduidelijkheids"-probleem in medische AI. De resultaten suggereren dat klinisch concurrerende specialisatie kan worden bereikt door gedisciplineerde data-curatie en open-eindende evaluatie, en bieden een herbruikbare basis voor toekomstige volledig open medische modellen.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat hun decontaminatie syntactisch en niet semantisch is, dat synthetische data ongeveer 64% van het corpus uitmaakt (met auditing beperkt tot geprobeerde QA-paren), en dat de opzet met één leraar/beoordelaar stijlgebonden bias kan introduceren. Ze benadrukken dat de open aard van het corpus een gedeeltelijke mitigatie is voor risico's (door auditing mogelijk te maken), maar ook een gedeeltelijke versterker (reproduceerbaarheid door partijen die mogelijk niet auditeren).