⚡ electrical engineering

OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

OpenMedQ is een geavanceerd medisch vision-language model dat is voorgetraind op een brede, volledig open dataset van 3,35 miljoen monsters en dat aanzienlijk beter presteert dan veel grotere modellen zoals Med-PaLM M op belangrijke benchmarks, terwijl het een superieure prestatie levert in downstream medische classificatietaken.

Oorspronkelijke auteurs: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de complexe wereld van de geneeskunde te begrijpen. Normaal gesproken heb je daarvoor twee dingen nodig: een "brein" dat medische rapporten kan lezen en een paar "ogen" die naar röntgenfoto's, microscopen en pathologiecoupes kunnen kijken.

Lange tijd waren de beste robots (AI-modellen) in dit veld als geheimzinnige genieën. Ze zijn ongelooflijk slim, maar hun makers houden hun trainingsboeken (data) en hun hersengewichten verborgen. Je kunt niet zien hoe ze hebben geleerd, je kunt hun kennis niet hergebruiken en je kunt hun fouten niet herstellen. Andere modellen zijn als gespecialiseerde leerlingen; ze zijn geweldig in één specifieke taak (zoals het lezen van röntgenfoto's), maar hebben niet genoeg boeken gelezen om het hele plaatje te begrijpen.

OpenMedQ is het antwoord van het artikel op dit probleem. Het is een nieuwe, "open-source" medische robot die de auteurs hebben gebouwd door de grootste collectie open, gratis medische tekstboeken en beeldsets die ooit zijn samengesteld te verzamelen om een model van deze omvang te trainen.

Hier is een uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. De "Bibliotheek" (De Trainingsdata)

De meeste medische AI-modellen worden getraind op een kleine, smalle bibliotheek van boeken. OpenMedQ werd echter getraind op een enorme, diverse bibliotheek met 14 verschillende datasets met ongeveer 3,35 miljoen voorbeelden.

Denk er zo over na:

Andere modellen lezen misschien alleen boeken over hart-röntgenfoto's.
OpenMedQ las boeken over hart-röntgenfoto's, hersenscans, microscoopopnames van cellen en zelfs gewoon tekstgebaseerde medische quizzen.
Cruciaal is dat elk boek in deze bibliotheek open en gratis was voor iedereen om te gebruiken. De auteurs hebben hun bronnen niet verborgen.

2. Het "Brein" en de "Ogen" (De Architectuur)

Het model is gebouwd als een standaard moderne AI (een zogenaamde LLaVA-stijl).

De Ogen (Vision Encoder): Het gebruikt een vooraf getraind "oog" dat al goed was in het bekijken van medische afbeeldingen (van een model genaamd BiomedCLIP).
Het Brein (Language Model): Het verbindt die ogen met een groot taalbrein (LLaMA-7B) dat al goed was in medische tekst.
De Training: Ze hebben de ogen en het brein geleerd om met elkaar te communiceren via een techniek genaamd "next-token prediction". Stel je voor dat je de robot een afbeelding en een vraag laat zien, en hem vraagt om het volgende woord in het antwoord te raden, keer op keer, totdat hij het patroon leert.

3. De "Proefrit" (De Resultaten)

De auteurs hebben OpenMedQ door twee hoofdtesten gehaald om te zien hoe goed het heeft geleerd.

Test A: De "Algemene Kennis" Quiz (Visual Question Answering)
Ze stelden de robot medische vragen op basis van afbeeldingen (bijv. "Wat laat deze röntgenfoto zien?").

Het Resultaat: OpenMedQ scoorde hoger dan sommige van de grootste, duurste modellen die er bestaan.
De Analogie: Stel je voor dat OpenMedQ een student is met een 7B-parameter brein (een middelgroot brein). Het maakte een test tegenover een gigantisch, 562B-parameter brein (een massief supercomputerbrein). Ondanks dat het ongeveer 80 keer kleiner is, behaalde OpenMedQ een betere score op één specifieke test (PathVQA) en evenaarde het de beste scores op een andere (VQA-MED).
De Bewering: Dit bewijst dat het hebben van een brede, open bibliotheek aan trainingsdata belangrijker is dan simpelweg het hebben van een enorm, geheim brein.

Test B: Het "Specialisten" Examen (Image Classification)
Ze namen alleen de "ogen" (het visuele deel) van OpenMedQ en testten deze op 8 verschillende medische beeldtaken die het model nog nooit eerder had gezien (zoals het identificeren van borstkanker op een echografie of longontsteking op een borstkasröntgenfoto).

Het Resultaat: De "ogen" van OpenMedQ presteerden gemiddeld beter dan de ogen van drie andere top-tier medische modellen (BiomedCLIP, PMC-CLIP, PubMedCLIP) en een model dat vanaf nul is getraind.
De Analogie: Het is alsof je een algemeen arts die van alles een beetje heeft gezien, vraagt om specifieke ziekten te diagnosticeren. Omdat ze tijdens hun training een zo grote verscheidenheid aan gevallen hebben gezien, waren ze beter in het herkennen van patronen in nieuwe situaties dan artsen die zich op één nauw gebied specialiseerden.

4. De "Catch" (Beperkingen)

De auteurs zijn eerlijk over waar de robot nog steeds moeite mee heeft.

Niet overal perfect: Hoewel OpenMedQ gemiddeld de beste was, won het niet in elke categorie. Bijvoorbeeld, op borst-echografiebeelden was een ander model nog steeds iets beter.
Oppervlakkig: De testscores (BLEU-1) meten hoe vergelijkbaar de woorden van de robot zijn met menselijke antwoorden, niet noodzakelijkerwijs of de medische redenering 100% correct is.
Het "Grote Brein" wint nog steeds soms: De enorme, geheime modellen (Med-PaLM M) deden het nog steeds beter op sommige specifieke, moeilijke testen met betrekking tot radiologie en microscopie.

De Kernboodschap

De belangrijkste boodschap van het artikel is dat diversiteit en openheid krachtige instrumenten zijn. Je hebt niet noodzakelijkerwijs een geheime, enorme supercomputer nodig om een geweldige medische AI te bous. Als je een middelgroot model traint op de breedste, meest open collectie medische data die beschikbaar is, kun je grotere, gesloten modellen verslaan.

De auteurs hebben hun code, hun trainingsrecepten en een interactieve demo beschikbaar gesteld aan het publiek, en nodigen iedereen uit om hun werk te inspecteren, te hergebruiken en te verbeteren.

Technische Samenvatting: OpenMedQ: Brede Open Pretraining voor Medische Visie-Taal Modellen

Probleemstelling

Ondanks de toenemende capaciteiten van medische fundatiemodellen bestaat er een aanzienlijke kloof in de beschikbaarheid van volledig open, breed voorgetrainde baselines. De meeste gepubliceerde medische Visie-Taal Modellen (VLM's) vertrouwen op smalle pretraining-bronnen en houden vaak hun gewichten, trainingsdata, of beide, achter. Bestaande contrastieve encoders (bijv. BiomedCLIP, PMC-CLIP) worden getraind op enkelvoudige beeld-bijschrift corpora, terwijl generatieve VLM's (bijv. PMC-VQA, LLaVA-Med) vergelijkbaar smalle pretraining-mengsels gebruiken. Hoewel grotere modellen zoals BiomedGPT en Med-PaLM M de schaal van data en parameters vergroten, geven zij hun gewichten niet vrij. Bijgevolg ontbreekt het praktijkbeoefenaars aan een transparante, reproduceerbare baseline die zowel breed voorgetraind als volledig open is voor inspectie, hergebruik en uitbreiding.

Methodologie

De auteurs introduceren OpenMedQ, een medische VLM die ontworpen is om deze beperkingen aan te pakken door middel van brede, open pretraining.

Architectuur: OpenMedQ volgt de LLaVA-stijl architectuur, bestaande uit een visuele encoder en een taalmodel.
- Visuele Encoder: Een ViT-base-patch16-224 geïnitialiseerd van BiomedCLIP.
- Taalmodel: Een LLaMA-7B model geïnitialiseerd van PMC-LLaMA.
- Integratie: Beeldtokens worden lineair geprojecteerd en geconcateneerd met teksttokens, die van links naar rechts worden gedecodeerd.
Pretraining Strategie: Het model wordt getraind met next-token prediction met een Low-Rank Adaptation (LoRA) rank van $r=8$ . Tijdens de training worden beeld- en prefix-tokens gemaskeerd om de focus te leggen op next-token cross-entropy.
Trainingsconfiguratie: Afbeeldingen worden geschaald naar 224×224. De training maakt gebruik van AdamW met een batchgrootte van 64, een leersnelheid van $5\times10^{-5}$ , en draait tot 15 epochs op een enkele NVIDIA A100.
Classificatie Transfer: Om de kwaliteit van de geleerde visuele kenmerken te evalueren, wordt de visuele encoder ( $f_{vis}$ ) losgekoppeld en gekoppeld aan een lineaire kop ( $W \in \mathbb{R}^{2d \times m}$ ). Beiden worden samen gefinetuned op downstream datasets voor 100 epochs. Deze opzet zorgt ervoor dat prestatieverschillen toe te schrijven zijn aan de pretraining in plaats van aan downstream architecturale variaties.

Belangrijkste Bijdragen

Breedste Open Pretraining Mix: OpenMedQ is voorgetraind op de meest uitgebreide volledig open medische dataset-mix tot nu toe, bestaande uit 14 datasets en ongeveer 3,35 miljoen samples. Deze mix omvat:
- Pathologie: PathVQA.
- Radiologie: VQA-RAD, IU-XRAY, MIMIC-CXR, ROCO, OmniMedVQA.
- Microscopie: $\mu$ -Bench.
- Gemengde Modaliteiten: Slake, PMC-OA, PMC-VQA, VQA-MED.
- Tekst-alleen Klinische QA: MedQA, MedMCQA, PubMedQA (ca. 410K samples) om taalvaardigheden te behouden.
Open Release: De auteurs verbinden zich ertoe om modelgewichten en dataset-recepten vrij te geven bij acceptatie, samen met een live interactieve demo voor kwalitatieve inspectie.
Reproduceerbare Baseline: Het artikel stelt een gestandaardiseerd downstream recept vast om de impact van de diversiteit van pretraining-data eerlijk te vergelijken met sterke baselines.

Resultaten

Het artikel rapporteert prestaties over twee primaire taken: classificatie transfer en open-ended Visual Question Answering (VQA).

1. Classificatie Transfer

De visuele encoder van OpenMedQ werd geëvalueerd op 8 ongeziene medische classificatie-benchmarks (CXR8, MedFMC subtasks, Breast-Ultrasound, CHAOYANG, CBIS-DDSM, Mendeley-CXray).

Prestaties: OpenMedQ behaalde de hoogste gemiddelde macro-F1 score van 0,757.
Vergelijking: Dit presteerde beter dan BiomedCLIP (0,745), PMC-CLIP (0,745), PubMedCLIP (0,746) en een vanaf nul beginnende baseline (0,616).
Specifieke Overwinningen: OpenMedQ behaalde directe overwinningen op MedFMC-chest en MedFMC-endo, was gelijk aan PMC-CLIP op CXR8, en bleef maximaal 0,02 achter op de beste encoder bij vier andere benchmarks. De enige significante kloof werd waargenomen op Breast-Ultrasound (0,876 vs. 0,915).

2. Open-Ended VQA

PathVQA: OpenMedQ behaalde een BLEU-1 score van 75,9, waarmee het prefix tuning methoden (70,3) en alle drie de Med-PaLM M varianten (tot 562B parameters, score tot 72,27) versloeg, ondanks dat OpenMedQ slechts 7B parameters gebruikt.
VQA-MED: Het model bereikte een BLEU-1 van 64,5, wat iets hoger is dan de best gerapporteerde score van de 2019 challenge (64,4).

Betekenis en Claims

Het artikel stelt dat de breedte van de open pretraining data een cruciale competitieve hefboom is voor medische VLM's. De auteurs beweren dat data-diversiteit dient als een reproduceerbare hefboom voor prestaties, terwijl propriëtaire schaal dat niet is.

Efficiëntie: OpenMedQ demonstreert dat een 7B parameter model, wanneer getraind op een brede open mix, een nieuwe state-of-the-art kan vestigen op PathVQA tegenover modellen die tot 80 keer groter zijn (562B parameters).
Generalisatie: De superieure prestaties van de visuele encoder op gemiddelde classificatie transfer suggereren dat brede pretraining meer robuuste feature-representaties oplevert dan smalle, single-modality pretraining.
Beperkingen: De auteurs erkennen bescheiden dat hun aanpak limieten heeft. Grotere propriëtaire varianten (Med-PaLM M) leiden nog steeds op specifieke benchmarks zoals VQA-RAD en Slake. Daarnaast legt BLEU-1 alleen oppervlakte-overeenkomst vast, en kunnen encoders met een smalle modaliteit nog steeds beter presteren op specifieke taken zoals Breast-Ultrasound.

Het werk concludeert door de nadruk te leggen op de waarde van open wetenschap, door een transparante baseline te bieden die de gemeenschap kan inspecteren, hergebruiken en uitbreiden.