🤖 AI

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

Oorspronkelijke auteurs: Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He, Xin Chen, Yue Yao, Robert Tibshirani, Jeffrey J. Nirschl, Serena Yeung-Levy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om een arts te zijn. Je laat het duizenden röntgenfoto's, microscooppreparaten en foto's van huidaandoeningen zien, en vraagt het om ziekten te identificeren. Je denkt misschien: "Geweldig! De robot is aan het leren!" Maar hoe weet je of de robot de ziekte daadwerkelijk ziet, of dat hij gewoon gokt op basis van de achtergrond van de foto of de manier waarop de vraag gesteld wordt?

Dit is het probleem waar het papier MMBU een oplossing voor biedt. De auteurs hebben een enorme, nieuwe "eindtoets" gebouwd voor medische AI-robots om te zien of ze echt begrijpen waar ze naar kijken.

Hier is de uitsplitsing van hun werk met eenvoudige analogieën:

1. Het Problean: Het "Spiekbriefje"-effect

Stel je voor dat je studeert voor een geschiedenisexamen. Je studeert alleen uit drie specifieke tekstboeken. Wanneer je het examen maakt, haal je een voldoende. Maar dan geeft de leraar je een vraag over een onderwerp dat nooit in die drie boeken voorkwam, of stelt de vraag op een iets andere manier, en dan zak je.

Het papier betoogt dat huidige medische AI-modellen als die student zijn.

De Oude Examens: Bestaande tests voor medische AI zijn klein en repetitief. Ze gebruiken dezelfde paar datasets (zoals een klein stapeltje flashcards).
De Sjoemelmethode: Omdat AI-modellen getraind zijn op het internet, hebben ze deze specifieische flashcards waarschijnlijk al eerder "gezien" tijdens hun training. Ze zijn niet echt "geneeskunde aan het leren"; ze zijn gewoon de antwoorden aan het memoriseren van de specifieke vragen die ze geoefend hebben.
Het Resultaat: Deze modellen lijken slim op oude tests, maar falen wanneer ze worden geconfronteerd met nieuwe, echte medische beelden.

2. De Oplossing: Het "MMBU" Mega-examen

Om dit op te lossen, hebben de onderzoekers MMBU gecreëerd (Massive Multi-modal Biomedical Understanding). Zie dit niet als een enkele test, maar als een gigantische, meerkamers brede hindernisbaan die ontworpen is om de AI te dwingen zijn ware vaardigheden te tonen.

Massale Schaal: In plaats van een paar flashcards, hebben ze 410 verschillende datasets verzameld.
Diverse Kamers (Modaliteiten): De cursus heeft 11 verschillende "kamers" die verschillende manieren vertegenwoordigen om naar het lichaam te kijken:
- De Röntgenkamer: Kijken naar botten en longen.
- De Microscoopkamer: Kijken naar minuscule cellen (zoals bloedcellen of bacteriën).
- De Endoscopiekamer: Kijken in de maag of darmen met een camera.
- De Echokamer: Kijken naar zachte weefsels met geluidsgolven.
De "Sub-kamers": Binnen deze kamers zijn er 35 verschillende soorten afbeeldingen (bijv. verschillende kleuringen van cellen, verschillende hoeken van röntgenfoto's).
De Metadata: Elke afbeelding komt met een gedetailleerde "identiteitskaart" (metadata) die de AI precies vertelt wat de afbeelding is, waar deze vandaan komt en hoe deze is genomen. Dit voorkomt dat de AI sjoemelt door te gokken op basis van de bestandsnaam of de achtergrond van de afbeelding.

3. De Test: Drie Manieren om te Falen

De onderzoekers vroegen de AI niet alleen "Wat is dit?". Ze testten het op drie specifieieve manieren om te zien waar het breekt:

De "Totaalbeeld"-test (Ungrounded Classification): Laat de AI een afbeelding zien en vraag: "Welke ziekte is dit?" De AI moet naar het hele beeld kijken en raden.
De "Detailspot"-test (Grounded Classification): Laat de AI een afbeelding zien met een specifieke cirkel getekend rond een tumor of een cel, en vraag: "Wat zit er binnen deze cirkel?" Dit test of de AI op de juiste plek kan focussen.
De "Zoek het"-test (Object Detection): Laat de AI een afbeelding zien en zeg: "Teken een kader rond de tumor." Dit is de moeilijkste test. Het vereist dat de AI niet alleen weet hoe een tumor eruitziet, maar ook precies weet waar deze zich in de 3D-ruimte bevindt.

4. De Resultaten: De AI is Nog Steeds een "Novice"

De onderzoekers testten 17 verschillende AI-modellen (inclus kind van de slimste modellen van Google, OpenAI en open-source gemeenschappen) op deze nieuwe examen. De resultaten waren ontnuchterend:

De "Meerkeuze"-kruk: Wanneer de AI een lijst met antwoorden kreeg om uit te kiezen (zoals bij een meerkeuzetoets), deed het het redelijk. Maar wanneer het werd gevraagd het antwoord uit zichzelf te formuleren (Open VQA), daalde de score drastisch. Dit suggereert dat de AI vaak gokte op basis van de verstrekte opties, en niet echt begreep wat het zag.
De "Blinde Vlek": De AI was slecht in Object Detection. Zelfs de beste modellen faalden in het tekenen van het juiste kader rond een tumor. Ze konden de ziekte wel beschrijven, maar ze konden er niet naar wijzen. Het is als een student die een essay over een automotor kan schrijven, maar niet naar de bougie kan wijzen.
De "Specialist"-mythe: De onderzoekers testten modellen die specifiek waren "fine-tuned" (extra hard getraind) op medische data. Ze hoopten dat deze "Medische AI"-modellen het examen zouden verpletteren. In plaats daarvan ontdekten ze dat gespecialiseerde modellen niet altijd de algemene modellen versloegen. Sterker nog, sommige medische modellen presteerden slechter dan hun algemene neefjes.
De "Trainingsdata"-valstrik: De modellen die goed presteerden op oude, beroemde tests (zoals PathVQA of VQA-RAD) presteerden vaak slecht op MMBU. Dit bevestigt dat die oude tests slechts "cheat sheets" waren die de modellen hadden uit het hoofd geleerd, en geen echte maatstaf voor hun vermogen.

5. De Conclusie

Het papier concludeert dat hoewel AI groter en slimmer wordt, het nog steeds moeite heeft om echt te "zien" in de medische wereld.

Het kan het antwoord raden als je het hints geeft (meerkeuze).
Het kan over geneeskunde praten als je algemene vragen stelt.
Maar het kan niet betrouwbaar specifieke details lokaliseren of omgaan met nieuwe, diverse soorten medische beelden zonder in de war te raken.

De auteurs zeggen dat MMBU een noodzakelijk instrument is om de "hype" te stoppen en AI-ontwikkelaars te dwingen modellen te bouwen die daadwerkelijk kunnen zien en begrijpen wat de complexe, chaotische realiteit van de menselijke biologie is, in plaats van alleen maar een paar tekstboekvoorbeelden uit het hoofd te leren.

Technische Samenvatting: MMBU: Een Massieve Multi-modale Biomedische Begripsbenchmark

Probleemstelling

Vision-Language Models (VLMs) bieden veelbelovende mogelijkheden voor het transformeren van biomedische workflows, variërend van laesiedetectie in borstfoto's tot cellulaire profilering in microscopie. Het realiseren van dit potentieel vereist echter robuuste, fijnmazige visuele perceptie over diverse modaliteiten, schalen en contexten. De huidige evaluatielandschappen kampen met drie kritieke beperkingen:

Beperkte reikwijdte: Bestaande benchmarks (bijv. PathVQA, VQA-RAD, SLAKE) zijn vaak beperkt tot smalle domeinen of specifieke taken, waardoor ze niet de breedte van biomedische beeldvorming dekken.
Datacontaminatie: Veel gevestigde benchmarks maken gebruik van datasets die vaak zijn opgenomen in de pretraining- of instructie-tuning-pipelines van moderne biomedische VLMs. Deze distributionele overlap leidt tot opgeblazen prestatiecijfers die de werkelijke perceptuele capaciteiten en het falen van domeingeneralisatie maskeren.
Onvoldoende metadata: Huidige evaluaties missen de gestructureerde metadata die nodig zijn om prestaties te stratificeren op basis van biologische schaal, acquisitiecondities of specifieke modaliteiten, wat het moeilijk maakt om foutmodi van modellen te diagnosticeren of de robuustheid tegen batch-effecten te beoordelen.

Methodologie

De auteurs introduceren MMBU (Massive Multi-modal Biomedical Understanding), een grootschalige benchmark die is ontworpen om de biomedische VLM-perceptie systematisch te evalueren. De constructie van MMBU omvatte een vierfasige, human-in-the-loop pipeline:

Dataontdekking en Curatie: Een multidisciplinair team (clinici, bioinformatici, statistici) definieerde een taxonomie die medische specialismen, beeldmodaliteiten en biologische contexten beslaat. Met behulp van inclusiecriteria (publieke toegankelijkheid, hoge beeldkwaliteit, door mensen gegenereerde labels en uitsluiting van datasets die veel worden gebruikt voor de training van medische VLMs) identificeerde het team 410 unieke datasets uit een initiële pool van meer dan 1.200 kandidaten.
Metadata-standaardisatie: De verzamelde datasets, die varieerden in formaat en structuur, werden geharmoniseerd. De pipeline standaardiseerde afbeeldingen naar PNG en extraheerde rijke, gestructureerde metadata voor elk datapunt, inclusode herkomst, specimentype, modaliteit, submodaliteit, kleuring, anatomische regio en acquisitiecontext.
Vraagconstructie: In plaats van generieke benchmarkvragen te hergebruiken, genereerde het team metadata-geconditioneerde vraagtemplates. Deze werden geïnstantieerd in conceptvragen gericht op klinisch relevante attributen en werden vervolgens verfijnd door experts om te waarborgen dat ze geworteld zijn in pixel-niveau visuele inhoud, waarbij ziektenamen of klinische uitkomsten zoveel mogelijk werden vermeden.
Taakformulering: De benchmark ondersteunt vier kernperceptietaken, elk met open en gesloten (multiple-choice) varianten:
- Ongegronde classificatie: Voorspellen van labels op basis van de gehele afbeelding.
- Gegronde classificatie (detectie): Voorspellen van labels voor inhoud binnen bounding boxes.
- Gegronde classificatie (segmentatie): Voorspellen van labels voor inhoud binnen segmentatiemaskers.
- Objectdetectie: Voorspellen van bounding boxes voor doelklassen.

Belangrijkste Bijdragen

De MMBU Benchmark: MMBU is de grootste biomedische VLM-benchmark tot nu toe, bestaande uit 410 gecureerde datasets die 11 unieke modaliteiten (35 submodaliteiten), 27 medische domeinen, 20 verschillende specimen types en 95 regio's van belang beslaan. Het bevat ongeveer 78.000 datapunten met rijke, gestructureerde annotaties.
Systematisch Evaluatiekader: De benchmark maakt het mogelijk om modellen te evalueren over diverse assen (taken, modaliteiten, instituten) om robuustheid en generalisatie te beoordelen buiten veelgebruikte datasets.
Uitgebreide Modèlevaluatie: De auteurs evalueerden 17 VLMs, waaronder 15 open-weight modellen (variërend van 3B tot 32B parameters) en 2 frontier-modellen (GPT-4.1-mini, GPT-5.4-mini). Deze set bevat zowel basismodellen als hun medisch aangepaste tegenhangers (bijv. LLaVA-Med, MedGemma, OctoMed, Lingshu) om de impact van biomedische fine-tuning te isoleren.

Resultaten

Evaluaties over de 17 modellen onthullen hardnekkige zwakheden in huidige biomedische VLMs:

Lage Absolute Prestaties: De algemene F1-scores zijn laag. Het beste resultaat in gesloten formaat (Qwen2.5-VL-32B op gegronde classificatie vanuit segmentatie) bereikte 0,693, maar de meeste scores vielen onder de drempel van 0,5.
Afhankelijkheid van Antwoordopties: Er bestaat een aanzienlijk prestatieverschil tussen closed-ended en open-ended VQA (gemiddelde $\Delta$ F1 van 0,26 voor classificatie). Dit suggereert dat modellen sterk vertrouwen op antwoordopties in plaats van op echte visuele begripsvorming.
Falen in Ruimtelijk Redeneren: Objectdetectie blijft een kritiek faalpunt. Geen enkele VLM overtrof de random baseline (F1 = 0,172) in de gesloten setting, en de prestaties in de open setting waren nabij nul. Modellen kunnen objecten binnen boxen classificeren, maar falen bij het lokaliseren ervan.
Beperkte Impact van Medische Adaptatie: Medisch aangepaste modellen presteerden niet uniform beter dan hun basisversies. Hoewel sommige modellen (bijv. MedGemma-4B, OctoMed-7B) bescheiden winst lieten zien, presteerden anderen (bijv. LLaVA-Med-7B) slechter dan hun basisversies.
Slechte Cross-Dataset Generalisatie: Modellen die excelleerden op legacy benchmarks (PathVQA, VQA-RAD, SLAKE) faalden vaak bij het generaliseren naar MMBU. Adaptatiestrategieën leken te optimaliseren voor specifieke, veelgebruikte datasets in plaats van voor brede biomedische perceptie.
Variantie in Modaliteit en Submodaliteit: De prestaties varieerden aanzienlijk per modaliteit. Medische adaptatie leverde geen uniforme verbeteringen op; winst was geconcentreerd in specifieke submodaliteiten (bijv. Near-Infrared Imaging, Phase Contrast Microscopy), terwijl andere uitdagend bleven.

Betekenis en Claims

Het artikel stelt dat MMBU fundamentele beperkingen blootlegt in de perceptuele capaciteiten van huidige biomedische VLMs, specifelijk met betrekking tot ruimtelijk redeneren, fijnmazig visueel begrip en domeingeneralisatie. De auteurs beargumenteren dat een hoge nauwkeurigheid op gevestigde benchmarks vaak deze tekortkomingen maskeert vanwege datacontaminatie en een smalle reikwijdte.

Door een massieve, diverse en metadata-rijke evaluatiesuite te bieden, dient MMBU als een striktere proxy voor de echte wereld van biomedische perceptie. De resultaten suggereren dat het simpelweg vergroten van de modelgrootte of het toepassen van standaard medische fine-tuning onvoldoende is voor het bereiken van robuuste biomedische VLMs. De benchmark benadrukt de noodzaak voor toekomstig werk gericht op sterker ruimtelijk modelleren, verbeterde perceptiemechanismen en adaptatiestrategieën die generaliseren buiten de momenteel gevestigde datasets. De auteurs stellen MMBU beschikbaar om systematische, grootschalige evaluatie te faciliteren en de ontwikkeling van betrouwbaardere modellen te ondersteunen.