MedScope: A Lightweight Benchmark of Open-Source Large Language Models for Medical Question Answering

Dit paper introduceert MedScope, een lichtgewicht benchmarkkader dat zes open-source grote taalmodellen systematisch evalueert op medische meerkeuzevragen door niet alleen nauwkeurigheid, maar ook efficiëntie, consistentie en foutpatronen te analyseren, en concludeert dat hoewel deze modellen waardevolle baselines bieden, ze nog niet geschikt zijn voor onbeheerde inzet in hoog-risico zorgscenario's.

De kern

🏥 MedScope: De "Testrit" voor Kleine Medische Robots

Stel je voor dat er een nieuwe generatie slimme robots is die alles over geneeskunde lijken te weten. De grote, dure robots (de "topmodellen" van bedrijven als Google of Microsoft) zijn al lang bekend en doen het goed. Maar wat zit er in de kofferbak van de kleine, open-source robots? Die zijn goedkoper, kunnen lokaal werken (zonder internet) en zijn transparant.

De auteurs van dit artikel, Rui Bian en Weihao Cheng, wilden weten: Zijn deze kleine robots ook echt slim genoeg om medische vragen te beantwoorden, of zijn ze alleen maar aardige proefkonijnen?

Om dit uit te zoeken, hebben ze MedScope bedacht. Denk aan MedScope niet als een strenge examencommissie, maar als een uitgebreide testrit voor auto's.

🚗 De Testrit: Wat hebben ze gedaan?

In plaats van de hele wereld van geneeskunde te testen (wat te veel tijd en geld zou kosten), hebben ze een stapeltje van 1.000 vragen uit een groot medisch examen (MedMCQA) gehaald. Het is alsof ze 1.000 willekeurige bochten en hellingen hebben geselecteerd om te zien hoe de auto's zich gedragen.

Ze hebben zes verschillende kleine modellen getest. Je kunt deze zien als zes verschillende auto-modellen van bekende merken:

• LLaMA (zoals een degelijke, maar soms wat trage stationwagen).
• Qwen (zoals een snelle, zuinige stadsauto).
• Gemma (zoals een sportieve hatchback).

Elk model kwam in twee maten: een heel klein exemplaar en een iets groter exemplaar.

📊 De Meetresultaten: Niet alleen de snelheid

Bij een gewone auto-test kijken mensen vaak alleen naar de topsnelheid (de nauwkeurigheid). Maar MedScope kijkt naar veel meer, net als een slimme testrijder:

1. De Topsnelheid (Nauwkeurigheid): Hoe vaak gaf de robot het juiste antwoord?
2. Het Brandverbruik (Snelheid/Efficiëntie): Hoe lang duurde het voordat het antwoord er was? Was het direct of moest je wachten?
3. De Standaard (Betrouwbaarheid): Gaf de robot soms rare antwoorden die niet bestonden (zoals "Antwoord E" terwijl er maar A, B, C en D waren)?
4. De Rijstijl (Consistentie): Was de robot overal even goed in, of was hij een meester in "Huidziekten" maar een ramp in "Hartziekten"?

🏆 Wat bleek eruit? De verrassingen

De resultaten waren niet eenduidig. Het was alsof je een race ziet tussen een Ferrari, een Volvo en een elektrische scooter.

• De "Krachtpatser" (LLaMA 3B): Deze auto had de meeste kracht en gaf het vaakst het juiste antwoord. Maar hij was traag en gaf soms rare, onbegrijpelijke antwoorden. Hij was als een sterke atleet die soms struikelt.
• De "Zuine Snelle" (Qwen): Deze modellen waren ontzettend snel. Ze gaven binnen een flits een antwoord. Ze waren niet altijd het allerbeste, maar ze waren betrouwbaar en deden nooit rare dingen. Perfect voor situaties waar snelheid telt.
• De "Balansmeester" (Gemma): Deze modellen zaten ergens in het midden. Ze waren snel, gaven nooit rare antwoorden en hadden een goede balans tussen snelheid en kwaliteit.

🧩 De Diepere Les: Geen enkele auto is perfect

De belangrijkste ontdekking van het artikel is dit: Er is geen enkele "beste" robot.

• Als je snelheid nodig hebt (bijvoorbeeld in een drukke kliniek), kies je voor de Qwen-modellen.
• Als je precisie nodig hebt en tijd hebt om te wachten, kies je voor de grotere LLaMA-modellen.
• Maar... geen enkele robot is klaar om alleen te werken.

De auteurs waarschuwen: Hoewel deze kleine robots handig zijn voor onderzoek en educatie, zijn ze nog niet slim genoeg om als arts te werken. Ze maken fouten, en die fouten zijn niet gelijk verdeeld. Soms zijn ze heel goed in één vakgebied (zoals dermatologie) en heel slecht in een ander (zoals neurologie).

💡 De Conclusie in Eén Zin

MedScope laat zien dat we de kleine, open-source medische robots niet moeten zien als de "nieuwe dokter", maar als handige hulpmiddelen die we moeten testen op hun sterke en zwakke punten voordat we ze in het echt gebruiken.

Het is alsof je een nieuwe, goedkope drone koopt om medicijnen te bezorgen. Hij vliegt misschien snel en is goedkoop, maar als hij soms de verkeerde straat in vliegt, moet je dat eerst weten voordat je hem echt in de lucht laat vliegen. MedScope is de testvlucht die ons dat laat zien.

Technische samenvatting

Probleemstelling

Hoewel er veel aandacht is voor de prestaties van geavanceerde, gesloten (proprietary) Large Language Models (LLMs) in de gezondheidszorg, blijft het empirische begrip van lichtgewicht open-source LLMs in medische settings beperkt. Bestaande benchmarks focussen vaak op:

1. Enkel de grootste of proprietary modellen.
2. Eén enkele prestatie-indicator (zoals totale nauwkeurigheid), zonder inzicht te geven in efficiëntie, consistentie, of prestaties per medisch specialisme.
3. Het gebrek aan reproduceerbare, lokaal uitvoerbare experimenten die geschikt zijn voor resource-beperkte omgevingen.

Dit creëert een kennislacune: het is onduidelijk of kleinere, open-source modellen betrouwbaar kunnen worden ingezet als transparante baselines voor medische AI, en hoe ze zich verhouden tot efficiëntie en stabiliteit.

Methodologie: MedScope

De auteurs introduceren MedScope, een lichtgewicht benchmarkkader voor het systematisch evalueren van open-source LLMs op medische meerkeuzevragen.

• Dataset: Er werd een subset van 1.000 vragen gebruikt, willekeurig gesampled uit de MedMCQA-dataset (een grote dataset van Indiase medische toelatingsexamens met 21 medische specialismen).
• Geëvalueerde Modellen: Zes lichtgewicht open-source modellen uit drie representatieve families werden getest:
  • LLaMA: llama3.2:1b, llama3.2:3b
  • Qwen: qwen2.5:1.5b, qwen2.5:3b
  • Gemma: gemma3:1b, gemma3:4b
• Experimentele Opstelling: Alle experimenten werden lokaal uitgevoerd op macOS via de Ollama-runtime om een consistente hardware- en softwareomgeving te garanderen.
• Prompting: Een uniforme prompt-template werd gebruikt waarbij modellen werden gevraagd om alleen een antwoord (A, B, C of D) te genereren. Een regelgebaseerde post-processing stap extraheerde het antwoord; niet-conforme output werd als "ongeldig" gemarkeerd.
• Evaluatiemetrics: Naast de standaard nauwkeurigheid (Accuracy) en macro-F1, introduceerde MedScope:
  • Invalid Response Rate: Percentage van antwoorden dat niet kon worden gemapt naar een geldig antwoord.
  • Inference Efficiency: Gemiddelde inferentie-tijd per vraag.
  • Subject-wise Variability: Prestatieverschillen per medisch specialisme.
  • Inter-model Agreement: Mate van overeenstemming in beslissingspatronen tussen verschillende modellen.
• Visualisatie: Het kader maakt gebruik van geavanceerde visualisaties zoals geclusterde heatmaps, Pareto-trade-off plots, radarplots en Sankey-diagrammen om gedrag interpreteerbaar te maken.

Belangrijkste Resultaten

De resultaten tonen aanzienlijke heterogeniteit tussen modellen en families:

1. Prestatie vs. Efficiëntie Trade-off:

   • LLaMA (3b): Bereikte de hoogste totale nauwkeurigheid (27,55%), maar had de langste inferentie-tijd (0,87s/vraag) en de hoogste rate aan ongeldige antwoorden (14,7%).
   • Gemma (4b): Toonde de beste macro-F1 (20,76%) met een 0% rate aan ongeldige antwoorden, wat wijst op betere stabiliteit en balans tussen klassen.
   • Qwen (1.5b): Was veruit het snelste model (0,17s/vraag) met 0% ongeldige antwoorden, maar had een lagere nauwkeurigheid. Dit biedt een sterke efficiëntie-prestatie trade-off voor resource-beperkte scenario's.

2. Specialisme-afhankelijke Variatie:

   • Prestaties waren niet uniform verdeeld over medische specialismen. Modellen presteerden sterk verschillend per vakgebied (bijv. microbiologie vs. radiologie). Een enkel globaal gemiddelde maskeert deze belangrijke verschillen.

3. Overeenkomst en Gedragsdiversiteit:

   • Modellen binnen dezelfde familie (bijv. de twee Qwen-varianten) toonden een hogere onderlinge overeenstemming dan modellen over families heen.
   • De matige overeenstemming tussen verschillende families suggereert dat ze verschillende beslissingspatronen en fouten maken, wat potentieel waardevol is voor ensemble-methoden.

4. Foutpatronen:

   • Visualisaties (Sankey-diagrammen) toonden aan dat sommige modellen asymmetrische verwarring vertonen (bijv. een sterke neiging naar een specifiek antwoord), terwijl andere fouten meer verspreid zijn.

Belangrijkste Bijdragen

1. MedScope Framework: Een reproduceerbaar, lichtgewicht evaluatiekader specifiek ontworpen voor open-source LLMs in de medische sector, zonder afhankelijkheid van gesloten API's.
2. Multi-dimensionale Vergelijking: Een systematische vergelijking van zes modellen over drie families, die laat zien dat "grootste" niet altijd "beste" betekent als men rekening houdt met efficiëntie, validiteit en stabiliteit.
3. Interpreteerbare Analyse: Introduceert een reeks visualisaties die inzicht geven in waarom modellen falen of slagen, verder dan alleen een ranglijst op basis van nauwkeurigheid.

Betekenis en Conclusie

De studie concludeert dat lichtgewicht open-source LLMs waardevol zijn als transparante en reproduceerbare baselines voor medische AI, vooral in settings met beperkte middelen of privacy-eisen. Echter:

• Hun huidige capaciteiten zijn onvoldoende voor onafhankelijke, onbewaakte inzet in hoog-risico klinische scenario's.
• De prestaties zijn te variabel per specialisme en te afhankelijk van het specifieke model om als universele medische assistent te fungeren.
• Evaluatie moet verschuiven van één enkele score naar een multi-dimensionale benadering (nauwkeurigheid, snelheid, validiteit, en robustheid per specialisme).

De auteurs pleiten voor een voorzichtige interpretatie van deze modellen: ze zijn uitstekend voor educatieve doeleinden, lokaal onderzoek en als startpunt voor verder development, maar vereisen menselijke toezicht en verdere validatie voordat ze in de klinische praktijk kunnen worden ingezet. De code is open-source beschikbaar gesteld om reproduceerbaarheid te bevorderen.