A Comparative Study in Surgical AI: Datasets, Foundation Models, and Barriers to Med-AGI

Dit artikel toont aan dat zelfs geavanceerde Vision Language-modellen uit 2026, ondanks schaling van parameters en data, tekortschieten in de detectie van neurochirurgische instrumenten, wat suggereert dat fundamentele obstakels voor Med-AGI niet uitsluitend door meer rekenkracht kunnen worden opgelost.

De kern

Samenvatting: Waarom de slimste AI nog niet kan opereren (en wat we in plaats daarvan nodig hebben)

Stel je voor dat je een superintelligente robot bouwt die alles kan zien en begrijpen, van de sterrenhemel tot de diepste geheimen van de menselijke taal. Je noemt hem "Med-AGI": een medische super-intelligentie die elke operatie kan uitvoeren. Maar als je deze robot in een operatiekamer zet, met een camera die kijkt naar een hersenoperatie, gebeurt er iets vreemds: hij raakt volledig in de war. Hij ziet een zuigbuis en denkt dat het een schaar is. Hij ziet een gaasje en denkt dat het een boor is.

Dit is precies wat deze nieuwe studie ontdekt. De onderzoekers hebben gekeken of de allermodernste kunstmatige intelligentie (AI) van 2026 al klaar is om chirurgen te helpen. Het antwoord is een koudwatervrees: Nee, nog niet.

Hier is de uitleg, vertaald naar alledaagse taal met een paar leuke vergelijkingen.

1. De "Alleskunner" vs. De "Specialist"

De wetenschap is de afgelopen jaren gefascineerd door het idee van "Schalen". De theorie is simpel: als je een AI-model groter maakt (meer "hersenen" of parameters) en je meer data geeft, wordt hij automatisch slimmer in alles. Het is alsof je denkt: "Als ik een student genoeg boeken laat lezen, kan hij vanzelf ook auto's repareren."

De onderzoekers hebben 19 van deze gigantische AI-modellen getest (modellen met tot wel 235 miljard "neuronen"). Ze vroegen ze om chirurgische instrumenten te herkennen in video's van hersenoperaties.

• Het resultaat: De modellen presteerden nauwelijks beter dan een gok. Ze deden het net zo slecht als iemand die blindelings altijd het meest voorkomende antwoord zou kiezen.
• De metafoor: Het is alsof je een wereldberoemde professor in de geschiedenis vraagt om een motorfiets te repareren. Hij kent de geschiedenis van de uitvinding van de motorfiets uit zijn hoofd, maar als hij de sleutel in de hand krijgt, weet hij niet waar hij moet beginnen. De "algemene kennis" helpt niet bij het specifieke, fysieke werk.

2. Het probleem met de "Grote Broer"

De onderzoekers probeerden het model te "fijnstellen" (fine-tuning). Ze gaven de AI duizenden voorbeelden van operaties om te leren.

• Wat er gebeurde: De AI leerde het uit zijn hoofd, maar zodra ze een nieuwe operatie toonden (een andere patiënt, een andere chirurg), faalde hij weer.
• De analogie: Stel je voor dat je een kind leert een specifieke puzzel te leggen. Het kind leert de puzzel uit zijn hoofd. Maar als je de puzzel een beetje anders legt (een andere hoek, een ander licht), weet het kind niet meer wat hij moet doen. De AI heeft de "regels" niet echt begrepen, hij heeft ze alleen maar uit het hoofd geleerd.

3. De verrassende winnaar: De kleine, slimme robot

Terwijl de gigantische, dure AI-modellen faalden, deed een heel klein, speciaal ontworpen computerprogramma het wonderbaarlijk goed.

• De vergelijking: Stel je voor dat je een gigantische, dure vrachtwagen (de grote AI) probeert te gebruiken om een kleine postbus te bezorgen. Het is zwaar, traag en inefficiënt. Vervang die vrachtwagen dan door een slimme, snelle bezorgfiets (het kleine model, genaamd YOLO).
• Het resultaat: De "fiets" (het kleine model) was 1000 keer sneller, gebruikte 1000 keer minder energie en maakte minder fouten dan de gigantische vrachtwagen.

4. Waarom lukt het niet? (De "Kennis" vs. "Ervaring")

De paper stelt een belangrijke vraag: Waarom kunnen deze AI's wel een gedicht schrijven over een operatie, maar niet zien wat er gebeurt?

• De "Polanyi's Paradox": Dit is een filosofisch idee dat zegt: "We weten meer dan we kunnen uitleggen." Een neurochirurg heeft 7 jaar lang in de praktijk geleerd. Hij voelt de weerstand van het weefsel, ziet de subtiele kleurenveranderingen en hoort het geluid van de instrumenten. Dit is "stille kennis" (tacit knowledge).
• De AI's zijn getraind op tekst en video, maar ze missen die fysieke ervaring. Het is alsof je iemand leert zwemmen door alleen boeken te lezen over water. Hij weet de theorie, maar zakt als hij het water in gaat.

5. De oplossing: Geen grotere AI, maar betere samenwerking

De conclusie van de paper is niet dat AI nutteloos is, maar dat we de aanpak moeten veranderen.

• De nieuwe visie: In plaats van één gigantische "God-machine" te bouwen die alles moet kunnen, moeten we een systeem maken.
  • De grote AI (de "Manager") kan vragen beantwoorden, plannen maken en uitleggen wat er gebeurt.
  • De kleine, gespecialiseerde AI (de "Vakman") kijkt naar de camera en zegt precies: "Hier is een zuigbuis, hier is een schaar."
• De metafoor: Een groot ziekenhuis heeft een directeur (de grote AI) die het overzicht heeft, maar de operatie wordt gedaan door de specialisten (de kleine AI's) die hun eigen vak perfect beheersen.

Wat betekent dit voor de toekomst?

De paper zegt dat we niet hoeven te wachten tot de AI's nog groter worden. Het probleem is niet dat we niet genoeg rekenkracht hebben; het probleem is dat we niet genoeg goede, gespecialiseerde data hebben.

We hebben duizenden operatievideo's nodig die perfect zijn gelabeld door experts, zodat we die kleine, slimme "vakmensen" kunnen trainen. Zolang we dat niet hebben, zal de "Med-AGI" (de medische super-intelligentie) nog even op zich laten wachten.

Kortom: We proberen nu een Ferrari te bouwen om een postbus te bezorgen. De oplossing is niet om de Ferrari groter te maken, maar om een slimme, snelle scooter te bouwen die precies weet wat hij moet doen.

Technische samenvatting

Titel: Een Comparatieve Studie in Chirurgische AI: Datasets, Foundation Models en Barrières voor Med-AGI

Datum: 27 maart 2026 (Preprint)
Auteurs: Kirill Skobelev et al. (Center for Applied AI, Chicago Booth & Surgical Data Science Collective)

---

1. Het Probleem

Hoewel kunstmatige intelligentie (AI) modellen in diverse biomedische taken menselijke experts hebben ingehaald of geëvenaard, blijven ze achter bij benchmarks voor chirurgische beeldanalyse. Chirurgie vereist de integratie van diverse taken, waaronder multimodale data-integratie, menselijke interactie en fysieke effecten.

De huidige heersende hypothese in AI is "scaling" (het vergroten van modelgrootte en trainingsdata). Echter, het voorbereiden van chirurgische data vereist een hoog niveau van professionele expertise, en het trainen op deze data is computatierijk. De auteurs onderzoeken of moderne Vision-Language Models (VLMs) en de "scaling law" voldoende zijn om Med-AGI (Medische Algemene Kunstmatige Intelligentie) te realiseren, specifiek voor de taak van chirurgische instrumentdetectie in neurochirurgie.

2. Methodologie

De studie gebruikt het SDSC-EEA-dataset, een uniek dataset bestaande uit 67.634 geannoteerde frames uit endoscopische endonasale benaderingsprocedures (EEA) voor neurochirurgie. Het dataset bevat 31 verschillende instrumentklassen. De data is opgesplitst op procedure-niveau (niet op frame-niveau) om data-lekkage te voorkomen: 53 procedures voor training en 13 voor validatie.

De auteurs voerden vijf experimenten uit:

1. Zero-shot Evaluatie: Evaluatie van 19 open-weight Vision-Language Models (VLMs) van verschillende families (Qwen, Gemma, Llama, LLaVA) met parametergroottes variërend van 2B tot 235B. De modellen kregen de opdracht om instrumenten te detecteren zonder specifieke training op het dataset.
2. LoRA Fine-tuning (JSON): Fine-tuning van Gemma 3 27B met Low-Rank Adaptation (LoRA) om gestructureerde JSON-outputs te genereren.
3. LoRA Fine-tuning (Classificatiekop): Vervanging van de generatieve JSON-taak door een gespecialiseerde lineaire classificatiekop voor multi-label detectie.
4. Scaling Experiment: Een "rank sweep" waarbij de LoRA-rank werd verhoogd van 2 tot 1024 (een toename van trainbare parameters met drie ordes van grootte) om te testen of meer capaciteit generalisatie verbetert.
5. Specialized Baseline: Training van YOLOv12-m, een gespecialiseerd objectdetectiemodel met slechts 26M parameters, voor directe vergelijking.

De evaluatiemetrics omvatten Exact Match Accuracy (strikt: het voorspelde set moet exact overeenkomen met de ground truth), Jaccard-similitude, en per-tool precisie/recall.

3. Belangrijkste Resultaten

• Zero-shot Falen: Geen enkel van de 19 geteste VLMs (inclusief de grootste 235B-parameter modellen) slaagde erin om de trivialiteit van de meerderheidsklasse-baseline (13,4%) op de validatieset te overtreffen. Zelfs de beste modellen scoorden rond de 14-15%, wat aangeeft dat algemene benchmarks (zoals MMBench) niet vertalen naar chirurgische perceptie.
• Fine-tuning Verbetering, maar geen Generalisatie:
  • Fine-tuning met JSON-generatie verhoogde de nauwkeurigheid naar 47,63%.
  • Fine-tuning met een classificatiekop bereikte 51,08% exact match accuracy.
  • Ondanks deze verbeteringen bleef er een groot gat tussen trainingsnauwkeurigheid en validatienauwkeurigheid, wat wijst op beperkte generalisatie naar nieuwe procedures.
• Scaling Lost het Probleem niet op: Het vergroten van de LoRA-rank (en dus de capaciteit) met drie ordes van grootte (van 4,7M naar 2,4B trainbare parameters) liet de trainingsnauwkeurigheid stijgen naar 98,6%, maar de validatienauwkeurigheid bleef onder de 40%. Dit bewijst dat het probleem niet gebrek aan rekenkracht of modelcapaciteit is, maar een fundamentele distributieverandering (distribution shift) tussen trainings- en validatieprocedures.
• Specialized Models Winnen: Het kleine, gespecialiseerde model YOLOv12-m (26M parameters, 1000x kleiner dan de beste VLM) behaalde 54,73% exact match accuracy. Dit model presteerde beter dan alle VLM-gebaseerde methoden, ondanks het gebruik van minder trainingsdata en geen generatieve complexiteit.
• Validatie op CholecT50: Dezelfde patronen werden gerepliceerd op het CholecT50-dataset (laparoscopische cholecystectomie), wat aantoont dat de bevindingen breed toepasbaar zijn over verschillende chirurgische domeinen.

4. Kernbijdragen en Conclusies

1. De "Scaling Hypothesis" is ontoereikend voor chirurgische perceptie: Het simpelweg vergroten van modelgrootte en trainingsdata lost de problemen in chirurgische AI niet op. De prestaties van grote foundation models stagneren ver onder menselijk niveau op specifieke visuele taken.
2. Data is de Bottleneck, niet het Model: De belangrijkste beperking is de beschikbaarheid van hoogwaardige, gespecialiseerde chirurgische data met consistente annotaties, niet de schaal van de AI-architectuur.
3. Hybride Architecturen zijn noodzakelijk: De auteurs stellen voor om VLMs te gebruiken als "orkestrators" die gespecialiseerde perceptiemodules (zoals YOLO of CNNs) delegeren voor specifieke subtaken, in plaats van te streven naar end-to-end generalistische modellen.
4. Community-gedreven Data: Er is een dringende behoefte aan gemeenschapsinitiatieven (zoals de Surgical Data Science Collective) om data te defragmenteren, standaarden te stellen en grote, gestandaardiseerde datasets te creëren die variatie in procedures, instellingen en patiëntenpopulaties vastleggen.

5. Significance (Betekenis)

Deze paper biedt een realiteitscheck voor de hype rond Med-AGI. Het toont aan dat voor kritieke chirurgische toepassingen, waar nauwkeurigheid levensbelangrijk is, "generalist" foundation models momenteel falen in basisperceptie. De weg naar betrouwbare chirurgische AI ligt niet in het trainen van grotere modellen op meer data, maar in het ontwikkelen van gespecialiseerde, efficiënte modellen ondersteund door hoogwaardige, gestandaardiseerde datasets en hybride systemen. Dit verandert de focus van pure rekenkracht naar data-kwaliteit en domeinspecifieke architectuur.