SUREON: A Benchmark and Vision-Language-Model for Surgical Reasoning

Dit paper introduceert SUREON, een groot schaalbaar dataset en twee gespecialiseerde vision-language-modellen die chirurgische redeneervaardigheden verbeteren door gebruik te maken van narraties uit academische video's om vragen over veiligheidsbeoordeling, beslissingsrationalisatie en voorspelling te beantwoorden.

De kern

Stel je voor dat je een chirurg bent die een complexe operatie uitvoert. Je ziet niet alleen wat er gebeurt (een mes snijdt, een tang grijpt), maar je begrijpt ook waarom het gebeurt, wat de risico's zijn en wat er als volgende gaat gebeuren. Je denkt mee met de operatie.

Tot nu toe konden computers (kunstmatige intelligentie) alleen kijken en zeggen: "Ah, daar is een tang." Ze konden niet denken als een chirurg. Ze misten de "waarom" en de "wat als".

Dit paper introduceert SUREON, een nieuw systeem dat computers leert om niet alleen te kijken, maar ook te redeneren over chirurgie. Hier is hoe ze dat gedaan hebben, vertaald naar alledaagse taal:

1. Het Probleem: De "Stomme" Camera

Vroeger werden chirurgische AI's getraind met heel strakke labels, zoals "fase 1: galblaas verwijderen" of "fase 2: hechting". Dit is als een kind dat leert te tellen met vingers, maar niet begrijpt wat getallen betekenen. De AI zag de actie, maar snapte de intentie niet. Ze konden niet zeggen: "De chirurg snijdt hier voorzichtig omdat er een bloedvat vlakbij zit."

2. De Oplossing: De "Gouden Vink" (De Docent)

De onderzoekers hadden een briljant idee. In plaats van zelf duizenden labels te gaan schrijven (wat onmogelijk is), keken ze naar opnames van chirurgische lezingen.

• De Analogie: Stel je voor dat je een meesterkok bent die een kookshow geeft. Hij zegt niet alleen "Ik snijd nu de ui", maar hij legt uit: "Ik snijd deze ui zo dun omdat hij anders te snel gaart en de saus bitter wordt."
• De Data: De onderzoekers namen deze uitleggen (de "narratieven") en koppelde ze aan de beelden. Ze bouwden een slim systeem met verschillende "AI-assistenten" (agents) die deze uitleggen omzetten in vragen en antwoorden.
  • Vraag: "Waarom heeft de chirurg dit bloedvat doorgeknipt?"
  • Antwoord (gebaseerd op de uitleg): "Omdat de lymfeklier te groot was en het vat niet veilig te redden was zonder de tumor te laten achter."

Dit resulteerde in SUREON: een gigantische database van 200.000 vragen en antwoorden, gedekt door 12 soorten denkprocessen (van "wat zie ik?" tot "wat is de veiligste stap?").

3. De Training: Van Leerling tot Meester

Ze trainden twee modellen, gebaseerd op een bestaand slim model (Qwen3-VL):

• Model 1: De Slimme Leerling (SureonVLM)
  Dit model leerde door duizenden voorbeelden te bestuderen. Het werd getraind op de vragen en antwoorden uit de lezingen. Het leerde de taal van de chirurg en hoe ze naar beelden kijken. Het werd een expert in het beantwoorden van vragen over operaties.

• Model 2: De Denker (SureonVLM-R1)
  Dit is de echte doorbraak. Dit model kreeg niet alleen antwoorden, maar werd ook aangespoord om te denken voordat het antwoordde.

  • De Analogie: Stel je voor dat je een wiskundetoets maakt. De eerste leerling schrijft direct het antwoord op. De tweede leerling schrijft eerst: "Oké, ik zie hier een driehoek, de hoek is 90 graden, dus ik moet de stelling van Pythagoras gebruiken..." en schrijft dan pas het antwoord.
  • Het model kreeg een beloningssysteem (Reinforcement Learning) dat beloofde: "Goed gedaan als je eerst je redenering uitlegt en dan het juiste antwoord geeft." Hierdoor begon het model te "nadenken" in tekst (zogenaamde 'Chain of Thought'), net als een menselijke chirurg die zijn stappen overdenkt.

4. De Resultaten: Waarom is dit belangrijk?

Ze testten hun modellen tegen de beste commerciële AI's ter wereld (zoals GPT-5 en Gemini).

• De Uitslag: Hun kleine model (8 miljard parameters) deed het veel beter dan de enorme, dure modellen van de grote tech-bedrijven op het gebied van chirurgie.
• Veiligheid: Waar de grote AI's vaak faalden bij vragen over veiligheid ("Is dit een veilig moment om te snijden?"), scoorde hun model bijna perfect.
• Begrijpelijkheid: Omdat het model zijn gedachten uitschreef, konden artsen zien waarom het een bepaald antwoord gaf. Dit is cruciaal in de geneeskunde; je wilt niet dat een computer een beslissing neemt zonder dat je weet hoe hij daar aan kwam.

Samenvattend

De onderzoekers hebben bewezen dat je AI's niet hoeft te dwingen om alles zelf te leren door miljoenen labels te maken. Als je ze gewoon laat luisteren naar hoe experts hun vak uitleggen (in lezingen en video's), en ze de ruimte geeft om te redeneren in plaats van alleen te kijken, dan worden ze tot echte chirurgische assistenten.

Het is alsof je een robot niet alleen leert kijken, maar hem ook een boekje geeft waarin een meester-chirurg uitlegt waarom hij doet wat hij doet. En dat werkt.

Technische samenvatting

Probleemstelling

Huidige systemen voor chirurgische kunstmatige intelligentie (AI) zijn voornamelijk gericht op waarnemingstaken (perceptie), zoals het herkennen van instrumenten, anatomische structuren, operatiefasen en acties. Deze systemen worden getraind met vaste annotatie-ontologieën die beperkt zijn tot vooraf gedefinieerde categorieën. Hierdoor ontbreekt het hen aan het vermogen om te redeneren over:

• Waarom een bepaalde manoeuvre wordt uitgevoerd (klinische intentie).
• Welke risico's een handeling met zich meebrengt (veiligheid).
• Wat er als volgende zou moeten gebeuren (voorspelling).
• Het geven van interpreteerbare uitleg in natuurlijke taal.

Hoewel er veel narratieve chirurgische video's bestaan waarin experts hun redenering, intenties en anticipaties uitleggen (voor onderwijsdoeleinden), worden deze data tot nu toe niet effectief benut omdat ze ongestructureerd en "ruisig" zijn voor traditionele supervisie.

Methodologie

De auteurs introduceren SUREON, een grootschalige dataset en benchmark voor chirurgisch redeneren, afgeleid van publieke, door experts genarrateerde chirurgische lezingen.

1. Data Curation Pipeline (SUREON Dataset)

Om de ongestructureerde narraties om te zetten in trainingsdata, gebruiken ze een multi-agent systeem:

• Semantic Grounding Moments (SGMs): Het systeem identificeert momenten in de transcriptie waar de narratie expliciet visuele elementen, acties of redeneringen koppelt aan het beeldmateriaal.
• Multi-Agent Framework: Speciale "generator"-agents (gebaseerd op GPT-5) analyseren de transcripties om SGMs te vinden en genereren gestructureerde vraag-antwoordparen. "Validator"-agents filteren deze data om hallucinaties te voorkomen en te garanderen dat de vragen en antwoorden correct zijn verankerd in de transcriptie en het bijbehorende videofragment.
• Taxonomie: De dataset omvat 12 vraagtypen die zijn onderverdeeld in:
  • Perceptie: Entiteitsexistentie, attributen, lokalisatie, instrument-actie interactie, en actiebeschrijving.
  • Redenering & Temporeel: Actiebeschrijving (hoog niveau), lokale actie-redenering, beslissingsredenering, sequentiessamenvatting, temporele ordening, voorspelling (forecasting), en identificatie van veiligheidspraktijken.
• Schaal: De dataset bevat 206.8k QA-paren afgeleid van 134.7k videoclips over 170 verschillende procedures. Er is ook een expert-gevalideerde benchmark van 354 voorbeelden voor evaluatie.

2. Model Architectuur en Training

De auteurs passen het Vision-Language Model Qwen3-VL (8B parameters) aan voor het chirurgische domein via twee fasen:

• Fase 1: Supervised Fine-Tuning (SFT)

  • Een progressieve 3-staps training waarbij verschillende modules sequentieel worden bijgewerkt (MLP-projectie, visuele encoder, en LLM).
  • De training gebruikt een gemengde dataset: 30% SUREON-clips, 50% afbeeldingen van standaard datasets, en 20% video's van standaard datasets.
  • Dit resulteert in het model SureonVLM, dat gespecialiseerd is in het beantwoorden van vragen over chirurgie.

• Fase 2: Reinforcement Learning (RL) met GRPO

  • Het model wordt verder geoptimaliseerd met Group Relative Policy Optimization (GRPO).
  • Het doel is om coherentere multi-stap redeneertrajecten te stimuleren en de interpretatie van de gegenereerde uitleg te verbeteren.
  • Het model genereert expliciete "Chain-of-Thought" (CoT) redeneringen (denk-tokens) voordat het het antwoord geeft.
  • De beloning (reward) is gebaseerd op: juistheid van het antwoord, naleving van het formaat, en specifieke redeneringskwaliteit (bijv. correcte volgorde bij temporele vragen).
  • Dit resulteert in SureonVLM-R1.

Belangrijkste Resultaten

De prestaties zijn geëvalueerd op de SUREON-benchmark en standaard chirurgische datasets.

• Prestaties op SUREON Benchmark:

  • SureonVLM en SureonVLM-R1 behalen een gemiddelde nauwkeurigheid van respectievelijk 85% en 84% in multiple-choice settings.
  • Dit is een aanzienlijke verbetering ten opzichte van de basis Qwen3-VL (66%) en grote commerciële modellen zoals GPT-5.1 (68%) en Gemini 3.1 Pro (60%).
  • Vooral op kritieke veiligheidsgebieden (Safety Practice Identification) en beslissingsredenering (Decision Reasoning) presteren de modellen extreem goed (92-100% nauwkeurigheid), terwijl commerciële modellen hier vaak falen (<62%).
  • Hoewel SureonVLM-R1 iets lager scoort op open-ended vragen dan SureonVLM (door de focus op multiple-choice tijdens de RL-fase), biedt het model interpreteerbare redeneertraces die inzicht geven in de klinische logica.

• Generalisatie naar Standaard Taken:

  • De modellen presteren ook superieur op standaard chirurgische taken zoals faseherkenning, actieherkenning en tool-detectie op datasets zoals Cholec80 en HeiChole. Dit bewijst dat de training voor redenering niet ten koste gaat van de fundamentele waarnemingsvaardigheden.

• Kwalitatieve Analyse:

  • SureonVLM-R1 toont het vermogen om visuele cues te koppelen aan klinische betekenis. Bijvoorbeeld: het herkennen dat een instrument "koude schaar" is door het ontbreken van cauterisatievonken, of het begrijpen dat een bloedvat moet worden opgeofferd vanwege een vergrote lymfeklier die veilig moet worden verwijderd.

Bijdragen en Significantie

1. Nieuwe Paradigma voor Data: Het paper toont aan dat narratieve lezingen (die vaak als "ruisig" worden beschouwd) een rijke bron zijn voor het trainen van redeneervermogen in AI, zonder dat er dure, handmatige annotaties nodig zijn.
2. SUREON Dataset: De introductie van de eerste grootschalige dataset die specifiek is ontworpen voor chirurgisch redeneren, met 12 verschillende vraagtypen die veiligheid, intentie en voorspelling dekken.
3. Interpreteerbare Chirurgische AI: SureonVLM-R1 demonstreert dat het mogelijk is om modellen te trainen die niet alleen het "wat" zien, maar ook het "waarom" kunnen uitleggen via expliciete denkprocessen. Dit is cruciaal voor de toepasbaarheid van AI in veilige, klinische omgevingen.
4. Superioriteit van Domeinspecifieke Training: Het bewijst dat een kleiner, domeinspecifiek model (8B parameters) dat is getraind op chirurgische redenering, grote, algemene modellen (zoals GPT-5) overtreft in kritieke chirurgische taken.

Conclusie:
De beperking in chirurgische AI lag niet in de modellen, maar in de beschikbaarheid van data die expliciet chirurgisch redeneren encodeert. SUREON en het bijbehorende model vullen deze kloof en zetten de standaard voor de volgende generatie interpreteerbare en veilige chirurgische assistenten.