GroundedSurg: A Multi-Procedure Benchmark for Language-Conditioned Surgical Tool Segmentation

Dit paper introduceert GroundedSurg, het eerste benchmark voor taalgeconditioneerde, instance-level chirurgische gronding dat natuurlijke taalbeschrijvingen koppelt aan specifieke instrumenten in diverse chirurgische procedures om de prestaties van vision-language-modellen in klinisch realistische situaties te evalueren.

De kern

Stel je voor dat je een chirurg bent die een complexe operatie uitvoert. In de operatiekamer liggen tientallen verschillende instrumenten: tangen, scharen, haakjes en meer. Ze lijken vaak op elkaar, maar ze hebben allemaal een heel specifieke taak.

De ene tang houdt het weefsel vast, terwijl een andere, die er precies hetzelfde uitziet, net een stukje weefsel wegsnijdt. Als een slimme robot-assistent aan de chirurg zou moeten helpen, moet die robot niet alleen kunnen zien dat er een tang is, maar ook precies weten welke tang de chirurg bedoelt.

Het probleem met de huidige robots
Tot nu toe waren de "oefenboeken" (datasets) voor deze robots heel simpel. Ze leerden de robot alleen om te zeggen: "Daar ligt een tang." Maar in de echte operatiekamer is dat niet genoeg. De robot moet kunnen begrijpen: "Pak die specifieke tang die nu het maagweefsel vasthoudt, niet die andere die in de hoek ligt."

Huidige tests vragen niet om dit niveau van detail. Het is alsof je iemand leert rijden door alleen te zeggen "rij naar het station", zonder te zeggen welke route of welke auto je moet nemen als er tien auto's staan.

De oplossing: GroundedSurg
De auteurs van dit paper hebben GroundedSurg bedacht. Dit is een nieuw, super-uitgebreid oefensysteem voor chirurgische robots.

Stel je GroundedSurg voor als een interactieve quiz voor kunstmatige intelligentie:

1. De Foto: Je krijgt een foto van een operatieveld met veel instrumenten.
2. De Vraag: Je krijgt een zin in gewone taal, zoals: "Vind de tang die nu het weefsel afsnijdt tijdens de maagoperatie."
3. De Taak: De AI moet niet alleen de tang vinden, maar ook precies aangeven welke tang het is (deze die actief snijdt, niet de andere) en een perfecte omtrek eromheen tekenen.

Wat maakt dit zo speciaal?

• Taal als sleutel: De robot moet de taal begrijpen. Het moet weten dat "de tang die snijdt" anders is dan "de tang die vasthoudt", zelfs als ze er identiek uitzien.
• Echte chaos: De foto's komen uit echte operaties (oogchirurgie, maagchirurgie, etc.). Er is veel bloed, reflecties, en instrumenten liggen vaak over elkaar heen. Het is niet zomaar een schone foto; het is de echte, rommelige realiteit.
• Precisie: De robot moet niet alleen een doosje om het instrument zetten, maar ook precies weten waar het midden van het instrument zit en hoe het eruitziet tot op het pixel-niveau.

Wat hebben ze ontdekt?
De auteurs hebben de slimste robots van vandaag (zoals de nieuwste AI-modellen van Google, Meta en andere bedrijven) op deze quiz laten testen. Het resultaat? Ze zakten allemaal.

Zelfs de aller slimste AI's hadden moeite. Ze konden soms wel een ruwe schets maken ("oh, ergens in het midden zit een tang"), maar als je vroeg om de exacte tang die aan het werk was, raakten ze in de war. Ze konden de taal niet goed koppelen aan de specifieke details in de foto.

De conclusie in het kort
Dit paper zegt eigenlijk: "We hebben een nieuwe, echte test ontwikkeld om te zien of chirurgische robots echt slim zijn. En tot nu toe zijn ze nog niet klaar voor de echte wereld."

Het is alsof we een rijexamen hebben bedekt waarbij je niet alleen moet kunnen sturen, maar ook moet begrijpen wat de passagier bedoelt als hij zegt: "Draai links bij die auto die net remt." GroundedSurg is de eerste test die dit soort complexe, taalgebaseerde taken voor chirurgische robots meet. Het is een noodkreet voor de ontwikkelaars: we moeten AI-systemen bouwen die niet alleen 'zien', maar ook 'begrijpen' en 'redeneren' in de chaos van een operatie.

Technische samenvatting

Titel en Context

Titel: GroundedSurg: Een meerprocedures-benchmark voor taalgeconditioneerde chirurgische tool-segmentatie.
Auteurs: Tajamul Ashraf et al. (KAUST, Thapar Institute, University of Queensland, Gaash Research Lab).
Doel: Het introduceren van een nieuw benchmark-dataset en evaluatiekader dat chirurgische tool-perceptie transformeert van een puur categorisch probleem naar een taalgeconditioneerde, instantie-georiënteerde taak.

---

1. Het Probleem

Traditionele benchmarks voor chirurgische tool-segmentatie focussen op categorieniveau (bijv. "detecteer alle scharen"). Hoewel dit nuttig is voor workflow-analyse, is het onvoldoende voor real-time, klinisch relevante assistentie.

• De beperking: In een operatieruimte bevinden zich vaak meerdere visueel identieke instrumenten tegelijkertijd. Een chirurg moet niet alleen het type instrument herkennen, maar specifiek het instantie identificeren dat een bepaalde rol vervult (bijv. "het instrument dat weefsel dissekeert" versus "het instrument dat terugtrekt").
• Huidige lacunes: Bestaande datasets (zoals EndoVis, CholecSeg8k) missen taalconditionering, gestructureerde ruimtelijke grounding en vermogen om tussen visueel vergelijkbare instanties te onderscheiden op basis van functionele rol of ruimtelijke relatie. Algemene vision-language benchmarks (zoals RefCOCO) zijn niet ontworpen voor de complexe, geoccludeerde en reflecterende omgeving van chirurgie.

2. Methodologie: GroundedSurg

De auteurs stellen GroundedSurg voor, het eerste benchmark dat taalgeconditioneerde, instantie-niveau chirurgische grounding mogelijk maakt.

A. Probleemformulering

De taak wordt gedefinieerd als het voorspellen van een segmentatiemasker ($\hat{M}$) voor een specifiek instrument, gegeven:

1. Een chirurgische afbeelding ($I$).
2. Een natuurlijke taalquery ($T$) die het instrument beschrijft via functionele rol, ruimtelijke relatie of anatomische interactie.
3. Gestructureerde ruimtelijke grounding-annotaties (bounding box en middelpunt) als hulpbronnen.

B. Dataset Constructie

• Omvang: ~612 chirurgische afbeeldingen met 1.071 tool-annotaties.
• Diversiteit: Dekt vier verschillende procedures: Oogheelkunde (ophthalmic), Laparoscopie, Robotchirurgie en Open chirurgie (o.a. gastrectomie, cholecystectomie, nefrectomie).
• Annotatie Protocol:
  • Elke afbeelding-query-paar is een onafhankelijke evaluatie-eenheid.
  • Grounding: Bevat pixel-level segmentatiemaskers, bounding boxes en middelpunten.
  • Taal: Queries worden gegenereerd met Qwen-2.5 VL-Instruct en vervolgens handmatig geverifieerd door clinici om semantische consistentie en afwezigheid van hallucinaties te garanderen.
• Pipeline: Afbeeldingen worden gekoppeld aan prompts, verwerkt door een Vision-Language Model (VLM) voor gestructureerde beschrijvingen, en gevalideerd door mensen voordat ze in een gestandaardiseerd JSON-formaat worden opgeslagen.

C. Evaluatie Protocol

De prestaties worden gemeten op instantieniveau met de volgende metrics:

• Region-based: Intersection over Union (IoU), mIoU, Dice-coëfficiënt.
• Localisatie: Bounding Box IoU en Normalized Distance Error (NDE) voor het middelpunt.
• Setup: Modellen worden getest in een zero-shot setting (zonder fine-tuning) waarbij VLM's gestructureerde output (box/punt) genereren die wordt geprojecteerd op een bevroren segmentatie-achterkant (zoals SAM2 of SAM3).

3. Belangrijkste Resultaten

De auteurs hebben een breed scala aan modellen getest, waaronder open-source VLM's, redenerings-gerichte modellen, medische domein-modellen en gesloten systemen (GPT-4o/5).

• Algemene prestaties: Er zijn aanzienlijke prestatie-kloven geconstateerd. Hoewel sommige modellen redelijk goed zijn in grove localisatie (IoU@0.1), daalt de nauwkeurigheid drastisch bij striktere drempels (IoU@0.3 en hoger). Dit toont aan dat precieze randuitlijning in chirurgische scènes zeer moeilijk is.
• Redenerings-gerichte modellen: Modellen zoals VisionReasoner-7B presteerden over het algemeen beter dan pure generieke VLM's. Ze toonden een hogere consistentie in ruimtelijke grounding en mask-fidelity, wat suggereert dat gestructureerd redeneren helpt bij het oplossen van ambiguïteit in overvolle scènes.
• Domein-specifieke modellen: Medische modellen (bijv. MedGemma, MedMO) presteerden niet consequent beter dan algemene modellen. Dit suggereert dat domein-pretraining alleen niet voldoende is voor instantie-level grounding zonder specifieke training op taal-ruimtelijke redenering.
• Achterkant (Backend) Sensitiviteit: De kwaliteit van het uiteindelijke masker hangt sterk af van de segmentatie-achterkant (SAM2 vs. SAM3). Modellen met betere localisatie profiteerden meer van geavanceerde mask-decoding (SAM3).
• Prompt Sensitiviteit: Algemene modellen zijn zeer gevoelig voor prompt-herformulering. Redenerings-modellen bleken robuuster tegen linguïstische variatie.

4. Bijdragen

1. Conceptuele verschuiving: Herdefiniëren van chirurgische tool-perceptie als een "grounded vision-language" taak die context-afhankelijke referenties naar specifieke instanties vereist, in plaats van alleen categorieherkenning.
2. GroundedSurg Benchmark: Introductie van een dataset die natuurlijke taalbeschrijvingen koppelt aan expliciete ruimtelijke grounding (box, punt, masker) voor rigoureuze evaluatie.
3. Klinisch realistische testomgeving: Een diverse dataset die verschillende procedures en imaging-condities omvat, waardoor een reproduceerbare testomgeving ontstaat voor grondbewuste intraoperatieve visiesystemen.

5. Betekenis en Toekomstperspectief

GroundedSurg vult een kritieke kloof in de chirurgische AI. Het toont aan dat huidige multimodale modellen nog niet klaar zijn voor de complexiteit van klinische besluitvorming waarbij specifieke instrumenten moeten worden onderscheiden op basis van hun actie.

• Impact: Het benchmark faciliteert de ontwikkeling van slimme, context-bewuste assistentiesystemen voor instrument-overhandiging, botsingsvermijding en workflow-optimalisatie.
• Conclusie: Er is een dringende behoefte aan modellen die linguïstisch redeneren beter integreren met fijnmazige ruimtelijke perceptie. GroundedSurg biedt de standaard om deze volgende generatie systemen te evalueren.

De code en data zijn publiek beschikbaar gesteld via GitHub.