Cholec80-port: A Geometrically Consistent Trocar Port Segmentation Dataset for Robust Surgical Scene Understanding

Deze paper introduceert Cholec80-port, een hoogwaardig dataset voor de segmentatie van trocartrochlearen met een geometrisch consistente definitie die de centrale opening uitsluit, en toont aan dat dergelijke consistentie de robuustheid van chirurgische beeldverwerkingspipelines aanzienlijk verbetert.

De kern

Stel je voor dat je een chirurg bent die een laparoscopische operatie uitvoert. Je kijkt door een camera die via een buisje (een zogenaamde "trocar") in de buikwand van de patiënt is geplaatst. Deze buisjes zijn nodig om de instrumenten naar binnen te sturen, maar voor de computer die de beelden bekijkt, zijn ze een enorm gedoe.

Hier is wat deze paper doet, uitgelegd als een verhaal:

1. Het Probleem: De "Vervelende Gast" in de Kamer

In de wereld van chirurgische robots en AI is het belangrijk dat de computer precies weet wat beweegt (zoals een schaar of een orgaan) en wat stil staat (zoals de buikwand).

Deze buisjes (trocars) zijn echter een lastige gast. Ze zitten vast aan de camera, maar ze blokkeren het zicht. Ze zijn vaak glanzend en hebben een textuur die de computer in de war brengt. De computer denkt dan: "Oh, dit is een nieuw, spannend object dat ik moet volgen!" terwijl het eigenlijk gewoon een statisch stukje plastic of metaal is dat de hele operatie in de weg zit.

Dit zorgt voor fouten als de computer probeert om 3D-modellen te maken of beelden aan elkaar te plakken (zoals een puzzel). Het is alsof je een foto maakt van een landschap, maar er staat een enorme, glimmende zuil in het midden die je camera telkens probeert te "vastgrijpen" in plaats van de bergen erachter.

2. Het Gebrek aan Goede Kaarten

Om computers dit te leren, hebben we kaarten nodig (datasets) waarop precies staat waar die buisjes zitten. Maar tot nu toe waren die kaarten ofwel te klein, ofwel onnauwkeurig.

• Sommige kaarten hadden de buisjes gemengd met de rest van de wand.
• Andere kaarten maakten een fout: ze kleurden het gat in het midden van de buis ook zwart. Dat is als een kaartmaker die zegt: "Het raam is een muur", terwijl je er juist doorheen moet kijken om de tuin te zien. Voor een computer die geometrie berekent, is dat een ramp.

3. De Oplossing: Cholec80-port (De Nieuwe, Schone Kaart)

De onderzoekers van Jmees Inc. hebben een nieuwe, super-nauwkeurige dataset gemaakt genaamd Cholec80-port.

Hun geheim? Een nieuwe regel voor het tekenen:
Ze hebben besloten om alleen de buis zelf (de "huls") te tekenen, maar niet het gat in het midden.

• Vergelijking: Stel je voor dat je een tekening maakt van een kous. De oude manier was: "Teken de hele kous, inclusief het gat voor je teen." De nieuwe manier is: "Teken alleen de stof van de kous, laat het gat open." Zo kan de computer zien wat er achter het gat gebeurt, zonder dat de kous de weg blokkeert.

Ze hebben dit gedaan voor duizenden beelden uit de Cholec80-database en hebben ook oude, rommelige databases opgepoetst (gezuiverd) zodat ze allemaal dezelfde regels volgen.

4. Wat hebben ze ontdekt?

Ze hebben een slimme computer (een AI-model) getraind met deze nieuwe, schone kaarten.

• Resultaat: De computer werd veel beter in het herkennen van de buisjes, zelfs in situaties waar hij nog nooit eerder naar gekeken had.
• De les: Het blijkt dat het niet alleen gaat om hoeveel beelden je hebt, maar om hoe goed ze zijn getekend. Als je de regels (de "SOP") consistent maakt, werkt de computer veel slimmer.

5. De Toekomst

Hoewel het al een grote stap vooruit is, is het nog niet perfect. Soms zijn de buisjes zo transparant of zit er zo veel glans op, dat de computer ze nog steeds niet ziet. Maar met deze nieuwe dataset en de nieuwe regels, kunnen onderzoekers nu bouwen aan systemen die:

• Operaties veiliger maken.
• 3D-kaarten van het binnenste van het lichaam maken die niet meer "waggelen" door die vervelende buisjes.
• De camera automatisch stabiliseren alsof er geen obstakels zijn.

Kortom: De onderzoekers hebben een nieuwe, foutloze "handleiding" gemaakt voor computers, zodat ze eindelijk kunnen zien wat er echt gebeurt in de buik, zonder verblind te worden door de buisjes die de toegang versperren.

Technische samenvatting

Probleemstelling

In de laparoscopische chirurgie is het nauwkeurig segmenteren van chirurgische instrumenten en anatomische structuren cruciaal voor geavanceerde scene-understanding. Veel geometrisch gebaseerde downstream-taken, zoals beeldstitching, 3D-reconstructie en visuele SLAM (vSLAM), vereisen een robuuste scheiding tussen lokale beweging (dynamische objecten) en globale beweging (anatomische achtergrond).

Een specifiek probleem in deze context is de trocar-port (het toegangshek door de buikwand). Omdat de endoscopische camera door deze poorten gaat, kunnen ze het gezichtsveld blokkeren. In tegenstelling tot chirurgische instrumenten zijn poorten ongeveer camera-vast en blijven ze langdurig zichtbaar. Hun oppervlakken zijn vaak speculair (glanzend) en getextureerd, wat leidt tot een overvloed aan feature-punten. Dit introduceert sterke, niet-anatomische features die de matching kunnen vertekenen, geometrische fouten vergroten en artefacten veroorzaken in geometrische pipelines.

Hoewel deze poorten schadelijk kunnen zijn voor geometrische methoden, ontbreken expliciete labels voor poorten in de meeste grote datasets. Bestaande datasets zoals m2caiSeg en GynSurg hebben beperkingen:

• m2caiSeg: Klein formaat en bevat annotatie-artefacten (bijv. interpolatieruis).
• GynSurg: Gebruikt een COCO-polygoonrepresentatie die vaak een "hole-filling"-beleid hanteert, waarbij het centrale lumen (de opening) wordt gemaskeerd. Dit is geometrisch inconsistent wanneer organen zichtbaar zijn door de opening.

Methodologie

1. Dataset Acquisitie en Sampling
De auteurs hebben de eerste 20 video's van de Cholec80-dataset gebruikt. Om een balans te vinden tussen diversiteit en annotatie-efficiëntie, is elke 30e frame geselecteerd, wat resulteert in 38.434 geannoteerde frames. De dataset is op videoniveau gesplitst om data-lekkage te voorkomen:

• Training: Video's 01–08
• Validatie: Video's 09–10
• Test: Video's 11–20
  Van deze frames bevatten 1.398 frames zichtbare poorten, wat een aanzienlijk grotere positieve steekproef biedt dan bestaande datasets.

2. Annotatie SOP (Standard Operating Procedure): Definitie van de "Port-Sleeve"
De kern van de methodologie is een nieuwe, geometrisch consistente definitie van het te segmenteren gebied:

• Doelgebied: De "sleeve" (de stijve metalen of plastic cilindrische component zichtbaar voorbij het interne ventiel).
• Uitsluiting: De centrale lumen (opening) wordt uitgesloten van het masker. Het maskeren van de lumen zou namelijk geldige anatomische pixels onderdrukken en geometrische inconsistenties veroorzaken bij beeldvlak-aggregatie en feature-extractie.
• Ambiguïteit: Bij onduidelijke grenzen (door oriëntatie of speculaire highlights) werd gebruikgemaakt van temporale context (burenframes) om de fysieke uitgestrektheid van de sleeve te bevestigen en te onderscheiden van tijdelijke reflecties.

3. Data Cleansing en Unificatie
Bestaande datasets werden schoongemaakt en geharmoniseerd volgens de nieuwe SOP:

• m2caiSeg: Her-geannoteerd om interpolatie-artefacten en spurious masks te verwijderen. Slechts een klein subset voldeed aan de nieuwe kwaliteitscriteria.
• GynSurg: Het "hole-filling"-probleem werd opgelost door de centrale lumen-regio's te segmenteren en af te trekken van de originele polygonen, waardoor alleen "sleeve-only" maskers overbleven.

4. Model en Training

• Architectuur: Een ConvNeXt-Base encoder met een U-Net decoder voor binaire semantische segmentatie.
• Verliesfunctie: Een combinatie van Dice Loss en Binary Cross-Entropy (BCE).
• Training: AdamW optimizer, leerstroom $5 \times 10^{-5}$, batch size 16, input resolutie $384 \times 384$.

Kernbijdragen

1. Cholec80-port Dataset: Een groot scala aan data (38k+ frames) met strikt geannoteerde poort-sleeve maskers.
2. Geometrisch Consistente SOP: Een nieuwe definitie die de centrale opening uitsluit, essentieel voor geometrische toepassingen.
3. Data Cleansing: Een proces om bestaande datasets (m2caiSeg, GynSurg) te zuiveren en te verenigen onder dezelfde SOP.
4. Pre-trained Baseline: Een vrijgegeven model en tooling om downstream onderzoek in chirurgische computer vision te ondersteunen.

Resultaten

De prestaties werden geëvalueerd met twee metrics: Dice-score (segmentatie-nauwkeurigheid op frames met poorten) en Detect F1 (frame-level robustheid).

• In-domain prestaties: Een model getraind op Cholec80-port bereikte een Dice-score van 0.862 en een Detect F1 van 0.856 op de testset van dezelfde dataset.
• Cross-dataset generalisatie: Het model getraind op Cholec80-port presteerde beter dan het model getraind op m2caiSeg, zelfs wanneer geëvalueerd op de m2caiSeg-testset. Dit suggereert dat geometrisch consistente labels de robuustheid verbeteren, ongeacht de specifieke dataset.
• Impact van Cleansing: Het gebruik van een "combined cleaned dataset" leidde tot de beste cross-dataset resultaten (bijv. Dice 0.818 op GynSurg).
• Uitdagingen: Generalisatie naar GynSurg blijft uitdagend door domeinverschillen (materialen, belichting, workflow). Fouten treden vooral op bij:
  1. Vage poorten nabij de beeldrand.
  2. Transparante/laag-contrast sleeves.
  3. Sterke speculaire highlights die de randen verbergen.

Betekenis en Conclusie

Het paper introduceert een kritieke verbetering in de dataset-kwaliteit voor chirurgische computer vision. De belangrijkste inzichten zijn:

• Geometrische consistentie is cruciaal: Het correct definiëren van de sleeve (zonder de lumen) is essentieel voor het voorkomen van artefacten in geometrische pipelines zoals vSLAM en 3D-reconstructie.
• Datakwaliteit overtreft kwantiteit: Het schoonmaken van bestaande datasets (verwijdering van ruis en inconsistenties) heeft een grotere impact op de transfer-learning prestaties dan het simpelweg vergroten van de dataset.
• Toekomstperspectief: Hoewel domeinverschuivingen nog een uitdaging vormen, biedt Cholec80-port een solide basis voor het integreren van poort-maskering in geometrisch gebaseerde systemen, wat de nauwkeurigheid van chirurgische navigatie en scene-understanding significant kan verbeteren.