💻 computer science

Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

Dit artikel presenteert de resultaten en de methoden van de deelnemers van de 2025 Surgical Tattoos in Infrared Challenge (STIRC2025), gehouden tijdens MICCAI EndoVis 2025, die zeven teams evalueerde op het gebied van puntvolgnauwkeurigheid en inferentie-efficiëntie met behulp van de STIR-dataset om chirurgische toepassingen zoals segmentatie en 3D-reconstructie vooruit te helpen.

Oorspronkelijke auteurs: Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlae

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlaefer, Xinkai Zhao, Yuichiro Hayashi, Masahiro Oda, Takayuki Kitasaka, Kensaku Mori, Peng Liu, Chenyang Li, Stefanie Speidel, Aoife Gardiner, Agostino Stilli, Danail Stoyanov, Francisco Vasconcelos, Anwesa Choudhuri, Meng Zheng, Zhongpai Gao, Benjamin Planche, Van Nguyen Nguyen, Terrence Chen, Ziyan Wu, Alexander Ladikos, Omid Mohareri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een spannende videogame kijkt waarin de personages zijn gemaakt van zachte, wiebelige gelei en de camera in- en uitzoomt terwijl hij wild ronddraait. Je taak? Je vinger aan zeven specifieke glitterspekjes op die gelei te plakken, ongeacht hoeveel het uitrekt, draait of wordt bedekt door een enorme hand. Als je zelfs maar één speceltje uit het oog verliest, is het spel afgelopen.

Dit is precies de uitdaging waar de STIR Challenge 2025 (Surgical Tattoos in Infrared) voor staat. Het is een wedstrijd waarbij computerwetenschappers racen om "digitale vingers" te bouwen die kleine puntjes op bewegend weefsel kunnen volgen tijdens een operatie. Het doel is niet alleen om de puntjes te zien; het is om precies te weten waar ze zich in de 3D-ruimte bevinden, zelfs wanneer het weefsel rondstuft en vervormt als een natte sliert spaghetti.

De Opstelling: Onzichtbare Inkt en Onzichtbare Ogen

Om dit eerlijk te houden, hebben de organisatoren een speciale dataset gemaakt genaamd STIRC2025. Ze hebben niet zomaar willekeurige video's gebruikt; ze gebruikten een "chirurgische tatoeage"-techniek. Denk hierbij aan het tekenen van kleine stipjes op de huid van een varken (voor live tests) of op ander weefsel (voor tests met dood weefsel) met een speciale inkt die gloeit onder infrarood licht, maar onzichtbaar is voor het blote oog.

Zo werkt de data:

Het Begin: De camera ziet de gloeiende puntjes in infrarood.
De Actie: De camera schakelt over naar normaal wit licht, en chirurgen (of robots) bewegen het weefsel rond.
Het Einde: De camera schakelt terug naar infrarood om te zien waar de puntjes terecht zijn gekomen.

De uitdaging gaf de teams 32 videoclips (elke clip duurt gemiddeld ongeveer 7,7 seconden) die in totaal 234 puntjes bevatten om te volgen. De teams moesten algoritmen schrijven die deze puntjes frame voor frame konden volgen, als een razendsnel spelletje "volg de leider".

De Regels van het Spel

De jury mat twee zaken:

Nauwkeurigheid: Hoe dicht kwam de gok van het algoritme bij de werkelijke eindpositie van het puntje? Ze controleerden dit bij verschillende "tolerantieniveaus". Voor 2D-tracking maten ze fouten in pixels (zoals 4, 8, 16, 32, 64 pixels). Voor 3D-tracking maten ze in millimeters (2, 4, 8, 16, 32 mm).
Efficiëntie: Hoe snel was het algoritme? In de chirurgie kun je niet wachten tot de computer nadenkt. Ze maten de "latentie" (hoe lang het duurt om één frame te verwerken) en keken naar de 95e en 99e percentielen om er zeker van te zijn dat het systeem geen "trage momenten" had die een crash zouden kunnen veroorzaken.

De Deelnemers en de Resultaten

Zeven teams betraden de arena. Dit is wat er gebeurde:

De 2D-Trackingrace (Plat Scherm)
Het doel was om de puntjes op een plat 2D-scherm te volgen.

De Verrassende Winnaar: De meest nauwkeurige methode was geen flitsende nieuwe uitvinding van een team; het was een baseline-methode genaamd MFT (Multi-Frame Tracker) die de organisatoren als startpunt hadden meegegeven. Deze behaalde een gemiddelde nauwkeurigheid van 83,50.
De Menselijke Teams: Het beste menselijke team, CCG DGIST, kwam op de tweede plaats met een score van 82,99. Zij gebruikten een "hybride" aanpak, waarbij ze twee verschillende trackingstijlen combineerden (één goed in korte bewegingen, één goed in lange bewegingen) en tussen de twee schakelden zoals een bestuurder die van versnelling wisselt.
De "Controle"-groep: Er was een team dat voor elk puntje simpelweg "nul beweging" voorspelde. Zij scoorden 50,00, wat bewees dat niets doen absoluut slechter is dan het wel proberen.

De 3D-Trackingrace (Diepte)
Dit was moeilijker. De teams moesten uitzoeken hoe diep de puntjes zich in de ruimte bevonden.

De Winnaar: Team NCT TSO nam de eerste plek onder de inzendingen met een score van 68,46. Zij gebruikten een slimme truc met een "Kalman-filter" (een wiskundig hulpmiddel dat beweging voorspelt) en controleerden hun eigen werk om fouten te ontdekken.
De Runner-up: Team MFTIQProb kwam op de tweede plaats met 57,09.
De Baseline: De eigen 3D-baseline van de organisatoren (die 2D-tracking combineerde met een stereocamera) scoorde 58,80. Dit betekent dat het winnende team (NCT TSO) de baseline versloeg, maar dat het team op de tweede plaats (MFTIQProb) eigenlijk lager scoorde dan de baseline.

De Snelheidsrace (Efficiëntie)
Snelheid is cruciaal. Als je algoritme te traag is, kan de chirurg het niet gebruiken.

De Snelste: Team NCT TSO won ook de snelheidswedstrijd. Hun algoritme verwerkte een frame in slechts 26,25 milliseconden.
De Kloof: Het volgende snelste team was 5 keer zo traag en deed er 140,52 milliseconden over.
De Limiet: Om deel te nemen aan de snelheidswedstrijd moest de nauwkeurigheid van een team minstens 90% van de beste nauwkeurigheid zijn. Twee teams (SRV en BlueJays) waren te onnauwkeurig om zelfs maar mee te mogen doen aan de snelheidscategorie.

Wat het Papier Zegt (en Niet Zegt)

De auteurs wijzen voorzichtig op een aantal zaken:

Geen Magische Oplossing: Het feit dat de baseline MFT-methode de meest nauwkeurige was, suggereert dat de teams mogelijk aan "overfitting" deden (de testdata te veel uit het hoofd leerden) of dat de baseline gewoon erg solide is. De auteurs suggereren dat toekomstige teams zich moeten richten op robuuste cross-validatie om ervoor te zorgen dat hun methoden werken op nieuwe data, en niet alleen op de testset.
3D is Nog Steeds Lastig: Het artikel merkt op dat geen enkel team punten "volledig in 3D" vanaf nul heeft gevolgd. Iedereen gebruep een combinatie van 2D-tracking plus stereocamera-wiskunde. De auteurs vermoeden dat het maken van een model dat 3D-diepte van nature begrijpt, op dit moment nog te complex is.
De "Controle"-Check: De "Control"-methode (voorspellen van nul beweging) werd opgenomen om te controleren of iedereen de data correct gebruikte. Als je de "doe niets"-ploeg niet kunt verslaan, doe je het fout.

De Conclusie

De 2025 STIR Challenge heeft aangetoond dat hoewel we al zeer snelle en nauwkeurige instrumenten hebben voor weefseltracking, de "perfecte" oplossing nog steeds in ontwikkeling is. De beste resultaten kwamen van teams die klassieke betrouwbaarheid combineerden met nieuwe trucs, zoals Team CCG DGIST in 2D en Team NCT TSO in 3D en snelheid.

De auteurs suggereren dat de volgende stap niet alleen het bouwen van grotere modellen is, maar het bouwen van slimmere modellen die kunnen leren van beperkte data, "pseudo-labels" kunnen gebruiken (AI leren met eigen voorspellingen) en kunnen omgaan met de vreemde belichting en de vervormbaarheid van echte chirurgie zonder in de war te raken. Het is een werk in uitvoering, maar de "digitale vingers" worden steeds stabieler.

Technische Samenvatting: Puntvolging in de Chirurgie – De 2025 Surgical Tattoos in Infrared (STIR) Challenge

Probleemstelling
Nauwkeurige puntvolging in chirurgische omgevingen is een fundamentele vereiste voor downstream medische computer vision-taken, waaronder segmentatie, 3D-reconstructie, virtuele weefsellandmarking, autonome probe-gebaseerde scanning en subtaak-autonomie. Hoewel kennis van weefselbeweging en -locatie cruciaal is voor geautomatiseerde behendigheid en autonome scanning, hebben bestaande methoden vaak moeite met de specifieke uitdagingen van chirurgische video, zoals weefseldeformatie, occlusie en variërende lichtomstandigheden. De 2025 STIR Challenge (STIRC2025) werd georganiseerd om deze hiaten aan te pakken door algoritmen voor puntvolging in zowel 2D- als 3D-ruimten te evalueren en verder te ontwikkelen.

Methodologie en Dataset
De challenge maakte gebruik van de STIR Challenge 2025 (STIRC2025) dataset, die bestaat uit 32 stereo videosequenties verzameld met een da Vinci 5 systeem. De dataset bevat zowel in vivo (varkensonderwerpen) als ex vivo (gemengd weefsel) gevallen.

Annotatieprotocol: Ground truth labels werden gegenereerd door weefsel te tatoeëren met indocyaninegroen (ICG) inkt. De endoscoop legde infrarood (IR) beelden vast aan het begin en einde van een actie om de puntlocaties te definiëren, terwijl de tussenliggende video werd opgenomen in wit licht.
Dataformaat: Elke sequentie bevat start- en eind-IR-beelden, binaire segmentatiemaskers van de IR-inkt en de bijbehorende witlicht-stereo video (1280 × 1024 pixels).
3D-reconstructie: 3D ground truth posities werden berekend via epipolaire zoekopdrachten met genormaliseerde cross-correlatie op gesegmenteerde punten, gevolgd door back-projectie met gekalibreerde cameraparameters (baseline, brandpuntsafstand en hoofdpunten).

Evaluatiemetrieken
Deelnemers werden geëvalueerd op twee primaire componenten:

Nauwkeurigheid: Gemeten met de uit outliers resistente metriek $\delta_{avg}$ $δ_{a v g}$ (geïntroduceerd in TAP-Vid), die het percentage getrackte punten berekent dat binnen specifieke afstandsdrempels ( $l_i$ $l_{i}$ ) valt in het laatste frame.
- 2D Drempels: 4, 8, 16, 32 en 64 pixels.
- 3D Drempels: 2, 4, 8, 16 en 32 millimeter.
- Punten werden gematcht met hun dichtstbijzijnde ground truth label in het laatste frame.
Efficiëntie: Gemeten aan de hand van inferentie-latentie. De evaluatie richtte zich op de 95e en 99e percentiel latenties, evenals het gemiddelde, om de worst-case prestaties te vangen die cruciaal zijn voor real-time chirurgische toepassingen. Een inzending kwam alleen in aanmerking voor de efficiëntieranking als de nauwkeurigheid meer dan 90% van de best presterende methode bedroeg.

Belangrijkste Bijdragen en Inzendingen
Zeven teams namen deel aan de challenge; alle teams leverden 2D-oplossingen aan en twee teams (NCT TSO en MFTIQProb) leverden 3D-oplossingen. Het artikel beschrijft verschillende uiteenlopende methodologische benaderingen:

Baseline Methoden: Omvatten Control (nul beweging), RAFT, CSRF, MFT (Multi-Frame Tracking) en een 3D-baseline die RAFT combineert met RAFT-Stereo.
Innovaties van Deelnemers:
- BlueJays: Stelde een zelfgesuperviseerde methode voor met contrastieve random walks en globale matching (GMFlow) met een bewegende referentiekaderstrategie om occlusie te beheersen.
- CCG DGIST: Ontwikkelde een hybride framework dat dichte optische flow combineert met keypoint-gebaseerde tracking (SuperPoint, ALIKED, LightGlue, RoMA) om een balans te vinden tussen lokale nauwkeurigheid en lange-termijn robuustheid.
- MFTIQProb: Introduceerde een probabilische multi-point tracking pipeline met Gaussische verdelingen voor kandidaat-punten en Bayesiaanse updates voor visibiliteitsbehandeling.
- MoriLabNU: Paste MFT aan voor laparoscopische tracking met behulp van Elastic Weight Consolidation (EWC) om catastrofaal vergeten te voorkomen tijdens het fine-tunen van feature extractors op chirurgische texturen.
- NCT TSO: Bouwde een pipeline op LiteTracker (afgeleid van CoTracker3), inclusief Kalman-filtering voor bewegingsmodellering en keyframe feature buffers om drift te verminderen.
- SRV: Verving het optische flow component in MFT door WAFT (Warping-Along Field Transforms) om grote cost volumes te vermijden.
- UII VRI: Maakte gebruik van een bevroren, algemeen domein dichte punt tracker (AllTracker) met temporele aandacht en Kalman-smoothing, waarbij werd afgezien van fine-tuning voor het chirurgische domein.

Resultaten

2D Nauwkeurigheid: De overall best presterende methode was de baseline MFT ( $\delta_{avg} = 83.50$ ). Onder de inzendingen van deelnemers rangschikte CCG DGIST als eerste ( $\delta_{avg} = 82.99$ ), gevolgd door MFTIQProb ( $\delta_{avg} = 82.91$ ) en MoriLabNU ( $\delta_{avg} = 82.74$ ).
3D Nauwkeurigheid: Team NCT TSO behaalde de hoogste nauwkeurigheid ( $\delta_{avg} = 68.46$ ), waarmee zij alle baselines overtrof. MFTIQProb rangschikte als tweede ( $\delta_{avg} = 57.09$ ). De auteurs merken op dat de top 3D-methoden vertrouwden op gefilterde combinaties van 2D-tracking en stereo triangulatie in plaats van native 3D-tracking architecturen.
Efficiëntie: Team NCT TSO won de efficiëntie-categorie met een per-frame latentie van 26,25 ms (95e percentiel), wat aanzienlijk beter was dan de op één na snelste concurrent (UII VRI met 140,52 ms).

Betekenis en Claims
Het artikel positioneert de STIRC2025 challenge en de bijbehorende dataset als een cruciale bron voor de chirurgische robotica en computer vision gemeenschappen. De auteurs stellen dat de challenge het belang van het volgende benadrukt:

Robuuste Cross-Validatie: Het feit dat een baseline (MFT) veel gespecialiseerde inzendingen overtrof, onderstreept de moeilijkheid van generalisatie en het risico op overfitting op vrijgegeven testsets.
Efficiëntie vs. Nauwkeurigheid Trade-offs: De efficiëntie-categorie laat zien dat hoge nauwkeurigheid real-time haalbaarheid niet uitsluit, waarbij NCT TSO zowel top-tier 3D-nauwkeurigheid als de laagste latentie bereikte.
Toekomstige Richtingen: De auteurs suggereren bescheiden dat toekomstig werk zich moet richten op pseudo-labeling, zelfgesuperviseerde training met chirurgische features, en de ontwikkeling van low-latency modellen die in staat zijn tot lange-termijn tracking en relokalisatie zonder afhankelijk te zijn van volledig native 3D-architecturen, wat een open uitdaging blijft.

De challenge dient als een benchmark voor het testen, vergelijken en itereren van algoritmen voor weefseltracking, met als uiteindelijk doel ondersteuning te bieden aan toepassingen in robot-geassisteerde chirurgie.

De Opstelling: Onzichtbare Inkt en Onzichtbare Ogen

De Regels van het Spel

De Deelnemers en de Resultaten

Wat het Papier Zegt (en Niet Zegt)

De Conclusie

Meer zoals dit