💻 computer science

Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

Dieses Paper präsentiert die Ergebnisse und Teilnehmer-Methoden der 2025 Surgical Tattoos in Infrared Challenge (STIRC2025), die im Rahmen von MICCAI EndoVis 2025 stattfand und sieben Teams hinsichtlich der Genauigkeit des Punkt-Trackings sowie der Inferenz-Effizienz unter Verwendung des STIR-Datensatzes evaluierte, um chirurgische Anwendungen wie Segmentierung und 3D-Rekonstruktion voranzutreiben.

Ursprüngliche Autoren: Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlae

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlaefer, Xinkai Zhao, Yuichiro Hayashi, Masahiro Oda, Takayuki Kitasaka, Kensaku Mori, Peng Liu, Chenyang Li, Stefanie Speidel, Aoife Gardiner, Agostino Stilli, Danail Stoyanov, Francisco Vasconcelos, Anwesa Choudhuri, Meng Zheng, Zhongpai Gao, Benjamin Planche, Van Nguyen Nguyen, Terrence Chen, Ziyan Wu, Alexander Ladikos, Omid Mohareri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten ein hochkarätiges Videospiel, bei dem die Charaktere aus wabbeligem, weichem Gelee bestehen und die Kamera wild hinein- und herauszoomt sowie sich dreht. Ihre Aufgabe? Den Finger fest auf sieben spezifische Glitzerpunkte auf diesem Gelee zu kleben, egal wie sehr es sich dehnt, verdreht oder von einer riesigen Hand verdeckt wird. Wenn Sie auch nur einen einzigen Punkt aus den Augen verlieren, ist das Spiel vorbei.

Dies ist genau die Herausforderung, vor der die STIR Challenge 2025 (Surgical Tattoos in Infrared) steht. Es ist ein Wettbewerb, bei dem Informatiker darum wetteifern, „digitale Finger“ zu bauen, die winzige Punkte auf beweglichem Gewebe während einer Operation verfolgen können. Das Ziel ist nicht nur, die Punkte zu sehen; man muss genau wissen, wo sie sich im 3D-Raum befinden, selbst wenn sich das Gewebe wie eine nasse Nudel verbiegt und verformt.

Der Aufbau: Unsichtbare Tinte und unsichtbare Augen

Um dies fair zu gestalten, haben die Organisatoren einen speziellen Datensatz namens STIRC2025 erstellt. Sie haben nicht einfach nur zufällige Videos verwendet, sondern eine „chirurgische Tattoo“-Technik angewandt. Stellen Sie sich das wie das Zeichnen winziger Punkte auf die Haut eines Schweins (für Live-Tests) oder auf anderes Gewebe (für Tests an totem Material) vor, unter Verwendung einer speziellen Tinte, die unter Infrarotlicht leuchtet, aber für das bloße Auge unsichtbar ist.

So funktioniert die Datenlage:

Der Start: Die Kamera sieht die leuchtenden Punkte im Infrarotlicht.
Die Aktion: Die Kamera wechselt zu normalem weißem Licht, und Chirurgen (oder Roboter) bewegen das Gewebe.
Das Ende: Die Kamera wechselt zurück zu Infrarot, um zu sehen, wo die Punkte gelandet sind.

Die Challenge gab den Teams 32 Videoclips (jeweils etwa 7,7 Sekunden lang), die insgesamt 234 Punkte zum Verfolgen enthielten. Die Teams mussten Algorithmen schreiben, die diese Punkte Bild für Bild verfolgen können, wie ein superschnelles Spiel von „Folge dem Anführer“.

Die Regeln des Spiels

Die Preisrichter maßen zwei Dinge:

Genauigkeit: Wie nah war die Schätzung des Algorithmus an der tatsächlichen Endposition des Punktes? Dies wurde bei verschiedenen „Toleranzstufen“ überprüft. Für das 2D-Tracking wurde der Fehler in Pixeln gemessen (wie 4, 8, 16, 32, 64 Pixel). Für das 3D-Tracking wurde er in Millimetern gemessen (2, 4, 8, 16, 32 mm).
Effizienz: Wie schnell war der Algorithmus? In der Chirurgie kann man nicht darauf warten, dass der Computer nachdenkt. Sie maßen die „Latenz“ (wie lange die Verarbeitung eines einzelnen Bildes dauert) und betrachteten die 95. und 99. Perzentile, um sicherzustellen, dass das System keine „langsamen Momente“ hat, die zu einem Absturz führen könnten.

Die Kontrahenten und die Ergebnisse

Sieben Teams traten in der Arena an. Hier ist, was geschah:

Das 2D-Tracking-Rennen (Flacher Bildschirm)
Das Ziel war es, die Punkte auf einem flachen 2D-Bildschirm zu verfolgen.

Der überraschende Gewinner: Die genaueste Methode war keine ausgeklügelte Neuinvention eines Teams, sondern eine Baseline-Methode namens MFT (Multi-Frame Tracker), die die Organisatoren als Ausgangspunkt bereitgestellt hatten. Sie erreichte eine durchschnittliche Genauigkeit von 83,50.
Die menschlichen Teams: Das beste menschliche Team, CCG DGIST, kam mit einem Wert von 82,99 auf den zweiten Platz. Sie nutzten einen „hybriden“ Ansatz, bei dem sie zwei verschiedene Tracking-Stile mischten (einen, der gut bei kurzen Bewegungen ist, und einen, der gut bei langen Bewegungen ist) und zwischen ihnen wechselten, wie ein Fahrer, der die Gänge schaltet.
Die „Kontrollgruppe“: Es gab ein Team, das für jeden Punkt einfach „Nullbewegung“ annahm. Es erreichte einen Wert von 50,00 und bewies damit, dass nichts zu tun definitiv schlechter ist als es zu versuchen.

Das 3D-Tracking-Rennen (Tiefe)
Dies war schwieriger. Die Teams mussten herausfinden, wie tief die Punkte im Raum liegen.

Der Gewinner: Team NCT TSO belegte mit einem Wert von 68,46 den ersten Platz unter den Einreichungen. Sie nutzten einen cleveren Trick mit einem „Kalman-Filter“ (einem mathematischen Werkzeug, das Bewegungen vorhersagt) und überprüften ihre Arbeit gegen sich selbst, um Fehler abzufangen.
Der Zweitplatzierte: Team MFTIQProb kam mit 57,09 auf den zweiten Platz.
Die Baseline: Die eigene 3D-Baseline der Organisatoren (die 2D-Tracking mit einer Stereokamera kombinierte) erreichte 58,80. Das bedeutet, dass das Gewinnerteam (NCT TSO) die Baseline schlug, aber das zweitplatzierte Team (MFTIQProb) tatsächlich schlechter abschnitt als die Baseline.

Das Geschwindigkeits-Rennen (Effizienz)
Geschwindigkeit zählt. Wenn Ihr Algorithmus zu langsam ist, kann der Chirurg ihn nicht verwenden.

Der Schnellste: Team NCT TSO gewann auch den Geschwindigkeitswettbewerb. Ihr Algorithmus verarbeitete ein Bild in nur 26,25 Millisekunden.
Die Lücke: Das nächstschnellere Team war 5 Mal langsamer und benötigte 140,52 Millisekunden.
Die Grenze: Um am Geschwindigkeitsrennen teilzunehmen, musste die Genauigkeit eines Teams mindestens 90 % der besten Genauigkeit betragen. Zwei Teams (SRV und BlueJays) waren zu ungenau, um überhaupt im Geschwindigkeitssegment konkurrieren zu können.

Was das Paper sagt (und was nicht)

Die Autoren weisen vorsichtig auf einige Punkte hin:

Kein Allheilmittel: Die Tatsache, dass die Baseline-Methode MFT am genauesten war, deutet darauf hin, dass die Teams möglicherweise „Overfitting“ betrieben haben (die Testdaten zu stark auswendig gelernt haben) oder dass die Baseline einfach sehr solide ist. Die Autoren schlagen vor, dass zukünftige Teams sich auf eine robuste Kreuzvalidierung konzentrieren müssen, um sicherzustellen, dass ihre Methoden auch mit neuen Daten funktionieren und nicht nur mit dem Testdatensatz.
3D ist immer noch knifflig: Das Paper stellt fest, dass kein Team Punkte „vollständig in 3D“ von Grund auf verfolgt hat. Alle nutzten eine Mischung aus 2D-Tracking und Stereokamera-Mathematik. Die Autoren vermuten, dass es derzeit zu komplex ist, ein Modell zu erstellen, das 3D-Tiefe nativ versteht.
Der „Kontroll-Check“: Die „Control“-Methode (Annahme von Nullbewegung) wurde aufgenommen, um sicherzustellen, dass alle die Daten korrekt verwenden. Wenn man das „Nichts-tun“-Team nicht schlägt, macht man etwas falsch.

Das Fazit

Die STIR Challenge 2025 hat gezeigt, dass wir zwar bereits sehr schnelle und genaue Werkzeuge zur Verfolgung von Gewebe besitzen, die „perfekte“ Lösung aber noch in der Entwicklung ist. Die besten Ergebnisse kamen von Teams, die altbewährte Zuverlässigkeit mit neuen Tricks kombinierten, wie Team CCG DGIST in 2D und Team NCT TSO in 3D und Geschwindigkeit.

Die Autoren schlagen vor, dass der nächste Schritt nicht darin besteht, größere Modelle zu bauen, sondern intelligentere, die aus begrenzten Daten lernen können, „Pseudo-Labels“ nutzen (KI mit ihren eigenen Vermutungen lehren) und die seltsamen Lichtverhältnisse und die Verformbarkeit einer echten Operation handhaben können, ohne verwirrt zu werden. Es ist ein laufender Prozess, aber die „digitalen Finger“ werden immer stetiger.

Technisches Resümee: Punktverfolgung in der Chirurgie – Die 2025 Surgical Tattoos in Infrared (STIR) Challenge

Problemstellung
Die präzise Punktverfolgung (Point Tracking) in chirurgischen Umgebungen ist eine grundlegende Voraussetzung für nachgeschaltete Aufgaben der medizinischen Computer Vision, einschließlich Segmentierung, 3D-Rekonstruktion, virtueller Gewebelandsmarkierung, autonomer probenbasierter Scans und Subtask-Autonomie. Während das Wissen über Gewebebewegung und -lokalisierung entscheidend für automatisierte Geschicklichkeit und autonomes Scannen ist, scheitern bestehende Methoden oft an den spezifischen Herausforderungen von chirurgischen Videos, wie etwa Gewebedeformation, Okklusion und variierenden Lichtverhältnissen. Die STIR Challenge 2025 (STIRC2025) wurde organisiert, um diese Lücken zu schließen und Algorithmen für die Punktverfolgung sowohl im 2D- als auch im 3D-Raum zu bewerten und voranzutreiben.

Methodik und Datensatz
Die Challenge nutzte den STIR Challenge 2025 (STIRC2025) Datensatz, der aus 32 Stereo-Videosequenzen besteht, die mit einem da Vinci 5 System aufgenommen wurden. Der Datensatz umfasst sowohl in vivo (porcine Probanden) als auch ex vivo (gemischtes Gewebe) Fälle.

Annotationsprotokoll: Die Ground-Truth-Labels wurden generiert, indem das Gewebe mit Indocyaningrün (ICG)-Tinte tätowiert wurde. Das Endoskop erfasste Infrarotbilder (IR) zu Beginn und am Ende einer Aktion, um die Punktpositionen zu definieren, während das dazwischenliegende Video in Weißlicht aufgezeichnet wurde.
Datenformat: Jede Sequenz enthält Start- und End-IR-Bilder, binäre Segmentierungsmasken der IR-Tinte sowie das entsprechende Weißlicht-Stereovideo (1280 × 1024 Pixel).
3D-Rekonstruktion: Die 3D-Ground-Truth-Positionen wurden mittels Epipolarsuche unter Verwendung von normalisierter Kreuzkorrelation auf den segmentierten Punkten berechnet, gefolgt von einer Rückprojektion unter Verwendung kalibrierter Kameraparameter (Baseline, Brennweite und Hauptpunkte).

Evaluationsmetriken
Die Teilnehmer wurden anhand von zwei Primärkomponenten bewertet:

Genauigkeit: Gemessen mit der Ausreißer-resistenten Metrik $\delta_{avg}$ $δ_{a v g}$ (eingeführt in TAP-Vid), welche den Prozentsatz der verfolgten Punkte berechnet, die innerhalb spezifischer Distanzschwellen ( $l_i$ $l_{i}$ ) im finalen Frame liegen.
- 2D-Schwellenwerte: 4, 8, 16, 32 und 64 Pixel.
- 3D-Schwellenwerte: 2, 4, 8, 16 und 32 Millimeter.
- Die Punkte wurden dem nächstgelegenen Ground-Truth-Label im finalen Frame zugeordnet.
Effizienz: Gemessen durch die Inferenzlatenz. Die Evaluierung konzentrierte sich auf die 95. und 99. Perzentile der Latenz sowie auf den Mittelwert, um die Worst-Case-Performance zu erfassen, die für Echtzeit-Anwendungen in der Chirurgie kritisch ist. Ein Beitrag war nur dann für das Effizienz-Ranking berechtigt, wenn seine Genauigkeit 90 % der leistungsstärksten Methode erreichte.

Wesentliche Beiträge und Einreichungen
Sieben Teams nahmen an der Challenge teil, wobei alle 2D-Lösungen einreichten und zwei Teams (NCT TSO und MFTIQProb) 3D-Lösungen einreichten. Das Paper beschreibt mehrere unterschiedliche methodische Ansätze:

Baseline-Methoden: Dazu gehörten Control (Nullbewegung), RAFT, CSRT, MFT (Multi-Frame Tracking) und eine 3D-Baseline, die RAFT mit RAFT-Stereo kombiniert.
Innovationen der Teilnehmer:
- BlueJays: Schlug eine selbstüberwachte Methode unter Verwendung von kontrastiven Random Walks und globalem Matching (GMFlow) mit einer Strategie eines bewegten Referenzrahmens vor, um Okklusionen zu handhaben.
- CCG DGIST: Entwickelte ein hybrides Framework, das dichten optischen Fluss mit Keypoint-basiertem Tracking (SuperPoint, ALIKED, LightGlue, RoMA) kombiniert, um lokale Genauigkeit mit langfristiger Robustheit zu balancieren.
- MFTIQProb: Führte eine probabilistische Multi-Punkt-Tracking-Pipeline unter Verwendung von Gauß-Verteilungen für Kandidatenpunkte und Bayes'schen Updates zur Handhabung der Sichtbarkeit ein.
- MoriLabNU: Adaptierte MFT für das laparoskopische Tracking unter Verwendung von Elastic Weight Consolidation (EWC), um katastrophales Vergessen beim Fine-Tuning von Feature-Extraktoren auf chirurgischen Texturen zu verhindern.
- NCT TSO: Baute eine Pipeline auf Basis von LiteTracker (abgeleitet von CoTracker3), unter Einbeziehung von Kalman-Filtern zur Bewegungsmodellierung und Keyframe-Feature-Buffern zur Reduzierung des Drifts.
- SRV: Ersetzte die optische Fluss-Komponente in MFT durch WAFT (Warping-Along Field Transforms), um große Cost-Volumes zu vermeiden.
- UII VRI: Nutzte einen eingefrorenen, domänenübergreifenden dichten Punkt-Tracker (AllTracker) mit zeitlicher Aufmerksamkeit und Kalman-Glättung, wobei auf ein Fine-Tuning für den chirurgischen Bereich verzichtet wurde.

Ergebnisse

2D-Genauigkeit: Die insgesamt leistungsstärkste Methode war die Baseline MFT ( $\delta_{avg} = 83,50$ ). Unter den Teilnehmer-Einreichungen belegte CCG DGIST den ersten Platz ( $\delta_{avg} = 82,99$ ), gefolgt von MFTIQProb ( $\delta_{avg} = 82,91$ ) und MoriLabNU ( $\delta_{avg} = 82,74$ ).
3D-Genauigkeit: Team NCT TSO erreichte die höchste Genauigkeit ( $\delta_{avg} = 68,46$ ) und übertraf damit alle Baselines. MFTIQProb belegte den zweiten Platz ( $\delta_{avg} = 57,09$ ). Die Autoren merken an, dass die besten 3D-Methoden auf gefilterten Kombinationen aus 2D-Tracking und Stereo-Triangulation basierten, statt auf nativen 3D-Tracking-Architekturen.
Effizienz: Team NCT TSO gewann die Effizienzkategorie mit einer Latenz pro Frame von 26,25 ms (95. Perzentil) und übertraf damit signifikant den nächstschnelleren Wettbewerber (UII VRI mit 140,52 ms).

Bedeutung und Behauptungen
Das Paper positioniert die STIRC2025 Challenge und den dazugehörigen Datensatz als eine kritische Ressource für die Gemeinschaften der chirurgischen Robotik und der Computer Vision. Die Autoren behaupten, dass die Challenge die Bedeutung folgender Punkte hervorhebt:

Robuste Kreuzvalidierung: Die Tatsache, dass eine Baseline (MFT) viele spezialisierte Einreichungen übertraf, unterstreicht die Schwierigkeit der Generalisierung und das Risiko des Overfittings auf veröffentlichte Testsets.
Trade-offs zwischen Effizienz und Genauigkeit: Die Effizienzkategorie zeigt, dass hohe Genauigkeit die Echtzeit-Fähigkeit nicht ausschließt, wobei NCT TSO sowohl Spitzen-3D-Genauigkeit als auch die niedrigste Latenz erreichte.
Zukünftige Richtungen: Die Autoren schlagen bescheiden vor, dass zukünftige Arbeiten sich auf Pseudo-Labeling, selbstüberwachtes Training mit chirurgischen Features und die Entwicklung von Low-Latency-Modellen konzentrieren sollten, die in der Lage sind, langfristiges Tracking und Relokalisierung zu betreiben, ohne auf vollständig native 3D-Architekturen angewiesen zu sein, was weiterhin eine offene Herausforderung darstellt.

Die Challenge dient als Benchmark zum Testen, Vergleichen und Iterieren von Algorithmen für das Gewebetracking mit dem ultimativen Ziel, Anwendungen in der robotergestützten Chirurgie zu unterstützen.