Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

Sintesi Tecnica: Tracciamento di Punti in Chirurgia – La Sfida STIR 2025 (Surgical Tattoos in Infrared)

Definizione del Problema
Il tracciamento accurato dei punti negli ambienti chirurgici è un requisito fondamentale per i compiti di computer vision medica a valle, inclusi la segmentazione, la ricostruzione 3D, il landmarking di tessuti virtuali, lo scanning autonomo basato su sonda e l'autonomia dei sottotask. Sebbene la conoscenza del movimento e della posizione dei tessuti sia critica per la destrezza automatizzata e lo scanning autonomo, i metodi esistenti spesso faticano ad affrontare le sfide specifiche del video chirurgico, come la deformazione dei tessuti, l'occlusione e le variazioni delle condizioni di illuminazione. La sfida STIR 2025 (STIRC2025) è stata organizzata per affrontare queste lacune, valutando e facendo avanzare gli algoritmi per il tracciamento di punti sia in spazi 2D che 3D.

Metodologia e Dataset
La sfida ha utilizzato il dataset STIR Challenge 2025 (STIRC2025), composto da 32 sequenze video stereo raccolte utilizzando un sistema da Vinci 5. Il dataset include casi sia in vivo (soggetti porcini) che ex vivo (tessuti misti).

• Protocollo di Annotazione: Le etichette di ground truth sono state generate tatuando il tessuto con inchiostro di indocianina verde (ICG). L'endoscopio ha catturato immagini a infrarossi (IR) all'inizio e alla fine di un'azione per definire le posizioni dei punti, mentre il video intermedio è stato registrato in luce bianca.
• Formato dei Dati: Ogni sequenza include immagini IR di inizio e fine, maschere di segmentazione binaria dell'inchiostro IR e il corrispondente video stereo in luce bianca (1280 × 1024 pixel).
• Ricostruzione 3D: Le posizioni di ground truth 3D sono state calcolate tramite ricerca epipolare utilizzando la cross-correlazione normalizzata sui punti segmentati, seguita da retroproiezione tramite parametri di camera calibrati (baseline, lunghezza focale e punti principali).

Metriche di Valutazione
I partecipanti sono stati valutati su due componenti primarie:

1. Accuratezza: Misurata utilizzando la metrica resistente agli outlier $\delta_{avg}$ (introdotta in TAP-Vid), che calcola la percentuale di punti tracciati che rientrano in specifici intervalli di distanza ($l_i$) nell'ultimo frame.
   • Soglie 2D: 4, 8, 16, 32 e 64 pixel.
   • Soglie 3D: 2, 4, 8, 16 e 32 millimetri.
   • I punti sono stati accoppiati al loro label di ground truth più vicino nell'ultimo frame.
2. Efficienza: Misurata tramite la latenza di inferenza. La valutazione si è concentrata sui percentile 95 e 99 delle latenze, nonché sulla media, per catturare le prestazioni nel caso peggiore, critiche per le applicazioni chirurgiche in tempo reale. Una sottomissione era idonea per la classifica di efficienza solo se la sua accuratezza superava il 90% del metodo con le migliori prestazioni.

Contributi Chiave e Sottomissioni
Sette team hanno partecipato alla sfida, con tutti i partecipanti che hanno presentato soluzioni 2D e due team (NCT TSO e MFTIQProb) che hanno presentato soluzioni 3D. Il documento dettaglia diversi approcci metodologici distinti:

• Metodi Baseline: Includevano Control (moto zero), RAFT, CSRT, MFT (Multi-Frame Tracking) e una baseline 3D che combina RAFT con RAFT-Stereo.
• Innovazioni dei Partecipanti:
  • BlueJays: Ha proposto un metodo auto-supervisionato utilizzando cammini casuali contrastivi e matching globale (GMFlow) con una strategia di frame di riferimento mobile per gestire l'occlusione.
  • CCG DGIST: Ha sviluppato un framework ibrido che combina il flusso ottico denso con il tracciamento basato su keypoint (SuperPoint, ALIKED, LightGlue, RoMA) per bilanciare l'accuratezza locale con la robustezza a lungo termine.
  • MFTIQProb: Ha introdotto una pipeline di tracciamento multi-punto probabilistica utilizzando distribuzioni gaussiane per i punti candidati e aggiornamenti bayesiani per la gestione della visibilità.
  • MoriLabNU: Ha adattato MFT per il tracciamento laparoscopico utilizzando l'Elastic Weight Consolization (EWC) per prevenire l'oblio catastrofico durante il fine-tuning degli estrattori di feature sulle texture chirurgiche.
  • NCT TSO: Ha costruito una pipeline su LiteTracker (derivata da CoTracker3), incorporando il filtro di Kalman per la modellazione del moto e buffer di feature di keyframe per ridurre il drift.
  • SRV: Ha sostituito la componente di flusso ottico in MFT con WAFT (Warping-Along Field Transforms) per evitare grandi volumi di costo.
  • UII VRI: Ha utilizzato un tracker di punti denso a dominio generale congelato (AllTracker) con attenzione temporale e smoothing di Kalman, evitando il fine-tuning nel dominio chirurgico.

Risultati

• Accuratezza 2D: Il metodo con le migliori prestazioni complessive è stato la baseline MFT ($\delta_{avg} = 83.50$). Tra le sottomissioni dei partecipanti, CCG DGIST si è classificato primo ($\delta_{avg} = 82.99$), seguito da MFTIQProb ($\delta_{avg} = 82.91$) e MoriLabNU ($\delta_{avg} = 82.74$).
• Accuratezza 3D: Il Team NCT TSO ha raggiunto l'accuratezza più elevata ($\delta_{avg} = 68.46$), superando tutte le baseline. MFTIQProb si è classificato secondo ($\delta_{avg} = 57.09$). Gli autori osservano che i migliori metodi 3D si sono basati su combinazioni filtrate di tracciamento 2D e triangolazione stereo piuttosto che su architetture native 3D.
• Efficienza: Il Team NCT Toso ha vinto la categoria efficienza con una latenza per frame di 26.25 ms (percentile 95), superando significativamente il secondo competitor più veloce (UII VRI a 140.52 ms).

Significatività e Rivendicazioni
Il documento posiziona la sfida STIRC2025 e il relativo dataset come una risorsa critica per le comunità della robotica chirurgica e della computer vision. Gli autori affermano che la sfida evidenzia l'importanza di:

1. Validazione Incrociata Robusta: Il fatto che una baseline (MFT) abbia superato molti contributi specializzati sottolinea la difficoltà della generalizzazione e il rischio di overfitting sui set di test rilasciati.
2. Scambi tra Efficienza e Accuratezza: La categoria efficienza dimostra che un'alta accuratezza non preclude la fattibilità in tempo reale, con NCT TSO che raggiunge sia un'accuratezza 3D di alto livello che la latenza più bassa.
3. Direzioni Future: Gli autori suggeriscono con modestia che il lavoro futuro dovrebbe concentrarsi sul pseudo-labeling, l'apprendimento auto-supervisionato con feature chirurgiche e lo sviluppo di modelli a bassa latenza capaci di tracciamento a lungo termine e rilocalizzazione senza dipendere da architetture completamente native 3D, che rimangono una sfida aperta.

La sfida funge da benchmark per testare, confrontare e iterare algoritmi per il tracciamento dei tessuti, con l'obiettivo finale di supportare applicazioni nella chirurgia assistita da robot.