S3-Tracker: Self-Supervised Surgical Tissue Tracking With Contrastive Random Walks

All'interno del corpo umano, la vista da una telecamera chirurgica è spesso un paesaggio mutevole di tessuti morbidi e umidi che si tendono, si piegano e scivolano sotto la pressione degli strumenti. Per i chirurghi e per i robot che li assistono, mantenere una mappa mentale costante della posizione di ogni pezzo di tessuto è una sfida continua. Se un chirurgo ha bisogno di far corrispondere ciò che vede su uno schermo con una scansione preoperatoria, come una TC o una RM, il compito diventa quasi impossibile quando il tessuto si deforma in tempo reale. Per risolvere questo problema, i computer devono tracciare punti specifici sul tessuto da un fotogramma video all'altro, mantenendo una connessione continua tra la vista dal vivo e l'anatomia del paziente. Sebbene l'intelligenza artificiale moderna sia diventata molto brava a seguire oggetti in video standard, la realtà disordinata della chirurgia — piena di sangue, fumo e superfici altamente riflettenti — ha reso difficile insegnare ai computer come farlo in modo affidabile senza enormi quantità di dati etichettati da esseri umani.

Un team di ricercatori ha sviluppato un nuovo modo per insegnare ai computer come tracciare il tessuto chirurgico senza la necessità di quelle etichette difficili da ottenere. Invece di mostrare al computer migliaia di video in cui gli esseri umani hanno disegnato meticolosamente punti e linee per mostrare il movimento, il nuovo metodo, chiamato S3-Tracker, impara guardando il video stesso e controllando il proprio lavoro. Il sistema tratta il video come una serie di momenti connessi e pone una domanda semplice: se mi sposto dal punto A in un fotogramma al punto B nel fotogramma successivo, e poi provo a tornare dal punto B al punto A, finisco esattamente dove sono partito? Costringendo il computer a rispondere correttamente a questa domanda ripetutamente, esso impara a capire come i pixel si muovono e si deformano, anche quando il tessuto appare molto diverso da un momento all'altro. Questo approccio consente al sistema di apprendere da vaste quantità di filmati chirurgici non etichettati, superando l'ostacolo del bisogno di esperti umani che annotino ogni singolo fotogramma.

I ricercatori hanno costruito il loro sistema affinché analizzi coppie di fotogrammi video e capisca come i pixel di uno si relazionino con i pixel dell'altro. Utilizzano un processo che crea una mappa di connessioni tra questi punti, chiedendo essenzialmente al computer di indovinare il percorso più probabile seguito da un pezzo di tessuto. Per assicurarsi che il computer non stia solo indovinando casualmente, il sistema controlla la propria logica eseguendo il movimento in avanti e poi all'indietro. Se il percorso in avanti e il percorso all'indietro non si incontrano nello stesso punto, il sistema sa di aver commesso un errore e corregge la propria comprensione. Questo meccanismo di autocontrollo, che gli autori chiamano "random walk contrastivo", permette al modello di apprendere i modi complessi in cui il tessuto si tende e si piega senza aver mai visto una singola risposta corretta fornita da un essere umano. Il sistema include anche un modo per decidere quando un punto non è più visibile, ad esempio perché coperto da sangue o da uno strumento, e smette di tracciarlo finché non riappare, evitando che il computer si confonda e perda la rotta.

Quando testato su veri dataset di video chirurgici, il nuovo metodo si è dimostrato un forte contendente rispetto ai sistemi esistenti che si affidano a un'etichettatura umana parziale. I ricercatori hanno scoperto che il loro approccio auto-supervisionato poteva tracciare i punti con un'accuratezza che rivaleggia con i metodi addestrati con una parte di guida umana, pur essendo significativamente più veloce nell'esecuzione in tempo reale. Nei test che misurano quanto fossero distanti i punti predetti dalla realtà effettiva, il sistema si è comportato abbastanza bene da essere considerato utilizzabile in ambito clinico, raggiungendo un punteggio di accuratezza media di 0,708 attraverso varie soglie di errore. Sebbene i modelli completamente supervisionati, che utilizzano etichette umane complete, possano talvolta essere leggermente più precisi in termini di distanza dell'errore grezzo, sono spesso troppo lenti per lavorare fotogramma per fotogramma durante un intervento chirurgico in corso. Il nuovo metodo, al contrario, opera con un'efficienza tale da riuscire a stare al passo con il flusso video, elaborando i fotogrammi a una velocità di tre volte al secondo. Questa velocità, unita alla sua capacità di gestire il caos visivo della chirurgia senza bisogno di dati pre-etichettati, suggerisce che il tracciamento auto-supervisionato potrebbe diventare uno strumento pratico per guidare la chirurgia robotica e aiutare i chirurghi a navigare nel complesso e mobile terreno del corpo umano.