Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation

In sala operatoria, un chirurgo si affida a una mano ferma e a occhi acuti, ma sempre più spesso si affida anche a software in grado di vedere l'interno del corpo. I moderni sistemi informatici possono osservare un feed video in diretta da una telecamera all'interno di un paziente e tracciare automaticamente i contorni degli strumenti chirurgici e degli organi, aiutando il chirurgo a monitorarne la posizione o a valutarne l'abilità. Questi sistemi sono addestrati su migliaia di ore di video nitidi e di alta qualità. Tuttavia, la vera chirurgia è disordinata. Il fumo derivante dalla cauterizzazione dei tessuti, i cambiamenti improvvisi dell'illuminazione, il movimento sfocato o persino la compressione del segnale video possono degradare l'immagine. Quando ciò accade, il computer potrebbe comunque disegnare con fiducia un contorno dall'aspetto perfetto, anche se l'immagine che sta osservando è troppo distorta per essere accurata. Questo è un fallimento silenzioso: il sistema sbaglia, ma non lo sa, e non offre alcun avviso all'essere umano che guarda lo schermo.

Un team di ricercatori della VinUniversity di Hanoi ha sviluppato un nuovo modo per individuare questi errori silenziosi. Hanno creato un sistema chiamato TCSR-Monitor, che agisce come un guardiano indipendente per il video chirurgico. Invece di cercare di riparare il modello di visione artificiale o di riaddestrarlo, questo nuovo sistema si limita a osservare ciò che il modello produce e controlla il risultato rispetto a un insieme di regole di buon senso. Esamina la forma del contorno disegnato, quanto si muova fluidamente da un fotogramma video all'altro e la qualità dell'immagine stessa. Combinando queste osservazioni con il punteggio di confidenza del modello stesso, il monitor può individuare quando uno strumento viene identificato erroneamente, anche se il programma originale insiste nel dichiarare di stare facendo un lavoro perfetto. I ricercatori hanno testato questo sistema su un ampio dataset di video chirurgici che erano stati artificialmente degradati per simulare problemi del mondo reale come sfocatura e rumore. Hanno scoperto che il loro nuovo sistema poteva rilevare questi fallimenti molto meglio rispetto al semplice affidarsi alla confidenza del computer, dimostrando che osservare la forma e il movimento del risultato è importante quanto ascoltare la voce interna del computer.

Il problema centrale affrontato dai ricercatori è che i modelli di deep learning, che alimentano questi strumenti chirurgici, sono spesso eccessivamente sicuri di sé. Quando un'immagine è sfocata o buia, un modello standard potrebbe comunque produrre un contorno netto e chiaro di uno strumento chirurgico, convinto di essere corretto. Nel mondo reale, questo è pericoloso perché un chirurgo potrebbe fidarsi di un contorno errato e commettere un errore. I metodi precedenti cercavano di risolvere il problema misurando l'incertezza, chiedendo essenzialmente al computer: "Quanto sei sicuro?". Se il computer era incerto, lanciava un allarme. Ma i ricercatori hanno scoperto che, sotto certi tipi di degradazione dell'immagine, il computer rimane ostinatamente sicuro anche quando è completamente errato. Il nuovo approccio, TCSR-Monitor, accetta il fatto che il computer possa essere sicuro ma sbagliato, quindi smette di ascoltare solo la confidenza del computer e inizia a guardare le prove stesse nel video.

Per costruire questo guardiano, i ricercatori hanno progettato un sistema che non ha bisogno di sapere come funziona internamente il computer chirurgico. È un monitor "post-hoc", il che significa che si posiziona sopra il modello esistente senza modificarne i pesi o richiedere l'accesso al suo codice interno. Questo è fondamentale per gli ospedali, dove il software che gestisce la chirurgia può essere una "scatola nera" che non può essere modificata o riaddestrata. Il sistema osserva il video fotogramma per fotogramma. Per ogni immagine, estrae ventidue indizi differenti. Alcuni di questi indizi derivano dalla confidenza del modello, come quanto il modello esiti tra diverse possibilità. Altri derivano dalla forma del contorno: uno strumento chirurgico dovrebbe apparire come un oggetto solido, non come una collezione sparsa di pixel. Il sistema controlla anche come si muove lo strumento; in un video reale, uno strumento si muove in modo fluido, quindi se il contorno salta erraticamente da un fotogramma all'altro, è un segno di problemi. Infine, misura la qualità dell'immagine stessa, controllando sfocatura, luminosità e contrasto.

I ricercatori hanno testato il loro sistema utilizzando un dataset chiamato EndoVis 2017, che contiene registrazioni di chirurgia robotica. Hanno preso questi video e li hanno deliberatamente corrotti con sei diversi tipi di problemi, tra cui la sfocatura gaussiana, la sfolettatura da movimento e la compressione JPEG, a cinque diversi livelli di gravità. Hanno poi chiesto al loro monitor di prevedere quali fotogrammi contenessero un fallimento, definito come un momento in cui il contorno del computer non corrispondeva abbastanza bene allo strumento reale. Per garantire che il sistema stesse realmente imparando a riconoscere i fallimenti e non si limitasse a memorizzare i tipi specifici di immagini degradate su cui era stato addestrato, hanno utilizzato un metodo di test rigoroso. Hanno addestrato il monitor su cinque tipi di corruzione dell'immagine e lo hanno poi testato sul sesto tipo, che non aveva mai visto prima. Questo è simile all'insegnare a uno studente a riconoscere un'auto guasta guardando una gomma a terra, un parabrezza crepato e una portiera ammaccata, e poi chiedere di identificare un'auto con una ruota mancante. Il monitor ha avuto successo, dimostrando di aver appreso il concetto generale di fallimento piuttosto che aver semplicemente memorizzato difetti specifici.

I risultati hanno mostato che affidarsi solo alla confidenza del computer non era sufficiente. Mentre i metodi standard basati sull'incertezza potevano individuare alcuni errori, perdevano molti dei fallimenti "sicuri di sé" che sono i più pericolosi. Il nuovo TCSR-Monitor, combinando confidenza con forma, movimento e qualità dell'immagine, ha superato significativamente questi metodi più vecchi. Nei test in cui il sistema doveva identificare fallimenti in immagini mai viste durante l'addestramento, ha identificato correttamente i problemi molto più spesso rispetto ai baseline basati sull'incertezza. I ricercatori hanno anche eseguito un controllo specifico per assicurarsi che il sistema non segnalasse semplicemente qualsiasi immagine sfocata come un fallimento. Hanno dimostrato che il monitor poteva distinguere tra un'immagine sfocata dove il computer era ancora corretto e un'immagine sfocata dove il computer aveva commesso un errore. Questa è una distinzione critica; un sistema che urla semplicemente "l'immagine è brutta" non è utile se non può dire quando il computer è effettivamente sbagliato.

Tuttavia, i ricercatori sono stati attenti a sottolineare che il sistema non è ancora perfetto per l'uso clinico immediato. Sebbene abbia identificato con successo i fallimenti, ha anche generato falsi allarmi. In alcuni casi, quando l'immagine era moderatamente corrotta, il sistema ha segnalato quasi il quaranta per cento dei contorni disegnati correttamente come fallimenti. Ciò significa che, se un chirurgo dovesse affidarsi a questo flusso di allarmi oggi, verrebbe interrotto da avvisi anche quando il computer sta svolgendo il suo lavoro correttamente. Per affrontare questo, il team ha utilizzato una tecnica statistica chiamata calibrazione conformale di Mondrian. Questo metodo regola la sensibilità dell'allarme per diversi livelli di degradazione dell'immagine, garantendo che il tasso di fallimenti mancati rimanga costante attraverso tutti i tipi di problemi. Sebbene ciò abbia bilanciato la sicurezza, non ha eliminato del tutto i falsi allarmi, evidenziando un compromesso tra il catturare ogni errore e l'evitare continue interruzioni.

Lo studio ha anche esplorato se questo sistema di monitoraggio potesse funzionare con diversi tipi di computer chirurgici. Lo hanno testato su un modello più recente e potente chiamato SAM2, che è un modello di visione general-purpose. Interessantemente, per questo specifico modello, la semplice misura dell'incertezza era in realtà migliore del nuovo e complesso monitor. Ciò suggerisce che il nuovo sistema non è una soluzione magica che funziona in ogni situazione, ma piuttosto uno strumento specializzato che brilla quando il modello informatico sottostante è ostinatamente sicuro di sé nonostante sia errato. I ricercatori hanno scoperto che le caratteristiche apprese dal loro sistema — guardare la forma e il movimento — potevano essere trasferite al nuovo modello, ma non hanno superato il metodo più semplice in quel caso specifico. Questa sfumatura è importante: il valore del nuovo approccio risiede nella sua capacità di generalizzare a problemi non visti e nella sua robustezza quando il computer è con sicurezza errato, non nella sua capacità di sostituire tutti gli altri metodi.

In definitiva, questo lavoro fornisce un quadro credibile per rendere più sicura l'IA chirurgica. Dimostra che aggiungendo uno strato di osservazione esterna che controlla la forma, il movimento e la qualità dell'output, possiamo catturare errori che il computer stesso non riesce a vedere. I ricercatori hanno reso il loro codice e le loro configurazioni di addestramento disponibili al pubblico, permettendo ad altri scienziati di costruire su questa base. Sebbene il sistema debba ancora essere perfezionato per ridurre i falsi allarmi prima di poter essere utilizzato in una sala operatoria reale, esso offre una via chiara da seguire. Sposta l'attenzione dal sperare che il computer sappia quando sbaglia al costruire un sistema che possa dire quando il computer sbaglia, anche quando il computer insiste di avere ragione. Questo è un passo vitale per garantire che gli assistenti digitali in sala operatoria rimangano partner affidabili nell'ambiente ad alto rischio della chirurgia.