Confidence-aware Monocular Depth Estimation for Minimally Invasive Surgery

Questo lavoro propone un nuovo quadro per la stima della profondità monoculare in chirurgia minimamente invasiva che, integrando target di confidenza calibrati, funzioni di perdita consapevoli della confidenza e una testina di stima durante l'inferenza, migliora l'accuratezza e la affidabilità clinica riducendo l'impatto di artefatti come fumo e riflessi.

L'essenziale

Immagina di essere un chirurgo che opera all'interno del corpo di un paziente, ma invece di vedere direttamente con i tuoi occhi, devi guardare attraverso una piccola telecamera (un endoscopio) inserita in un'incisione. È come cercare di guidare un'auto in una notte molto buia, con la nebbia, il parabrezza sporco di grasso e luci che riflettono in modo accecante.

In questo scenario, la profondità (capire quanto è lontano un organo o uno strumento) è fondamentale per non sbagliare un taglio. Tuttavia, le telecamere mediche spesso producono immagini confuse: c'è fumo dal cauterizzatore, riflessi strani, sangue che offusca la vista o strumenti che coprono la telecamera.

Gli attuali computer (intelligenza artificiale) cercano di calcolare la profondità da queste immagini, ma spesso "indovinano" male quando l'immagine è sporca o confusa. Il problema è che questi computer non ti dicono mai: "Ehi, qui sono sicuro al 100%, ma là ho solo un'idea vaga". Se il computer sbaglia e non te lo dice, il chirurgo potrebbe fare un errore pericoloso.

La soluzione proposta: Un "Sesto Senso" per la Telecamera

Gli autori di questo articolo (un team di Medtronic e dell'Università di Londra) hanno creato un nuovo metodo per insegnare all'intelligenza artificiale a sapere quando non è sicura.

Ecco come funziona, spiegato con delle metafore semplici:

1. La "Squadra di Esperti" (L'Ensemble)

Immagina di dover stimare la distanza di un oggetto in una stanza buia. Invece di chiedere a una sola persona, chiedi a cinque esperti diversi di guardare la stessa foto e dirti quanto è lontano l'oggetto.

• Se tutti e cinque dicono "3 metri", sei molto sicuro che sia 3 metri.
• Se uno dice "2 metri", un altro "5", un altro "3", e così via, allora sai che la situazione è confusa e la tua stima è poco affidabile.

Il loro sistema fa esattamente questo: usa un "gruppo" (ensemble) di diversi modelli di intelligenza artificiale addestrati su immagini chirurgiche. Se i modelli sono tutti d'accordo, il sistema assegna un punteggio di fiducia alto. Se sono in disaccordo (perché c'è fumo o riflessi), il punteggio di fiducia scende. Questo crea una "mappa di fiducia" pixel per pixel.

2. L'Allenamento Selettivo (Loss Funzione Consapevole)

Ora, immagina di insegnare a un bambino a disegnare. Se il bambino sbaglia a disegnare un albero perché la luce era cattiva e non vedeva bene, non lo sgridi allo stesso modo se sbaglia perché non ha fatto attenzione.
Il nuovo metodo insegna al computer a prestare più attenzione alle parti dell'immagine dove la "Squadra di Esperti" è d'accordo (zone chiare e sicure) e a ignorare o sminuire le parti dove c'è confusione (fumo, riflessi). In questo modo, il computer impara a essere più preciso proprio dove serve, senza farsi confondere dal "rumore" dell'immagine.

3. Il "Segnale di Allarme" in Tempo Reale

Infine, hanno aggiunto una piccola parte extra al cervello del computer (una "testa di fiducia"). Quando il chirurgo usa il sistema durante un'operazione, il computer non gli dà solo la mappa della profondità, ma anche una mappa di sicurezza.

• Le zone verdi (alta fiducia) sono sicure da usare per guidare lo strumento.
• Le zone rosse (bassa fiducia) sono aree dove il computer dice: "Attenzione, qui non vedo bene a causa del fumo o del riflesso, fai attenzione!".

Perché è importante?

Prima, se il computer sbagliava a calcolare la distanza in una zona piena di fumo, lo faceva senza avvisare, e il chirurgo poteva fidarsi ciecamente di un dato errato.
Ora, il sistema funziona come un navigatore GPS intelligente: se dice "svolta a destra", sai che è sicuro. Se invece ti dice "svolta a destra... ma aspetta, c'è nebbia, potrei sbagliare", il chirurgo sa che deve fare più attenzione o usare il suo giudizio umano.

I Risultati

Hanno testato questo sistema su migliaia di video chirurgici reali e di laboratorio.

• Nei casi difficili (con fumo e riflessi), la precisione è migliorata di circa l'8%.
• Il sistema è diventato molto bravo a dire: "Qui sono sicuro, lì no".

In sintesi, questo lavoro non rende il computer più "magico", ma lo rende più onesto e affidabile. In un'operazione chirurgica, sapere quando non fidarsi è importante quanto sapere dove andare.

Sommario tecnico

1. Il Problema

La stima della profondità monoculare (MDE) è fondamentale per la comprensione della scena nella chirurgia minimamente invasiva (MIS), supportando compiti come la navigazione chirurgica, la manipolazione autonoma dei tessuti e le misurazioni anatomiche. Tuttavia, l'applicazione di modelli MDE in ambito chirurgico presenta sfide significative:

• Ambiente ostile: I video endoscopici sono spesso contaminati da fumo, riflessi speculari, sfocature (motion blur), occlusioni da strumenti chirurgici e illuminazione non uniforme.
• Limitazioni dei modelli attuali: I modelli MDE esistenti tendono a produrre stime di profondità inaccurate in queste condizioni e, soprattutto, non forniscono una misura di confidenza per le loro previsioni.
• Rischio clinico: Senza una stima dell'affidabilità, è difficile distinguere tra una previsione accurata e una errata, il che può portare a valutazioni anatomiche sbagliate o a rischi per la sicurezza del paziente.

2. Metodologia Proposta

Gli autori propongono un nuovo framework di MDE consapevole della confidenza (confidence-aware), che integra esplicitamente la stima dell'incertezza sia durante l'addestramento che all'atto dell'inferenza. Il pipeline si articola in tre fasi principali (illustrate nella Figura 2 del paper):

A. Stima della Confidenza basata su Ensemble (Training Label Generation)

Per generare etichette di confidenza pixel per pixel, gli autori utilizzano un ensemble di modelli di matching stereo (5 modelli Unimatch fine-tunati su dati MIS con diversi seed casuali).

• Si calcola la varianza delle mappe di disparità prodotte dai $K$ modelli dell'ensemble.
• Questa varianza viene convertita in una probabilità di confidenza $P_c(i)$ tramite una funzione esponenziale:
  $$P_c(i) = \exp\left(-\frac{D_v(i)}{2\sigma^2}\right)$$
  dove $D_v$ è la varianza e $\sigma$ è un parametro di controllo. Regioni con alta varianza (rumore, ambiguità) ricevono bassa confidenza, mentre regioni coerenti ricevono alta confidenza.

B. Loss Funzione Consapevole della Confidenza (Confidence-Aware Loss)

Durante l'addestramento del modello MDE monoculare (basato su DepthAnything v1), la funzione di perdita viene pesata dalle mappe di confidenza generate:
$$L_{conf} = \frac{1}{N} \sum_{i=1}^{N} P_c(i) \cdot l_i$$
Questa formulazione assicura che i pixel affidabili (alta confidenza) dominino l'aggiornamento dei gradienti, mentre i pixel rumorosi o incerti vengano "sotto-pesati", migliorando la robustezza del modello. La loss totale combina tre componenti: loss logaritmica invariante alla scala, loss di gradiente e loss di regolarizzazione ai bordi, tutte ponderate dalla confidenza.

C. Head di Confidenza all'Inferenza

Il modello MDE viene esteso con un confidence head leggero (due strati convoluzionali: $3\times3$e$1\times1$) che produce una mappa di confidenza in tempo reale durante l'inferenza. Questo permette al sistema di outputare non solo la profondità, ma anche una mappa di affidabilità per ogni pixel.

3. Contributi Chiave

1. Mappe di Confidenza Pixel-per-Pixel: Utilizzo di un ensemble di modelli stereo per generare etichette di confidenza continue e calibrate, trasformando la varianza in probabilità.
2. Loss Funzione Adattiva: Introduzione di una loss function che utilizza le mappe di confidenza per guidare l'addestramento, sopprimendo l'influenza dei dati rumorosi.
3. Stima della Confidenza in Inferenza: Implementazione di un modulo dedicato che permette al modello di prevedere la propria affidabilità in tempo reale, essenziale per applicazioni cliniche sicure.

4. Risultati Sperimentali

Il framework è stato validato su dataset interni (StereoKP, MicroCT-SE, MicroCT-PK) e pubblici (Hamlyn, DaVinci).

• Dataset StereoKP (Clinico/Pre-clinico): Questo è il dataset più complesso, contenente artefatti reali. Il modello proposto (DAv1-B-CA) ha mostrato miglioramenti significativi rispetto al baseline:
  • Riduzione dell'errore relativo assoluto (ARE) dal 12.41% all'8.86% (miglioramento di circa l'8%).
  • Aumento della percentuale di pixel accurati ($\delta_1 < 1.25$) dall'85.83% al 94.14%.
  • Riduzione dell'errore assoluto medio (MAE) da 2.04 mm a 1.79 mm.
  • Miglioramento dell'accuratezza a 2mm (Acc@2mm) dal 72.4% al 77.9%.
• Dataset MicroCT (Laboratorio): In condizioni controllate con ground truth di alta qualità (MicroCT), il modello ha mostrato una forte coerenza con le misurazioni reali, confermando l'accuratezza in scenari privi di rumore.
• Dataset Hamlyn e DaVinci: Sono stati osservati miglioramenti moderati ma consistenti, indicando una buona capacità di generalizzazione anche su dati pubblici già parzialmente puliti o di alta qualità.
• Analisi di Ablazione: Lo studio ha dimostrato che sia la Confidence-Aware Loss (CAL) che l'Confidence Head (CH) contribuiscono individualmente alle prestazioni, ma la loro combinazione offre i risultati ottimali.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale per l'adozione dell'intelligenza artificiale in chirurgia:

• Affidabilità Clinica: Fornendo mappe di confidenza, il sistema permette ai chirurghi o ai robot autonomi di identificare le regioni in cui la stima della profondità è incerta, riducendo il rischio di errori critici.
• Robustezza al Rumore: Il metodo dimostra di essere efficace nel filtrare gli artefatti tipici della chirurgia (fumo, riflessi), migliorando la precisione laddove i modelli tradizionali falliscono.
• Scalabilità: L'approccio è applicabile a vari scenari MIS e può essere integrato in sistemi di navigazione chirurgica per la manipolazione autonoma dei tessuti e il monitoraggio della sicurezza.

In sintesi, il framework proposto trasforma la MDE da un compito puramente predittivo a uno probabilistico e consapevole del contesto, rendendo le stime di profondità più sicure e utilizzabili in ambienti chirurgici reali e rumorosi.