Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

Sintesi Tecnica: Interpolazione di Etichette Temporalmente Coerenti per l'Apprendimento Multi-Task Chirurgico Robusto in Condizioni Sfidanti

1. Definizione del Problema

Il documento affronta una barriera fondamentale nell'apprendimento multi-task (MTL) unificato per la chirurgia: la discrepanza di granularità dell'annotazione.

• Task Temporali: I task legati al workflow (riconoscimento delle fasi, riconoscimento degli step, anticipazione) beneficiano tipicamente di una supervisione densa a livello di frame, disponibile per quasi ogni fotogramma del video.
• Task Spaziali: I task a livello di pixel (segmentazione degli strumenti, riconoscimento dell'azione) richiedono annotazioni esperte laboriose che coinvolgono conoscenze cliniche specializzate. Di conseguenza, questi sono spesso annotati solo in modo sparso su keyframe selezionati a causa dei costi di etichettatura proibitivi.

Questo squilibrio crea un divario di supervisione che mina l'apprendimento di rappresentazioni condivise. L'ottimizzazione congiunta di task eterogenei è limitata perché il modello manca di indizi spaziali densi per ancorare le predizioni temporali, mentre il contesto temporale non riesce a regolarizzare efficacemente le predizioni spaziali sparse. Inoltre, la propagazione diretta di etichette sparse nei video chirurgici è problematica a causa delle complesse condizioni intraoperatorie (occlusione, fumo, sfocatura da movimento, variazioni di illuminazione), che causano il fallimento dei metodi di propagazione basati sull'aspetto (come SAM2), risultando in pseudo-etichette temporalmente incoerenti.

2. Metodologia

Gli autori propongono FAROS (Flow-guided Annotation for Robust Operating Scenes), un framework progettato per generare pseudo-etichette dense e temporalmente coerenti a partire da annotazioni sparse di keyframe, seguite da un'architettura di apprendimento multi-task unificata.

A. FAROS: Interpolazione di Etichette Guidata dal Flusso
FAROS combina la propagazione di maschere basata sulla segmentazione zero-shot con la stima del flusso ottico per superare i limiti dei metodi basati sull'aspetto negli ambienti chirurgici.

• Prompting SAM2 Bidirezionale: Invece di propagare unidirezionalmente da un singolo keyframe, il sistema registra le maschere di ground-truth da entrambi i keyframe limite ($k_0$ e $k_1$) nel memory bank di SAM2. Ciò consente al modello di fare riferimento ad anchor da entrambe le estremità di un segmento, migliorando la stabilità temporale.
• Rilevamento delle Anomalie Basato sulla Coerenza del Flusso: Per rilevare i fallimenti della propagazione (es. occlusione o uscita dello strumento), il sistema utilizza la proprietà di coerenza forward-backward del flusso ottico (stimato tramite RAFT). Calcola un errore di coerenza per pixel. Se l'errore supera una soglia ($\tau$) per un numero consecutivo di frame ($n_{confirm}$), la propagazione viene segnalata come anomala.
• Re-prompting Guidato dal Flusso: Al rilevamento di un'anomalia, il sistema calcola il flusso backward dal keyframe verificato più vicino al frame corrente. Warpa la maschera di ground-truth da quel keyframe per generare un "prompt correttivo" geometricamente fondato. Questo prompt viene reinserito nell'encoder di prompt di SAM2 per ri-inizializzare la propagazione, recuperando efficacementmente la maschera laddove l'attenzione basata sull'aspetto è fallita.

B. Framework di Apprendimento Multi-Task Unificato
Le pseudo-etichette densificate sono integrate in un framework unificato basato su Transformer che apprende congiuntamente cinque task: riconoscimento della fase chirurgica, riconoscimento dello step, anticipazione, segmentazione degli strumenti e riconoscimento dell'azione.

• Architettura: Il framework impiega una RPN (Region Proposal Network) basata su Mask2Former come baseline per la segmentazione degli strumenti. Nella Fase 1, la RPN è addestrata su pseudo-maschere e ground-truth per produrre embedding di regione. Nella Fase 2, la RPN è congelata e questi embedding pre-calcolati vengono riutilizzati.
• Accoppiamento Spazio-Temporale: Un backbone MViT estrae feature spazio-temporali. Token CLS dedicati sono assegnati ai task a livello di frame (fase, step).
• Condizionamento Cross-Task: Il framework modella esplicitamente le dipendenze tra i task tramite moduli di condizionamento leggeri:
  • Fase $\to$ Step: Le feature della fase informano la predizione dello step.
  • Spaziale $\to$ Temporale: Gli embedding di regione aggregati (presenza/configurazione degli strumenti) sono iniettati nelle teste di predizione di fase e step, ancorando il riconoscimento del workflow alla comprensione degli strumenti a livello di pixel.
• Ottimizzazione: Il modello utilizza una somma pesata di loss specifiche per task, attivandole solo quando le corrispondenti annotazioni (o pseudo-etichette) sono disponibili, consentendo un'ottimizzazione bilanciata tra segnali di supervisione eterogenei.

3. Contributi Chiave

1. Identificazione della Discrepanza di Granularità dell'Annotazione: Il documento identifica la disparità tra supervisione temporale densa e spaziale sparsa come una barriera critica per l'MTL chirurgico unificato e propone FAROS per colmare questo divario.
2. Framework FAROS: Un nuovo metodo di interpolazione di etichette guidato dal flusso che aumenta la segmentazione zero-shot (SAM2) con la guida del flusso ottico. Affronta specificamente i modi di fallimento nelle condizioni chirurgiche difficili (occlusione, fumo, sfocatura da movimento) utilizzando prior di movimento geometrici per rilevare anomalie e ri-promptare il modello di segmentazione.
3. MTL Spazio-Temporale Unificato: Un framework unificato basato su Transformer che modella congiuntamente i task a livello di workflow e a livello di regione, sfruttando la supervisione spaziale densificata per abilitare un apprendimento di rappresentazione cross-task bilanciato.
4. Validazione Empirica: Esperimenti estesi sui benchmark GraSP, MISAW e AutoLaparo, insieme alla validazione sul dataset DAVIS 2017 sotto un protocollo di ground-truth sparso.

4. Risultati

• Validazione DAVIS 2017: Sotto un protocollo di ground-truth sparso (keyframe ogni 30 frame), FAROS supera la baseline SAM2 in termini di similarità di regione ($\mathcal{J}$) e accuratezza del contorno ($\mathcal{F}$), dimostrando una propagazione robusta anche con lunghi intervalli tra i keyframe e movimenti impegnativi.
• Benchmark GraSP: Il modello completo con interpolazione guidata dal flusso ("All w/ inter") migliora significativamente i task a livello di workflow rispetto alle baseline single-task e ai modelli multi-task senza interpolazione. In particolare, il riconoscimento dello step mostra forti guadagni. Sebbene sia stata osservata una lieve diminuzione quantitativa in mIoU rispetto al modello multi-task non interpolato, l'analisi qualitativa ha indicato una segmentazione visivamente superiore con meno falsi positivi e migliore coerenza temporale.
• Benchmark MISAW: Il metodo proposto ha ottenuto i migliori risultati in quasi tutte le metriche, con miglioramenti particolarmente forti nel riconoscimento del workflow e nell'anticipazione dello step. Anche la segmentazione degli strumenti ha recuperato e superato le baseline single-task.
• Benchmark AutoLaparo: Utilizzato per isolare l'effetto dell'interpolazione delle etichette, i risultati hanno mostrato che i modelli addestrati con pseudo-etichette interpolate migliorano costantemente le prestazioni di segmentazione (IoU, mIoU) rispetto alle baseline senza interpolazione, anche senza addestramento multi-task congiunto.
• Efficienza: Il framework raggiunge una capacità in tempo reale (circa 44 clip/s su una singola GPU) disaccoppiando la generazione di maschere computazionalmente pesante (Fase 1, congelata) dall'inferenza multi-task (Fase 2).

5. Significato e Rivendicazioni

Il documento afferma che l'interpolazione delle etichette guidata dal flusso è essenziale per realizzare i benefici dell'apprendimento multi-task nella comprensione delle scene chirurgiche. Senza interpolazione, l'addestramento congiunto spesso degrada le prestazioni rispetto alle baseline single-task a causa dello squilibrio di annotazione.

Gli autori asseriscono che:

• Accoppiamento Spazio-Temporale: Le configurazioni spaziali degli strumenti fungono da prior strutturati per il riconoscimento del workflow. Densificando la supervisione spaziale, il framework fornisce indizi più ricchi per le transizioni di fase e step.
• Robustezza: La combinazione di segmentazione basata sull'aspetto e correzione del flusso basata sulla geometria gestisce efficacemente le condizioni clinicamente difficili (es. uscita/rientro degli strumenti, fumo, occlusione da sangue) dove i modelli puramente basati sull'aspetto falliscono.
• Generalizzabilità: L'approccio è validato attraverso diversi domini chirurgici (chirurgia robotica assistita, addestramento microsurgico, laparoscopia) e scenari video generali, suggerendo che il metodo è robusto a diverse densità di annotazione e complessità visive.

Il lavoro si pone come una base per una comprensione olistica della scena chirurgica efficiente nell'annotazione, dimostrando che colmare il divario di supervisione permette un apprendimento multi-task bilanciato che migliora le prestazioni di tutti i task simultaneamente.