Riepilogo Tecnico: SurgOnAir

Enunciato del Problema

I sistemi attuali di intelligenza artificiale per la chirurgia faticano a fornire una comprensione in tempo reale e temporalmente fondata dei flussi di lavoro chirurgici. Sebbene i Modelli Linguistici Multimodali su Larga Scala (MLLM) abbiano fatto progressi nella comprensione generale dei video, la loro dipendenza da backbones pesanti e paradigmi di elaborazione offline (che richiedono l'accesso all'intera sequenza video) impedisce una reazione immediata alle dinamiche chirurgiche in evoluzione. In sala operatoria, le decisioni critiche dipendono da cambiamenti sottili e momento per momento nel movimento degli strumenti e negli stati dei tessuti; anche lievi ritardi percettivi possono compromettere la sicurezza o limitare l'assistenza. Inoltre, i metodi esistenti trattano spesso i flussi di lavoro chirurgici come sequenze piatte, trascurando la struttura gerarchica intrinseca (Fasi $\rightarrow$ Passi $\rightarrow$ Azioni) che è cruciale per il fondamento contestuale e per la riduzione delle allucinazioni. Manca un modello capace di elaborare video in streaming generando simultaneamente narrazioni multi-livello consapevoli della gerarchia.

Metodologia

1. Curazione dei Dati: SurgOnAir-11K

Gli autori introducono SurgOnAir-11K, un dataset gerarchico curato progettato per colmare il divario tra video chirurgici grezzi e narrazioni strutturate. La pipeline di curazione dei dati prevede:

• ASR Temporalmente Fondata: Utilizzo di WhisperX-large per estrarre trascrizioni a livello di parola con timestamp precisi, creando tripletti di $\langle parola, t_{inizio}, t_{fine} \rangle$.
• Correzione Consapevole del Dominio: Le frasi a bassa confidenza (probabilità logaritmica < -0.15) vengono corrette utilizzando GPT-4o con vincoli rigorosi per normalizzare la terminologia senza alterare il contenuto.
• Filtraggio Consapevole delle Azioni: Le frasi vengono classificate in AZIONE, SPIEGAZIONE e INTERAZIONE. Solo le frasi AZIONE, che sono strettamente fondate sul contenuto visivo, vengono mantenute per la supervisione.
• Costruzione Gerarchica: Il dataset è strutturato in una gerarchia a tre livelli: Fase $\rightarrow$ Passo $\rightarrow$ Parola. I passi procedurali di alto livello sono generati tramite LLM per garantire partizioni non sovrapposte e monotone nel tempo, che vengono poi allineate con le fasi definite dai metadati.

2. Architettura del Modello: SurgOnAir

SurgOnAir è un modello visione-linguaggio in streaming costruito sul backbone LiveCC-7B-Base, progettato per la generazione da frame a token in tempo reale senza accesso al futuro.

• Interleaving Temporale Denso: Il modello adotta una strategia di input in streaming in cui i frame visivi ($\langle F \rangle$) e i token di testo ($\langle W \rangle$) sono densamente intercalati: $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$. Il passo $k$ è impostato a 1 con una frequenza di fotogrammi di 2 FPS per garantire un allineamento fine.
• Token di Stato Gerarchico: Per imporre una narrazione consapevole della gerarchia, il modello utilizza speciali token di transizione (ad esempio <Stato>Fase=P1, Passo=S1</Stato>). Questi token vengono inseriti condizionalmente nel flusso di testo solo quando si verifica una transizione di stato, agendo come ancoraggi discreti per il flusso di lavoro. Ciò permette al modello di funzionare simultaneamente come narratore continuo e come tracciatore di stato rigoroso.
• Strategia di Addestramento: Il modello impiega una strategia di condizionamento a stadi. Nei primi due epoche, è condizionato sul testo ASR precedente per stabilizzare l'addestramento. Nell'ultima epoca, il contesto ASR viene rimosso (mantenendo solo il titolo del video), costringendo il modello a fare affidamento direttamente sull'evidenza visiva.

Contributi Chiave

1. Pipeline di Fondamento Temporale Gerarchico: Un metodo innovativo per convertire video chirurgici grezzi e trascrizioni ASR in un corpus video-linguistico multi-livello e allineato temporalmente (SurgOnAir-11K) caratterizzato da una supervisione esplicita a livello di Fase, Passo e Parola.
2. Framework SurgOnAir: Un framework in streaming gerarchico che intercala token multi-modali per l'elaborazione in tempo reale. Sfrutta in modo unico token di transizione specializzati per prevedere esplicitamente i cambiamenti di stato, consentendo la generazione di narrazioni consapevoli della gerarchia procedurale.
3. Prestazioni in Tempo Reale: La dimostrazione di un singolo modello visione-linguaggio capace di unificare lo streaming attraverso molteplici gerarchie del flusso di lavoro chirurgico, superando sia i modelli offline che le linee di base in streaming esistenti nella qualità della narrazione in tempo reale.

Risultati Sperimentali

Il modello è stato valutato su una divisione 80/20 del dataset SurgOnAir-11K utilizzando un compito di scelta a coppie giudicato da GPT-4o, dando priorità alla correttezza semantica e al fondamento rispetto alla perfezione sintattica.

• Confronto con le Linee di Base:
  • Modelli Offline: I Video-LLM offline (LLaVA-Video-7B, Qwen2.5-VL-7B) hanno ottenuto scarsi risultati (tassi di vittoria rispettivamente del 11,3% e del 6,2%), evidenziando la loro inadeguatezza per scenari chirurgici in tempo reale.
  • Linee di Base in Streaming: Il modello generico in streaming LiveCC-7B ha ottenuto un tasso di vittoria del 16,7%, superando i modelli offline ma fallendo nel catturare le sfumature chirurgiche complesse.
  • Varianti SurgOnAir: Una versione a narrazione piatta addestrata su dati di dominio (SurgOnAir-base) ha ottenuto un tasso di vittoria del 60,4%. Il modello completo SurgOnAir, che incorpora la modellazione gerarchica, ha ottenuto il tasso di vittoria più alto del 66,1%.
• Studi di Ablazione:
  • Gerarchia: Rimuovere la struttura gerarchica (SurgOnAir-base) ha fatto scendere il tasso di vittoria al 39,4% contro il modello completo, confermando la necessità di una guida strutturale.
  • Formulazione dello Stato: Una variante che forza la previsione dello stato a ogni token di parola (SurgOnAir-v1) ha ottenuto il 42,5%, rispetto al 57,5% della formulazione proposta consapevole delle transizioni, indicando che la generazione ridondante dello stato danneggia la fluidità della narrazione.
  • Correttezza della Fase: Quando il modello ha previsto correttamente la fase chirurgica, il tasso di vittoria contro il modello base è salito al 65,8%, dimostrando che un fondamento accurato della fase supporta direttamente una narrazione allineata contestualmente.
• Risultati Qualitativi: Il modello transisce coerentemente attraverso i confini procedurali (ad esempio, da "Introduzione della Rete" a "Fissazione della Rete") e mantiene un allineamento temporale a livello micro, descrivendo accuratamente strumenti e anatomia al momento dell'interazione.

Significato e Affermazioni

Il documento afferma che SurgOnAir rappresenta il primo framework di narrazione chirurgica in tempo reale basato sulla modellazione gerarchica. Il suo significato principale risiede nel far avanzare la comprensione chirurgica in tempo reale oltre la didascalia video convenzionale, producendo descrizioni che sono sia allineate temporalmente che consapevoli della gerarchia. Gli autori affermano che questo lavoro getta le basi per futuri sistemi di automazione chirurgica e sistemi di insegnamento chirurgico intelligenti.

Il documento rimane modesto riguardo alle sue limitazioni, riconoscendo che la scala attuale del dataset è limitata e che il modello non esegue ancora la previsione di azioni future, notando questi aspetti come direzioni promettenti per ulteriori esplorazioni.