Riepilogo Tecnico: Apprendimento Contrastivo sotto Auto-Supervisione Temporale Rumorosa per Video di Colonoscopia

Enunciato del Problema

L'apprendimento robusto di rappresentazioni di tracklet di polipi (sequenze di rilevamenti consecutivi dello stesso polipo) è essenziale per varie applicazioni di colonoscopia assistita dall'IA, inclusa la caratterizzazione dei polipi, la segnalazione automatizzata e il recupero delle lesioni. Sebbene l'apprendimento contrastivo supervisionato si sia dimostrato efficace, esso si basa su annotazioni di "entità polipo" – etichette che collegano i rilevamenti allo stesso polipo sottostante lungo tutto il video. La generazione di queste etichette è costosa, richiede tempo e necessita di competenze cliniche specializzate, limitando la scalabilità degli approcci supervisionati.

I metodi auto-supervisionati esistenti tentano di aggirare questo problema dividendo i tracklet in segmenti disgiunti o raggruppandoli. Tuttavia, questi approcci spesso non riescono a catturare la piena coerenza semantica di un'entità polipo attraverso un video. Al contrario, i recenti metodi supervisionati che utilizzano annotazioni esplicite delle entità raggiungono prestazioni superiori, evidenziando un divario significativo tra apprendimento supervisionato e auto-supervisionato. La sfida consiste nel ridurre questo divario senza fare affidamento su annotazioni manuali delle entità, nonostante l'ambiente visivo altamente variabile della colonoscopia (cambiamenti di punto di vista, scala, illuminazione, sfocatura da movimento e occlusione).

Metodologia

Il framework proposto sfrutta il flusso di lavoro sequenziale intrinseco delle procedure di colonoscopia per derivare associazioni auto-supervisionate dalla struttura temporale. L'assunzione di base è che le osservazioni catturate vicine nel tempo siano probabilmente rappresentative della stessa entità polipo.

1. Struttura Temporale come Auto-Supervisione

Il metodo costruisce un dataset di tracklet $\{x_i\}$ a partire dai rilevamenti di polipi ground-truth. Per ogni tracklet di ancoraggio $i$ all'interno di un video $v_i$, viene costruita una "borsa" di tracklet positivi candidati a partire da altri tracklet nello stesso video ($v_j = v_i$).

• Classifica: I tracklet sono ordinati in base alla loro distanza temporale dall'ancoraggio.
• Costruzione della Borsa: Invece di selezionare solo i tracklet temporalmente più vicini (che produrrebbero viste ridondanti), il metodo campiona $K$ ranghi distinti da una distribuzione esponenziale $P_\tau(r) \propto \exp(-r/\tau)$. Il parametro di temperatura $\tau$ controlla la diversità della borsa: un $\tau$ basso seleziona vicini prossimi (alta similarità, basso rumore), mentre un $\tau$ alto seleziona vicini distanti (alta diversità, rischio maggiore di associazioni errate).
• Apprendimento Curricolare: Per bilanciare il compromesso tra diversità delle viste e correttezza dell'associazione, viene introdotta una variabile curricolare $c \in [0, 1]$. La temperatura $\tau$ viene aumentata gradualmente da un valore minimo a un valore massimo nel corso dell'addestramento utilizzando un programma coseno. Ciò permette al modello di iniziare con associazioni sicure e altamente simili, per apprendere progressivamente da associazioni temporali più diversificate e potenzialmente più rumorose.

2. Funzione di Perdita Contrastiva Consapevole del Rumore

Poiché la vicinanza temporale non garantisce che due tracklet appartengano allo stesso polipo (ad esempio, due polipi diversi che appaiono in rapida successione), le "borse" risultanti possono contenere campioni "impuri" (tracklet provenienti da polipi diversi). Trattare tutti i campioni in una borsa come positivi può degradare l'apprendimento delle rappresentazioni.

Gli autori propongono una funzione di perdita contrastiva consapevole del rumore che rilassa il vincolo contrastivo standard. Invece di richiedere che tutti i campioni positivi in una borsa siano simili all'ancoraggio, la perdita impone che almeno uno dei tracklet nella borsa sia più simile all'ancoraggio di quanto qualsiasi tracklet nella borsa non lo sia a qualsiasi altro ancoraggio.

• Formulazione Matematica: La funzione di perdita utilizza un'approssimazione log-sum-exp dell'operatore max. Massimizza la similarità tra l'ancoraggio e il positivo migliore corrispondente nella borsa, minimizzando al contempo la similarità tra l'ancoraggio e i negativi provenienti da altri ancoraggi.
• Effetto: Questa formulazione permette al modello di "ignorare" efficacemente le associazioni temporali rumorose (errate) all'interno di una borsa, impedendo loro di degradare lo spazio di embedding appreso.

3. Architettura

Il framework utilizza un encoder leggero costituito da una ResNet-50 per l'estrazione degli embedding dei frame, seguito da uno stack di tre livelli di encoder transformer per aggregare le rappresentazioni globali dei tracklet. La perdita può essere applicata all'embedding finale del tracklet, agli embedding per frame, o a entrambi.

Contributi Chiave

1. Framework Auto-Supervisionato: Un approccio innovativo che sfrutta il flusso di lavoro sequenziale della colonoscopia per costruire segnali di auto-supervisione dalla struttura temporale, eliminando la necessità di annotazioni manuali delle entità polipo.
2. Funzione di Perdita Contrastiva Consapevole del Rumore: Una funzione di perdita progettata per mitigare l'impatto delle associazioni temporali rumorose assicurando che solo i campioni positivi più coerenti all'interno di una borsa guidino il processo di apprendimento.
3. Valutazione Completa: Una valutazione estesa su quattro dataset pubblici (REAL-Colon, SUN, PolypSize, PolypsSet) su molteplici compiti downstream, dimostrando prestazioni che eguagliano o superano i recenti modelli foundation.

Risultati

Il metodo è stato addestrato su soli 27 video (85 polipi) dal dataset REAL-Colon e valutato su quattro compiti downstream:

• Recupero dei Polipi: Misurato tramite Precisione Media (mAP) e Hit Rate.
• Re-identificazione (ReID): Misurato tramite AUROC e AUPR.
• Stima delle Dimensioni: Classificazione binaria (diminutivo vs non diminutivo) tramite probing non lineare.
• Classificazione Istologica: Classificazione binaria (adenoma vs non adenoma) tramite probing non lineare.

Evidenze di Prestazione:

• Rispetto alle Baseline Auto-Supervisionate: Il metodo proposto ha superato gli approcci auto-supervisionati precedenti (ad es. TPC, MVE, SFE) con margini significativi, inclusa un miglioramento relativo del 23,69% nella mAP di recupero e un miglioramento del 24,4% nell'accuratezza istologica.
• Rispetto alle Baseline Fully Supervised: Il metodo ha costantemente raggiunto prestazioni superiori o comparabili rispetto alle baseline fully supervised (che si basano su costose annotazioni delle entità). Ad esempio, ha migliorato l'AUPR del 18,56% rispetto alla migliore baseline supervisionata nel ReID.
• Rispetto ai Modelli Foundation: L'encoder leggero (25,6 milioni di parametri) addestrato su 27 video ha eguagliato o superato i grandi modelli foundation generici (ad es. DinoV2-giant con 1136 milioni di parametri) e i modelli foundation specifici per endoscopia in tutti i compiti.
• Studi di Ablazione: Lo studio ha confermato che sia il campionamento basato su ranghi esponenziali sia la strategia di apprendimento curricolare contribuiscono ai guadagni di prestazione. L'applicazione della perdita sia agli embedding dei frame che a quelli dei tracklet ha prodotto i migliori risultati complessivi.

Significato e Affermazioni

Il documento afferma che questo lavoro abilita un apprendimento di rappresentazioni scalabile nella colonoscopia riducendo significativamente la dipendenza dalle annotazioni manuali, mantenendo al contempo elevate prestazioni sulle applicazioni cliniche. Sfruttando la struttura procedurale dei video di colonoscopia e introducendo un meccanismo per gestire il rumore intrinseco nell'auto-supervisione temporale, gli autori dimostrano che rappresentazioni robuste dei tracklet di polipi possono essere apprese in modo efficiente. La capacità di eguagliare o superare le prestazioni di massicci modelli foundation utilizzando un'architettura leggera addestrata su un piccolo dataset suggerisce una via pratica per il dispiegamento di strumenti assistiti dall'IA in contesti clinici dove le risorse per l'annotazione dei dati sono limitate.