CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

Sintesi Tecnica: CapCLIP – Un Approccio di Allineamento delle Rappresentazioni Visivo-Linguistiche per l'Analisi della Capsula Endoscopica Wireless

Enunciazione del Problema
La Capsula Endoscopica Wireless (WCE) consente una visualizzazione non invasiva dell'intestino tenue, ma incontra significativi vincoli clinici a causa del volume massiccio di fotogrammi generati per esame e della difficoltà nell'identificare anomalie sottili in condizioni di imaging altamente variabili. Gli approcci esistenti di machine learning per la WCE sono prevalentemente basati solo sulla visione, spesso limitati a set di patologie ristretti e dimostrano una generalizzabilità limitata tra diversi dataset e centri clinici. Questi modelli dipendono tipicamente da etichette di classe fisse, producendo output privi di interpretabilità semantica e con difficoltà ad adattarsi a cambiamenti nella distribuzione (ad esempio, prevalenza variabile delle patologie, dispositivi di acquisizione o aspetto delle immagini). Inoltre, manca un quadro multimodale specifico per il dominio della WCE, poiché i dati immagine-testo naturalmente accoppiati (relazioni cliniche collegate a fotogrammi specifici) non sono disponibili su larga scala, e i modelli esistenti di visione-linguistica medica sono spesso addestrati su radiologia o altre modalità con caratteristiche diverse.

Metodologia
Il documento propone CapCLIP, un quadro di apprendimento delle rappresentazioni visivo-linguistiche specifico per il dominio, progettato per allineare i fotogrammi WCE con descrizioni testuali fondate clinicamente. La metodologia affronta l'assenza di coppie immagine-testo naturali attraverso una pipeline strutturata di generazione di didascalie:

1. Generazione di Didascalie: Le etichette a livello di fotogramma vengono trasformate in descrizioni testuali ricche utilizzando template di didascalie predefiniti, nomenclatura specifica per il dominio (derivata da studi di consenso Delphi) e Modelli Linguistici di Grande Dimensione (LLM) guidati da una base di conoscenza contestuale della letteratura medica. Queste didascalie codificano caratteristiche visive, semantica delle patologie e rilevanza clinica (ad esempio, collegando "Eritema" a "lesione vascolare" o "Anormale" a "Malattia di Crohn").
2. Architettura: Il quadro adotta un'architettura in stile CLIP con due encoder:
   • Encoder Immagine: Un Vision Transformer (ViT), valutato in due varianti (ViT-B/16 e ViT-L/14), inizializzato con i pesi di OpenAI CLIP.
   • Encoder Testo: Un Transformer a 12 livelli (simile alla configurazione CLIP originale) che utilizza la codifica Byte-Pair (BPE).
3. Obiettivo di Addestramento: Il modello è addestrato utilizzando una perdita di entropia incrociata simmetrica per allineare gli embedding di immagine e testo all'interno di uno spazio ipersferico condiviso. L'addestramento utilizza mini-batch in cui le coppie immagine-testo corrispondenti sono incoraggiate ad avere un'alta similarità coseno, mentre le coppie non corrispondenti vengono allontanate.
4. Varianti: Vengono esplorati tre modalità di addestramento:
   • CapCLIP-B: Classificazione binaria (Normale vs. Anormale).
   • CapCLIP-M: Classificazione multiclasse (etichette di patologia specifiche).
   • CapCLIP-MIX: Un approccio ibrido che combina sia accoppiamenti binari che multiclasse.

Configurazione Sperimentale e Valutazione
Il quadro è valutato in condizioni zero-shot rigorose utilizzando dataset WCE non visti e fuori distribuzione (CrohnIPI, KID2, Galar) che non sono stati utilizzati durante l'addestramento. I dati di addestramento sono costituiti dai dataset SEE-AI e Kvasir-Capsule. La valutazione confronta CapCLIP con diverse baseline:

• Modelli Fondamentali Solo-Visione: EndoSSL, EndoFM, EndoFM-LV.
• Modelli Visione-Linguistica Generali/Medici: CLIP (OpenAI), MedCLIP, BioMedCLIP, MedImageInsight.

Le prestazioni sono valutate su tre compiti downstream:

1. Classificazione Zero-shot K-Nearest Neighbour (KNN): Sonda la struttura semantica degli embedding visivi.
2. Classificazione Zero-shot Immagine-Testo in stile CLIP: Valuta la capacità discriminativa cross-modale utilizzando prompt testuali.
3. Recupero Zero-shot Testo-Immagine: Valuta la capacità di recuperare fotogrammi pertinenti basandosi su query testuali (sia a livello grezzo di "anormalità" che a livello dettagliato di "patologia").

Risultati Chiave

• Classificazione KNN: CapCLIP ha costantemente superato le baseline sui dataset KID2 e CrohnIPI, con guadagni fino a +11,2% nel punteggio F1 pesato per le impostazioni multiclasse. Sul dataset Galar, le prestazioni sono state comparabili alle baseline, attribuite all'alta ridondanza del dataset che rende la sonda KNN meno discriminativa.
• Classificazione Immagine-Testo: CapCLIP ha dimostrato miglioramenti sostanziali su tutte le baseline. Nella classificazione binaria, ha raggiunto miglioramenti AUROC/AUPRC fino a +54,5% rispetto alla migliore baseline. Nella classificazione multiclasse, i guadagni sono stati ancora più pronunciati, con miglioramenti fino a +206,7% nel punteggio F1 pesato sul dataset CrohnIPI.
• Recupero Testo-Immagine: CapCLIP ha migliorato significativamente le prestazioni di recupero. Per il recupero grezzo delle anormalità, ha migliorato la mAP fino a +94,2% su CrohnIPI. Per il recupero dettagliato delle patologie, ha raggiunto guadagni fino a +260,8% nella Precision@200 pesata sul dataset Galar.
• Visualizzazione degli Embedding: Le visualizzazioni t-SNE hanno confermato che CapCLIP apprende embedding con strutture di cluster più chiare e una migliore separabilità inter-classe rispetto sia alle baseline solo-visione che a quelle esistenti di visione-linguistica medica.

Significato e Affermazioni
Il documento afferma che CapCLIP rappresenta un passo significativo verso modelli fondamentali adattati specificamente per l'endoscopia a capsula. Il significato principale risiede nel dimostrare che l'apprendimento delle rappresentazioni guidato dal linguaggio può produrre embedding più trasferibili e semanticamente informativi rispetto a quelli prodotti dalle esistenti baseline di dominio generale o medico.

I contributi chiave includono:

1. Lo sviluppo di un quadro sistematico di benchmarking zero-shot per valutare modelli multimodali su dati WCE.
2. L'introduzione di CapCLIP, che abilita l'apprendimento delle rappresentazioni fondato sul linguaggio per una modalità priva di coppie immagine-testo naturali.
3. Evidenze che l'allineamento delle immagini con didascalie strutturate e consapevoli delle patologie migliora la generalizzazione a dataset non visti e potenzia l'interpretabilità semantica dell'analisi WCE.

Gli autori concludono che, mentre gli approcci attuali basati solo sulla visione sono limitati da tassonomie fisse, l'approccio visione-linguistica proposto offre una via più flessibile per il supporto alle decisioni cliniche, permettendo ai medici di interrogare i dati WCE utilizzando concetti di linguaggio naturale piuttosto che essere limitati a etichette predefinite. Il documento riconosce le limitazioni, inclusa la dipendenza da didascalie generate piuttosto che naturalmente accoppiate e la scala relativamente piccola dei dati di addestramento WCE rispetto ai modelli fondamentali generali, suggerendo che il lavoro futuro dovrebbe concentrarsi su dataset più ampi e strategie di addestramento unificate.