🤖 AI

Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification

Questo lavoro presenta un framework di classificazione multi-etichetta per video capsule endoscopiche che, modificando il modello BiomedCLIP con un meccanismo di attenzione differenziale e strategie di ottimizzazione asimmetrica, affronta efficacemente lo sbilanciamento estremo delle classi nel dataset Galar, ottenendo risultati significativi sul set di test RARE-VISION.

Autori originali: Podakanti Satyajith Chary, Nagarajan Ganapathy

Pubblicato 2026-03-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC0 1.0

Autori originali: Podakanti Satyajith Chary, Nagarajan Ganapathy

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover guardare 160.000 foto scattate da una piccola telecamera che un paziente ha ingoiato (una "capsula endoscopica") per esplorare il suo intestino. Il compito è trovare le poche "macchie" o "ferite" (le patologie) nascoste tra milioni di immagini di tessuto sano. È come cercare un ago in un pagliaio, ma l'ago è così piccolo che spesso non si vede nemmeno.

Ecco come il team MINDH Lab ha risolto questo problema con il suo nuovo sistema intelligente:

1. Il Problema: Il "Rumore" e la "Squilibrio"

Il Rumore: Quando un computer guarda queste immagini, spesso si distrae. Immagina di ascoltare una conversazione in una stanza piena di gente che parla: il computer sente tutto il "frastuono" e fa fatica a capire le parole importanti.
Lo Squilibrio: Nel dataset, le immagini sane sono come un'immensa folla, mentre le immagini malate sono come tre o quattro persone in un angolo. Se insegni a un computer a riconoscere la folla, imparerà benissimo a dire "è sano" e fallirà miseramente nel dire "c'è una malattia", perché non ne ha mai viste abbastanza.

2. La Soluzione: Un "Super-Occhio" con un "Filtro Magico"

Il team ha preso un modello di intelligenza artificiale già molto intelligente (chiamato BiomedCLIP, che ha già letto milioni di libri medici) e gli ha dato un potenziamento speciale.

A. L'Occhio che sottrae il rumore (Differential Attention)

Invece di far guardare al computer l'immagine una volta sola, gli hanno detto: "Guarda l'immagine due volte con due occhiali diversi e sottrai la seconda vista dalla prima".

L'analogia: Immagina di avere due filtri per il caffè. Uno lascia passare tutto il caffè (anche le impurità), l'altro è molto stretto. Se versi il caffè del primo filtro nel secondo e poi sottrai ciò che è rimasto nel secondo da ciò che c'era nel primo, ti rimane solo il caffè puro, senza le impurità.
Questo "filtro differenziale" aiuta il computer a ignorare il tessuto sano e normale (il rumore di fondo) e a concentrarsi solo sulle piccole differenze che indicano una malattia.

B. La Caccia all'Agone (Gestione dello Squilibrio)

Per insegnare al computer a trovare le malattie rare, hanno usato una strategia a più livelli:

Il Campionatore "Sqrt": Invece di mostrare al computer tutte le foto sane e poche di quelle malate, hanno creato un "cestino" dove le foto malate hanno un peso maggiore. È come se, durante lo studio, il computer dovesse leggere 100 volte di più le pagine che contengono le malattie rare, per non dimenticarle.
La "Pena" Giusta (Loss Asimmetrica): Quando il computer sbaglia a dire "è sano" quando invece c'è una malattia, gli danno una "pena" (un errore) molto alta. Se sbaglia a dire "c'è una malattia" quando invece è sano, la pena è più bassa. Questo spinge il computer a non essere troppo sicuro di sé e a cercare attivamente le anomalie.
Il "Mixup": Hanno mescolato le immagini come se fossero colori su una tavolozza. Questo aiuta il computer a capire che le malattie possono apparire in modi leggermente diversi, rendendolo più flessibile.

3. Il Risultato: Ordine nel Caos

Una volta che il computer ha analizzato le immagini fotogramma per fotogramma, il sistema fa un ultimo controllo di "pulizia":

Il Filtro Temporale: Se il computer vede una malattia per un solo fotogramma e poi sparisce, probabilmente è un errore (un "falso allarme"). Il sistema usa un filtro che guarda i fotogrammi vicini: se la malattia appare per un po' di tempo, allora è reale. È come se il sistema dicesse: "Non preoccuparti, è solo un lampo, aspetta a dire che c'è un problema finché non dura abbastanza".

I Numeri Finali

Il sistema ha analizzato 161.025 immagini in soli 8,6 minuti (un tempo record per un essere umano che dovrebbe guardarle una per una!).

Ha ottenuto un punteggio di 0,2456 su una scala complessa. Non sembra un numero altissimo, ma in questo campo, dove le malattie sono così rare e difficili da vedere, è un risultato molto solido.
Il sistema è stato bravissimo a capire dove inizia e finisce una malattia (i confini temporali sono precisi), grazie al filtro di pulizia finale.

In Sintesi

Il team MINDH Lab ha creato un assistente medico digitale che:

Non si distrae (grazie al filtro che sottrae il rumore).
Non ignora le cose rare (grazie a strategie di allenamento intelligenti).
Non va nel panico per ogni piccolo segnale (grazie alla pulizia temporale).

È un passo avanti fondamentale per aiutare i medici a trovare le malattie gastrointestinali più velocemente e con meno fatica, trasformando ore di noiosa ricerca in pochi minuti di analisi precisa.

Titolo: Differenziale Attention-Augmented BiomedCLIP con Ottimizzazione Focale Asimmetrica per la Classificazione Multi-Etichetta di Video Capsule Endoscopiche in Contesti Sbilanciati

1. Il Problema

L'endoscopia a capsula video (VCE) è uno strumento non invasivo fondamentale per visualizzare il tratto gastrointestinale, in particolare l'intestino tenue. Tuttavia, un singolo esame genera tra 50.000 e 130.000 fotogrammi, rendendo la revisione manuale estenuante e soggetta a errori dovuti alla fatica dell'osservatore.
La sfida principale affrontata in questo lavoro risiede nell'estrema sbilanciamento delle classi nel dataset Galar. Mentre le regioni anatomiche (stomaco, intestino tenue, colon) dominano la distribuzione dei fotogrammi, i reperti patologici (es. sanguinamento attivo, angiectasia, erosioni, ulcere) sono estremamente rari, costituendo meno dello 0,1% dei fotogrammi annotati. Alcuni label positivi hanno rapporti di 1:3.000 rispetto alle classi negative.
Questo sbilanciamento porta i modelli standard a fallire nel rilevare eventi rari ma clinicamente critici, ottimizzando semplicemente per la classe maggioritaria e collassando il richiamo (recall) per le minoranze, nonostante un'accuratezza aggregata apparentemente alta.

2. Metodologia

Il team MINDH Lab ha proposto una pipeline di classificazione multi-etichetta in quattro fasi principali, basata su un'architettura modificata di BiomedCLIP:

Backbone Modificato (Differential BiomedCLIP):
- Utilizza BiomedCLIP (ViT-B/16 + PubMedBERT) pre-addestrato su 15 milioni di coppie immagine-testo biomediche.
- Innovazione Chiave: Sostituzione dell'attenzione self-attention multi-head standard con un meccanismo di attenzione differenziale. Questo calcola la differenza tra due mappe di attenzione softmax (suddividendo le teste in due gruppi) per sopprimere il "rumore" di attenzione comune (pattern uniformi o a basso rango) e amplificare i segnali provenienti da regioni spaziali rare ma diagnosticamente significative.
- I pesi pre-addestrati sono trasferiti integralmente, preservando la conoscenza visiva biomedica.
Architettura di Classificazione:
- Percorso di Classificazione: Le feature visive passano attraverso un blocco di eccitazione (Excitation Block) ispirato alle reti Squeeze-and-Excitation, seguito da un layer lineare per 17 classi.
- Percorso Contrastivo: Le feature normalizzate sono allineate con embedding testuali fissi generati da PubMedBERT (prompt clinici come "immagine di endoscopia a capsula che mostra [etichetta]"), utilizzando un loss contrastivo.
Gestione dello Sbilanciamento delle Classi (Strategia Multi-Livello):
1. Campionamento: Utilizzo di un sqrt-frequency weighted random sampler che assegna pesi proporzionali a $1/\sqrt{f_c}$ , sovracampionando moderatamente le classi rare senza l'instabilità del peso inverso lineare.
2. Funzione di Perdita: Implementazione di una Asymmetric Focal Loss con $\gamma^+ = 1$ e $\gamma^- = 4$ per penalizzare aggressivamente le previsioni negative facili (che dominano) mantenendo il flusso del gradiente per i casi positivi.
3. Ottimizzazione delle Soglie: Calcolo di soglie specifiche per classe sul set di validazione per massimizzare il punteggio F1.
4. Regolarizzazione: Mixup ( $\alpha=0.3$ ), label smoothing ( $\epsilon=0.05$ ), aumento dei dati geometrico/fotometrico e uso di una media mobile esponenziale (EMA) dei parametri.
Post-Processing Temporale:
- I output a livello di fotogramma vengono convertiti in eventi temporali tramite: binarizzazione con soglie ottimizzate, filtraggio mediano temporale (finestra $w=7$ ) per eliminare falsi positivi isolati, e fusione di gap (fino a 5 fotogrammi) per rispettare la continuità clinica delle patologie.

3. Risultati

Il sistema è stato valutato sul set di test tenuto nascosto della sfida ICPR RARE-VISION 2026, composto da 3 esami NaviCam (161.025 fotogrammi totali).

Metriche Complessive:
- mAP temporale @ 0.5: 0.2456
- mAP temporale @ 0.95: 0.2353
- Il piccolo divario tra mAP@0.5 e mAP@0.95 indica un'eccellente localizzazione dei confini temporali degli eventi.
Performance per Classe:
- Le regioni anatomiche sono state classificate con alta precisione (es. Colon AP=0.996, Intestino tenue AP=0.969).
- Le classi patologiche rare con supporto limitato (<200 fotogrammi) hanno mostrato prestazioni basse (AP < 0.03), confermando la difficoltà intrinseca di apprendere rappresentazioni discriminative da segnali visivi minimi e ambigui.
Efficienza:
- L'inferenza su tutti i 161.025 fotogrammi è stata completata in circa 8,6 minuti su una singola GPU NVIDIA RTX PRO 6000.

4. Contributi Chiave

Meccanismo di Attenzione Differenziale: Applicazione innovativa di un meccanismo di sottrazione tra mappe di attenzione all'interno di un modello foundation biomedico per isolare segnali patologici sottili dal rumore di fondo.
Strategia di Ottimizzazione Olistica: Integrazione coordinata di campionamento, perdita asimmetrica, regolarizzazione e calibrazione delle soglie per affrontare lo sbilanciamento estremo a più livelli della pipeline.
Pipeline Temporale Robusta: Un approccio di post-processing che combina smoothing e fusione di gap per garantire coerenza temporale, essenziale per la natura continua del transito della capsula.

5. Significato e Limiti

Significato: Questo lavoro dimostra che l'adattamento di modelli foundation biomedici (BiomedCLIP) con meccanismi di attenzione specifici e strategie di ottimizzazione mirate può migliorare il rilevamento di eventi rari in contesti medici critici, riducendo il carico di lavoro per i gastroenterologi.
Limiti: La principale limitazione rimane la scarsità di esempi per classi patologiche specifiche (es. sanguinamento attivo, eritema), dove la varianza visiva è alta e i dati sono insufficienti per costruire rappresentazioni robuste. Inoltre, esiste uno shift di dominio tra i dati di addestramento (Olympus, PillCam) e i dati di test (NaviCam) in termini di risoluzione e resa cromatica.
Prospettive Future: L'integrazione di modelli di sequenza temporale (RNN o Transformer temporali) potrebbe sfruttare il contesto sequenziale dei fotogrammi per migliorare il rilevamento di eventi che mostrano persistenza temporale e transizioni morfologiche graduali.

In sintesi, il team MINDH Lab ha sviluppato un framework efficace che bilancia l'uso di modelli foundation avanzati con tecniche di ingegneria specifica per dati sbilanciati, ottenendo risultati competitivi nella sfida di visione artificiale medica.