💻 computer science

Conv-Guided Mamba Vision Transformer and SPP-DenseNet121 based Hybrid Multi-Feature Fusion and Query Expansion in Content-Based Medical Image Retrieval

Questo articolo propone un nuovo framework di recupero di immagini mediche basato sul contenuto che integra un Conv-Guided Mamba Vision Transformer con SPP-DenseNet121 per una fusione ibrida di caratteristiche multi-livello e impiega l'espansione della query per raggiungere un'elevata accuratezza di recupero su dataset di tessuto vescicale endoscopico e gastrointestinale.

Autori originali: Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di camminare attraverso una biblioteca enorme e infinita dove ogni singolo libro è una fotografia dell'interno di un corpo umano. Se fossi un medico che cerca di trovare l'immagine di un tipo specifico di tumore alla vescica per aiutare un paziente, non vorresti sfogliare milioni di pagine una per una. Vorresti un bibliotecario super intelligente capace di afferrare istantaneamente le foto esatte di cui hai bisogno. Questo è il mondo del Content-Based Medical Image Retrieval (CBMIR). Invece di cercare tramite etichette testuali come "cancro" o "polipo", questo sistema cerca guardando il contenuto effettivo dell'immagine: i colori, le forme e le texture. La sfida è che le immagini mediche sono complicate; due immagini potrebbero sembrare quasi identiche ma significare cose molto diverse per un medico, oppure due immagini della stessa malattia potrebbero apparire drasticamente differenti a seconda di come è stata tenuta la telecamera o dell'illuminazione. L'obiettivo è costruire un detective digitale che comprenda sia i minimi dettagli che il quadro generale per trovare le immagini mediche giuste in modo rapido e accurato.

In questo studio, i ricercatori hanno costruito un nuovo tipo di detective digitale chiamato Hybrid Multi-Feature Fusion and Query Expansion framework. Immaginalo come una squadra di due detective esperti che lavorano insieme per risolvere un caso. Il primo detective è uno specialista nei dettagli locali, che utilizza uno strumento chiamato SPP-DenseNet121. Questo detective è bravo a individuare piccoli indizi come la texture di un tessuto o il bordo di una lesione, indipendentemente da quanto sia grande la macchia. Il secondo detective è un maestro del contesto globale, che utilizza un nuovo ed efficiente strumento chiamato Conv-Guided Mamba Vision Transformer (CG-MViT). Questo detective guarda l'intera scena per capire come le diverse parti dell'immagine si relazionano tra loro su lunghe distanze, in modo simile a capire la disposizione di un'intera stanza piuttosto che un singolo mattone.

Di solito, quando si combinano due diversi set di indizi, si può finire con un mucchio disordinato di informazioni ridondanti. Per risolvere questo problema, il team ha utilizzato un trucco matematico speciale chiamato Discriminative Multiple Canonical Correlation Analysis (DMCCA). Immagina questo come un sistema di archiviazione super organizzato che prende gli appunti di entrambi i detective, rimuove i duplicati e li fonde in un unico rapporto perfetto e cristallino. Ma il team non si è fermato qui. Sapevano che a volte la prima ipotesi non è perfetta, quindi hanno aggiunto un passaggio di "seconda ipotesi" chiamato Pseudo-Relevance Feedback (PRF). Questo è come chiedere al computer: "Ehi, le prime 10 immagini che hai trovato sembrano buone, giusto? Assumiamo che siano tutte corrette e usiamole per perfezionare la nostra ricerca". Ciò aiuta il sistema a comprendere meglio l'intento del medico e a trovare immagini ancora più pertinenti.

I ricercatori hanno testato la loro nuova squadra di detective su due librerie di foto mediche reali: il dataset Kvasir (che contiene immagini del tratto gastrointestinale) e l'Endoscopic Bladder Tissue dataset. I risultati sono stati impressionanti. Sul dataset Kvasir, il sistema ha trovato le immagini corrette con un alto grado di precisione, ottenendo un tasso di successo del 97,72% guardando i primi 5 risultati, e mantenendo comunque un forte 91,02% anche guardando i primi 100 risultati. Sul dataset del tessuto vescicale, più impegnativo, ha raggiunto un'accuratezza del 92,60% per i primi 5 risultati e del 66,82% per i primi 100.

Per assicurarsi che il loro nuovo sistema fosse davvero l'eroe e non solo fortunato, i ricercatori hanno eseguito una serie di "studi di ablazione". Questo è come smontare il motore di un'auto per vedere quale parte la fa andare più veloce. Hanno testato il sistema con solo il primo detective, poi solo con il secondo, poi con entrambi senza il sistema di archiviazione e infine con la squadra completa. Hanno scoperto che ogni singola parte contribuiva al successo; la squadra completa con il sistema di archiviazione e il passaggio della "seconda ipotesi" ha ottenuto le prestazioni migliori. Lo studio suggerisce che combinando visioni locali e globali, organizzando i dati in modo intelligente e permettendo al sistema di imparare dalle proprie ipotesi iniziali, il recupero delle immagini mediche può diventare molto più affidabile. Ciò potrebbe aiutare i medici a trovare casi passati simili più velocemente, favorendo la diagnosi e la pianificazione del trattamento, sebbene gli autori notino che sono necessari ulteriori test su immagini mediche più grandi e di tipo diverso per confermare quanto bene questo funzioni in ogni contesto ospedaliero.

Sintesi Tecnica: Vision Transformer Mamba guidato da Conv e Hybrid Multi-Feature Fusion basato su SPP-DenseNet121 e Query Expansion nella Ricerca di Immagini Mediche Basata sul Contenuto

Problema
La Ricerca di Immagini Mediche Basata sul Contenuto (CBMIR) è fondamentale per il processo decisionale clinico, tuttavia il recupero di specifiche immagini di tessuto vescicale endoscopico da vasti repository rimane una sfida. Le difficoltà primarie derivano dalle elevate variazioni intra-classe, dalle somiglianze tra diverse classi patologiche e dalla diversità dell'aspetto dei tessuti attraverso le diverse modalità di imaging. I metodi CBMIR tradizionali che si affidano a feature estratte manualmente (ad es. LBP, HOG) non riescono a catturare le strutture mediche complesse. Mentre i modelli di deep learning come le CNN eccellono nell'estrazione di feature locali, spesso faticano a gestire le dipendenze a lungo raggio e l'informazione contestuale globale. Al contrario, i modelli basati puramente su Transformer catturano il contesto globale ma soffrono di elevati costi computazionali e possono trascurare i dettagli strutturali locali necessari per distinguere le variazioni patologiche. Inoltre, i sistemi esistenti affrontano spesso un "gap semantico", in cui vengono recuperate immagini visivamente simili ma prive di rilevanza clinica, e i metodi di fusione delle feature introducono frequentemente ridondanza senza sfruttare efficacemente gli spazi delle feature eterogenei.

Metodologia
Gli autori propongono un nuovo framework CBMIR che integra l'estrazione di feature locali multi-scala, l'apprendimento del contesto globale, la fusione di feature discriminative e il raffinamento della query. L'architettura opera in due fasi: apprendimento delle feature offline e recupero online.

Pre-processing: Le immagini in input subiscono il ridimensionamento e un potenziamento del contrasto adattivo per standardizzare l'illuminazione e migliorare la visualizzazione delle strutture tissutali.
Estrazione delle Feature a Due Rami:
- Ramo Locale Multi-Scala (SPP-DenseNet121): Utilizza un backbone DenseNet121 con connessioni dense per facilitare il riutilizzo delle feature e mitigare la scomparsa del gradiente. Un livello di Spatial Pyramid Pooling (SPP) è integrato per catturare le anomalie a scale multiple (ad es. griglie 1×1, 2×2, 4×4), garantendo che sia i dettagli globali dell'immagine che le feature delle lesioni locali siano preservati indipendentemente dalle dimensioni della lesione.
- Ramo del Contesto Globale (CG-MViT): Impiega un Mamba Vision Transformer guidato da convoluzione. A differenza dei Transformer standard che si affidano all'auto-attenzione, questo ramo utilizza un Modello di Spazio di Stato Mamba con meccanismi di stato selettivi per catturare dipendenze a lungo raggio con complessità computazionale lineare. Un livello di embedding convoluzionale leggero precede i livelli Mamba per mantenere la coerenza spaziale locale e fornire un bias induttivo per i confini anatomici prima della tokenizzazione.
Fusione Ibrida delle Feature (DMCCA): I vettori delle feature provenienti dai rami SPP-DenseNet121 e CG-MViT vengono fusi utilizzando la Discriminative Multiple Canonical Correlation Analysis (DMCCA). Questo metodo proietta spazi di feature eterogenei in un sottospazio unico e discriminativo, massimizzando le correlazioni tra i due set e minimizzando la ridondanza.
Recupero Online e Raffinamento:
- Recupero Iniziale: Una query viene elaborata attraverso lo stesso pipeline a due rami. La similarità viene calcolata utilizzando una metrica composita che combina la distanza Euclidea e la similarità del Coseno.
- Espansione della Query tramite Pseudo-Relevance Feedback (PRF): Per colmare il gap semantico, il sistema assume che le immagini con il ranking più alto siano rilevanti. Il vettore medio delle feature di queste prime $P$ immagini viene calcolato e utilizzato per espandere il vettore della query originale.
- Re-ranking: Il vettore della query espansa viene confrontato nuovamente con il database utilizzando la metrica di similarità composita per generare un ranking finale e raffinato dei risultati.

Contributi Chiave

Nuovo Paradigma CBMIR: Introduce un framework progettato specificamente per il recupero di tessuti endoscopici della vescica, facilitando il supporto alle decisioni assistite dal computer.
Architettura a Due Flussi: Combina SPP-DenseNet121 per feature locali invarianti alla scala e CG-MViT per l'apprendimento efficiente del contesto globale, affrontando i limiti dell'uso di una singola architettura.
Integrazione SPP: Utilizza lo Spatial Pyramid Pooling all'interno di DenseNet121 per rappresentare efficacementamente anomalie di varie dimensioni e strutture comuni nelle procedure endoscopiche.
Modellazione Globale Efficiente: Implementa CG-MViT per apprendere relazioni semantiche e spaziali globali con un carico computazionale ridotto rispetto ai modelli Transformer tradizionali.
Fusione Discriminativa: Propone DMCCA per fondere le feature eterogenee, creando uno spazio di feature discriminativo e privo di ridondanze.
Riduzione del Gap Semantico: Integra l'espansione della query basata su PRF per raffinare la rappresentazione della query, riducendo l'ambiguità e allineando le feature visive con la semantica clinica.
Validazione Completa: Valida il framework attraverso estesi studi di ablazione e valutazioni qualitative, confermando il contributo di ciascun componente.

Risultati Sperimentali
Il framework è stato valutato su due dataset pubblici: il dataset endoscopico gastrointestinale Kvasir e il dataset del tessuto endoscopico della vescica.

Dataset Kvasir: Il modello proposto ha raggiunto punteggi di Mean Average Precision (mAP) di 97,72% (P@5), 96,81% (P@10), 95,78% (P@20), 93,15% (P@50) e 91,02% (P@100). L'analisi per classe ha mostrato un'alta precisione in tutte le otto categorie, con prestazioni particolarmente elevate per "Ulcerative-Colitis" e "Dyed-Lifted-Polyps".
Dataset del Tessuto Endoscopico della Vescica: Il modello ha ottenuto punteggi mAP di 92,60% (P@5), 90,68% (P@10), 84,67% (P@20), 70,79% (P@50) e 66,82% (P@100). Le classi di cancro ad alto grado (HGC) e basso grado (LGC) hanno dimostrato una precisione di recupero superiore rispetto alle classi non tumorali.
Studi di Ablazione: Gli esperimenti hanno confermato che l'intero framework supera i singoli componenti (SPP-DenseNet121 da solo, CG-MViT da solo) e le configurazioni intermedie (ad es. fusione senza DMCCA o senza PRF), validando la necessità dell'approccio ibrido e del raffinamento della query.

Significatività e Claim
Gli autori affermano che il framework proposto offre un'elevata robustezza e generalizzabilità per la ricerca di immagini cliniche. Combinando efficacemente le feature locali multi-scala con le dipendenze contestuali globali e raffinando le query attraverso il feedback, il sistema riesce a restringere il gap semantico tra l'aspetto visivo e l'interpretazione medica. I risultati suggeriscono che il framework è una soluzione valida per la diagnosi assistita dal computer, il ragionamento basato sui casi e il supporto alle decisioni cliniche. Gli autori osservano che, sebbene i risultati attuali siano promettenti, il lavoro futuro potrebbe esplorare l'apprendimento auto-supervisionato, architetture leggere per sistemi ospedalieri in tempo reale e l'espansione ad altre modalità come MRI, CT e istopatologia.

Articoli simili