Conv-Guided Mamba Vision Transformer and SPP-DenseNet121 based Hybrid Multi-Feature Fusion and Query Expansion in Content-Based Medical Image Retrieval
Dit artikel stelt een nieuw Content-Based Medical Image Retrieval-framework voor dat een Conv-Guided Mamba Vision Transformer integreert met SPP-DenseNet121 voor hybride multi-feature fusie en query-expansie gebruikt om een hoge retrieval-nauwkeurigheid te bereiken op endoscopische blaasweefsel- en maag-darmdatasets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, eindeloze bibliotheek loopt waar elk boek een foto is van de binnenkant van een menselijk lichaam. Als je een arts zou zijn die op zoek is naar een foto van een specifiek type blaastumor om een patiënt te helpen, zou je niet pagina voor pagina door miljoenen bladzijden willen bladeren. Je zou een super slimme bibliothecaris willen die direct precies de foto's kan pakken die je nodig hebt. Dit is de wereld van Content-Based Medical Image Retrieval (CBMIR). In plaats van te zoeken op tekstlabels zoals "kanker" of "poliep", zoekt dit systeem door naar de werkelijke inhoud van de afbeelding—de kleuren, vormen en texturen. De uitdaging is dat medische beelden lastig zijn; twee foto's kunnen bijna identiek lijken maar voor een arts heel andere dingen betekenen, of twee foto's van dezelfde ziekte kunnen er totaal verschillend uitzien, afhankelijk van hoe de camera werd vastgehouden of hoe de belichting was. Het doel is om een digitale detective te bouwen die zowel de minuscule details als het grote geheel begrijpt om de juiste medische beelden snel en nauwkeurig te vinden.
In dit onderzoek hebben de onderzoekers een nieuw soort digitale detective gebouwd, genaamd een Hybrid Multi-Feature Fusion and Query Expansion framework. Denk aan een team van twee expert-detectives die samen een zaak oplossen. De eerste detective is een specialist in lokale details, gebruikmakend van een hulpmiddel genaamd SPP-DenseNet121. Deze detective is geweldig in het opsporen van kleine aanwijzingen, zoals de textuur van een weefsel of de rand van een laesie, ongeacht hoe groot of klein de plek is. De tweede detective is een meester in globale context, gebruikmakend van een nieuwe, efficiënte tool genaamd Conv-Guided Mamba Vision Transformer (CG-MViT). Deze detective kijkt naar de hele scène om te begrijpen hoe verschillende delen van de afbeelding zich over lange afstanden tot elkaar verhouden, een beetje zoals het begrijpen van de indeling van een hele kamer in plaats van alleen een enkele baksteen.
Normaal gesproken, wanneer je twee verschillende sets aanwijzingen combineert, kun je eindigen met een rommelige stapel overbodige informatie. Om dit op te lossen, gebruikten het team een speciale wiskundige truc genaamd Discriminative Multiple Canonical Correlation Analysis (DMCCA). Stel je dit voor als een super georganiseerd archiefsysteem dat de aantekeningen van beide detectives neemt, de duplicaten verwijdert en ze samenvoegt tot één perfect, kristalhelder rapport. Maar het team stopte daar niet; ze wisten dat de eerste gok soms niet perfect is, dus voegden ze een "tweede gok"-stap toe genaamd Pseudo-Relevance Feedback (PRF). Dit is alsof je de computer vraagt: "Hé, de top 10 foto's die je hebt gevonden zien er goed uit, toch? Laten we ervan uitgaan dat ze allemaal correct zijn en ze gebruiken om onze zoekopdracht te verfijnen." Dit helpt het systeem om de intentie van de arts beter te begrijpen en nog relevantere afbeeldingen te vinden.
De onderzoekers testten hun nieuwe detective-team op twee echte bibliotheken met medische foto's: de Kvasir-dataset (die afbeeldingen bevat van het maag-darmkanaal) en de Endoscopic Bladder Tissue dataset. De resultaten waren indrukwekkend. Op de Kvasir-dataset vond het systeem de juiste afbeeldingen met een hoge mate van nauwkeurigheid, met een succespercentage van 97,72% bij de top 5 resultaten, en behield het zelfs een sterke 91,02% bij de top 100 resultaten. Op de meer uitdagende blaasweefsel-dataset behaalde het 92,60% nauwkeurigheid voor de top 5 resultaten en 66,82% voor de top 100.
Om er zeker van te zijn dat hun nieuwe systeem daadwerkelijk de held was en niet gewoon geluk had, voerden de onderzoekers een reeks "ablatie-studies" uit. Dit is als het uit elkaar halen van een automotor om te zien welk onderdeel hem het snelst laat rijden. Ze testten het systeem met alleen de eerste detective, dan alleen de tweede, daarna beide zonder het archiefsysteem, en tot slot het volledige team. Ze ontdekten dat elk onderdeel bijdroeg aan het succes; het volledige team met het archiefsysteem en de "tweede gok"-stap presteerde het best. De studie suggereert dat door lokale en globale visies te combineren, de gegevens slim te organiseren en het systeem zichzelf te laten leren van zijn eigen eerste gokken, medische beeldretrieval veel betrouwbaarder kan worden. Dit kan artsen helpen om sneller vergelijkbare eerdere gevallen te vinden, wat helpt bij de diagnose en behandelplanning, hoewel de auteurs opmerken dat meer testen op grotere en andere soorten medische afbeeldingen nodig zijn om te bevestigen hoe goed dit werkt in elke ziekenhuissetting.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.