💻 computer science

Conv-Guided Mamba Vision Transformer and SPP-DenseNet121 based Hybrid Multi-Feature Fusion and Query Expansion in Content-Based Medical Image Retrieval

本文提出了一种新颖的基于内容的医学图像检索框架，该框架通过将卷积引导的 Mamba 视觉 Transformer 与 SPP-DenseNet121 相结合进行混合多特征融合，并利用查询扩展，在内窥镜膀胱组织和胃肠道数据集上实现了高检索准确率。

原作者： Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一座巨大且无尽的图书馆里，这里的每一本书都是一张人体内部结构的摄影照片。如果你是一名试图寻找特定类型膀胱肿瘤的照片以帮助患者的医生，你肯定不想一页一页地翻阅数百万页。你会想要一位超级聪明的图书管理员，能够瞬间抓取到你所需的精确照片。这就是**基于内容的医学图像检索（CBMIR）**的世界。与其通过“癌症”或“息肉”之类的文本标签进行搜索，该系统是通过观察实际的图像内容——颜色、形状和纹理来进行搜索。挑战在于医学图像非常复杂；两张图片看起来可能几乎完全一样，但在医生眼中却意味着截然不同的意义；或者两张相同疾病的照片可能会因为拍摄角度或光照的不同而看起来大相径庭。目标是构建一个数字侦探，它既能理解微小的细节，也能理解宏观的全貌，从而快速且准确地找到正确的医学图像。

在这项研究中，研究人员构建了一种新型的数字侦探，称为混合多特征融合与查询扩展框架。把它想象成一个由两名专家侦探组成的协作团队。第一位侦探是局部细节专家，使用一种名为 SPP-DenseNet121 的工具。这位侦探擅长发现微小的线索，比如组织的纹理或病灶的边缘，无论这些斑点是大是小。第二位侦探是全局上下文大师，使用一种全新的、高效的工具——卷积引导的 Mamba 视觉 Transformer (CG-MViT)。这位侦探会观察整个场景，以理解图像中不同部分在长距离上的相互关系，就像理解整个房间的布局，而不是仅仅关注一块砖头。

通常情况下，当你结合两组不同的线索时，可能会得到一堆冗余信息的混乱堆积。为了解决这个问题，团队使用了一种特殊的数学技巧，称为判别性多规范相关分析 (DMCCA)。想象一下，这是一个超级有序的归档系统，它提取两位侦探的笔记，去除重复项，并将它们合并成一份完美、清晰的报告。但团队并未止步于此。他们知道有时第一次猜测并不完美，因此增加了一个“二次猜测”步骤，称为伪相关反馈 (PRF)。这就像是在问计算机：“嘿，你找到的前 10 张图片看起来不错，对吧？让我们假设它们都是正确的，并利用它们来优化我们的搜索。”这有助于系统更好地理解医生的意图，并找到更多相关的图像。

研究人员在两个真实的医学照片库上测试了他们的新型侦探团队：Kvasir 数据集（包含胃肠道图像）和内窥镜膀胱组织数据集。结果令人印象深刻。在 Kvasir 数据集上，该系统以极高的准确度找到了正确的图像，在查看前 5 个结果时成功率达到了 97.72%，即使在查看前 100 个结果时仍保持了强劲的 91.02%。在更具挑战性的膀胱组织数据集上，它在前 5 个结果中实现了 92.60% 的准确率，在前 100 个结果中实现了 66.82% 的准确率。

为了确保他们的系统真的是英雄而非仅仅是运气好，研究人员进行了一系列“消融实验”。这就像拆解汽车发动机来观察哪个部件让它跑得最快。他们测试了仅有第一位侦探的情况，然后是仅有第二位侦探的情况，接着是两者结合但没有归档系统的情况，最后是完整的团队。他们发现，每一个部分都对成功做出了贡献；拥有归档系统和“二次猜测”步骤的完整团队表现最佳。这项研究表明，通过结合局部视角和全局视角、智能地组织数据，并让系统从自己的初步猜测中学习，医学图像检索可以变得更加可靠。这可以帮助医生更快地找到类似的过往病例，从而辅助诊断和治疗规划，尽管作者指出，仍需在更大规模和不同类型的医学图像上进行更多测试，以确认该系统在每个医院环境下的适用性。

技术摘要：基于卷积引导 Mamba 视觉 Transformer 与 SPP-DenseNet121 的混合多特征融合及查询扩展在基于内容的医学图像检索中的应用

问题陈述
基于内容的医学图像检索（CBMIR）对于临床决策至关重要，然而从海量数据库中检索特定的内窥镜膀胱组织图像仍面临挑战。主要困难源于高类内差异、不同病理类别之间的相似性，以及不同成像模态下多样化的组织外观。依赖手工特征（如 LBP、HOG）的传统 CBMIR 方法无法捕捉复杂的医学结构。虽然深度学习模型（如 CNN）擅长局部特征提取，但往往难以处理长程依赖和全局上下文信息。相反，纯 Transformer 模型虽然能捕捉全局上下文，但面临高昂的计算成本，并可能忽略区分病理变化所需的局部结构细节。此外，现有系统经常面临“语义鸿沟”问题，即检索到的图像在视觉上相似但在临床上缺乏相关性，且特征融合方法往往在没有有效利用异构特征空间的情况下引入冗余。

方法论
作者提出了一种创新的 CBMIR 框架，该框架集成了多尺度局部特征提取、全局上下文学习、判别性特征融合和查询优化。该架构分为两个阶段运行：离线特征学习和在线检索。

预处理： 输入图像经过调整大小和自适应对比度增强，以标准化照明并改善组织结构的可视化效果。
双支路特征提取：
- 局部多尺度支路 (SPP-DenseNet121)： 利用具有密集连接的 DenseNet121 作为骨干网络，以促进特征复用并缓解梯度消失问题。集成了一个空间金字塔池化（SPP）层，用于捕获多尺度（例如 1×1, 2×2, 4×4 网格）的异常情况，确保无论病变大小如何，都能保留全局图像细节和局部病变特征。
- 全局上下文支路 (CG-MViT)： 采用卷积引导的 Mamba 视觉 Transformer。与依赖自注意力机制的标准 Transformer 不同，该支路使用带有选择性状态空间机制的 Mamba 状态空间模型，以线性计算复杂度捕捉长程依赖关系。在分词（tokenization）之前，通过一个轻量级的卷积嵌入层来维持局部空间一致性，并为解剖边界提供归纳偏置。
混合特征融合 (DMCCA)： 使用判别性多通道典型相关分析（DMCCA）对来自 SPP-DenseNet121 和 CG-MViT 支路的特征向量进行融合。该方法将异构特征空间投影到一个统一的、具有判别性的子空间中，在最大化两组特征间相关性的同时最小化冗余。
在线检索与优化：
- 初始检索： 查询图像通过相同的双支路流水线进行处理。通过结合欧氏距离和余弦相似度的复合度量进行相似度计算。
- 基于伪相关反馈 (PRF) 的查询扩展： 为了弥合语义鸿沟，系统假设排名靠前的检索图像是相关的。计算这些前 $P$ 个图像的平均特征向量，并将其用于扩展原始查询向量。
- 重排序： 将扩展后的查询向量与数据库再次进行比较，使用复合相似度度量生成最终的精细化排名结果。

核心贡献

新颖的 CBMIR 范式： 引入了一个专门为内窥镜膀胱组织检索设计的框架，促进了计算机辅助决策。
双流架构： 结合了用于提取尺度不变局部特征的 SPP-DenseNet121 和用于高效全局上下文学习的 CG-MViT，解决了单一架构的局限性。
SPP 集成： 在 DenseNet121 中利用空间金字塔池化，有效表示内窥镜检查中常见的各种尺寸和结构的异常情况。
高效全局建模： 实现 CG-MViT，以比传统 Transformer 模型更低的计算开销学习全局语义和空间关系。
判别性融合： 提出 DMCCA 来融合异构特征，创建无冗余的判别性特征空间。
减少语义鸿沟： 集成基于 PRF 的查询扩展以优化查询表示，减少歧义并将视觉特征与临床语义对齐。
全面验证： 通过广泛的消融实验和定性评估验证了该框架，确认了各组件的贡献。

实验结果
该框架在两个公开数据集上进行了评估：Kvasir 胃肠道内窥镜数据集和内窥镜膀胱组织数据集。

Kvasir 数据集： 所提模型实现了平均检索精度（mAP）得分：97.72% (P@5)，96.81% (P@10)，95.78% (P@20)，93.15% (P@50) 以及 91.02% (P@100)。类间分析显示，在所有八个类别中均表现出高精度，其中“溃疡性结肠炎（Ulcerative-Colitis）”和“染色提升息肉（Dyed-Lifted-Polyps）”的表现尤为出色。
内窥镜膀胱组织数据集： 模型获得了 92.60% (P@5)，90.68% (P@10)，84.67% (P@20)，70.79% (P@50) 以及 66.82% (P@100) 的 mAP 得分。高等级癌症（HGC）和低等级癌症（LGC）类别的检索精度高于非肿瘤类。
消融研究： 实验证实，完整的框架优于单个组件（单独的 SPP-DenseNet121 或单独的 CG-MViT）以及中间配置（例如，未使用 DMCCA 或未使用 PRF 的融合情况），验证了混合方法和查询优化的必要性。

意义与主张
作者声称，所提出的框架为临床图像检索提供了高度的鲁棒性和泛化能力。通过有效地结合局部多尺度特征与全局上下文依赖关系，并通过反馈优化查询，该系统成功缩小了视觉外观与医学解释之间的语义鸿沟。结果表明，该框架是计算机辅助诊断、基于案例的推理和临床决策支持的一个可行方案。作者指出，尽管目前的结果非常可观，但未来的工作可以探索自监督训练、适用于医院实时系统的轻量级架构，以及向 MRI、CT 和组织病理学等其他模态的扩展。

类似论文