💻 computer science

WaveInvNet: A Wavelet-Separated Dynamic Involution Network for Multimodal Skin Lesion Classification

本文提出了 WaveInvNet，这是一种轻量级多模态深度学习架构，它通过一种新颖的小波分离动态不变形（Wavelet-Separated Dynamic Involution）模块将皮肤镜图像与患者元数据相结合，以自适应地捕获异构病变特征，并在 HAM10000 数据集上的皮肤病变分类任务中达到了最先进的性能。

原作者： Mohamed Amine Ibrahimi, Abdelghafour Abbad, Rachid Ben Abbou, Khalid Abbad

发布于 2026-09-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohamed Amine Ibrahimi, Abdelghafour Abbad, Rachid Ben Abbou, Khalid Abbad

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

皮肤癌是一个持续不断的全球性挑战，每年都有数百万新病例被诊断出来。在这些病例中，黑色素瘤尤为危险，因为它会迅速扩散到身体其他部位，使得早期发现成为生死攸关的大事。几十年来，医生一直依赖皮肤镜技术，这是一种使用专门的放大工具来详细检查皮肤病变的技法。然而，这一过程高度依赖于临床医生的经验，即使是专家也可能在观察结果上产生分歧。为了提供帮助，科学家们转向了人工智能，通过教计算机识别医学图像中疾病的细微模式。虽然这些计算机系统在发现异常方面已经做得相当出色，但它们往往在处理皮肤病变的复杂性时显得力不从心。传统的系统对待图像的每一部分方式都是一样的，使用一套单一且不变的规则来扫描整张图片。这种方法可能会忽略病变中心的独特纹理或边缘的不规则形状，无法适应那些区分良性痣与危险肿瘤的特定细节。

来自摩洛哥西迪·穆罕默德·本·阿卜杜拉大学的研究团队开发了一种解决这一问题的新方法，创建了一个名为 WaveInvNet 的系统。该系统没有采用“一刀切”的方法，而是被设计成能够同时以两种不同的方式观察皮肤图像：一种捕捉病变的宏观整体形状，另一种则专注于精细的微观细节。他们通过使用一种被称为“小波变换”的数学技术实现了这一点，这种技术就像是图像的棱镜，将视觉信息拆分为结构层和纹理层。通过分离这些图层，计算机可以独立地分析大局和微观细节，确保不会在过程中丢失任何关键的诊断线索。

研究人员围绕一个他们命名为“小波分离动态不变性块”（Wavelet-Separated Dynamic Involution block）的新型组件构建了他们的系统。简单来说，这是一个智能处理单元，它能学会根据所见内容调整自己的焦点。当系统遇到平滑的皮肤区域时，它会应用一套分析规则；当它遇到粗糙、不规则的边缘时，它会立即切换到另一套更适合该特定纹理的规则。这种动态调整使计算机能够对每个病变的独特特征更加敏感。此外，该系统并不仅仅依赖图像本身。它还结合了患者信息，例如年龄、性别以及病变在身体上的位置。通过将视觉分析与这些临床事实相结合，该系统在做出诊断前能为患者的情况勾勒出一幅更完整的图景。

为了测试他们的创造物，研究人员使用来自 HAM10000 数据集的 10,000 多张皮肤图像对系统进行了训练，该数据集包含七种不同类型的皮肤病变。他们对数据进行了划分，使系统从大部分图像中学习，然后在它从未见过的图像上进行测试。结果令人瞩目。该系统在 93.63% 的测试案例中正确识别了皮肤病变的类型，这一表现超越了其他几个知名的人工智能模型。它还在区分不同疾病类别方面达到了 98.46% 的得分（即曲线下面积指标）。或许最重要的一点是，该系统在实现如此高准确度的同时，使用的计算资源显著减少。它仅需要 254 万个可调节参数，这不到一些领先模型所需参数的一半，使其成为一个轻量级且高效的医疗应用工具。

研究还揭示了该系统的优势所在以及仍面临的挑战。它在识别某些罕见病变（如血管病变和皮肤纤维瘤）方面表现完美，在测试集中错误率为零。然而，它偶尔会将黑色素瘤与良性痣混淆，而这两者是两种最常见且视觉上最相似的类别。这种混淆是该领域的一个已知难点，因为危险的黑色素瘤与无害的痣之间的视觉差异可能极其细微。尽管存在这些微小的误差，该系统仍展现出了区分不同疾病类别的稳定能力，证明了其将图像拆分为结构和细节组件的方法是有效的。研究人员指出，虽然该系统在该特定数据集上表现良好，但未来的工作需要通过更广泛的图像和临床条件来测试它，以确保其在现实世界的医院中能够可靠运行。

这项工作代表了人工智能如何辅助医生诊断皮肤癌的一个重要进步。通过摒弃僵化、统一的分析方法，转而拥抱一种能够适应每张图像特定细节的方法，研究人员表明，机器可以学会像人类专家那样观察皮肤病变。将患者数据与视觉分析相结合，进一步强化了诊断的力度，模拟了医生在考虑病灶的同时也兼顾整个患者的过程。随着皮肤癌负担的持续上升，像 WaveInvNet 这样的工具提供了一条通往更快、更准确且更普及护理的希望之路，通过比以往更早地发现疾病，有望挽救生命。

技术摘要：WaveInvNet

问题陈述
本文针对早期且准确地进行皮肤癌诊断（特别是黑色素瘤）以降低死亡率的紧迫需求进行了研究。虽然深度学习（特别是卷积神经网络，CNN）在自动化皮肤镜图像分析方面取得了进展，但传统的架构面临着局限性。标准 CNN 依赖于空间共享卷积核，对所有图像区域进行统一处理，无法适应皮肤病变（例如变化的中心、边界及周围皮肤）的异质结构。此外，传统的特征提取过程通常将结构信息与细粒度诊断细节共同处理，这在下采样过程中存在丢失微妙模式的风险。此外，像 HAM10000 这样的皮肤病变数据集存在显著的类别不平衡问题，这可能会使模型向多数类产生偏差。

方法论
作者提出了 WaveInvNet，这是一种轻量级的多模态架构，旨在将皮肤镜图像与患者元数据（年龄、性别和解剖位置）相结合。其核心创新在于 小波分离动态反卷积（Wavelet-Separated Dynamic Involution, WSDI） 模块，该模块组织在一个四阶段的分层编码器中。

小波分离动态反卷积 (WSDI) 模块：
- 静态 Haar 小波分解： 输入特征图经过静态 Haar 小波变换。它将数据分解为低频结构分量 ( $F_{LL}$ ) 和三个高频细节分量 ( $F_{LH}, F_{HL}, F_{HH}$ )。与离散小波变换不同，该方法在不进行下采样的情况下保留了原始的空间分辨率。
- 频率特定卷积核生成： 该模块使用独立的生成器来处理结构、细节和门控。
  - 结构分支利用低频子带生成原始卷积核对数（logits），通过 Softmax 进行归一化，以创建一个非负且总和为单位的卷积核 ( $K_{str}$ )，用于结构聚合。
  - 细节分支处理拼接后的高频子带。生成的对数通过双曲正切函数进行边界限制，并进行中心化和 L1 归一化，以产生一个强调局部变化的符号零和卷积核 ( $K_{det}$ )。
  - 门控分支利用绝对高频系数生成一个空间变化的门控因子 ( $\beta$ )，用以调节细节卷积核的贡献程度。
- 自适应卷积核集成： 最终的卷积核计算公式为 $K_{wsdi} = K_{str} + \beta \odot K_{det}$ 。这使得网络能够动态调整每个空间位置上细粒度细节对聚合的影响程度。
- 分组反卷积 (Grouped Involution)： 这些自适应卷积核通过分组反卷积算子应用于局部邻域，其中卷积核在通道组之间共享，但在空间位置上各不相同。
- 残差精炼： 输出经过通道扩张、GELU 激活、投影、LayerScale 和随机深度处理后，再与残差输入相加。
多模态融合：
- 患者元数据经过标准化和编码。
- 在四阶段视觉编码器提取出频率感知特征后，应用全局平均池化。
- 得到的视觉表示与编码后的元数据进行拼接，然后通过带有 Softmax 激活的密集层进行最终分类。
数据处理：
- 模型在 HAM10000 数据集（10,015 张图像，7 个类别）上进行训练。
- 为了解决类别不平衡问题，对代表性不足的类别实施了针对性的数据增强（例如，显著增加了 VASC 和 DF 的增强）。
- 缺失的年龄值使用中位数进行填补。

核心贡献

创新的 WSDI 模块： 本文引入了首个利用小波衍生的结构和细节分量来直接引导生成位置特定反卷积卷积核的机制，用于皮肤病变分类。
轻量级架构： WaveInvNet 是一个四阶段分层编码器，能够逐步学习频率感知和空间自适应的表示，且参数量较低。
全面的评估： 研究通过与成熟的 CNN 架构（EfficientNetB0, DenseNet121, ResNet50, ConvNeXt-Base, InceptionV3）以及最新的前沿方法进行统一对比，评估了性能、计算效率和模型复杂度。

结果
在 HAM10000 测试集（70/10/20 划分，经过 5 次运行取平均值）的评估中，WaveInvNet 实现了：

准确率 (Accuracy): 93.63%
AUC: 98.46%
F1 分数 (F1-Score): 94.81%
精确率 (Precision): 94.45%
召回率 (Recall): 95.20%

该模型表现出稳定的性能，且在多次运行中的标准差较低。在效率方面，WaveInvNet 仅需 2.54 百万个可训练参数（权重为 10.16 MB），与最小的基准模型（EfficientNetB0）相比减少了约 42.6%，与 InceptionV3 相比减少了约 88.7%。

混淆矩阵分析显示，模型在分类 AKIEC、DF 和 VASC 时未出现错误。主要的混淆发生在黑色素瘤 (MEL) 与痣 (NV) 之间，以及良性角化样病变 (BKL) 与痣 (NV) 之间，这与皮肤病学中已知的诊断挑战一致。

意义与主张
论文声称，通过结合频率感知视觉处理（通过小波分离）、空间自适应聚合（通过动态反卷积）以及患者元数据，WaveInvN 能够实现准确且参数高效的多类皮肤病变分类。作者断言，在相同的实验条件下，其方法优于现有的深度学习基准模型，同时保持了显著更小的模型规模。他们将这项工作定位为迈向更具自适应性和高效性的诊断支持系统的一步，以应对皮肤病变的异质性和临床数据集的不平衡性。

作者指出，尽管研究结果令人鼓舞，但未来的工作应包括在更多数据集上进行测试以验证跨临床条件的泛化能力，探索分层 k 折交叉验证，并扩展元数据分支以包含其他临床变量。他们还指出，可解释性和不确定性估计是未来提升临床可解释性的研究领域。

类似论文