💻 computer science

Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging

该研究开发了一种基于树莓派的便携式多模态成像系统，通过融合 RGB 和热成像数据训练深度学习模型，显著提升了糖尿病足溃疡六阶段分级的准确性，其中 VGG16 模型在融合数据上达到了 93.25% 的准确率。

原作者： Gulengul Mermer, Mustafa Furkan Aksu, Gozde Ozsezer, Sevki Cetinkalp, Orhan Er, Mehmet Kemal Gullu

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Gulengul Mermer, Mustafa Furkan Aksu, Gozde Ozsezer, Sevki Cetinkalp, Orhan Er, Mehmet Kemal Gullu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何利用“双重眼光”来更聪明地诊断糖尿病足溃疡的故事。

想象一下，糖尿病足溃疡就像脚上的一个“隐形地雷”，如果不及时发现和处理，可能会导致截肢等严重后果。医生需要给这些伤口“定级”（从 0 级到 5 级，级别越高越严重），以便决定怎么治。

传统的做法是医生用眼睛看（看颜色、看形状），或者让患者自己在家拍照片。但这有两个大问题：

光线和角度：在家拍照，光线不好或者角度歪了，医生很难判断。
看不见的隐患：有时候伤口表面看起来还好，但下面已经发炎、发烧了，肉眼是看不出来的。

为了解决这些问题，研究团队开发了一套**“智能双镜系统”，并训练了一个“超级 AI 医生”**。

1. 核心发明：给脚拍“双重曝光”照片

研究团队做了一个像小镜子一样的设备（基于树莓派电脑），里面装了两台相机：

普通相机（RGB）：就像我们手机里的相机，能拍出脚部的颜色、纹理和伤口形状。这相当于**“看外表”**。
热成像相机（Thermal）：这是一种能看到“热量”的相机。发炎的地方温度会升高，就像身体在“发烧”。这相当于**“测体温”**。

比喻：这就好比侦探破案。普通相机是侦探的肉眼，能看到嫌疑人长什么样；热成像相机是侦探的热成像仪，能发现嫌疑人身上有没有藏匿发热的武器。两者结合，才能抓得准。

2. 训练过程：教 AI 做“全科医生”

研究人员收集了 1200 多张糖尿病患者的脚部照片，每张都同时包含“普通照”和“热成像照”。然后，他们把 AI 分成了三组进行训练：

A 组（只看图）：只给 AI 看普通照片。
B 组（只看热）：只给 AI 看热成像照片。
C 组（双管齐下）：把热成像图当作第四种颜色通道，和普通照片拼在一起，让 AI 同时看。

比喻：

A 组像是在教学生只靠“看脸”认人。
B 组像是在教学生只靠“听声音”认人。
C 组则是让学生既看脸又听声音，还能结合两者判断。

3. 实验结果：1+1 > 2

经过测试，结果非常有趣：

只看图（A 组）：AI 能认出明显的伤口，但对于早期伤口（还没破皮，只是有点红或肿），它容易看走眼。
只看热（B 组）：AI 能发现哪里在“发烧”（发炎），但在早期，因为温差太小，它经常“瞎猜”，甚至找不到重点。
双管齐下（C 组）：这是大赢家！ 当 AI 同时拥有“视觉”和“热感”时，它的准确率最高，达到了 93% 以上。

为什么？

在早期（0-1 级），伤口还没破，热成像看不太出来，但普通照片能看到皮肤颜色的细微变化。这时候，普通照片帮了大忙。
在晚期（2 级及以上），伤口发炎严重，热成像能清晰地圈出哪里最烫。这时候，热成像帮了大忙。
结合起来，AI 就像拥有了“透视眼”和“火眼金睛”，既不会漏掉早期的微小变化，也不会被晚期复杂的炎症迷惑。

4. 可视化验证：AI 到底在看哪里？

研究人员用一种叫"Grad-CAM"的技术，把 AI 的“注意力”画成了热力图。

只看热的 AI：在早期伤口上，它的注意力很散，像无头苍蝇，不知道看哪。
只看图的 AI：有时候看得太宽，把整个脚都算进去了。
双模态 AI：它的注意力非常精准，死死盯着伤口和周围发热的区域，就像一位经验丰富的老医生，一眼就能锁定病灶。

5. 总结与未来

这项研究告诉我们，“眼见为实”加上“热感为证”，是诊断糖尿病足的最佳组合。

现实意义：未来，这种设备可以做成家里的“智能镜子”。糖尿病患者每天在家把脚放上去，按一下按钮，系统就能自动分析伤口等级，并告诉医生是否需要紧急处理。
局限性：目前的设备还不够完美，热成像的清晰度不如普通照片（因为太贵的热成像仪买不起），而且两种相机的角度还没完全对齐。
未来展望：随着技术升级，如果用上更清晰的热成像仪，并自动校正角度，这个系统将成为糖尿病足管理的“守护神”，大大减少截肢的风险。

一句话总结：
这就好比给医生配了一副**“普通眼镜”加“夜视仪”的超级眼镜**，让 AI 医生能同时看清伤口的长相和体温，从而在伤口还没变得不可收拾之前，就精准地把它“揪”出来。

以下是基于该论文《用于糖尿病足溃疡分期的多模态深度学习：集成 RGB 与热成像》（Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging）的详细技术总结：

1. 研究背景与问题 (Problem)

临床挑战：糖尿病足溃疡（DFU）是糖尿病严重的并发症，导致高截肢率、复发率高（愈合后 1-3 年复发率达 25-65%）及巨大的医疗负担。
现有局限：
- 家庭监测困难：现有的家庭监测方案（如智能手机自拍、远程温度监测）存在标准化难题，受拍摄距离、角度、光照及用户操作差异影响，导致纵向数据对比误差大。
- 单一模态不足：仅依靠可见光（RGB）图像难以捕捉早期炎症引起的温度变化；仅依靠热成像（Thermal）在溃疡早期（无可见伤口时）缺乏足够的纹理特征，且低分辨率热传感器易受环境干扰。
- 缺乏专用硬件：虽然智能镜子在健康监测领域有所应用，但尚无专门针对 DFU 分期、集成 RGB 与热成像的家用智能系统。
研究目标：开发一种基于多模态（RGB + 热成像）的深度学习框架，利用集成传感器系统采集数据，旨在提高 DFU 分期（Wagner 分级）的准确性，并验证多模态融合相对于单一模态的性能提升。

2. 方法论 (Methodology)

2.1 数据采集系统 (Image Acquisition System)

硬件原型：开发了一种基于 Raspberry Pi 4B 的便携式成像系统。
- 传感器：集成 Raspberry Pi Camera Module V2 (800 万像素 RGB) 和 FLIR Lepton 3.5 热成像模块 (160x120 分辨率)。
- 同步触发：通过软件实现 RGB 和热成像的同步触发，确保时空对齐。
- 结构：使用 3D 打印定制外壳，使两个传感器并排安装，拥有近似重叠的视场（FoV）。
- 交互：配备 7 英寸触摸屏和自定义 GUI，支持一键采集，保存 RGB 图像、伪彩色热图及原始热数据（TIFF 格式）。

2.2 数据集构建与预处理 (Dataset & Pre-processing)

数据来源：在医院环境下收集，经伦理批准和知情同意。共采集 1205 个样本，包含 RGB、伪彩色热图和原始热数据。
标注：由临床专家根据 Wagner 分级标准 标注为 6 个类别（Grade 0 至 Grade 5）。
三种训练集：
1. RGB 单模态：仅使用 RGB 图像。
2. 热成像单模态：仅使用热图像。
3. 多模态融合 (RGB+Thermal)：将热图像作为第 4 个通道，与 RGB 的 3 个通道合并，形成 4 通道输入张量。
预处理技术：
- 热数据转换：将原始 TIFF 数据（开尔文）转换为摄氏度（公式： $T(℃) = \frac{PixelValue}{100} - 273.15$ ）。
- 自适应滤波：针对热图像，根据环境温度动态调整阈值（30℃-45℃范围），以分割足部区域并消除环境热噪声。
- 数据增强：应用几何变换（裁剪、翻转、旋转）和光度调整（亮度、对比度等）以防止过拟合。
- 类别平衡：使用类别加权损失函数（Class-weighted Loss）解决数据不平衡问题。

2.3 模型架构与训练 (Model Training)

骨干网络：采用迁移学习，使用在 ImageNet 上预训练的 5 种 CNN 架构：ResNet-50, VGG16, DenseNet-121, InceptionV3, EfficientNetV2。
分类头设计：移除原分类层，替换为自定义头部（两个全连接层：1024 和 512 神经元），包含 ReLU 激活、Batch Normalization 和 50% Dropout。
实验设置：
- 框架：PyTorch。
- 验证策略：5 折分层交叉验证（5-fold stratified cross-validation），并保留 15% 作为独立测试集。
- 评估指标：准确率、精确率、召回率、F1 分数、特异性、MCC（马修斯相关系数）。

3. 关键贡献 (Key Contributions)

专用硬件原型开发：设计并制造了首个集成 RGB 和热成像传感器的 Raspberry Pi 基 DFU 智能采集原型，解决了家庭监测中标准化拍摄（距离、角度、光照）的难题。
多模态融合策略验证：首次系统性地在 DFU 分期任务中对比了 RGB、热成像及 RGB+Thermal（4 通道）三种输入模式，证明了多模态融合在特征互补性上的显著优势。
自适应热图像处理：提出了一种针对热成像的自适应温度归一化方法，有效解决了环境热噪声干扰和传感器校准漂移问题，提高了热特征的提取质量。
可解释性分析：利用 Grad-CAM 可视化技术，直观展示了多模态模型如何结合 RGB 的纹理信息和热成像的温度异常区域，特别是在早期和晚期溃疡中的不同关注点。

4. 实验结果 (Results)

最佳模型：VGG16 在所有数据集中表现最稳健。
性能对比：
- RGB+Thermal (多模态) 表现最优。VGG16 在该配置下达到 93.25% 的整体准确率，92.53% 的 F1 分数，以及 91.03% 的 MCC。
- 单一模态表现：
  - RGB 单模态（VGG16）：准确率 90.22%。
  - 热成像单模态（VGG16）：准确率 90.96%（但在早期阶段 Grade 0-1 表现较差，且整体 MCC 低于多模态）。
- 提升幅度：多模态方法相比单一模态在准确率和 MCC 上均有显著提升，证明了热成像提供的炎症/感染温度信息与 RGB 提供的形态学信息具有高度互补性。
跨模态分析：
- 早期阶段 (Grade 0-1)：热成像因温差小难以区分，RGB 提供关键纹理信息；多模态模型有效弥补了热模态的不足。
- 中晚期阶段 (Grade 2+)：热成像能清晰捕捉炎症引起的热异常，辅助模型精确定位溃疡边界。
可视化验证：Grad-CAM 显示，多模态模型的关注区域更紧凑且与病灶高度重合，解决了单模态热图关注点弥散和单模态 RGB 关注点过宽的问题。

5. 意义与展望 (Significance & Future Work)

临床意义：
- 为 DFU 的早期预警和远程监测提供了低成本、高精度的技术解决方案。
- 多模态框架可作为临床决策支持系统（CDSS），辅助医生进行 Wagner 分级，减少误诊和漏诊，特别是针对复发风险高的患者。
- 有助于实现家庭环境下的标准化监测，降低截肢率和医疗成本。
局限性：
- 数据集规模相对较小且来自单中心。
- 热成像传感器分辨率较低（160x120），限制了细微温度变化的捕捉。
- RGB 与热成像传感器存在视场和光学特性差异，尚未实现像素级精确配准。
未来工作：
- 收集多中心、更大规模的数据集以提升泛化能力。
- 采用更高分辨率的热成像传感器。
- 引入自动图像配准技术以解决多模态空间对齐问题。
- 将系统进一步集成到完整的智能家居/医疗生态中。

总结：该研究通过硬件创新与深度学习算法的结合，成功证明了RGB 与热成像的多模态融合是提升糖尿病足溃疡分期准确性的有效途径，为下一代智能糖尿病足监测设备奠定了坚实基础。