HARU-Net: Hybrid Attention Residual U-Net for Edge-Preserving Denoising in Cone-Beam Computed Tomography

本文提出了一种名为 HARU-Net 的新型混合注意力残差 U-Net 网络，通过集成混合注意力 Transformer 块、残差混合注意力 Transformer 组及残差学习卷积块，在低剂量锥形束 CT 图像去噪任务中实现了优于现有最先进方法的边缘保持能力与重建质量，同时显著降低了计算成本。

要点

这是一篇关于如何让牙科 CT 照片变得更清晰的科研论文。为了让你轻松理解，我们可以把这项研究想象成是在给一张模糊、充满噪点的老照片进行“魔法修复”。

以下是用大白话和生动比喻对这篇论文的解释：

1. 背景：为什么牙科 CT 照片总是“沙沙”响？

想象一下，你拍了一张牙科 CT 照片（CBCT），就像在昏暗的房间里用相机拍照。

• 问题：为了不让病人受到太多辐射（就像不让闪光灯太亮伤眼睛），医生只能降低“曝光度”。结果就是，照片里充满了像电视雪花一样的噪点（Noise）。
• 后果：这些噪点让牙齿的细微结构（比如牙根里的根管、微小的裂缝）变得模糊不清，就像在磨砂玻璃后面看东西，医生很难看清细节，甚至可能误诊。

2. 以前的方法：要么看不清，要么太慢

• 老办法：传统的去噪方法就像用橡皮擦去擦掉噪点，但往往连牙齿的边缘也一起擦掉了，导致照片变得“糊成一团”。
• 新办法（深度学习）：现在的 AI 很聪明，能学会怎么把噪点去掉。但是，教 AI 需要大量的“清晰原图”和“模糊图”做对比。在医学上，为了训练 AI 而给病人拍两次 CT（一次清晰、一次模糊）是不道德的，因为辐射太多了。
• 困境：没有足够的“完美教材”，AI 就学不好。

3. 作者的解决方案：HARU-Net（超级修复师）

为了解决这个问题，作者们想出了一个绝妙的计划：

• 教材来源：他们没有用活人，而是收集了21 个人类下颌骨标本（来自已故捐赠者），用高剂量辐射拍出了极其清晰的“完美原图”。然后，他们在电脑上人为地给这些清晰图“加噪点”，制造出成对的“清晰图”和“模糊图”来训练 AI。

• 核心发明：HARU-Net：这是一个名为“混合注意力残差 U-Net"的 AI 模型。名字听起来很复杂，我们可以把它拆解成三个聪明的“助手”：

  1. 混合注意力块 (HAB) —— “聚光灯”：

     • 想象你在看一张满是灰尘的照片。普通的 AI 可能只看局部，容易把灰尘当成细节。
     • HARU-Net 里的这个“聚光灯”助手，能同时关注局部细节（比如牙齿边缘）和整体结构（比如整个下颌骨的形状）。它知道哪里是重要的骨头，哪里是干扰的噪点，从而精准地保留细节，擦掉噪点。

  2. 残差混合注意力组 (RHAG) —— “大脑皮层”：

     • 这是 AI 的“最深层大脑”。它负责处理最复杂的逻辑，确保在去除噪点时，不会把牙齿的纹理搞乱。它像是一个经验丰富的老工匠，在修复过程中时刻检查全局，保证整体协调。

  3. 残差学习块 —— “高速公路”：

     • 这就像在 AI 内部修了一条高速公路，让信息（特征）能顺畅地流动，不会因为网络太深而“迷路”或丢失重要信息。

4. 实验结果：它比谁都快、比谁都好？

作者把这个新 AI 和目前世界上最先进的几个 AI（比如 SwinIR 和 Uformer）进行了比赛：

• 画质（清晰度）：HARU-Net 赢了！它去噪后的照片，牙齿边缘最锐利，细节最丰富（PSNR 和 SSIM 分数最高）。
• 速度（效率）：这是最惊人的地方。
  • 其他先进的 AI（像 SwinIR）就像开法拉利，虽然快，但非常耗油（计算量巨大），处理一张全身 CT 需要 8-13 分钟。
  • 普通的 CNN 模型像骑自行车，虽然省油，但画质一般。
  • HARU-Net 像是一辆高性能混合动力车。它既保留了法拉利的速度（处理一张 CT 只需约 2 分钟），又拥有接近顶级跑车的画质。它的计算成本比那些顶级 AI 低得多，这意味着未来的牙科诊所可以用普通的电脑显卡就能运行它，而不需要昂贵的超级计算机。

5. 总结与意义

这篇论文的核心贡献在于：

1. 解决了“没教材”的问题：利用标本数据成功训练了 AI。
2. 发明了“混合架构”：把卷积神经网络（擅长抓局部细节）和 Transformer 技术（擅长抓全局关系）完美结合，取长补短。
3. 临床价值：它能让医生在不增加辐射剂量的前提下，看到更清晰的牙齿结构。这对于诊断牙根炎症、规划种植牙位置、检查颞下颌关节等至关重要。

一句话总结：
作者造出了一个既聪明又省油的 AI 修复师，它能用低成本计算出最清晰的牙科 CT 图像，让医生在低辐射下也能拥有“火眼金睛”，看清牙齿的每一个微小细节。

技术摘要

HARU-Net 技术总结：基于混合注意力残差 U-Net 的锥形束 CT 边缘保持去噪

1. 研究背景与问题 (Problem)

锥形束计算机断层扫描 (CBCT) 在牙科、颌面外科及耳鼻喉科 (ENT) 成像中应用广泛，能够提供高分辨率的三维解剖结构视图。然而，为了降低患者辐射剂量，低剂量采集模式会引入强烈的、空间变化的噪声。

• 核心挑战：
  • 噪声特性：CBCT 噪声主要由量子噪声（低曝光导致）和电子噪声组成，呈颗粒状，严重降低了软组织可见性，掩盖了细微的解剖结构（如根管形态、微小病变）。
  • 现有方法局限：传统去噪方法难以在抑制噪声的同时保留边缘细节。
  • 深度学习数据瓶颈：虽然基于深度学习的去噪方法表现优异，但 CBCT 去噪面临高质量配对数据稀缺的问题。获取低剂量与高剂量（金标准）的配对扫描在伦理和临床实践中极不现实。现有的监督学习研究多依赖体模或尸体数据，难以完全捕捉真实患者的解剖变异。

2. 方法论 (Methodology)

2.1 数据集构建与预处理

为了解决数据稀缺问题，作者构建了一个基于人体半下颌骨尸体的高分辨率 CBCT 数据集：

• 数据来源：使用 J. Morita 3D Accuitomo 170 系统，以高分辨率协议（90 kV, 5 mA, 30.8 秒）采集 21 个样本。
• 噪声模拟：利用高剂量扫描作为“干净”参考，通过模拟量子噪声（泊松分布近似为高斯分布）和电子噪声（零均值高斯分布），生成配对的去噪训练数据。
• 预处理流水线：
  1. 手动裁剪：排除无关背景。
  2. K-Means 聚类：区分前景组织与背景空气。
  3. 形态学操作：通过膨胀操作平滑边界，利用轮廓层次检测填充组织内部空洞。
  4. 动态补丁提取 (Dynamic Patching)：仅在解剖组织区域提取 256x256 的图像块，避免在纯空气区域进行无效训练。最终生成了约 5 万对噪声/干净图像块。

2.2 模型架构：HARU-Net

作者提出了混合注意力残差 U-Net (HARU-Net)，旨在结合卷积神经网络 (CNN) 的局部特征提取能力与 Transformer 的全局上下文建模能力。架构包含四个核心组件：

1. 编码器 (Encoder)：
   • 采用残差卷积编码块，包含级联的 3x3 卷积和 LeakyReLU 激活。
   • 使用可学习的卷积进行下采样（而非池化），以保留更多信号信息。
2. 混合注意力 Transformer 块 (HAB, Hybrid Attention Block)：
   • 位置：嵌入在跳跃连接 (Skip Connections) 中。
   • 机制：结合了窗口自注意力 (Windowed Self-Attention) 和通道注意力 (Channel Attention)。
     • 窗口自注意力（源自 Swin Transformer）捕捉局部细粒度空间模式。
     • 通道注意力根据全局相关性重新加权特征通道。
   • 作用：在跳跃连接中精炼特征，强调显著的解剖特征，抑制噪声传递。
3. 瓶颈层残差混合注意力组 (RHAG, Residual Hybrid Attention Group)：
   • 位置：位于网络最深层的瓶颈处。
   • 机制：由 6 个串联的 HAB 块组成的残差组。
   • 作用：增强深层特征图的表示能力，建模长距离上下文依赖，同时通过残差连接保持训练稳定性。
4. 解码器 (Decoder)：
   • 通过转置卷积逐步恢复空间分辨率。
   • 融合来自编码器的特征时，再次利用 HAB 进行特征精炼，确保重建的高频细节（如骨边缘）清晰。

2.3 训练策略

• 损失函数：均方误差 (MSE)。
• 优化器：Adam，初始学习率 $1 \times 10^{-4}$，配合学习率调度器和早停机制 (Early Stopping)。

3. 关键贡献 (Key Contributions)

1. 数据策略创新：利用高分辨率尸体扫描结合物理噪声模拟，构建了高质量的 CBCT 去噪配对数据集，解决了监督学习数据匮乏的难题。
2. 架构创新：提出 HARU-Net，创造性地将混合注意力 Transformer 模块 (HAB) 集成到 U-Net 的跳跃连接和瓶颈层中。
   • 这种混合架构既保留了 CNN 的高效局部特征提取，又利用 Transformer 增强了全局上下文建模，特别适用于 CBCT 中空间变化且结构复杂的噪声。
3. 性能与效率的平衡：在实现 SOTA 去噪性能的同时，显著降低了计算成本，使其更具备临床部署的可行性。

4. 实验结果 (Results)

在测试集上，HARU-Net 与 ResU-Net、Uformer、SwinIR 及 HAT 等 SOTA 方法进行了对比：

• 定量指标：
  • PSNR (峰值信噪比)：37.52 dB (最高)，优于 SwinIR (36.12) 和 Uformer (36.25)。
  • SSIM (结构相似性)：0.9557 (仅次于 HAT 的 0.9569，但综合表现更优)。
  • GMSD (梯度幅值相似度偏差)：0.1084 (最低)，表明边缘和纹理细节保留最好。
• 计算效率：
  • 推理时间：处理一个 512x512x512 的完整 3D 扫描仅需 1.985 分钟 (NVIDIA RTX 2080 Ti)。
  • 对比：远快于 Uformer (4.30 分钟) 和 SwinIR (8.85 分钟)。
  • FLOPs：每个图像块的计算量 (40.76 GMACs) 显著低于纯 Transformer 模型。
• 定性分析：
  • 视觉评估显示，HARU-Net 在骨边界锐度、皮质轮廓和内部骨小梁模式的恢复上表现最佳。
  • 相比其他方法，HARU-Net 减少了过度平滑和伪影，更忠实于解剖结构。

5. 意义与展望 (Significance)

• 临床价值：HARU-Net 提供了一种高效、可靠的低剂量 CBCT 去噪方案，能够显著提升软组织可见性和细微解剖结构的清晰度，有助于提高诊断信心，减少重复扫描。
• 技术启示：证明了在 CNN 框架中选择性集成Transformer 组件（而非完全替换）是平衡去噪性能与计算成本的有效途径。
• 局限性：当前模型基于单一厂商设备的数据训练，泛化能力受限。
• 未来工作：计划探索模型压缩、跨厂商泛化、3D 体积去噪以及结合自监督或物理信息学习框架。

总结：HARU-Net 通过创新的混合注意力架构和严谨的数据构建策略，成功解决了低剂量 CBCT 去噪中的边缘保持难题，在保持高图像质量的同时实现了临床可接受的推理速度，是牙科和医学影像领域的一项重要进展。