ActiveFreq: Integrating Active Learning and Frequency Domain Analysis for Interactive Segmentation

这是一篇关于ActiveFreq（集成主动学习与频域分析的交互式分割框架）的技术论文总结。该论文旨在解决医学图像交互式分割中用户交互成本高、现有方法未能充分利用用户输入信息以及缺乏频域特征分析的问题。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

• 背景：基于深度学习的自动分割在医学图像分析中取得了成功，但往往依赖大规模标注数据。交互式分割（Interactive Segmentation）通过少量用户输入（如点击）来修正预测，在临床应用中至关重要。
• 现有方法的局限性：
  1. 误标区域处理低效：现有方法通常将所有误标区域（Mislabeled Regions）视为同等重要，随机选择区域进行修正，未能评估每个区域对提升分割质量的潜在影响，导致用户交互效率低下。
  2. 特征提取单一：大多数模型仅依赖空间域（Spatial Domain）特征，忽略了频域（Frequency Domain）信息。在医学图像中，频域分析能有效滤除高频噪声（由成像设备产生），同时保留关键的低频结构信息（如血管、微小病变），这对精确分割至关重要。

2. 核心方法论 (Methodology)

作者提出了 ActiveFreq 框架，包含两个核心模块：AcSelect（主动学习选择模块）和 FreqFormer（频域分割骨干网络）。

2.1 AcSelect：基于主动学习的误标区域选择

该模块旨在从粗分割掩码中自动识别并优先选择信息量最大的误标区域进行用户标注，从而最大化每次点击的收益。

• 识别机制：利用连通分量分析将误标像素分组为不同的区域。
• 评估指标：提出三个基于像素熵（Entropy）的指标来量化区域的不确定性：
  1. 最大像素熵 (MPE, Maximum Pixel Entropy)：评估区域内最不确定像素的置信度，反映局部高不确定性。
  2. 平均像素熵 (APE, Average Pixel Entropy)：评估区域内所有像素的平均不确定性，反映整体误差浓度。
  3. 区域组不确定性 (RGU, Regional Group Uncertainty)：基于区域内像素特征的一致性假设，比较主导错误像素与区域平均预测概率的差异，反映区域内部的一致性误差。
• 选择策略：将上述三个指标加权计算得到区域得分（Region Score, RS），选择得分最高的区域作为下一次交互的目标。该模块设计为即插即用（Plug-and-play），可适配 CNN 或 Transformer 架构。

2.2 FreqFormer：集成频域分析的骨干网络

基于 SegFormer 架构改进，旨在融合空间域和频域特征。

• 编码器：使用 SegFormer 的 Transformer 编码器提取多尺度特征。
• 解码器 (FreqNet)：
  • 引入 FreqBlock，包含群归一化（GN）、频域分析模块 (FreqModule) 和前馈网络（FFN）。
  • FreqModule 设计：将输入特征图通道分为四部分。第一部分保留空间域信息（深度卷积）；其余三部分分别进行 2D 离散傅里叶变换 (2D DFT)，沿不同维度对（高 - 宽、高 - 通道、宽 - 通道）提取频域特征，随后通过逆傅里叶变换 (IDFT) 转换回空间域。
  • 优势：这种多维频域分析能够捕捉全局结构模式和细粒度细节，有效区分物体边界与背景。

2.3 细化过程 (Refinement Process)

• 在细化阶段，采用类似 FocalClick 的策略，对已正确分割的区域赋予较低权重或排除更新，确保模型专注于修正错误区域。
• 使用 ROI Align 技术精确提取感兴趣区域的特征，避免量化误差，保持正确分割区域的完整性。

3. 主要贡献 (Key Contributions)

1. 提出 ActiveFreq 框架：首个将主动学习选择机制与频域分析相结合的交互式分割流水线，优先处理高信息量的误标区域而非随机选择。
2. 开发 AcSelect 模块：一种轻量级、即插即用的主动学习模块，通过 MPE、APE 和 RGU 三个指标从像素、像素集和区域三个层面评估不确定性，显著降低用户交互成本。
3. 设计 FreqFormer 网络：在 SegFormer 基础上引入傅里叶变换模块，实现空间与频域特征的互补融合，提升了复杂解剖结构（如血管、软骨）的分割精度。
4. SOTA 性能：在 ISIC-2017 和 OAI-ZIB 数据集上取得了最先进的性能，显著减少了达到高 IoU 所需的点击次数。

4. 实验结果 (Results)

在 ISIC-2017（皮肤病变）和 OAI-ZIB（膝关节软骨）数据集上的实验表明：

• 点击次数 (NoC) 表现：
  • ISIC-2017：达到 90% IoU 仅需 3.74 次点击（NoC@90），比之前的最佳结果（GraCo）提升了 23.5%。
  • OAI-ZIB：达到 90% IoU 仅需 9.27 次点击，比之前的最佳结果提升了 12.8%。
• 低交互条件下的性能：
  • 在仅 2 次点击 的极端条件下，ActiveFreq 在 ISIC-2017 上达到 85.29% mIoU，在 OAI-ZIB 上达到 75.76% mIoU，均优于其他 SOTA 方法。
• 消融实验：
  • 验证了 AcSelect 中三个指标（MPE, APE, RGU）的互补性，三者结合效果最佳。
  • 验证了傅里叶变换（FT）优于小波变换（WT），且多维 DFT 变换（H-W, H-C, W-C）共同作用能显著提升性能。
• 计算效率：FreqFormer 参数量仅为 9.20M，FLOPs 为 2.67G，在保持轻量化的同时实现了高性能。

5. 意义与影响 (Significance)

• 临床价值：通过大幅减少医生或放射科专家所需的交互次数（点击数），ActiveFreq 显著降低了临床工作流中的时间成本和疲劳度，同时保证了高精度的像素级分割。
• 技术突破：
  • 改变了传统交互式分割“随机修正”的范式，引入了主动学习思想来指导用户交互。
  • 证明了频域分析在医学图像分割中的关键作用，为处理噪声和复杂边界提供了新的视角。
• 通用性：AcSelect 模块的即插即用特性使其能够广泛应用于不同的骨干网络架构，具有广阔的推广前景。

综上所述，ActiveFreq 通过智能选择交互目标和融合频域特征，成功解决了交互式医学图像分割中效率与精度的平衡问题，为未来的医疗辅助诊断系统提供了强有力的技术支撑。