Structured Spectral Graph Representation Learning for Multi-label Abnormality Analysis from 3D CT Scans

技术摘要：用于 3D CT 扫描多标签异常分析的结构化谱图表示学习

问题陈述
胸部 CT 检查量的日益增长，使得自动化工具在辅助放射科医生检测异常方面变得至关重要。虽然多标签分类对于临床决策支持至关重要，但由于体积数据中固有的复杂空间关系以及病理类型的广泛变异性，这仍然是一个挑战。现有方法面临特定的局限性：3D 卷积神经网络（CNN）通常难以捕捉长程依赖关系，而视觉 Transformer（ViT）通常需要在大规模领域特定数据集上进行大量的预训练才能具备竞争力。此外，许多现有的 2.5D 方法（即独立处理切片或将其作为序列处理的方法）缺乏对体积内空间连续性和层间依赖性的显式建模。

方法论：CT-SSG
作者提出了 CT-SSG（用于计算机断层扫描的结构化谱图），这是一个将 3D CT 体积表示为结构化图的 2.5D 框架。该架构通过以下四个阶段进行：

1. 特征初始化： 输入的 3D 体积被划分为 $N$ 个不重叠的相邻轴向切片三元组（triplets）。每个三元组由一个 2D ResNet-18 骨干网络独立处理，以提取空间特征，从而为每个三元组生成紧凑的嵌入。这种方法在无需采用计算昂贵的完整 3D 卷积的情况下，捕捉了局部层间上下文。
2. 图构建： 将体积建模为一个图 $G=(V, E)$，其中每个节点 $v_i$ 代表一个轴向切片三元组。边根据节点在头尾（z）轴方向上的物理距离进行连接。边权重由一个关于三元组间距离和切片间距的函数定义，允许模型对空间关系进行编码。作者探索了全连接拓扑和稀疏拓扑，其中连通性被限制在特定的感受野大小 $q$ 内。
3. 谱域消息传递： 为了处理不同患者之间解剖位置的差异性，该模型采用了基于切比雪夫图卷积（Chebyshev graph convolutions）的谱模块（Spectral Module）。与聚合固定局部邻域的空间图卷积不同，谱卷积在傅里叶域中利用图拉普拉斯算子的多项式近似进行操作。这使得模型能够捕捉层次化特征表示和长程解剖关系，同时对患者间的变异性保持鲁棒。该模块包括三元组轴向切片位置嵌入（Triplet Axial Slice Positional Embeddings），以保留轴向位置信息，并利用残差连接与归一化层。
4. 分类： 更新后的节点表示通过平均池化进行聚合，生成全局体积嵌入，随后传递至分类头，利用二元交叉熵损失来预测多种异常的存在情况。

核心贡献
论文概述了五个主要贡献：

1. CT-SSG 框架： 一种新型视觉编码器，将 3D CT 体积建模为轴向切片三元组的图，并在谱域 GNN 模块中结合了三元组轴向切片位置嵌入和边权重策略。
2. 跨数据集泛化能力： 在使用来自土耳其的 CT-RATE 数据集进行训练，并在来自美国（RAD-ChestCT）和法国（CT-HCL）的独立数据集上进行评估后，展示了强大的泛化能力。该模型还展示了从胸部 CT 到腹部 CT 扫描的可迁移性。
3. 全面的消融研究： 对模型深度、超参数、图拓扑结构（稀疏 vs. 全连接）、边权重以及连通模式进行了系统性评估。研究表明，具有局部邻域的稀疏拓扑和单层谱结构能获得最优性能。
4. 向报告生成迁移： 评估了 CT-SSG 作为自动化放射学报告生成视觉编码器的表现，证明了所学习的表示在下游文本生成任务中是有效的。
5. 向腹部 CT 迁移： 在低数据量场景下验证了该方法在腹部 CT 异常分类中的应用，结果显示，当样本量少于 3,750 个时，使用胸部预训练的骨干网络优于从头开始的监督训练。

实验结果
模型在 CT-RATE 数据集（21,304 名患者）上进行了评估，并与 3D CNN、3D Transformer（ViT3D, ViViT, Swin3D）以及其他 2.5D 方法（CT-Net, CT-Scroll）进行了对比。

• 性能： CT-SSG 在 CT-RATE 测试集上实现了 57.18% 的 Macro F1 分数，优于最佳基准模型（CT-Scroll，54.30%），并且较 3D Transformer 和 CNN 有显著提升。
• 泛化性： 在跨数据集评估中，CT-SSG 在 RAD-ChestCT 和 CT-HCL 上均在 F1 分数、AUROC 和 mAP 指标上持续排名最高，表明其对不同临床分布具有鲁棒性。
• 消融研究发现：
  • 拓扑结构： 稀疏图拓扑（感受野 $q=16$）的表现优于全连接拓扑，这表明将聚合限制在局部交互能更好地捕捉短程依赖关系。
  • 深度： 单层谱层 yielded 了最佳结果，这意味着对于此类任务，深层图结构并非必要。
  • 滤波器大小： 在稀疏图中，切比雪夫滤波器大小 $K=3$ 为最优；而在全连接图中，较高的 $K$ 值收益递减。
  • 鲁棒性： 模型对 z 轴平移和高斯噪声扰动保持鲁棒。
• 下游任务： 在报告生成任务中，CT-SSG 达到了 38.72% 的 F1 分数（临床有效性），显著优于 ViViT（27.54%）和 ResNet3D（25.45%）。在腹部 CT 迁移任务中，对冻结的胸部预训练权重进行线性探测的表现优于低数据量下的监督训练。

意义与主张
作者声称 CT-SSG 提供了一个灵活且通用的范式，桥接了 2D 与体积建模。通过将 CT 体积表示为结构化图，该方法能够显式控制邻域定义和边权重，为 Transformer 的密集连接提供了一种具有物理依据的替代方案。这项工作表明，显式的结构先验（如局部层间连通性）是 3D 推理的有效归纳偏置，其计算复杂度低于 3D Transformer，且性能极具竞争力。作者将 CT-SSG 定位为一种通用的骨干网络，适用于广泛的 3D 医学成像任务，包括异常检测和报告生成，且无需进行大规模的领域特定预训练。