Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

这是一份关于论文《Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis》（组织病理学图像与电子健康记录的多模态融合用于乳腺癌早期诊断）的详细技术总结。

1. 研究背景与问题 (Problem)

乳腺癌是全球癌症相关死亡的主要原因之一，早期准确诊断对提高生存率至关重要。

• 现有挑战：
  • 单模态局限性：现有的研究通常将组织病理学图像（通过卷积神经网络 CNN 分析）与结构化电子健康记录（EHR，通过机器学习模型分析）分开处理。然而，临床医生在诊断时是综合这两类信息的。
  • 数据异质性：全切片图像（WSI）分辨率极高，需要基于图块（Patch）的策略；而 EHR 数据稀疏、异构且存在大量缺失值。
  • 类别不平衡：在病理诊断中，关键的“有丝分裂（Mitosis）”类别样本稀少但临床意义极大，单模态模型（尤其是仅基于图像的模型）往往难以准确识别此类少数类。
• 核心目标：开发一个系统性的多模态框架，整合 BreCaHAD 数据集的图块级组织病理学特征与 MIMIC-IV 数据集的结构化临床数据，以解决上述隔离问题，提升诊断性能，特别是针对关键少数类的识别能力。

2. 方法论 (Methodology)

该研究采用中间融合（Intermediate Fusion）策略，即先分别提取图像和表格数据的潜在表示（Latent Representations），再进行拼接和联合分类。

2.1 数据预处理

• **图像数据 **(BreCaHAD)：
  • 原始数据为高分辨率 H&E 染色全切片图像，带有专家标注的细胞核点（肿瘤核、非肿瘤核、有丝分裂）。
  • 图块提取：使用 64x64 像素的滑动窗口提取图块，根据标注中心点分配标签。
  • 增强：应用随机旋转、翻转、颜色抖动等增强技术，并进行归一化。
• **表格数据 **(MIMIC-IV)：
  • 筛选与乳腺癌相关的变量（人口统计学、合并症、实验室结果、治疗史）。
  • 处理缺失值：连续变量使用中位数插补并标准化，分类变量进行独热编码（One-hot），并添加缺失指示器。
  • 剔除缺失率>80% 的特征。

2.2 单模态基线模型

• 图像模型：
  • Simple CNN：一个浅层的三块 CNN 架构，作为基线。
  • ResNet-18：在 ImageNet 上预训练并微调，采用分阶段解冻策略（先冻结骨干网络，再逐步解冻），使用加权交叉熵损失函数处理类别不平衡。
• 表格模型：
  • **MLP **(多层感知机)：包含两个隐藏层（256 和 128 单元），用于生成 128 维的患者嵌入向量。
  • XGBoost：梯度提升树模型，作为表格数据的强基线，直接处理缺失值并优化宏平均 F1 分数。

2.3 多模态融合架构

• 融合策略：中间融合（Intermediate Fusion）。
• 架构细节：
  1. 图像分支：使用微调后的 ResNet-18，移除最终分类层，提取倒数第二层的 512 维 图像嵌入。
  2. 表格分支：使用 MLP 提取 128 维 的患者临床嵌入。
  3. 拼接层：将 512 维图像向量与 128 维临床向量拼接，形成 640 维 的多模态表示。
  4. 分类头：拼接后的向量经过两个全连接层（256 -> 128，含 ReLU 和 Dropout），最后通过 Softmax 输出三类概率（有丝分裂、肿瘤核、非肿瘤核）。
• 可解释性分析：
  • 图像侧使用 Grad-CAM 生成热力图，验证模型是否关注细胞核结构。
  • 表格侧使用 SHAP 值分析特征重要性，验证模型是否符合临床逻辑。

3. 主要贡献 (Key Contributions)

1. 构建强基线：在图像和表格模态上分别建立了高性能的单模态基线（ResNet-18 和 XGBoost）。
2. 提出中间融合架构：成功整合了 ResNet-18 的图像嵌入与 MLP 的临床嵌入，证明了跨模态交互的有效性。
3. 提升少数类性能：证明了融合模型显著提高了对临床关键但样本稀少的“有丝分裂”类别的召回率，解决了单模态模型在此类上的性能瓶颈。
4. 双重可解释性框架：结合 Grad-CAM（视觉）和 SHAP（表格），提供了符合临床医生推理模式的透明解释，增强了模型的可信度。
5. 通用洞察：指出在医疗 ML 评估中，应更关注少数类的召回率和 AUC，而非整体准确率，因为融合带来的收益主要集中在这些困难类别上。

4. 实验结果 (Results)

• 单模态表现：
  • ResNet-18：在图块级三分类任务上达到近乎完美的准确率（1.000）和 AUC（1.000）。但在“有丝分裂”类别的 AUC 仅为 0.927，显示出在极难区分类别上的局限性。
  • XGBoost：在 EHR 预测任务上达到 98% 的准确率和 0.94 的 AUC，优于 MLP。
• 融合模型表现：
  • 整体性能：融合模型实现了 0.997 的宏平均 AUC，优于所有单模态基线。
  • 关键突破：在“有丝分裂”类别上，AUC 从 ResNet 的 0.927 提升至 0.994（提升 6.7 个百分点）。这表明临床上下文信息有效解决了纯图像难以区分的形态学模糊性。
  • 错误分析：融合模型减少了将有丝分裂误判为肿瘤核的情况，错误模式发生了显著转变。
• 可解释性验证：
  • Grad-CAM 显示模型关注点集中在细胞核结构上。
  • SHAP 分析确认年龄、合并症数量和关键生物标志物是主要预测因子，与临床知识一致。

5. 意义与局限性 (Significance & Limitations)

• 临床意义：
  • 该研究证明了多模态融合不仅能提升预测精度，还能增强临床透明度。
  • 通过结合视觉证据和患者背景信息，模型能更好地模拟经验丰富的临床医生的综合推理过程，特别是在诊断模糊或样本稀缺的情况下。
  • 强调了在医疗 AI 评估中，必须针对少数类（如早期癌症特征）进行单独评估，而非仅看整体准确率。
• 局限性：
  • 数据配对问题：BreCaHAD（图像）和 MIMIC-IV（临床数据）并非同一患者的配对数据。本研究采用了一种“模拟”策略，将 MIMIC-IV 的特征作为上下文增强，而非真正的患者级配对数据。
  • 数据集偏差：BreCaHAD 来自单一机构，MIMIC-IV 来自美国一家学术中心的 ICU 患者，可能无法代表门诊筛查人群。
  • 架构限制：受限于计算资源，未使用 Vision Transformers (ViT) 或更复杂的多模态注意力机制；64x64 的图块尺寸可能限制了获取更大的组织上下文信息。
  • 验证：目前结果仅基于内部测试集，缺乏外部独立队列的验证。

总结：该论文通过创新的中间融合架构，成功将高分辨率病理图像与结构化临床记录结合，显著提升了乳腺癌诊断中关键少数类的识别能力，并为医疗 AI 的可解释性和临床整合提供了有力的技术范例。