Hospital Trust Aggregation for Multi-Hospital Medical Imaging under Non-IID Data and Malicious Clients: A Benchmark and Empirical Assessment

技术摘要：面向多中心医疗影像的医院信任聚合

问题陈述
联邦学习（FL）使医院能够在不交换患者记录的情况下训练共享诊断模型，从而解决数据隐私和监管约束。然而，现实世界的临床联盟面临着两个复合挑战，这些挑战削弱了像 FedAvg 这样的标准聚合协议：

1. 严重的非独立同分布（Non-IID）异质性： 医院的样本群存在显著差异，包括转诊模式、病例组合和样本规模。这导致了一个场景：一个拥有罕见或特殊病例组合的诚实医院，其产生的模型更新在统计上表现为离群值，但这并非因为其具有恶意，而是因为其数据分布具有独特性。
2. 恶意客户端： 被攻破的医院可以通过数据投毒、后门攻击或更新操纵（例如模型替换）来误导全局模型。

识别出的核心矛盾在于：鲁棒的聚合规则通常会丢弃“异常”更新以防御攻击，但这类规则难以区分合法的离群值（一个拥有罕见病例的诚实专科中心）与恶意的离群值（一个被攻破的节点）。在严重的异质性下，激进的防御机制存在排除掉那些本应诊断出目标旨在发现的罕见病症的站点之风险。

方法论：医院信任聚合（HTA）
作者提出了医院信任聚合（HTA），这是一种多信号信任规则，旨在通过对多家医院进行多轮评估而非孤立评估来计算信誉得分。HTA 根据三个有界信号（范围 [0, 1]）计算每家医院的信誉，并采用乘法融合方式：

1. 方向一致性 ($s_h$)： 计算医院更新与所有更新的逐坐标中位数（一种鲁棒的共识方向）之间的修正余弦相似度。背离共识方向的更新将获得零信用。
2. 量级合理性 ($m_h$)： 基于医院更新范数与中位数更新范数的对数比值的对称惩罚。它既惩罚过大的更新（模型替换），也惩罚缩小的更新（搭便车行为）。
3. 参考队列验证 ($v_h$)： 服务器在小型、经过策划且不相交的参考队列 ($D_{root}$) 上评估该医院的局部模型。信号是该队列上的平衡准确率，并针对该轮次的的中位数进行归一化。这用于检测那些保持了更新方向和量级、但降低了临床效用的数据级攻击（例如标签翻转）。

信誉与排除逻辑：

• 融合： 信号通过 $\tau_h = s_h^a m_h^b v_h^c$ 进行组合。这种乘法性质确保了在任何单一维度上的接近零分都会抑制该医院的影响力，防止攻击者通过在某一维度表现出色来补偿另一维度的失败。
• 信誉平滑： 分数通过指数移动平均（EMA）进行平滑，并针对其自身的方差进行惩罚。这可以遏制“交替”策略，即攻击者在某些轮次表现得无害，而在另一些轮次表现出恶意，以掩盖其平均得分。
• 排除标准： 只有当医院同时满足以下两个条件时才会被排除：
  1. 它是统计学上的离群值（得分 $< \mu - \lambda \cdot \text{MAD}$）。
  2. 它在实质上低于共识水平（得分 $< \kappa \cdot \mu$）。
     这种双重条件旨在防止排除那些仅仅是在异质分布中处于较低尾部的诚实但非典型医院。

实验设置与基准
论文引入了一个可复现的基准，用于评估 HTA 与七种基准算法（FedAvg, FedProx, 逐坐标中位数, 修剪平均值, Krum, Multi-Krum, FLTrust）的表现。

• 数据集： DermaMNIST（具有严重类别不平衡的 7 类皮肤病诊断）和 PneumoniaMNIST（二分类胸部 X 光片）。
• 异质性： 五种从 IID 到严重标签偏斜（$\alpha=0.1$）及数量偏斜的机制。
• 攻击： 六种攻击，包括数据级攻击（标签翻转、后门）和更新级攻击（符号翻转、缩放、ALIE、IPM），攻击比例从 5% 到 30% 不等。
• 指标： 临床指标（平衡准确率、最差类别召回率、单医院准确率）、安全性（攻击成功率）以及公平性。

关键结果

1. 异质性 vs. 攻击者： 异质性是主要挑战。从 IID 变为严重的标签偏斜（$\alpha=0.1$）导致平衡准确率下降了 16.4 个百分点，而攻击者仅导致了 7.2 个百分点的下降。
2. HTA 的表现：
   • 数据级攻击： HTA 表现具有竞争力，在标签翻转和后门攻击中通常领先或与最佳基准持平。
   • 更新级攻击： 在符号翻转和缩放攻击中，HTA 明显逊于 Multi-Krum（差距分别为 4.9 和 6.7 个百分点）。Multi-Krum 的几何选择机制在处理更新几何结构被操纵的情况时，比 HTA 的重加权策略更有效。
   • 规模： 在 20 家医院的规模下，HTA 比 Multi-Krum 低 5.7 个百分点。
   • 第二队列： 在 PneumoniaMNIST 上，HTA 在所有条件下均表现逊于 FLTrust，这归因于该任务的二元性质降低了验证信号的判别能力。
3. 干净准确率： 与“鲁棒性是以牺牲干净准确率为代价”的普遍观点相反，大多数鲁棒规则（包括 HTA）实现了更高的干净准确率（例如，HTA 高出 4.6 点，Multi-Krum 高出 5.9 点）。这归功于方差缩减：鲁棒规则抑制了异质环境下极端诚实离群值带来的噪声。
4. 消融研究发现：
   • 量级信号： 更新量级信号（$m_h$）在两种攻击类型下都没有产生可衡量的收益。移除该信号并未降低性能。作者得出结论，在 Dirichlet 偏斜下，异常的范数既可能是罕见诚实病例组合的可靠指标，也可能是攻击的指标，因此该信号是不具信息量且可能有害的。
   • 信誉与方向： 信誉记忆和方向一致性是性能的主要驱动力。
   • 检测失败： 在严重的异质性和标签翻转下，诚实医院和恶意医院的信誉得分完全收敛并重叠。该规则未能成功分离这两个群体；其成功在于抑制方差而非检测对手。

意义与主张
论文将其定位为一项基准测试和一项负面结果，而非全新的最先进解决方案。

• 基准测试： 它提供了一个严谨、可复现的评估框架，将临床指标（平衡准确率、公平性）与安全指标相结合，揭示了那些牺牲少数类召回率的防御措施在临床上是毫无用处的。
• 负面结果： 作者得出结论，基于更新量级的信任信号在医学现实的异质性下无法生存；此外，基于这些信号建立的信誉系统在数据级攻击下的异质环境中，无法区分诚实医院与恶意医院。
• 机制澄清： 观察到的 HTA 及其他鲁棒规则的益处源于方差抑制（抑制诚实离群值的噪声），而非对手检测。
• 未来方向： 作者建议，该方法的有效组成部分是由方向一致性结合范数裁剪驱动的信誉系统，而量级信号应当被舍弃。他们强调，未来的工作需要应对已知信任信号的自适应对手，并解决单次更新检查与保护隐私的技术（如安全聚合）之间的张力。