💻 计算机科学

FedSS: Shareability-Aware Privacy-Preserving Federated Learning for Sports Recognition

该论文提出了 FedSS，这是一个面向体育识别中差分隐私联邦学习的可共享性感知框架，它通过选择性地共享可迁移的体育语义，同时在本地保留客户端特定的上下文，以减轻裁剪失真并改善隐私与效用之间的权衡。

原作者： Jiahui Lin, Jie Wu, Ke Sun, Yuanyuan Huang

发布于 2026-10-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahui Lin, Jie Wu, Ke Sun, Yuanyuan Huang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在体育领域，冠军与选手之间的区别往往在于动作、姿态和技术中那些细微的细节。为了教会计算机识别这些细节，我们需要大量的运动员动作图像。然而，这些图像很少集中存储在一个地方。它们散落在学校、职业俱乐部、训练中心和个人健身房中，每个地方都拥有独特的照片收藏。这种分布为人工智能制造了一个重大障碍：计算机如何在不强迫每个组织交出其私有数据的情况下，从所有这些图像中学习？答案在于一种被称为联邦学习（federated learning）的方法。与其将照片移动到中央服务器，不如让计算机模型前往本地数据。它在现场学习图像，并仅传回所学知识的摘要，从而使原始照片保持原封不动。这保护了隐私，但也引入了一个新问题。即使是这些摘要有时也会泄露有关照片中人物的敏感信息。为了解决这个问题，研究人员在摘要中加入了一层数学噪声，这种技术被称为差分隐私（differential privacy），它可以对任何可能揭示个人的线索进行模糊处理。然而，这种安全措施是有代价的。噪声可能会模糊计算机学习所需的关键细节，使得区分不同的运动或运动员变得更加困难。

一个研究团队开发了一种新方法来解决体育识别中隐私与准确性之间的这种特定张力。他们将他们的系统称为 FedSS。这项工作的核心理念在于，从体育照片中学习到的信息并非所有都具有同等的分享价值。当计算机观察一张篮球运动员的照片时，它会学习两种截然不同的东西。首先，它学习运动的通用规则：球员跳跃的方式、投篮时膝盖的角度以及球的总体形状。这些是“可迁移”的秘密，有助于计算机在任何地方识别篮球。其次，它学习该特定照片的具体细节：球队制服的颜色、特定健身房的灯光、背景人群或独特的摄像机角度。这些细节是针对那一张特定照片的，并不能帮助计算机理解这项运动本身。在传统的隐私保护系统中，计算机将所有这些信息视为一个整体包。它对整个包裹添加噪声，这意味着宝贵的、通用的规则会随着无用的、特定的细节一起被模糊化。这浪费了发送信息时有限的“空间”，并扭曲了最重要的知识。

来自中国科学院、庆熙大学和成都信息工程大学的研究人员提出了一种更聪明的方法。他们构建了一个系统，在信息离开本地计算机之前充当过滤器。在发送任何数据之前，系统会分析学习到的信息，并将通用的运动规则与本地的特定细节区分开来。然后，它仅对通用的规则应用隐私保护，将本地细节保留在幕后。这确保了允许发送的有限信息完全由最有用的知识组成。为了使这种分离能够运作，他们创建了一个模块，根据三个标准来评估信息。它检查一段信息在多大程度上有助于识别运动、该信息在不同团队和地点之间的一致性程度，以及在加入噪声后的稳定性。如果一段信息对于识别运动高度有用，并且在不同客户端之间保持一致，系统就会将其标记为可共享。如果它仅仅是特定健身房灯光或特定球队制服的反映，系统则将其保留在本地。

该团队使用两个大型运动图像集测试了这种方法，其中一个包含 22 种不同的运动，另一个包含 100 种。他们模拟了一个现实的环境，其中许多不同的组织参与其中，每个组织都有自己独特的运动员、制服和摄像条件组合。他们将这个新系统与几种试图保护隐私的现有方法进行了对比。结果表明，通过在发送数据前过滤掉本地噪声，他们的系统在识别运动方面表现得显著更好。在数据在不同客户端之间差异极大的最困难测试场景中，他们的方法比之前的最佳方法在运动识别准确率上提高了几个百分点。即使研究人员加强隐私保护（这通常会使任务变得更加困难）时，这种提升也是一致的。该系统还证明了其更高的效率；因为它发送了较少的“垃圾”数据，因此用于隐私保护的数学噪声对最终结果的负面影响较小。

研究人员还仔细观察了系统内部发生了什么，以理解其运作原理。他们发现，该系统成功地让计算机专注于运动员的实际动作和技术，而不是被背景或制服所干扰。这产生了一个理解运动本身，而非仅仅记住所见特定照片的模型。研究证实，即使在参与组织的数量非常大，或者在任何给定训练轮次中只有一小部分组织参与时，这种方法也同样有效。研究结果表明，对于像运动识别这样目标是理解跨多种环境的特定活动的领域，区分什么是通用的、什么是局部的至关重要。通过这样做，可以在保护运动员和机构隐私的同时，不牺牲计算机有效学习的能力。这项工作证明了隐私与效用并不一定是敌人；通过正确的策略，它们可以协同工作，创造出一个更智能、更安全的运动分析系统。

技术摘要：FedSS —— 面向运动识别的具备共享性感知能力的隐私保护联邦学习

1. 问题陈述

联邦学习（FL）为协作式运动图像识别提供了一种范式，能够在不集中原始数据的情况下解决运动员信息和机构数据所有权的隐私问题。然而，标准的 FL 方法在运动应用中面临两个关键挑战：

视觉异质性（Visual Heterogeneity）： 分布在不同客户端（学校、俱乐部、场馆）的运动数据表现出显著的视觉差异，包括运动员外观、制服、背景、光照和视角的变化，即使运动类别相同也是如此。这导致了可迁移运动语义（例如：运动模式、身体构型）与客户端特定视觉上下文之间的冲突。
隐私-效用权衡（Privacy-Utility Trade-off）： 为了确保严格的隐私保护，差分隐私联邦学习（DP-FL）会应用梯度裁剪和高斯噪声。传统的 DP-FL 对所有模型更新进行统一处理。因此，低共享性的客户端特定上下文变化消耗了有限的裁剪范围（ $L_2$ 范数），导致高价值、可迁移的运动语义受到不必要的失真。这在隐私约束下会导致显著的效用下降。

现有方法通常侧重于提高优化稳定性或稀疏化，但未能通过在应用隐私机制之前，明确区分全局可迁移知识与局部上下文。

2. 方法论：FedSS 框架

作者提出了 FedSS（具有共享性感知的隐私保护联邦学习），该框架旨在在进行隐私扰动之前，将可迁移的运动语义与客户端特定的上下文进行解耦。

核心组件：

运动语义共享模块（SSSM）： 该模块评估网络阶段（例如 ResNet-18 主干网络中的各阶段）以估计每个阶段的“共享性得分”（ $q_{i,b}^t \in [0,1]$ $q_{i, b}^{t} \in [0, 1]$ ）。该得分由三个标准得出：
1. 运动判别性（Sport Discriminativeness）： 通过梯度-激活相关性，衡量该阶段对正确运动识别的贡献强度。
2. 跨客户端不变性（Cross-Client Invariance）： 衡量当前更新与先前共享的私有更新的指数移动平均（EMA）的一致性，确保与全局知识保持一致。
3. 隐私鲁棒性（Privacy Robustness）： 使用梯度感知最小化（GAM）评估阶段梯度在局部扰动下的稳定性，及其相对于预期高斯噪声的信号强度。
语义-上下文解耦（Semantic-Context Decoupling）： 利用估计的共享性得分，将候选更新（ $\Delta_i^t$ $Δ_{i}^{t}$ ）进行软解耦为：
- 可迁移组件（ $\Delta_{i,sport}^t$ ）： 由共享性得分加权，该组件经过隐私化处理（裁剪并添加噪声）后上传。
- 上下文组件（ $\Delta_{i,context}^t$ ）： 残差部分保留在局部上下文记忆（ $r_i$ ）中，以保留客户端特定的适配（如特定的制服或场馆），同时不对其进行暴露。
局部优化： 客户端利用**梯度感知最小化（GAM）**来优化局部模型，通过表征一阶平坦度来提高对噪声的鲁棒性。
服务端聚合： 服务端仅聚合经过隐私化处理的运动语义更新以更新全局模型，并刷新 EMA 参考值以供下一轮使用。

隐私保证：
理论分析（命题 1）证实，由于共享性系数和局部残差从未被传输，且最终发布的更新是经过边界限制并使用标准客户端级 DP 机制进行隐私化的，因此 FedSS 在不需要额外隐私核算的情况下，保持了与标准 DP-FL 相同的 $(\epsilon, \delta)$ -差分隐私保证。

3. 主要贡献

框架提议： 引入了 FedSS，它在异质联邦设置中明确区分了全局可迁移的运动语义与客户端特定的视觉上下文。
共享性模块： 开发了 SSSM，能够根据判别性、不变性和鲁棒性自适应地评估阶段级共享性，从而引导知识的选择性共享。
理论分析： 证明了阶段级软过滤是非扩张的（命题 2），这意味着它不会增加裁剪失真，并推导了误差界限，表明减少了语义抑制和上下文泄漏（命题 3 和 4）。
全面评估： 在不同的异质性设置（标签偏移、视觉上下文偏移及两者结合）和隐私预算下，在 sport22 和 sport100 数据集上进行了广泛实验。

4. 实验结果

实验在不同客户端规模（100 和 500 个客户端）和隐私预算（ $\epsilon \in [4, 12]$ ）下，基于 ResNet-18 主干网络进行。

准确率： FedSS 一致优于代表性的 DP-FL 基准模型（包括 DP-FedAvg、DP-FedSAM 和 DPSIR-Fed）。在极具挑战性的混合异质性（M-Het）设置下，与最强的基准模型（DPSIR-Fed）相比，FedSS 在 sport22 上提升了 5.78% 的 Top-1 准确率，在 sport100 上提升了 5.71%。
隐私-效用权衡： FedSS 在所有隐私预算下均表现出卓越的性能，尤其是在强隐私约束（ $\epsilon=4$ ）下增益尤为显著。
机制分析：
- 裁剪失真（Clipping Distortion）： FedSS 通过在裁剪前过滤掉低共享性的上下文，显著降低了裁剪失真（ClipDist）。
- 语义一致性： 该方法实现了更高的运动语义一致性（SCS）和更低的类别条件客户端-上下文可预测性（C-CCP），表明共享的模型更多地学习了运动本身的特征，而较少学习客户端特定的伪影。
消融实验： 移除 SSSM 导致了最大的性能下降，证实了其作为改进核心驱动力的地位。局部上下文记忆和 GAM 优化提供了补充性的增益。

5. 意义与主张

本文声称 FedSS 有效缓解了运动识别中通常与隐私保护联邦学习相关的效用下降问题。通过识别并非所有学习到的信息对于全局共享都具有同等价值，FedSS 优化了有限的“裁剪预算”，以保留高价值、可迁移的运动语义，同时在本地保留低价值的客户端特定上下文。

作者断言，这种具备共享性感知能力的方法为异质运动数据提供了一个鲁棒的解决方案，其优势在于：

在严格的隐私保证下提高识别准确率。
在隐私机制过程中减少有用知识的失真。
增强全局模型中的跨客户端语义一致性。

这项工作表明，未来的研究可以将这种共享性感知范式扩展到视频数据、多模态输入以及更细粒度的自适应估计，但目前的贡献稳固地建立在静态图像识别基准之上。