Differential Privacy in Feature Reconstruction Aided Federated Learning for Agent's Semantic Communication Model Update
本文提出了一种具有语义特征重构功能的差分隐私联邦学习框架（FedSFR），该框架通过低维特征传输和模型选择机制，在提供比基于梯度的的方法更强隐私保证的同时，实现了在异构无线条件下图像传输模型的效率且稳定的训练。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在下一代无线网络中，工程师们正在重新思考数据的传输方式。其目标不再是发送数字文件的每一个比特，而是仅传输其背后的含义，这一概念被称为语义通信。想象一下，你试图在电话信号很差的情况下向朋友描述一张复杂的图像；你不会列出每一个像素，而是描述定义该图像的核心形状和颜色。这种方法可以实现更快速、更高效的传输，尤其是在连接较弱的情况下。然而，一个主要的障碍仍然存在：如何教这些系统理解不同类型的图像，而不强迫用户与中央服务器共享他们的私人照片。这就是一种被称为联邦学习的方法发挥作用的地方。它允许许多设备通过仅分享它们学到的“教训”，而非原始数据本身来进行共同学习。然而，即使是这些共享的教训有时也会泄露过多关于原始私人图像的信息，从而产生了对更强隐私保护的需求，且这种保护不能以牺牲最终结果的质量为代价。
首尔大学的研究人员开发了一种新的框架来解决这个问题，方法是改变学习发生的方式。他们创建了一个系统，使互联网连接较弱的设备不需要将它们的学习更新作为对庞大模型的复杂数学调整进行发送。相反，它们发送的是对所学内容的压缩摘要，称为语义特征向量。可以将这想象成发送一份教训的简明素描，而不是整本详尽的教科书。随后，中央服务器利用这些素描来重建对全局图像更好的理解。团队发现，通过发送这些由学习系统较小部分生成的素描，他们可以在数学上证明，用户的隐私性比发送完整的复杂更新要显著增强。这是因为这些素描比完整的模型更新更能减少关于特定私密数据的细节暴露。
为了使这一方法在现实世界中奏效，研究人员在数据发送前添加了一层噪声，这是隐藏私人信息的标准技术。然而，添加噪声有时会使学习过程变得混乱且准确度降低。为了解决这个问题，他们在中央服务器引入了一个智能选择过程。在接收到带有噪声的更新后，服务器会将中间全局模型（源自仅梯度更新）的图像重建性能与特征重建辅助全局模型的性能进行比较。然后，它会选择性地保留实现更好任务性能的更新策略。这确保了系统只保留那些真正有帮助的更新，并丢弃那些因隐私噪声而过度失真的更新。
研究人员使用两组不同的图像测试了这种方法，一组是带有色彩的小型图片，另一组是高分辨率的人脸肖像。他们模拟了一个无线环境，其中一些设备拥有强连接，而另一些则连接非常微弱。结果表明，他们这种结合了基于素描的传输与智能选择过程的新方法，始终比传统方法产生更清晰的图像，并且训练过程更稳定。即使在隐私噪声很重的情况下，他们的系统仍能保持高水平的性能。至关重要的是，这项研究证明，通过依赖这些语义素描，该系统在提供与发送完整模型更新相同数据带宽的同时，提供了严格更强的隐私保证。这项工作表明，构建既高效、稳健又深度尊重用户隐私的无线网络是可能的，让机器可以在无需看到构成其独特性的私人细节的情况下，从世界中学习。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。