📊 statistics

Entropy-Regularized Probabilistic Gates for Sparse Model Discovery in Scarce-Data Federated Learning

本文提出了一种在数据稀缺条件下，用于联邦学习中稀疏模型发现的熵正则化概率门控机制，该机制通过保持参数不确定性来防止过早收敛，并且与 Fed-IHT 和 FedAvg 等现有方法相比，实现了更优越的统计性能和稀疏恢复能力。

原作者： Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Krishna Harsha Kovelakuntla Huthasana, Alireza Olama, Andreas Lundell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：一个带有秘密暗号的团队项目

想象一群学生（客户端）正在各自处理一套独特的家庭作业。他们想通过共同协作，解开一个巨大的、困难的谜题，从而创造出一份“全球标准答案”（全局模型）。然而，他们必须遵守两条严格的规则：

隐私性： 他们不能向任何人展示自己的作业。
效率： 他们只能向老师（服务器）发送简短的文本摘要，而不是邮寄整本笔记本。

这就是联邦学习 (Federated Learning, FL)。挑战在于，这些学生的作业类型各不相同（有些是数学，有些是历史），而且并不是每个人每天都会到课。

问题所在：“选择太多”的陷阱

研究人员希望学生们能学习一个稀疏 (sparse) 模型。把“稀疏”想象成一个只使用少数核心工具来解决谜题，而忽略其余部分的模型。这使得“标准答案”更小、传输更快，且更容易理解。

然而，当学生的作业题目数量远少于他们可以使用的工具总数时（这种情况被称为数据稀缺/数据匮乏），学习过程会变得一团糟。

旧方法（剪枝/Pruning）： 想象学生们先尝试学习所有内容，然后老师说：“好了，把 90% 的工具都扔掉吧。”问题在于，他们可能会扔掉错误的工具，因为他们练习得不够，无法判断哪些工具真正重要。他们过早地陷入了“错误的猜测”。
结果： 最终的模型在面对未见过的测试题时，表现很差。

解决方案：“留有余地”策略 (E-FLoPS)

作者提出了一种名为 E-FLoPS 的新方法。它不再强迫学生立即决定保留哪些工具，而是给了他们一个“概率门控”。

类比：迷雾中的门廊
想象工具箱里的每一个工具前面都有一扇门。

旧方法： 门要么是敞开的（保留工具），要么是完全锁死的（丢弃工具）。如果你过早犯错，你就被困住了。
E-FLoPS 方法： 门是模糊的（有雾的）。有时某个工具有 80% 的概率开启，有时只有 20%。学生们被鼓励让这些门保持“模糊/不确定”的状态一段时间。

这就是熵正则化 (Entropy Regularization) 发挥作用的地方。把“熵”想象成一种困惑度或不确定性的度量。

研究人员增加了一条规则：“不要太快变得自信！”
他们奖励那些保持门处于“迷雾”状态（探索不同的工具组合）的学生，而不是让他们立即关上大门。
这使得团队能够在最终决定使用哪些工具之前，先“采样”许多种不同版本的解决方案。

实际运作方式

探索阶段： 学生们进行本地训练，但他们保持“门控”（关于使用哪些工具的决策）的灵活性。他们探索许多不同的稀疏配置。
共识阶段： 他们将更新发送给老师。老师对这些更新进行平均，以建立更好的全局视野。
最终裁剪： 一旦团队探索得足够充分并找到了最佳路径，迷雾就会散去。他们锁定最佳工具并丢弃其余部分，从而创建一个高效的稀疏模型。

实验展示了什么

研究人员在三种不同的“谜题”上测试了该方法：

合成数据 (Synthetic Data)： 一个已知答案的人造数学问题。
MNIST (手写数字)： 识别数字 0–9。
白血病数据 (Leukemia Data)： 一个医疗数据集，试图利用基因数据区分两种类型的血癌。

结果：

更高的准确率： 特别是在数据稀缺的情况下，E-FLoPS 在解决谜题方面始终优于旧方法（Fed-IHT 和标准的 FedAvg）。
更好的工具选择： 在白血病实验中，E-FLoPS 比其他方法更频繁地正确识别出与癌症相关的特定基因（工具）。它不仅仅是在猜测，而是更可靠地找到了“正确的”基因。
效率： 尽管他们在探索更多选项，但传回传出的数据量依然很低，与最有效率的现有方法相当。

总结

在一个数据稀缺且注重隐私的世界里，你不能草率地得出结论。E-FLoPS 教会系统在做出最终决定之前，保持好奇心并探索不同的可能性（让门保持“迷雾”状态）。这防止了团队陷入糟糕的解决方案，并确保他们找到最有效、最准确的前进路径。

技术摘要：用于稀缺数据联邦学习中稀疏模型发现的熵正则化概率门控技术

问题陈述
联邦学习（FL）在处理高维且数据稀缺（即参数数量 $d$ 远大于样本总数 $N$ ）的场景时面临显著挑战。在 $d \gg N$ 的设定下，标准的优化方法往往会产生无法泛化到未知测试数据的参数配置。虽然稀疏模型在联邦学习的通信和计算效率方面具有优势，但在数据异构性和部分客户端参与的条件下，发现这些稀疏结构却非常困难。现有的方法（如基于幅值的剪枝或联邦迭代硬阈值法 Fed-IHT）往往无法充分探索参数空间，导致过早地陷入次优的稀疏支撑集。此外，标准的正则化技术（L1/L2）依赖于参数的幅值而非强制执行特定的参数密度，这使得发现具有目标稀疏度 $\rho$ 的模型变得极具挑战性。

方法论
本文提出了 E-FLoPS（基于熵正则化概率门控的联邦学习），这是一种旨在学习满足 $L_0$ 密度约束并保持不确定性探索的分布式算法。

概率门控与重参数化： 该方法采用了随机门控框架 $z \in \{0,1\}^d$ ，其中有效参数定义为 $\theta = \tilde{\theta} \odot z$ 。为了实现基于梯度的优化，离散门控被 Hard Concrete 分布（伯努利分布的一种连续松弛形式）进行近似。这使得 $L_0$ 伪范数（即非零参数的数量）可以通过活跃门控的期望值 $\mathbb{E}_q[z_j]$ 来近似。
熵正则化： 该方法的一个核心创新是在优化目标中引入了熵正则化项。拉格朗日函数包含一个 Kullback-Leibler (KL) 散度项 $KL(q(z_j) || p(z_j))$ ，该项会对门控分布的相对熵进行惩罚。这种机制防止了门控分布过早地坍缩为确定性的 0/1 状态，从而鼓励在训练期间对竞争性的稀疏配置进行探索。温度参数 $T$ 控制了该惩罚的强度。
联邦优化： 该算法在中央服务器的编排下运行。客户端对原始参数 $\tilde{\theta}$ $\tilde{θ}$ 、门控参数 $\phi = \log \alpha$ $ϕ = lo g α$ 以及强制执行目标密度 $\rho$ $ρ$ 的拉格朗日乘子 $\lambda$ $λ$ 进行局部随机梯度下降 (SGD) 更新。
- 服务器同步聚合更新。
- 为了确保通信效率，算法在训练过程中采用了剪枝机制。仅传输前 $m$ 个索引（其中 $m = \lfloor \rho \cdot |\theta| \rfloor$ ）的参数及其对应的门控统计量进行序列化与通信。
- 接收到数据后，服务器重建全局模型，并从聚合后的门控值中恢复门控参数，同时忽略噪声成分。

核心贡献

公式化： 作者针对联邦学习环境，构建了一个可微的、受 $L_0$ 约束且经过熵正则化的目标函数。该公式解决了 $L_0$ 范数不可微以及在 $d \gg N$ 机制下优化不稳定的问题。
算法 (E-FLoPS)： 本文引入了一种联邦平均算法的变体，该变体将概率门控与熵正则化相结合。这使得在维持不确定性探索的同时，能够实现用户定义的预期稀疏度，从而避免过早收敛至较差的局部最优解。
通信效率： 该方法通过仅传输稀疏支撑集和必要的门控统计量实现了显著的通信压缩，其效果与迭代硬阈值法相当，但无需训练后的剪枝开销。

实验结果
作者在合成及真实世界基准测试上对 E-FLoPS 进行了评估，并将其与 Fed-IHT 及带有训练后剪枝的密集型联邦平均 (FedAvg) 进行了对比。

合成线性回归： 在高维设定下，针对不同的样本与参数比例（ $N/|\theta|$ ），E-FLoPS 在测试 $R^2$ 得分和稀疏恢复准确度（以真实特征恢复比例衡量）方面始终优于 Fed-IHT 和 FedAvg，尤其是在数据最稀缺的机制下。
MNIST 图像分类： 在一个目标稀疏度为 97.5% 的 CNN 任务中，E-FLoPS 展示了与 Fed-IHT 相似的测试时性能和通信效率。然而，它在推理时的乘加运算 (MACs) 减少量更大，表明其具有更优的计算效率。
白血病分类： 使用 Golub 基因表达数据集（72 个样本，3571 个特征， $N/|\theta| \approx 0.02$ ），E-FLoPS 在 30 个不同随机种子下的测试准确率显著超过了 Fed-IHT 和 FedAvg。至关重要的是，E-FLoPS 选择的基因（例如 cystatin C 和 myeloperoxidase）与先前的癌症转移实验研究相一致，而其他方法选择的特征则相关性较低。

意义与主张
本文声称 E-FLoPS 为联邦学习中的稀疏模型发现提供了一种鲁棒机制，特别解决了小样本、高维机制下的不稳定问题。通过利用熵正则化，该方法防止了对次优稀疏支撑集的过早承诺，从而提高了泛化能力并能更准确地恢复真实的底层稀疏结构。作者断言，该方法在实现这些统计增益的同时，保持了与现有稀疏方法（如 Fed-IHT）相当的通信成本，使其成为隐私保护、资源受限学习环境下的可行解决方案。这项工作强调了不确定性探索在稀疏联邦优化中的重要性，而这一因素在以往基于幅值的剪枝技术中往往被忽视。