🤖 machine learning

Enabling Federated Inference via Unsupervised Consensus Embedding

本文提出了一种基于共识嵌入的联邦推理（CE-FI）框架，该框架利用仅在共享无标签数据上训练的无监督共识机制和协同输出层，使异构预训练模型能够在不共享原始数据、模型参数或公共编码器的情况下协同进行推理。

原作者： Yui Hashimoto, Takayuki Nishio, Yuichi Kitagawa, Takahito Tanimura

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yui Hashimoto, Takayuki Nishio, Yuichi Kitagawa, Takahito Tanimura

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你身处一个房间，里面坐着几位专家，每位都是不同领域的大师。一位是才华横溢的植物学家，另一位是顶尖的机械师，第三位则是经验丰富的厨师。他们各自拥有私人的笔记本（即他们的“模型”），里面记录了多年的训练成果，但规定禁止他们向彼此展示这些笔记本，甚至不能向彼此展示他们正在观察的原始照片或物体。

现在，想象一个神秘的物体被放置在他们面前。在不违反规则的前提下，他们如何协作来识别这个物体？

这正是论文《通过无监督共识嵌入实现联邦推理》（简称 CE-FI）所要解决的问题。以下是其工作原理的简单概念拆解。

问题：巴别塔困境

在人工智能领域，不同的计算机往往使用不同的“语言”。

旧方法： 为了协作，计算机通常要么共享原始数据（例如将患者的 X 光片照片发送到中央服务器），要么共享其内部的“大脑”（即模型参数）。
隐私问题： 医院、银行和公司无法这样做。他们不能发送私人照片，也不能让竞争对手看到其秘密算法。
“通用翻译器”问题： 一些先前的方法试图通过强制所有人使用相同的“翻译器”（即通用编码器）来解决这个问题。但如果这些专家已经被聘用并训练使用了不同的翻译器呢？你不能随意解雇他们并强迫他们使用同一个翻译器。

解决方案：CE-FI（“通用握手”）

作者提出了一种名为 CE-FI 的新系统。你可以将其想象为一种神奇的握手，允许这些专家在不查看彼此笔记本或原始物体的情况下相互理解。

以下是逐步流程：

1. “内部思维”（中间特征）

当专家观察一个物体（例如一张图像）时，他们的大脑不会立即吐出最终答案。首先，他们会形成一种“内部思维”或对所见事物的心理草图。在人工智能术语中，这被称为中间特征。

规则： 专家不能展示原始照片，但可以向群体分享这种“心理草图”。

2. “共识嵌入”（通用翻译器）

这里是棘手之处：即使植物学家和机械师看着同一辆车，植物学家的心理草图与机械师的心理草图看起来也不同。他们说着不同的“特征语言”。

创新点： CE-FI 添加了一个特殊的层，称为共识嵌入（CE）层。
类比： 想象植物学家和机械师都必须将他们独特的心理草图翻译成一种单一、通用的语言（例如“通用表情符号”）。
学习方式： 他们利用一组所有人共享的无标签照片（没有答案的照片）来学习这种翻译。他们玩一个游戏，试图让同一物体的“通用表情符号”草图看起来尽可能相似。他们不需要知道物体是什么（不需要标签），只需要就如何描述它达成一致即可。

3. “协作输出”（最终猜测）

一旦创建了“通用表情符号”，每位专家都会收到它。

植物学家看着这个表情符号说：“基于我的训练，这个表情符号意味着‘花’。”
机械师看着同一个表情符号说：“基于我的训练，这个表情符号意味着‘车’。”
最终决策： 他们结合各自的猜测。如果植物学家非常自信而机械师感到困惑，系统会更多地听取植物学家的意见。这被称为集成（Ensemble）。

为什么这很重要？

该论文声称取得了三大胜利：

隐私优先： 没有原始数据（照片）离开设备。没有秘密的“大脑”（模型参数）被共享。仅交换“通用表情符号”（共识嵌入）。
无需通用语言： 即使专家是在完全不同的计算机上使用不同的架构进行训练的，它也能工作。他们不需要事先商定一个通用翻译器；他们可以即时共同构建一个。
无需作业： 通常，为了让人工智能协同工作，你需要大量带有标签的数据（带有答案的照片，如“这是一只猫”）。CE-FI 只需要无标签数据（仅仅是照片）。它通过自我监督学习自行找出协作规则。

结果：它有效吗？

作者在以下方面测试了该方法：

图像： 识别动物和物体的图片（CIFAR-10 和 CIFAR-100）。
文本： 电影类型的分类。
时间序列： 识别人类动作（如行走与坐着）。

研究发现：

优于单打独斗： 协作（CE-FI）几乎总是优于单独工作（单独推理），即使专家们的知识差异很大（例如，一位只了解猫，另一位只了解狗）。
接近完美： 其表现几乎与那些确实共享原始数据或拥有通用翻译器的系统一样好，但没有隐私风险。
瓶颈： 阻止其达到完美的主要因素是“通用表情符号”（共识嵌入）的对齐程度。如果专家无法完全就翻译达成一致，最终答案就会受到影响。

关于隐私的说明（“重构”测试）

作者担心：“如果我们分享这些‘通用表情符号’草图，黑客能否逆向工程它们以查看原始照片？”

测试： 他们尝试利用 AI 攻击者从共享的草图中重构原始图像。
结果： 重构的图像模糊、充满噪点且无法辨认。这就像试图从非常抽象的涂鸦中猜测一张脸。虽然并非 100% 无法被攻击，但这非常困难，表明该方法相当安全。

总结

CE-FI 是一种让 AI 模型协作的新方式。它就像一群专家，他们不能展示笔记或正在研究的物体，但他们可以就一套描述该物体的抽象符号达成一致。通过仅利用一堆随机照片来学习如何就这些符号达成一致，他们可以比任何单独个体更准确地共同解决问题，同时保持他们的秘密安全。

技术摘要：基于共识嵌入的联邦推理（CE-FI）

1. 问题陈述

本文解决了在分布式环境中实现多个独立部署的机器学习模型之间协同推理的挑战。虽然利用多个模型提升推理性能的需求日益增长，但现有框架在隐私敏感或跨组织场景中面临显著局限：

联邦学习（FL） 通常要求共享模型更新或参数，这存在模型反演攻击的风险，并违反知识产权约束。
标准联邦推理（FI） 通常假设所有客户端共享相同的原始输入数据，或利用通用的编码器架构生成兼容的中间表示。
边缘集成（Edge Ensemble） 方法依赖于共享编码器，这在模型异构（架构不同）或即使部分模型披露也被禁止的情况下往往不可行。

因此，目前尚不存在任何框架，能够在不共享原始输入、模型参数，不假设通用编码器，且无需协同阶段标注数据的情况下，使异构的预训练模型在推理时进行协作。

2. 方法论：CE-FI 框架

作者提出了基于共识嵌入的联邦推理（CE-FI），这是一个旨在仅利用中间表示和无标签数据来桥接异构特征空间的框架。

系统模型

环境：跨筒（cross-silo）设置，包含 $K$ 个设备，每个设备持有本地预训练模型 $M_k$ （由头部网络 $M^H_k$ 和尾部网络 $M^T_k$ 组成）。
约束：设备不能共享原始输入 $x$ 、模型参数或架构。它们只能共享中间特征。
数据假设：所有设备均可访问一个共享的无标签数据集 $D_{share}$ （例如公共日志数据或传感器数据），但在协同训练阶段没有可用的标注数据。

核心组件

CE-FI 为每个设备引入了两个可学习层，以自监督方式进行训练：

共识嵌入（CE）层（ $F_k$ ）：
- 功能：将设备特定的中间特征 $z_k = M^H_k(x)$ 映射到共享的、与设备无关的嵌入空间 $z'_k = F_k(z_k)$ 。
- 训练：利用共享无标签数据，通过对比学习（具体为 NT-Xent 损失的近似）进行优化。其目标是将同一输入样本来自不同设备的嵌入对齐至一个公共质心，最小化同一 $x$ 对应的 $z'_i$ 与 $z'_j$ 之间的距离。
- 隐私：仅交换共识嵌入；原始输入和原始中间特征保留在本地。
协同输出（CO）层（ $G_k$ ）：
- 功能：将共识嵌入 $z'_k$ 映射回特定任务的输出 logits $m'_k = G_k(z'_k)$ 。
- 训练：利用本地预训练模型作为“教师”，通过知识蒸馏进行优化。CO 层最小化其输出与本地模型尾部网络（ $M^T_k$ ）在共享无标签数据上产生的 logits 之间的 Kullback–Leibler（KL）散度。
- 目标：使设备能够仅基于共享的共识嵌入生成准确的预测。

推理与聚合

在推理过程中，设备通过其头部和 CE 层处理输入 $x$ 以生成共识嵌入，并将其与其他设备共享。每个接收设备通过其 CO 层处理该嵌入以生成 logits。

集成策略：本文评估了多种聚合方法。它强调，最小能量（Minimum Energy）（选择具有由 logits 导出的最低能量分数的设备）在处理分布外（OOD）样本和严重标签不匹配方面非常有效，在高度非独立同分布（non-IID）设置中，其表现往往优于简单的平均或投票。

3. 主要贡献

本文概述了四项主要贡献：

无需输入或模型共享的协同推理：CE-FI 实现了跨异构预训练模型的协作，无需共享参数、原始输入，也无需假设通用编码器。它仅依赖中间特征交换和自监督学习。
自监督训练：该框架引入了基于对比学习的嵌入层和基于知识蒸馏的预测层，两者均仅在无标签数据上训练，降低了标注成本。
理论表征：作者正式分析了 CE-FI 与传统输入共享 FI 之间的关系。他们证明，在理想对齐条件下，CE-FI 在理论上等价于输入共享 FI，并推导出了界限，表明性能下降与共识嵌入对齐的误差成正比。
全面评估：在图像（CIFAR-10/100）、文本（IMDB）和时间序列（UCI-HAR）任务上，针对各种非 IID 条件（包括不相交标签集）进行了广泛的实验，验证了该框架的有效性。

4. 实验结果

性能与基线对比：在所有模态和非 IID 条件下，CE-FI 始终优于独立推理（Solo Inference）。在许多场景中，尽管运行条件更为严格，其性能仍接近输入共享 FI和边缘集成。
异构性：即使设备使用不同的编码器架构（例如 ViT、ResNet、ConvNeXt）和不同的预训练目标（监督学习、CLIP、DINOv3），该框架依然有效。
集成敏感性：集成策略的选择至关重要。虽然软投票在轻度非 IID 设置中表现良好，但在严重非 IID（偏斜/不相交）条件下，最小能量选择通过过滤掉缺乏特定类别的设备产生的不可靠预测，显著提高了鲁棒性。
从头训练与预训练：即使模型是从头开始训练的，CE-FI 也能发挥作用，但使用预训练编码器时性能提升更为显著。研究指出，本地特征空间中底层语义结构的质量限制了从头训练设置下的性能。
瓶颈分析：消融实验表明，CE 层中的表示对齐是主要瓶颈。强制统一的共识嵌入空间显著提高了准确率，特别是在从头训练的设置中，而将 OOD 数据排除在训练之外则影响微乎其微。
隐私与重建：对共识嵌入进行的重建攻击（使用 DCGAN）产生了低质量的重建结果（RMSE 约 0.22，SSIM 约 0.16），这表明共享共识嵌入不会轻易揭示原始输入，尽管它并非对所有隐私风险免疫。
通信成本：在图像分类任务中，传输 256 维共识嵌入（2.1 KB）比传输原始图像（4.6–6.2 KB）更高效。

5. 意义与主张

本文主张，CE-FI 代表了迈向实用化、隐私保护分布式 AI 的重要一步。通过消除共享输入和通用编码器的假设，它使得在传统联邦推理不可行的场景中（例如涉及专有模型和严格数据隐私法的医疗诊断）实现协作成为可能。

作者对结果保持了谦逊的态度：

他们承认，虽然 CE-FI 接近传统 FI 的性能，但差距依然存在，这主要是由于表示对齐不完美所致。
他们指出，最佳集成策略高度依赖于模态和非 IID 程度，表明“一刀切”的聚合方法是次优的。
他们确定表示对齐是未来改进的核心挑战，而非单纯的数据过滤或集成选择。

归根结底，这项工作提供了一个概念验证，证明在数据和模型隐私的最严格约束下，仅利用共享无标签数据和中间表示即可实现协同推理。