💻 computer science

Sarus: Privacy-Preserving Multi-Vendor Perception Fusion via Homomorphic Encryption

Sarus 是一个保护隐私的框架，它使多厂商自动驾驶汽车能够通过同态加密融合感知数据，允许服务器在不泄露专有模型输出的情况下聚合来自不同传感器的加密高斯矩向量，从而在保持实时性能的同时提高场景级覆盖率。

原作者： Munawar Hasan, Apostol Vassilev

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Munawar Hasan, Apostol Vassilev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：自动驾驶汽车不仅仅是在独自行驶，它们还会互相交流以更好地观察道路。这被称为“协同感知”（cooperative perception）。车辆不再仅仅依赖于一套眼睛（比如单辆车的摄像头或激光扫描仪），而是通过分享彼此所见，来构建一幅超级清晰的世界图像。这就像一群朋友在尝试解开一个拼图；如果其中一个朋友因为一棵树的遮挡而看不见某个碎片，那么站在附近的另一个朋友可能就能看得非常清楚。通过分享彼此的发现，整个群体都能准确知道每一辆车、每一个行人以及每一个停止标志的位置，即使是在大雨或拥挤的交通中也是如此。

然而，这里有一个问题。在现实世界中，制造这些汽车的公司通常是竞争对手。它们不想分享自己的“秘密配方”——即让其汽车变得智能的特定代码和数据——因为这会给竞争对手带来不公平的优势。如果它们只是将原始数据发送到一个中央服务器进行合并，那个服务器（或者一个狡猾的黑客）可能会窃取它们的商业机密，或者推导出它们的模型究竟是如何运作的。这是一个经典的僵局：你想要团队协作带来的好处，但又不希望失去你的隐私或竞争优势。这就是为什么一种被称为“同态加密”（homomorphic encryption）的数学分支派上了用场。把它想象成一个神奇的锁着的盒子。你可以把你的秘密原料放入盒中，交给一位厨师，而这位厨师可以在原料仍然被锁在盒子里的情况下进行混合和烹饪。当盒子最终被打开时，得到的是一份美味佳肴，但厨师从未见过那些原始原料。这篇论文探讨了如何利用这个“魔法盒子”，让自动驾驶汽车在从不泄露其秘密的情况下分享它们的视野。

该论文介绍了一个名为 Sarus 的新系统，其名字取自一种以协调运动和广泛感知著称的鹤类。Sarus 是一个保护隐私的框架，它允许多辆自动驾驶汽车（或称为“供应商”）组合它们的检测数据，而无需向彼此或执行混合操作的中央服务器展示它们的原始发现。

以下是 Sarus 的工作原理，我们使用一个有趣的类比：想象每辆车都是一名正在寻找嫌疑人（汽车、行人、标志）的侦探。他们并不发送包含照片和精确地址的详细报告（这会暴露他们的私人调查方法），而是将他们的发现转化为一种“统计云”。他们将嫌疑人的位置转化为共享地图上一个模糊、发光的高斯“喷溅”（Gaussian "splat"）。这个喷溅代表了嫌疑人的中心，以及侦探对边缘位置的不确定程度。至关重要的是，他们发送的不是地图本身，而是将这些模糊的云朵放在一个经过同态加密的锁定盒子里。

中央服务器接收来自所有参与车辆的这些锁定盒子。由于同态加密的神奇之处，服务器可以在这些云朵仍然处于锁定状态时将它们相加。这就像服务器在叠加看不见的、有重量的云朵。如果汽车 A 看到了一个行人，而汽车 B 也看到了同一个行人，那么它们的模糊云朵就会堆叠在一起，变成一个更明亮、更确定的云朵。如果汽车 A 看到了一辆汽车而汽车 B 漏掉了它，那么那个云朵就只是静静地待在那里，为总体的图像做加法。服务器从未见过单个的云朵，也不知道哪个云朵属于哪辆车；它只看到了合并后的、加密的结果。

一旦服务器完成所有加法运算，它会将最终的巨大锁定盒子发送给一个授权方（例如一台受信任的车辆或车队管理者）。该方持有开启盒子的钥匙。在盒子内部，他们会发现组合后的统计数据。然后，他们执行逆过程：他们将这些组合后的模糊云朵重新转化为清晰、实体的边界框，从而准确地告诉他们物体所在的位置。

研究人员使用真实的 KITTI 数据集测试了这个系统，该数据集包含了来自摄像头图像和 3D 激光雷达（LiDAR）传感器的扫描数据。他们模拟了一个场景，其中不同的“供应商”（使用不同的检测模型，如 YOLOv8、PointPillars 和 PV-RCNN）试图寻找汽车和行人。他们发现 Sarus 的表现非常出色。事实上，来自加密“魔法盒子”方法的结果与标准的、非加密方法的结果几乎完全一致。两者的准确度差异如此之小（在许多情况下甚至不到一个像素），以至于可以认为差异几乎为零。

论文还研究了该系统的速度。他们发现，虽然加密增加了额外的工作量（它比不加锁时要慢），但该系统呈线性扩展。这意味着，即使你增加更多的汽车或物体，处理时间也不会爆炸式增长，而只是稳步增长。最耗时的部分是实际的加密和解密过程，但数学证明，只要场景不是拥挤到无法想象，该系统仍能保持足够的效率以满足实时使用的需求。

一个最令人兴奋的发现是，Sarus 实际上帮助汽车比单独行动时看得“更准”。通过将摄像头的“眼睛”（擅长捕捉细节，但在黑暗或远处表现不佳）与激光雷达的“眼睛”（擅长测量距离，但在精细细节方面表现不佳）结合起来，该系统填补了空白。例如，如果摄像头错过了一个躲在灌木丛后的行人，但激光雷达看到了他，Sarus 就会结合这些线索来找到这个行人。论文表明，这种保护隐私的融合提升了整体的“态势感知能力”，特别是对于那些距离较远或部分被遮挡的物体。

作者谨慎地指出，Sarus 并不做什么。它并不处理车辆的身份（谁是谁）或检查一辆车是否被允许加入小组；它假设这部分工作已由单独的安全系统处理。它也不防范那些积极尝试作弊或破坏规则的车辆；它假设每个人都是“诚实但好奇”的（即遵守规则，但可能会试图窥探秘密）。

总之，Sarus 表明，自动驾驶汽车完全可以作为一个团队协作，通过分享它们的视野来更清晰地观察世界，而无需将它们的“秘密配方”交给中央服务器或竞争对手。通过将检测数据转化为加密的统计云，该系统证明了你既可以拥有隐私，也可以拥有强大的协作能力，为实现安全且可靠的自动驾驶车辆共享道路的未来铺平了道路。

技术摘要：Sarus —— 基于同态加密的隐私保护多厂商感知融合

1. 问题陈述

协同感知允许自动驾驶汽车（AV）和基础设施聚合来自多个智能体的检测输出，从而提高态势感知能力、鲁棒性以及传感范围。然而，在多厂商部署中，在推理阶段共享原始检测输出（如边界框、置信度分数）会带来显著的隐私和安全风险：

模型提取： 攻击者可以通过观察置信度和响应模式，推断出专有模型的决策边界或重建代理模型。
数据泄露： 检测输出会揭示敏感的环境信息，包括个人或物体的存在及其行为。
侧信道泄露： 辅助数据（如时间、输出稀疏性和检测模式）可能会泄露有关场景复杂度或传感器特征的信息。
跨厂商推理： 竞争对手可以通过比较同一场景下的输出，分析不同模型的相对优劣势。

现有解决方案通常依赖于明文共享，或者侧重于训练阶段的隐私保护（例如联邦学习），这并不适用于需要对实例级预测进行聚合的推理阶段协作。目前缺乏能够实现结构化感知输出安全聚合且不泄露特定厂商信息的可扩展框架。

2. 方法论：Sarus 框架

Sarus 通过将检测输出转换为紧凑的加密统计表示来解决这些挑战，这些表示可以直接在加密域中使用同态加密（HE）进行聚合。

2.1 核心概念：高斯泼溅（Gaussian Splatting）与矩编码

Sarus 并非分享离散的边界框（这需要非线性操作，如非极大值抑制），而是将每个检测转换为一个高斯泼溅（Gaussian splat）。

表示法： 边界框 $b = [x_1, y_1, x_2, y_2]$ 被建模为一个空间高斯分布 $N((\mu_x, \mu_y), \text{diag}(\sigma_x^2, \sigma_y^2))$ 。均值 $(\mu_x, \mu_y)$ 对应于框中心，方差由框的尺寸结合一个可调缩放参数 $\kappa$ 推导而来。
矩向量（Moment Vectors）： 每个检测被编码为一个包含充分统计量的加权矩向量：
$\mathbf{m} = w \cdot [1, \mu_x, \mu_x^2, \sigma_x^2, \mu_y, \mu_y^2, \sigma_y^2]$
其中 $w$ 是信任加权置信度分数。
线性： 至关重要的是，跨多个检测聚合这些矩向量是一个线性操作（求和）。这使得融合服务器能够在不解密的情况下组合加密载荷。

2.2 空间分箱与软分配

为了确保可扩展性并防止空间上相距较远的物体相互干扰，场景被离散化为一个共享空间晶格（类特定网格）。

软分配（Soft Assignment）： 检测的矩向量通过双线性插值权重分配到最多四个相邻的箱（bin）中，权重基于高斯中心相对于箱中心的相对位置。
局部聚合： 每个厂商在加密之前，先在本地将矩向量聚合到每个箱的累加器中。这使载荷大小从 $O(N)$ （ $N$ 为检测数量）降低到 $O(B)$ （ $B$ 为被占用的箱数量），因为多个检测往往落在同一个空间假设内。

2.3 系统工作流

厂商侧：
- 处理本地传感器数据以生成检测。
- 将检测转换为高斯泼溅并计算矩向量。
- 将矩向量聚合到空间箱中（类特定）。
- 使用 CKKS 方案（支持近似算术）加密聚合后的矩向量及相关统计量（质量和计数）。
- 将加密载荷传输至融合服务器。
融合服务器：
- 收集来自所有参与厂商的加密载荷。
- 计算被占用键（类-箱对）的并集。
- 对所有厂商中每个键对应的加密矩向量执行同态加法。
- 聚合用于后续使用的明文统计量（质量和计数）。
- 返回融合后的加密载荷。
重构（授权方）：
- 解密融合后的矩向量。
- 通过反转矩来恢复融合后的高斯参数（ $\mu, \sigma$ ）。
- 从高斯参数重构边界框。
- 执行聚类融合：构建一个空间一致性图，其中节点是箱级假设。如果相邻箱满足几何重叠（IoU）和统计接近度（马氏距离）约束，则连接边。连接分量被合并以产生最终的融合检测结果。

2.4 威胁模型

对抗性服务器： 诚实但好奇（Honest-but-curious）；遵循协议但试图从密文中推断单个厂商的输入。
好奇的厂商： 互不信任；只能看到自己的输入和最终的解密输出。
假设： 加密方案具有语义安全性；厂商遵循统一的空间参考系和载荷模式。主动攻击和密钥泄露不在讨论范围内。

3. 主要贡献

基于加密矩的融合： 一个无需暴露原始检测即可实现多厂商感知聚合的框架，利用了高斯矩的线性特性。
空间分箱机制： 一种确保可扩展融合的策略，其复杂度为 $O(B \cdot V)$ ，其中 $B$ 是被占用的箱数， $V$ 是厂商数量，避免了显式的跨厂商匹配。
全面的评估： 一项涵盖厂商载荷生成、服务器端 HE 融合及后处理的性能分析，展示了线性扩展性。
经验验证： 在 KITTI 数据集上的演示表明，Sarus 有效地恢复了相机（YOLOv8）和 LiDAR（PointPillars, PV-RCNN）模态之间的互补检测，特别是在单模态性能随距离下降的场景下。

4. 实验结果

实验使用 KITTI 数据集以及一个真实的自动驾驶测试车辆设置（VTTI 赛道），并涉及不同的车速和人工降雨环境。

正确性： 将同态融合输出与明文融合进行对比。两者之间的交并比（IoU）平均超过 0.99997，边界框中心偏差 $\le 0.5$ 像素。这证实了基于 CKKS 的近似算术对感知任务引入的误差可以忽略不计。
计算复杂度：
- 厂商载荷构建： 与检测数量（ $O(N)$ ）和被占用箱数（ $O(B)$ ）呈线性比例关系。加密是主要的成本。
- 服务器端融合： 复杂度为 $O(B \cdot V)$ 。服务器处理的是聚合后的箱，而非单个检测。
- 后处理： 由解密和基于图的聚类融合主导，复杂度为 $O(B + \sum B_c^2)$ 。
性能开销： 同态加密引入了常数倍的开销（与明文相比在 300 倍到 1000 倍之间），并增加了载荷大小（密文扩展因子 $\approx 3 \times 10^3$ ）。然而，系统保持了线性扩展性，使其在场景复杂度受限的情况下仍具有可预测性和可行性。
态势感知： Sarus 显著提升了场景级的覆盖率，特别是对于行人以及 LiDAR 因稀疏性而在长距离（ $\ge 40$ 米）表现下降的场景。它成功聚合了来自相机和 LiDAR 模态的互补检测。

5. 意义与主张

本文声称，当同时利用统计压缩（矩编码）和空间稀疏性（分箱）时，隐私保护的多厂商感知融合对于实时部署是可行的。

可行性： 尽管存在同态加密的计算开销，但线性扩展行为确保了系统的可预测性和可扩展性。常数倍的开销并不排除在场景复杂度适中的情况下进行实时运行。
隐私与效用： Sarus 成功地将效用与隐私泄露解耦。它允许厂商在不暴露专有模型行为或敏感环境数据的情况下，为统一的场景理解做出贡献。
局限性： 作者承认高斯近似可能会在 IoU 阈值较高时降低精确的边界框定位精度。该框架目前假设存在受信任的准入控制，并且不处理主动攻击者或复杂的密钥管理场景（例如阈值解密），这些属于未来的研究方向。

总之，Sarus 弥合了协同感知与隐私保护之间的鸿沟，为自动驾驶生态系统中安全的、多厂商的协作提供了一条切实可行的路径。