💻 computer science

Mayfly: Private Aggregate Insights from Ephemeral Streams of On-Device User Data

本文介绍了 Mayfly，一种联邦分析框架，它通过在设备上对易失性数据流进行窗口化和贡献限制、利用流式差分隐私进行匿名化，并强制在服务器端进行即时内存聚合，从而在不持久化敏感用户数据的前提下实现了大规模聚合查询，并在碳排放估算等实际应用中验证了其高效性与隐私保护能力。

原作者： Christopher Bian, Albert Cheu, Stanislav Chiknavaryan, Zoe Gong, Marco Gruteser, Oliver Guinan, Yannis Guzman, Peter Kairouz, Artem Lagzdin, Ryan McKenna, Grace Ni, Edo Roth, Maya Spivak, Timon Van Ov

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Christopher Bian, Albert Cheu, Stanislav Chiknavaryan, Zoe Gong, Marco Gruteser, Oliver Guinan, Yannis Guzman, Peter Kairouz, Artem Lagzdin, Ryan McKenna, Grace Ni, Edo Roth, Maya Spivak, Timon Van Overveldt, Ren Yi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Mayfly（蜉蝣）的系统。为了让你轻松理解，我们可以把这个世界想象成一个巨大的、嘈杂的集市，而 Mayfly 就是集市里一位极其谨慎的统计学家。

1. 核心故事：我们要统计什么？

想象一下，谷歌想帮城市管理者了解大家的交通碳排放量（比如：有多少人开车、骑车、走路，走了多远）。

传统做法：大家把每天的行程记录（“我早上 8 点从家开车到公司，10 公里”）全部上传到中央服务器。
问题：这太危险了！如果黑客偷了服务器，或者内部人员想窥探隐私，就能知道“张三昨天去了哪里”。
Mayfly 的做法：我们绝不把张三的原始行程上传。我们只想要一个模糊的、聚合后的数字（比如：“昨天全市开车的人总共跑了 100 万公里”），而且这个结果里不能反推出任何一个人的具体行踪。

2. Mayfly 的三大绝招（三大支柱）

为了在保护隐私的同时还能算出准确的结果，Mayfly 用了三个聪明的策略：

第一招：手机里的“碎纸机” (On-Device Minimization)

比喻：想象你手里有一叠写满秘密的纸条。在把它们交给统计学家之前，你先把纸条放进一个碎纸机。
怎么做：Mayfly 让统计工作直接在你的手机上完成。手机会先把你这一周所有的行程数据“切碎”并“打包”。
- 它不会说：“张三走了 5 公里，李四走了 10 公里”。
- 它只会说：“在这个区域，这一周，大家总共走了 1000 公里”。
好处：原始数据从未离开过你的手机，服务器拿到的只是“打包好的统计结果”，连原始数据长什么样都不知道。

第二招：像蜉蝣一样“朝生暮死” (Ephemeral Aggregation)

比喻：蜉蝣（Mayfly）这种昆虫，成虫只能活几个小时到几天。Mayfly 系统模仿了这种特性：数据像蜉蝣一样，活过一会儿就立刻消失。
怎么做：
- 当手机把“打包好的统计结果”发给服务器时，服务器会立刻把它们加在一起（比如把 100 万个手机的数据加起来）。
- 一旦加完，原始的单个数据包立刻被删除，就像从未存在过一样。服务器只保留最终的“总和”。
好处：即使服务器被黑客攻破，黑客也找不到任何一个人的原始数据，因为数据早就“死”了（被删除了）。

第三招：给数据“加噪点” (Differential Privacy)

比喻：想象你在一个嘈杂的房间里听别人说话。为了不让别人听清你的具体声音，你故意在说话时混入了一些白噪音（就像收音机里的沙沙声）。
怎么做：在服务器算出总和后，系统会故意往结果里加一点数学噪音。
- 比如，真实总和是 1000 公里，系统可能会报告 1002 公里或 998 公里。
- 这个噪音很小，不影响宏观统计（城市管理者依然知道大概有多少碳排放），但大到足以让任何人无法反推出“张三到底走了多远”。
好处：这是隐私保护的“金标准”。它保证了：无论张三在不在数据里，最终公布的结果看起来都差不多。

3. 遇到的挑战与解决方案

挑战：数据大小不一怎么办？

问题：有人只是去公园散步（距离短），有人是跨洲飞行（距离长）。如果直接加噪音，散步的人的数据会被噪音淹没，而飞行的人的数据噪音又太小，不够安全。
Mayfly 的解法（活动缩放机制）：
- 就像给不同体重的运动员称重。给“散步者”的数据放大倍数，给“飞行者”的数据缩小倍数，让它们先变成“差不多大”的数值，然后再统一加噪音。
- 最后，再把结果还原回原来的大小。
- 效果：这样既保护了所有人的隐私，又保证了散步和飞行两种数据都能被准确统计。

4. 实际效果：真的行得通吗？

论文里提到，这个系统已经在5 亿多台设备上运行了！

规模：处理了超过 400 万个统计数据。
隐私：达到了非常高的隐私标准（ $\epsilon = 2$ ），这意味着即使有人想通过结果反推个人隐私，成功的概率也微乎其微。
效率：对手机电池和流量的消耗极低，就像你每天刷一下朋友圈一样，几乎感觉不到负担。

总结

Mayfly 就像是一个**“只问结果，不问过程”的超级管家**。
它让你的手机在本地把秘密“消化”掉，只吐出一点点经过处理的“营养液”（统计数据）给服务器。服务器把这些营养液混合在一起，再撒上一把“魔法盐”（噪音），最后端给城市管理者。

结果：城市管理者知道了“昨天全城排放了多少碳”，而没有任何人（包括谷歌自己）知道“张三昨天去了哪里”。这就是在大数据时代，既利用数据造福社会，又尊重每个人隐私的完美平衡。

Mayfly：基于易失性设备数据流的私有聚合洞察技术总结

1. 研究背景与问题定义

背景：
随着端侧人工智能（On-device AI）的快速发展，利用用户本地数据进行隐私保护的个性化分析成为可能。然而，传统的集中式数据分析需要存储原始用户数据，存在严重的隐私泄露风险。差分隐私（Differential Privacy, DP）已成为隐私统计的金标准，但在处理高维、大规模（数亿设备）且用户贡献量差异巨大的流式数据时，现有方案面临巨大挑战。

核心问题：

高维与异质性挑战：在像“交通碳排放估算”这样的场景中，需要计算数百万个统计量（如不同地区、交通方式、行程方向的距离总和）。用户贡献的数据量差异极大（例如，步行几公里 vs. 跨洲飞行数千公里），导致难以在保护隐私的同时保持小数值统计量的可用性。
隐私与效用的权衡：在中心模型（Central Model）中，若直接对全量贡献进行截断和加噪，为了达到效用要求，隐私参数 $\epsilon$ 往往过大（>16），无法提供强有力的隐私保证。而在本地模型（LDP）中，噪声随用户数量 $\sqrt{n}$ 增长，对于数亿用户规模，噪声将淹没真实信号。
数据持久化风险：传统系统倾向于在服务器端持久化原始数据或中间聚合结果，这增加了内部威胁和重识别风险。
设备异构性：全球数十亿设备在资源、网络连接和电池状态上差异巨大，如何在保证统计结果无偏（覆盖低资源设备）的同时，不耗尽设备资源，是一个系统工程难题。

2. 方法论：Mayfly 系统设计

Mayfly 是一个联邦分析架构，旨在在不持久化敏感用户数据的前提下，对易失性的端侧数据流进行聚合查询。其设计围绕三个核心支柱展开：

2.1 轻量级、可编程的端侧数据最小化

SQL 可编程性：分析师通过 SQL 接口定义查询。查询被分解为两部分：
- 客户端查询：在设备上执行（基于 SQLite），仅选择、汇总和转换相关数据。
- 服务器聚合查询：定义跨设备的聚合逻辑。
贡献边界（Contribution Bounding）：在数据上传前，设备端根据活动类型（如步行、驾车）对数据进行缩放（Scaling），并应用统一的截断边界（Clipping）。这确保了单个用户对任何统计量的贡献上限，防止极端值破坏隐私预算。
时间窗口（Time Windows, TW）：数据按预定义的时间窗口（如周）进行分片。设备维护“高低水位线”（Watermarks），确保每个时间窗口内的数据只被贡献一次，且只有在窗口完整后才进行边界处理。

2.2 即时易失性聚合（Immediate Ephemeral Aggregation）

内存聚合：服务器端采用分层聚合流水线。原始设备结果在到达时立即在内存中进行聚合，绝不写入磁盘。
易失性设计：一旦聚合完成并进入下一阶段（或加噪发布），原始记录和中间聚合状态即被丢弃。服务器仅保留最终聚合结果，且这些结果具有严格的生存时间（TTL）。
防目标化：系统不支持针对特定用户或设备的查询，仅支持跨设备的聚合查询，且查询执行基于随机的设备连接状态，防止攻击者通过查询特定设备来推断信息。

2.3 流式差分隐私机制（Streaming DP Mechanism）

针对 Group-By-Sum（分组求和）工作负载，Mayfly 提出了一种新的 DP 机制，解决了传统方案在异质数据上的缺陷：

活动 + 指标缩放机制（Activity + Metric Scaling）：
- 问题：直接联合截断（Joint Clipping）会导致小数值（如步行距离）被大数值（如飞行距离）主导，相对误差极大；而拆分预算（Budget Split）会导致每个分区的噪声过大。
- 方案：在截断前，根据活动类型（Activity）和指标（Metric，如距离、时长）对每个用户的贡献向量进行缩放，使得不同分区的数值量级趋于一致。
- 流程：
  1. 设备端：根据预计算的缩放因子 $S(a, m)$ 对原始数据进行缩放，然后进行 L1 截断。
  2. 服务器端：对缩放后的数据进行联合聚合，添加拉普拉斯噪声（Laplace Noise）。
  3. 后处理：对加噪后的结果进行逆缩放（Descale），并应用阈值过滤（Thresholding）以剔除噪声过大的小分区。
隐私单位：定义为（设备，时间窗口），即 $\epsilon=2$ 对应于单个设备在一个时间窗口内的数据。

3. 关键贡献

新型 DP 机制：提出了一种基于“活动 + 指标缩放”的 Group-By-Sum 差分隐私机制。在目标效用（3% 相对误差）下，相比现有基线（联合截断或预算拆分），隐私预算消耗降低了 8 倍以上，显著提升了数据可用性。
端到端系统架构：
- 支持分布式 SQL 查询，强制在设备端进行早期数据最小化。
- 实现了服务器端的完全易失性（Ephemerality），确保原始个体数据永不持久化。
- 设计了容延迟（Latency-tolerant）的发布机制，允许设备在时间窗口结束后的一段时间内补传数据，以平衡设备资源消耗和统计偏差。
大规模生产部署经验：在 5 亿+ 用户设备上成功部署，处理了超过 400 万 个统计量。通过优化任务分配和查询执行策略，将设备覆盖率（Device Reach）从基线的 49% 提升至 93%，同时保持了极低的设备资源消耗（单次查询耗电 < 0.005% 电池容量）。

4. 实验结果与评估

评估基于 Google 的“环境洞察探索器”（EIE）案例，用于估算交通碳排放。

设备覆盖率（Device Reach）：
- 基线方案（基于 TensorFlow 和严格约束）：49%。
- Mayfly 优化方案（SQLite 引擎、宽松约束、批量任务）：93%。
- 结果表明，新设计能更有效地覆盖低资源设备和网络条件较差的地区，显著减少了统计偏差。
准确性与隐私权衡：
- 在 $\epsilon = 2$ 的严格隐私预算下，Mayfly 的“活动 + 指标缩放”机制实现了约 2.8% - 4.0% 的加权相对误差，满足了 EIE 应用对 3% 误差的效用要求。
- 相比之下，基线方法（Joint Clipping 或 Budget Split）在 $\epsilon = 16$ 时仍无法达到 3% 的误差要求。
资源消耗：
- 单次查询的数据传输量 < 15KB。
- 计算耗时约 8.5 秒（含网络等待），实际计算时间 < 1 秒。
- 电池消耗极低，适合大规模常态化运行。

5. 意义与未来展望

意义：

隐私保护新范式：Mayfly 证明了在单服务器设置下，通过“端侧最小化 + 服务器易失性 + 强差分隐私”的组合，可以在不存储任何原始用户数据的情况下，实现大规模、高精度的隐私保护分析。
解决高维异质数据难题：提出的缩放机制为处理具有巨大数值差异的流式聚合数据提供了通用且高效的解决方案，特别适用于位置、交通等场景。
工程落地标杆：成功在数亿级设备上运行，展示了联邦分析从理论走向大规模工业级应用的可行性。

局限与未来工作：

威胁模型：当前系统假设服务器管理员是被动观察的（Passive），未完全防御主动篡改或内存转储攻击。未来可结合可信执行环境（TEE）构建更安全的机密联邦分析架构。
持久性与隐私的张力：为了在长窗口内精确控制贡献边界，目前仍需设备端短期保留状态。如何在完全无状态（Stateless）的前提下实现长窗口 DP 仍是一个开放问题。

总结：Mayfly 不仅是一个技术系统，更是一次在隐私、效用和规模之间取得突破性平衡的工程实践，为未来基于端侧数据的隐私保护分析树立了新的标准。