💻 computer science

Lightweight, Practical Encrypted Face Recognition with GPU Support

本文提出了一种轻量级、GPU 加速的加密人脸识别系统，该系统结合了 BSGS-Diagonal 算法与融合 GPU 核函数，实现了内存开销的显著降低以及相对于现有基于全同态加密（FHE）协议的实质性加速，从而使资源受限的客户端能够在实际应用中实现亚秒级的相似度搜索。

原作者： Gabrielle De Micheli, Syed Mahbub Hafiz, Geovandro Pereira, Eduardo L. Cominetti, Thales B. Paiva, Jina Choi, Marcos A. Simplicio, Bahattin Yildiz

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gabrielle De Micheli, Syed Mahbub Hafiz, Geovandro Pereira, Eduardo L. Cominetti, Thales B. Paiva, Jina Choi, Marcos A. Simplicio, Bahattin Yildiz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要通过刷脸来解锁一扇高安全性门。通常情况下，你会将一张你的面部照片发送到服务器，服务器将其与存储的海量面部数据进行比对，以查看是否匹配。但问题在于，发送你的面部照片就像是把身份证复印件交给了一个陌生人；他们可能会偷走它、研究它，甚至尝试从这些数据中重建你的面部特征。

为了解决这个问题，研究人员使用了一种被称为**全同态加密（Fully Homomorphic Encryption, FHE）**的神奇“加密黑盒”。它允许服务器在完全看不见实际面孔的情况下，将你的面部与列表进行比对。整个过程数据始终处于加密状态。

然而，这其中有一个难点：对加密数据进行数学运算速度极慢，而且需要大量的计算机内存，就像是试图戴着厚厚的隔热手套并在一个狭小的房间里解开一个复杂的拼图。

本文介绍了两种重大的升级方案，旨在让这种“加密面部匹配”变得足够快速且实用，甚至能在较小的设备上运行。

1. “智能图书馆”技巧 (BSGS-Diagonal)

问题所在：
想象服务器拥有一个包含 100 万本面部“书”的图书馆。为了寻找匹配项，旧方法（HyDia）必须为每一本书都提取一个特定的“旋转密钥”来检查是否与你的面部匹配。如果你有 100 万本书，你就需要 100 万把钥匙。这需要巨大的内存（RAM），就像为了存放这些钥匙而需要一个专门的仓库。

解决方案：
作者发明了一种名为 BSGS-Diagonal 的新方法。可以将其理解为一种“小步/大步”（Baby-Step/Giant-Step）策略。

他们不再使用独特的密钥逐一检查每一本书，而是将书籍分为“小步”（小组）和“大步”（大跨度）。
他们预先计算了一些“主密钥”，这些主密钥可以同时解锁许多个小组。
结果： 他们将所需的密钥数量减少了 91%。
- 类比： 与其为摩天大楼里的每一扇门都准备一把独特的钥匙，现在你只需要为每一层楼准备一把万能钥匙，以及为每层楼内的房间准备一小组钥匙。
- 影响： 这将客户端（你的手机或笔记本电脑）所需的内存减少了约 14 GB，并将服务器的峰值内存使用量降低了 4 倍以上。这使得在没有巨大硬盘驱动器的边缘设备（Edge Devices）上运行该系统成为可能。

2. “全能型”GPU 工厂

问题所在：
即使减少了密钥数量，进行数学运算仍然很慢。旧的方法就像是一个工厂，其中一名工人（CPU）取出一块加密数据，交给一个超快速的机器人（GPU）进行一次计算，然后再把数据拿回来，交给另一个机器人，以此类推。在计算机的主脑（CPU）与显卡（GPU）之间来回传输数据的过程浪费了大量时间。

解决方案：
作者构建了一个全新的系统，让整个过程都在 GPU 内部完成（即在那个超快速的机器人内部）。

类比： 不再是工人不停地在零件间搬运，而是直接在机器人的工作坊内建立了一条完整的流水线。数据进入后，在机器人手中完成处理、比对，最后输出最终答案，整个过程从未离开过机器人的手。
他们创建了特殊的“内核”（Kernels，即自定义指令），将许多步骤融合在一起，包括一个复杂的数学技巧——“切比雪夫评估器”（Chebyshev evaluator，用于判断面部是否匹配），并直接在显卡上运行。
结果：
- 系统比之前的最优方法快了 9 到 21 倍。
- 它现在可以在不到一秒钟的时间内，完成对高达 32,000 条记录 (2^15) 的数据库进行面部比对。
- 它还节省了主计算机（宿主机）的内存，因为繁重的计算任务都在显卡上完成了。

成就总结

隐私至上： 你的面部数据全程保持加密状态。没有人能看到你的真实面孔，甚至服务器也不行。
节省内存： 通过使用“智能图书馆”技巧，他们将所需内存减少了 90% 以上，使其在小型设备上具有可行性。
速度极快： 通过将整个过程移至 GPU 并让数据留在 GPU 内部，他们使系统提速近 20 倍，实现了“亚秒级”识别。
具备实战能力： 他们在真实的脸部数据集（FRGC 2.0）上测试了该系统，并证明其准确度与非加密方法一样，精度超过 99.9%。

简而言之，作者通过更聪明的算法减轻了负担，并通过全新的 GPU 工作流提升了动力，将一个原本过于沉重且缓慢的隐私保护面部识别系统，变得既快速又高效，足以应对现实世界的应用场景。

技术摘要：支持 GPU 加速的轻量级、实用型加密人脸识别

问题陈述

人脸识别系统通常采用客户端-服务器架构，即客户端提取人脸嵌入（embedding），服务器在数据库中进行相似度搜索。这种模式引发了显著的隐私担忧，因为面部数据属于受严格法规监管的个人身份信息（PII）。虽然诸如全同态加密（FHE）之类的密码学方法允许在不泄露明文的情况下对加密数据进行相似度搜索，但现有的基于 FHE 的协议（特别是最先进的 HyDia 协议）面临着严重的实际应用限制。

当前基于 FHE 的人脸识别的主要瓶颈在于：

高内存开销： 现有方法需要大量的旋转密钥集（通常为 $O(\ell)$ ，其中 $\ell$ 为向量维度）来执行对角矩阵-向量乘法。这导致客户端和服务器端的 RAM 使用量过高（例如，对于高达 100 万条记录的数据库，超过 33 GB），使得在资源受限的边缘设备上部署变得不可行。
计算延迟： FHE 操作（尤其是密文旋转和重缩放）在 CPU 上受限于内存带宽。将单个操作盲目地卸载到 GPU 往往会降低性能，因为这会导致昂贵的宿主机-设备间数据传输，以及在 CPU（OpenFHE）与 GPU（FIDESlib）数据结构之间进行重复转换。

方法论

作者提出了一种针对算法效率和系统级硬件加速的双层优化策略，该策略构建在 HyDia 协议之上。

1. 算法改进：BSGS-Diagonal

为了解决内存和旋转密钥的瓶颈，作者引入了 BSGS-Diagonal，这是一种针对加密矩阵设置定制的改进版“婴儿步/巨步”（Baby-Step/Giant-Step, BSGS）策略。

机制： 与假设矩阵为明文的标准 BSGS 不同，BSGS-Diagonal 处理的是加密数据库矩阵。它预先计算所有必要的加密查询向量的旋转，并在数据库的所有矩阵组（ $G$ ）中重复使用。
密钥缩减： 通过预计算查询旋转，该方法摊销了旋转密钥的成本。它将所需的旋转密钥集从 HyDia 中的 $\ell-1$ 减少到约 $2\sqrt{\ell}$ （具体为 $n_1 + n_2 - 2$ 个密钥）。
内存效率： 这使客户端的旋转密钥集减少了 91%，降低了客户端内存需求约 14 GB。此外，它还采用了结合多线程的增量累加策略，以降低服务器的峰值 RAM 使用量。
性能： 与原始 HyDia 相比，该方法在成员验证场景下实现了高达 1.57 倍的运行时提升，在识别场景下实现了 1.43 倍的提升。

2. 系统级改进：GPU 常驻架构

为了解决计算延迟问题，作者设计了一个基于 FIDESlib（一个 CUDA 加速的 CKKS 库）并与 OpenFHE 集成的端到端 GPU 常驻流水线。

设计原则： 通过将整个查询处理流水线（相似度计算、阈值比较和聚合）保留在 GPU 上，最大限度地减少宿主机-设备间的数据传输。仅上传初始查询密文，并下载最终结果。
自定义算子： 该实现包括：
- GPU 原生切比雪夫评估器（Chebyshev Evaluator）： 一个使用 Paterson–Stockmeyer 方法的自定义实现，用于在 GPU 上完全实现符号函数（sign function）的近似，从而进行阈值比较，避免了 CPU 回路跳转。
- BSGS-RTX-TBS 变体： 一种特定的 GPU 变体，利用预先计算的（离线计算的）旋转对角线和按需生成的巨步旋转。这将其在 GPU 上的在线旋转密钥集从约 516 个减少到约 36 个，显著降低了 VRAM 使用量。
- 惰性重线性化（Lazy Relinearization）： 在相似度累加过程中延迟执行重线性化，以优化内存使用。
变体： 论文评估了三种 GPU 配置：
- HyDia-RTX-DG： 原始 HyDia 的直接 GPU 移植版。
- BSGS-RTX-TBS： 带有 BSGS 和服务器端同态预旋转的 GPU 移植版。
- BSGS-RTX-TBE： 带有 BSGS 和注册端明文预旋转（消除了负向旋转密钥）的 GPU 移植版。

核心贡献

该论文声称有三个主要贡献：

显著的内存缩减： BSGS-Diagonal 算法大幅减少了旋转密钥需求（减少 91%），将客户端内存降低了约 14 GB，并将高达 $2^{20}$ 条记录的数据库的峰值服务器 RAM 降低了高达 4.5 倍，从而实现了边缘部署。
首个 GPU 加速的端到端协议： 作者展示了第一个支持成员验证和识别任务的 GPU 加速加密人脸识别实现。对于高达 $2^{15}$ 条记录的数据库，该系统实现了亚秒级的执行时间（对于使用 BSGS 变体的数据库可达 $2^{16}$ ），同时降低了宿主机 RAM 使用量。
开源实现： 提供了一个基于 OpenFHE 和 FIDESlib 的完整开源实现，并在规模从 $2^{10}$ 到 $10^6$ （CPU）以及高达 $2^{16}$ （GPU）的数据库上进行了测试。

实验结果

实验在 Intel Xeon Platinum 8260 (CPU) 和 NVIDIA Quadro RTX 8000 / H200 (GPU) 上进行。

CPU 性能 (BSGS-Diagonal vs. HyDia)：
- 加速比： 成员验证提升高达 1.57 倍，识别场景提升 1.43 倍。
- 内存： 对于 100 万条记录，峰值 RAM 从 HyDia 的 >33 GB 降至 <11 GB；客户端旋转密钥从 511 个减少到 44 个。
- 磁盘占用： 降低了高达 5 倍。
GPU 性能：
- 加速比： GPU 实现相比 CPU 基准，HyDia 实现了高达 9 倍 的加速，而 BSGS 变体实现了高达 21 倍 的加速。
- 延迟： 对于高达 $2^{15}$ 条记录的数据库，实现了亚秒级的加密人脸识别。
- 内存： 对于 8,192 个向量，BSGS-RTX-TBS 变体将峰值 GPU 内存从 HyDia-RTX-DG 的约 27 GB 降低到了约 9 GB，从而支持在 12 GB VRAM 的 GPU 上部署。
- 可扩展性： H200 GPU (141 GB VRAM) 将支持的数据库规模扩展到了 $2^{17}$ 。
准确率：
- 在 FRGC 2.0 数据集（44,228 个嵌入）上的评估确认，加密流水线保持了识别质量。
- 精确度（Precision）> 99.95%，召回率（Recall）≈ 99.40%，准确率（Accuracy）> 99.998%。
- 将切比雪夫比较深度从 $\kappa=10$ 降低到 $\kappa=8$ 可以在不产生明显准确率损失的情况下提高速度。

重要性与主张

论文将这项工作定位为实现实用化部署隐私保护人脸识别于资源受限环境中的重要一步。

可行性： 通过降低内存占用和计算延迟，作者认为基于 FHE 的人脸识别不再局限于高端服务器，而是可以适用于边缘客户端和标准服务器 GPU。
隐私性： 系统提供了基于环学习误差（Ring Learning with Errors）问题的密码学保证，而非仅仅是经验性的模糊处理，能够抵御重建攻击。
开放科学： 作者强调了其开源实现的价值，该实现集成了最先进的库（OpenFHE, FIDESlib），为未来的加密搜索研究提供了一个可复现的基准。

作者保持了谦逊的态度，指出虽然其 GPU 实现实现了对高达 $2^{15}$ 规模数据库的亚秒级性能，但更大的数据库在当前硬件上仍面临内存限制，且设置时间（注册）与查询延迟之间的权衡仍然是部署选择中的一个因素。