💻 computer science

Toward Sub-1 kB Identity-Preserving Face Compression: A Benchmark of Codecs, a Custom Learned Codec, and Studies of Resolution, Demographic Fairness, Recompression, and Adversarial Robustness

本文对十种通用及人脸特定编解码器进行了基准测试，并引入了一种自定义的学习型编解码器，以证明虽然现代解决方案在 1024 字节的预算下能有效保留面部特征，但编解码器的性能排名在 512 字节时会发生剧烈变化，因此有必要采取针对特定预算的部署策略，以确保低误识率和人口统计学公平性。

原作者： Petr Hurtik, Jakub Sochor

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Petr Hurtik, Jakub Sochor

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你手里拿着一张护照或登机牌。在那张薄薄的卡片里，或者印在微小的条形码中，隐藏着一张你面部的数字照片。这张图像不仅仅是供人类观看的照片，它还是机器用来验证你身份的一把钥匙。但这种数字钥匙所占用的空间有着严格的限制。在许多安全系统中，整张面部图像必须放入一个极小的内存口袋中，通常不超过一千字节（1 KB）——大约相当于一条短信息的体积。这是一个极其严苛的约束。为了将一张脸部图像塞进如此小的空间，计算机必须丢弃几乎所有的视觉数据，仅保留那些能够证明你是谁的特定细节。科学家面临的挑战在于，弄清楚哪种缩减图像的方法能在丢弃其余部分的同时，依然保持身份信息的完整。如果压缩过于剧烈或使用了错误的技术，机器可能会无法识别该人，甚至更糟，将一个人误认为另一个人。

一个研究小组致力于解决这个难题，他们测试了在这些极端条件下，不同的压缩工具在保护个人身份方面表现如何。他们不仅观察图像在人类眼中看起来如何，还测量了压缩后的图像是否仍能为用于身份验证的计算机系统所使用。他们测试了十种不同的标准压缩方法，涵盖了从旧有的、广为人知的格式到新的、先进的格式，并且还开发了自己的专门针对此任务设计的定制工具。他们在数千张面部图像上进行了这些测试，将它们压缩至 1,024 字节，甚至将极限推到了仅 512 字节。随后，他们将这些缩减后的图像输入到强大的面部识别软件中，以观察系统是否仍能区分真实匹配对象与陌生人。

结果揭示了旧有方式与新方式之间的明显分水岭。当研究人员将图像压缩至 1,024 字节时，像 WebP、AVIF 以及一种名为 JPEG-AI 的新标准这样的现代工具表现得非常出色。它们使身份信息保持得如此完整，以至于计算机出错极少，其表现几乎与使用全尺寸、未压缩的照片时一样好。然而，像经典的 JPEG 格式和 JPEG 2000 这样的旧方法则表现得十分吃力。虽然它们能将图像放入这个小空间，但由于对特征进行了过度扭曲，导致计算机经常无法识别该人。当研究人员尝试将图像进一步挤压到仅 512 字节时，情况变得更加严峻。在这个极端极限下，大多数现代工具都开始失效，错误率飙升。只有少数专门的方法，包括研究人员自研的定制压缩器和 JPEG-AI 标准，能够顶住压力，即使在如此微小的空间内也能保持身份的可识别性。

最令人惊讶的发现之一是：一张在人类看来完美的图片，并不一定对计算机有效。研究人员发现，某些压缩方法生成的图像在视觉上看起来非常锐利清晰，但实际上却扰乱了计算机识别身份所需的特定细节。相反，一些在人类看来略显模糊或不完美的图像，实际上对计算机来说却是最好的。这意味着，通过判断图片看起来有多“漂亮”来决定其是否适用于安全领域，是一种糟糕的方法。研究人员还观察了这些压缩方法在对待不同背景的人群时是否公平。他们发现，虽然压缩会略微增加识别某些群体的难度，但一种旧方法——JPEG 2000，显著加剧了这一问题，放大了不同肤色之间识别准确率的差距。而现代方法（包括该定制工具）则将这种不公平性降到了最低。

该研究还探讨了当一张图像被压缩后再进行压缩，或者有人试图利用隐藏的数字攻击来欺骗系统时会发生什么。他们发现，使用某些现代工具对图像进行二次压缩是安全的，但混合使用特定的旧格式和新格式可能会彻底破坏身份数据。此外，将图像压缩到如此小的尺寸本身就会自然地移除某些攻击者用来欺骗面部扫描仪的数字手段，起到了一种意外防护罩的作用。研究人员得出结论：对于需要在极小空间内存储面部信息的系统，选择压缩工具至关重要。他们建议使用现代化的专业格式，如 JPEG-AI 或 WebP，并避免使用在这些紧凑限制下表现不佳的旧标准。他们的定制工具证明了自己是一个强有力的竞争者，尤其是在空间极其有限的情况下，提供了一种即使在存储预算几乎为零时也能保持数字身份安全的方法。

技术摘要：迈向亚千字节（Sub-1 kB）身份保持型面部压缩

问题陈述

本文探讨了将对齐的面部图像压缩至硬性字节预算（≤1024 字节，以及更激进的 512 字节）的同时，仍能保持用于自动化面部验证的身份信号的挑战。这一领域对于机器可读的旅行证件（例如护照和登机牌上的 2D 条形码）以及带宽受限的生物识别传输至关重要，因为这些场景下的存储空间是固定且极小的。

核心难点在于标准图像压缩目标（像素保真度/感知质量）与生物识别效用之间的冲突。在极端压缩比下，通用编解码器往往会丢弃现代面部识别（FR）模型所依赖的特定高频或结构特征，从而导致灾难性的验证失败。本研究旨在确定哪些编解码器能在这种环境下生存，它们如何比较，以及在严格的尺寸限制下，定制的学习型编解码器是否能超越它们。

方法论

数据集与对齐

评估使用了两个互补的数据集：

Color FERET： 一个受控的影棚数据集（11,335 个对齐裁剪图，994 个身份），作为干净的前向基准。
AI-Solutions-KK： 一个野外（in-the-wild）数据集（17,534 个对齐裁剪图，105 个身份），包含 Monk 肤色、年龄和性别属性，用于公平性和压力测试。

所有图像均根据五点模板（眼睛中心、鼻尖、嘴角）进行对齐，并在五种分辨率下进行评估：64、96、112、168 和 224 像素。112 px 分辨率被视为标准的验证工作点。

评估协议

研究在 12 种配置下采用了统一协议：10 种现成的编解码器（JPEG、JPEG 2000、WebP、AVIF、HEIF、JPEG XL、JPEG-FzT、JPEG-AI 以及两种 CompressAI 基准模型）和两种定制的学习型变体。

指标： 主要指标是固定错误匹配率（FMR $10^{-2}, 10^{-3}, 10^{-4}$ ）下的等错误率（EER）和错误非匹配率（FNMR）。身份保持度通过原始图像与重建图像之间的嵌入余弦相似度进行衡量。
匹配器： 使用了四个锚点模型（ArcFace-antelopev2、LVFace-L、TopoFR-R100、EdgeFace-XS）以及更广泛的 14 个模型阵容（涵盖 ViT 和 CNN/IR 骨干网络），以确保结论具有骨干网络无关性（backbone-invariant）。
统计严谨性： 结果由带有 Benjamini-Hochberg 多重比较校正的配对 McNemar 和 DeLong 测试提供支持，并采用样本级自助法（bootstrap）置信区间。

定制编解码器设计

作者训练了两个定制学习型编解码器的变体：

Ours-FAST： 一个紧凑的模型（约 1.35M 参数），不带侧流（side stream）。
Ours-ACCURATE： 一个更大的模型（约 18.7M 参数），具有身份侧流（使用 EdgeFace-S 嵌入）和一个细化头（refine head）。

硬预算强制执行： 不同于优化平均速率的标准学习型编解码器，这些模型通过对冻结的 64 项增益表进行二分查找来强制执行精确的字节预算，并将输出打包进一个自描述容器中。

附加研究

论文包含四项针对性研究：

分辨率权衡： 分析下采样对身份保留的影响。
人口统计学公平性： 测量压缩如何扩大不同肤色、年龄和性别组之间的 EER 差距。
重压缩： 测试“压缩之上再压缩”的链条（例如，JPEG XL $\to$ HEIF）。
对抗鲁棒性： 评估有损压缩是否能净化无框（no-box）对抗扰动。

关键结果

1. 可行性与编解码器性能

亚千字节是可行的： 在 Color FERET/ArcFace 上，现代编解码器可以在 1024 字节时保持 EER 低于 ~0.5%。
1024 字节区间： 在 1024 字节处，JPEG-AI、WebP、AVIF 以及定制的 Ours-ACCURATE 表现同样出色，使 EER 接近未压缩的基准。传统的 JPEG 处于临界状态，而 JPEG 2000 则出现崩溃（EER ~3.2%）。
512 字节崩溃： 在 512 字节处，领域排名发生剧变。AVIF、HEIF、JPEG XL 和传统 JPEG 遭受灾难性失败（FNMR > 28–98%）。WebP 虽然性能下降，但仍可使用。JPEG-AI 和定制的 Ours-ACCURATE 衰减最为平缓。
- 在 112 px/512 B 时，Ours-ACCURATE 在两个数据集上均实现了最低的 FNMR（Color FERET 为 1.83%，而 JPEG-AI 为 2.86%；AI-Solutions-KK 为 6.9%，而 WebP 为 24.3%）。
- 然而，这种排名取决于分辨率。在 224 px/512 B 时，排名发生反转：WebP 成为最稳健的编解码器，领先于其他模型，而 Ours-ACCURATE 则降至第 5 位，并在 AI-Solutions-KK 上在符合预算的现代编解码器中表现最差。因此，Ours-ACCURATE 特别是在 112 px 工作分辨率及紧凑预算下是更优的编解码器，但在所有分辨率下并非普遍适用。

2. 分辨率与身份

下采样是有益的： 将分辨率从 224 px 降低到 112 px 可以保留 >99% 的 AC 能量和嵌入余弦相似度，同时释放大量比特。这使得 112 px 成为紧凑预算下验证的“甜点区”。
分辨率依赖的排名： “最佳”编解码器取决于分辨率。在 224 px/512 B 时，WebP 优于 Ours-ACCURATE；而在 112 px/512 B 时，Ours-ACCURATE 领先。

3. 质量 vs. 效用

保真度 $\neq$ 效用： 在极端压缩下，标准图像质量指标（PSNR、SSIM）是生物识别效用的糟糕代理。一个编解码器可以具有较低的 PSNR 但具有更高的身份余弦值。
感知指标： LPIPS 和 DISTS 与身份保持的相关性高于 PSNR，但身份余弦仍然是主要准则。

4. 公平性与偏差

JPEG 2000 放大偏差： JPEG 2000 显著扩大了不同肤色组之间的 EER 差距（相比基准放大了 11–20 倍）。
现代编解码器： 所有其他编解码器（包括定制模型）最多仅增加 1.7 个百分点的差距，使其更适合公平部署。

5. 重压缩与对抗防御

重压缩： 现代到现代的链条通常是良性的（EER 增加 <1 pp）。然而，特定的链条如 JPEG XL $\to$ HEIF 或 JPEG XL $\to$ AVIF 会导致 EER 急剧上升（+16–21 pp），应予以避免。
净化： 有损压缩可以作为无框对抗扰动的净化器。然而，存在权衡：最强的净化器（如 JPEG 2000）也是破坏原始身份保持效果最严重的。

重要性与主张

本文声称已确立了亚千字节身份保持型面部压缩是可行的，但编解码器的选择严格取决于预算和分辨率。

在 1024 B 时： 该问题已被现代变换编解码器（WebP、AVIF、JPEG-AI）和定制的学习型编解码器基本解决。顶尖表现者之间的差异虽然在统计上显著，但在实际操作中微不足道，因此在操作上是可以互换的。
在 512 B 时： 局面发生了变化。仅有 JPEG-AI 和按字节预算的学习型编解码器（特别是 Ours-ACCURATE）能在 112 px 工作分辨率下维持可用的验证准确度。经典编解码器在此失效。然而，在 224 px 源分辨率下，WebP 脱颖而出，成为最稳健的编解码器，优于 Ours-ACCURATE。
部署指南： 作者提供了一个具体的决策矩阵（表 1），建议：
- 若追求 1024 B 下最佳身份保持，使用 JPEG-AI 或 Ours-ACCURATE。
- 若追求 1024 B 下广泛的软件兼容性和免版税许可，使用 WebP 或 AVIF。
- 若在 112 px 工作分辨率下面临硬性 512 B 约束，使用 Ours-ACCURATE（或 JPEG-AI）。
- 若在 224 px 源分辨率下面临硬性 512 B 约束，使用 WebP。
- 避免使用 JPEG 2000，因为它会导致较差的身份保持效果和偏差放大。

研究强调，身份保持必须基于验证指标（EER/FNMR）进行验证，而非像素保真度，且编解码器的排名具有骨干网络无关性（在 14 个匹配器中的 Kendall's W = 0.85），确保了研究结果能推广至不同的 FR 架构。