💻 computer science

Toward Sub-1 kB Identity-Preserving Face Compression: A Benchmark of Codecs, a Custom Learned Codec, and Studies of Resolution, Demographic Fairness, Recompression, and Adversarial Robustness

本論文は、10種類の汎用および顔特化型コーデックをベンチマークし、独自の学習型コーデックを導入することで、現代的なソリューションが1024バイトの予算内で顔のアイデンティティを効果的に保持できる一方で、512バイトではコーデックの性能順位が劇的に変化することを示し、低い誤拒否率と人口統計学的な公平性を確保するために予算に応じたデプロイ戦略が必要であることを提示する。

原著者： Petr Hurtik, Jakub Sochor

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Petr Hurtik, Jakub Sochor

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

パスポートや搭乗券を手にしているところを想像してみてください。その薄いカードの中、あるいは小さなバーコードとして印字された中には、あなたの顔のデジタル写真が入っています。この画像は、単に人間が見るための写真ではありません。それは、機械があなたの身元を確認するために使用する「鍵」なのです。しかし、このデジタルな鍵が占めることができるスペースには、厳格な制限があります。多くの高度なシステムにおいて、顔の画像全体は、わずか1キロバイト（小さなテキストメッセージほどのサイズ）という、極めて小さなメモリのポケットに収まらなければなりません。これは非常に厳しい制約です。顔をこれほど小さなスペースに収めるために、コンピュータは視覚データのほとんどを捨て去り、その人が誰であるかを証明するための特定の詳細情報のみを保持しなければなりません。科学者たちの課題は、どの圧縮手法を用いれば、アイデンティティを維持したまま他の情報を削ぎ落とせるのかを見出すことです。もし圧縮が厳しすぎたり、誤った手法を用いたりすれば、機械は人物を認識できなくなったり、最悪の場合、ある人と別の人を間違えて識別したりすることになります。

研究チームは、これらの極限状態において、異なる圧縮ツールがどれほど上手く個人のアイデンティティを保持できるかをテストすることで、このパズルを解こうと試みました。彼らは単に画像が人間の目にどう見えるかを見たのではなく、圧縮された画像が、身元を確認するコンピュータシステムに対して依然として機能するかどうかを測定しました。彼らは、古く馴染みのあるフォーマットから新しい高度なものまで、10種類の標準的な圧縮手法をテストし、さらにこのタスクのために特別に設計された独自のカスタムツールも作成しました。彼らは数千枚の顔画像を用いてこれらのテストを行い、画像を1,024バイトまで圧縮し、さらには512バイトという限界まで追い込みました。その後、縮小された画像を強力な顔認識ソフトウェアに入力し、システムが本物の照合と見知らぬ人を依然として区別できるかどうかを確認しました。

結果は、従来のやり方と新しいやり方の間の明確な隔たりを明らかにしました。研究者が画像を1,024バイトに圧縮した際、WebP、AVIF、そしてJPEG-AIと呼ばれる新しい標準のような現代的なツールは、極めて優れた性能を発揮しました。それらはアイデンティティに関する情報を非常に高い精度で保持していたため、コンピュータはミスをほとんど犯さず、未圧縮のフル写真を用いた場合とほぼ同等の性能を示しました。しかし、古典的なJPEGフォーマットやJPEG 2000のような古い手法は、大きく苦戦しました。それらは画像を小さなスペースに収めることはできましたが、特徴を大幅に歪ませてしまったため、コンピュータが人物を認識できないことが頻繁に起こりました。状況は、研究者が画像をわずか512バイトまで絞り込もうとした際にさらに深刻になりました。この極限の制限下では、ほとんどの現代的なツールが失敗し始め、エラー率が急増しました。研究者自身のカスタム作成の圧縮ツールやJPEG-AI標準を含む、ごく一部の特化した手法だけが、この極めて小さなスペースにおいてもアイデンティティを認識可能な状態で維持することができました。

最も驚くべき発見の一つは、人間の目に完璧に見える写真が、必ずしもコンピュータにとって上手く機能するとは限らないということでした。研究者たちは、一部の圧縮手法が、人間の目には非常にシャープで鮮明に見える画像を作り出す一方で、実際にはコンピュータが人物を特定するために必要な特定の詳細情報をかき乱してしまうことを発見しました。逆に、人間には少しぼやけていたり不完全に見えたりする画像が、実はコンピュータにとって最も使いやすい画像であることもありました。これは、圧縮手法を判断する際に、画像の見た目の美しさで判断することは、セキュリティにおける有効性を判断する方法としては不適切であることを意味しています。また、研究者たちは、これらの圧縮手法が異なる背景を持つ人々を公平に扱っているかどうかも調査しました。彼らは、圧縮によって特定のグループの認識の難易度がわずかに上昇することを発見しましたが、一つの古い手法であるJPEG 2000は、この問題をより悪化させ、肌の色による認識精度の格差を増幅させていました。現代的な手法、およびカスタムツールは、この不公平さを最小限に抑えていました。

この研究では、画像が圧縮され、さらに再圧縮された場合や、隠れたデジタル攻撃によってシステムを欺こうとする場合に何が起こるかも検証されました。特定の現代的なツールを用いて画像を再圧縮することは安全でしたが、特定の古いフォーマットと新しいフォーマットを組み合わせると、アイデンティティのデータを完全に破壊してしまうことが分かりました。さらに、画像をこれほど小さなサイズに圧縮するという行為自体が、攻撃者が顔スキャナーを欺くために使用する何らかのタイプのデジタル的なトリックを自然に除去しており、それが偶然の盾として機能していることも判明しました。研究者たちは、極めて小さなスペースに顔を保存する必要があるシステムにとって、圧縮ツールの選択が極めて重要であると結論付けました。彼らは、JPEG-AIやWebPのような現代的で特化したフォーマットを使用し、厳しい制限下で失敗する古い標準を避けることを推奨しています。彼らのカスタムツールは、特にスペースが極端に制限されている場合に強力な候補となり、ストレージの予算がほぼゼロである場合でも、デジタル・アイデンティティを安全に保つ方法を提供しました。

テクニカルサマリー：1kB未満のアイデンティティ保持型顔画像圧縮に向けて

問題提起

本論文は、整列された顔画像を1024バイト以下（およびより厳格な512バイト）というハードなバイト予算内で、自動顔認証に必要なアイデンティティ信号を保持しながら圧縮するという課題に取り組んでいる。このレジームは、ストレージ容量が固定かつ極めて小さい、機械読み取り可能な旅行用資格証明書（例：パスポートや搭乗券の2Dバーコード）や、帯域幅が制限されたバイオメトリクス伝送において極めて重要である。

核心となる困難は、標準的な画像圧縮の目的（画素忠実度／知覚品質）と、バイオメトリクスとしての有用性の間の衝突にある。極端な圧縮比において、汎用的なコーデックは、現代の顔認識（FR）モデルが依存する特定の高周波成分や構造的特徴を破棄してしまうことが多く、その結果、致命的な検証失敗を招く。本研究は、どのコーデックがこのレジームで生き残り、それらがどのように比較され、厳格なサイズ制約下でカスタム学習済みコーデックがこれらを凌駕できるかどうかを明らかにすることを目的としている。

メソドロジー

データセットとアライメント

評価には、2つの補完的なデータセットを使用している：

Color FERET: コントロールされたスタジオデータセット（11,335個の整列済みクロップ、994のアイデンティティ）であり、クリーンで正面を向いたベンチマークとして機能する。
AI-Solutions-KK: イン・ザ・ワイルド（実環境）のデータセット（17,534個の整列済みクロップ、105のアイデンティティ）であり、Monk肌の色調、年齢、性別の属性を含み、公平性とストレス・テストに使用される。

すべての画像は、標準的な5点テンプレート（両目の中心、鼻尖、口角）にアライメントされており、64、96、112、168、224ピクセルの5つの解像度で評価される。112 pxの解像度は、標準的な検証作業ポイントとして扱われる。

評価プロトコル

本研究では、12の構成に対して統一されたプロトコルを採用している：10種類の既成コーデック（JPEG、JPEG 2000、WebP、AVIF、HEIF、JPEG XL、JPEG-FzT、JPEG-AI、および2つのCompressAIベースライン）と、2つのカスタム学習済みバリアント。

指標: 主要な指標は、固定された誤一致率（FMR $10^{-2}, 10^{-3}, 10^{-4}$ ）における等価エラー率（EER）および誤非一致率（FNMR）である。アイデンティティ保持は、オリジナル画像と再構成画像の埋め込みコサイン類似度を通じても測定される。
マッチャー: 結論がバックボーンに依存しないことを保証するため、4つのアンカーモデル（ArcFace-antelopev2, LVFace-L, TopoFR-R100, EdgeFace-XS）と、より広範な14のモデル（ViTおよびCNN/IRバックボーンにまたがる）を使用している。
統計的厳密性: 結果は、多重比較のためのBenjamini-Hochberg補正を伴うペアMcNemarテストおよびDeLongテストによって裏付けられており、被験者レベルのブートストラップ信頼区間も用いられている。

カスタムコーデック設計

著者らは、2つのカスタム学習済みコーデックのバリアントを訓練した：

Ours-FAST: サイドストリームを持たないコンパクトなモデル（約1.35Mパラメータ）。
Ours-ACCURATE: アイデンティティ・サイドストリーム（EdgeFace-S埋め込みを使用）とリファイン・ヘッドを備えた、より大きなモデル（約18.7Mパラメータ）。

ハード予算の強制: 平均レートを最適化する標準的な学習済みコーデックとは異なり、これらのモデルは凍結された64エントリーのゲインテーブルに対するバイナリサーチを介して正確なバイト予算を強制し、出力を自己記述型コンテナにパッキングする。

追加研究

本論文には、以下の4つの焦点研究が含まれている：

解像度のトレードオフ: ダウンサンプリングがアイデンティティ保持に与える影響の分析。
デモグラフィック・フェアネス（人口統計学的公平性）: 圧縮が肌の色調、年齢、性度のグループ間でEERの差をどのように拡大させるかの測定。
再圧縮: 「圧縮されたものの上での圧縮」チェーン（例：JPEG XL $\to$ HEIF）のテスト。
敵対的堅牢性: 損失のある圧縮が、no-box（境界なし）敵対的摂動をサニタイズ（浄化）するかどうかの評価。

主な結果

1. 実現可能性とコーデック性能

サブ1 kBは達成可能: 現代的なコーデックは、Color FERET/ArcFaceにおいて、1024 BでEERを約0.5%未満に維持することができる。
1024 B レジーム: 1024バイトにおいて、JPEG-AI、WebP、AVIF、およびカスタムのOurs-ACCURATEは同様に良好に機能し、EERをアンコンプレッション（無圧縮）のベースラインに近く保つ。レガシーなJPEGは境界線上であり、JPEG 2000は崩壊する（EER ~3.2%）。
512 B の崩壊: 512バイトでは、分野の順位が劇的に入れ替わる。AVIF、HEIF、JPEG XL、およびレガシーなJPEGは、壊滅的な失敗（FNMR > 28–98%）を経験する。WebPは劣化するものの、依然として使用可能である。JPEG-AIとカスタムのOurs-ACCURATEが最も緩やかに劣化する。
- 112 px/512 Bにおいて、Ours-ACCURATEは両方のデータセットで最も低いFNMRを達成する（Color FERETで1.83%、JPEG-AIの2.86%に対し；AI-Solutions-KKで6.9%、WebPの24.3%に対し）。
- しかし、このランキングは解像度に依存する。224 px/512 Bでは、順位が逆転する：WebPが最も予算に対して堅牢なコーデックとなり、トップに立つ一方で、Ours-ACCURATEはColor FERETで5位に転落し、AI-Solutions-KKでは予算遵守型の現代的コーデックの中で最悪のパフォーマンスを示す。したがって、Ours-ACCURATEは、厳しい予算下における112 pxの作業解像度においては優れたコーデックであるが、普遍的ではない。

2. 解像度とアイデンティティ

ダウンサンプリングは有益である: 解像度を224 pxから112 pxに下げることで、ACエネルギーと埋め込みコサイン類似度の99%以上を保持しつつ、大幅にビットを解放できる。これにより、厳しい予算下での検証における「スイートスポット」として112 pxが浮上する。
解像度依存のランキング: 「最適な」コーデックは解像度によって決まる。224 px/512 BではWebPがOurs-ACCURATEを上回るが、112 px/512 BではOurs-ACCURATEがリードする。

3. 品質 vs 有用性

忠実度 $\neq$ 有用性: 極端な圧縮における標準的な画像品質指標（PSNR、SSIM）は、バイオメトリクスとしての有用性の優れたプロキシ（代理指標）にはならない。あるコーデックは、PSNRが低くても、アイデンティティ・コサインは高い場合がある。
知覚的指標: LPIPSおよびDISTSは、PSNRよりもアイデンティティ保持とより高い相関を示すが、アイデンティティ・コサインが主要な基準であり続ける。

4. フェアネスとバイアス

JPEG 2000はバイアスを増幅させる: JPEG 2000は、肌の色調グループ間のEERギャップを著しく拡大させる（ベースラインと比較して11〜20倍の格差を増幅させる）。
現代的なコーデック: 他のすべてのコーデック（カスタムを含む）は、格差に最大でも1.7パーセントポイントしか加えず、公平な展開においてはるかに適している。

5. 再圧縮と敵対的防御

再圧縮: モダンからモダンへのチェーンは、一般的に無害である（EERの増加は1 pp未満）。しかし、JPEG XL $\to$ HEIFやJPEG XL $\to$ AVIFのような特定のチェーンは、急激なEERのスパイク（+16–21 pp）を引き起こすため、避けるべきである。
サニテーション: 損失のある圧縮は、no-box敵対的摂動に対するサニタイザーとして機能する。ただし、トレードオフが存在する。最強のサニタイザー（JPEG 2000など）は、クリーンなアイデンティティを保持する能力が最も低い。

意義と主張

本論文は、サブ1 kBのアイデンティティ保持型顔画像圧縮は実現可能であるが、選択すべきコーデックは厳格に予算依存であり、かつ解像度に敏感であることを示している。

1024 B において: この問題は、現代的な変換コーデック（WebP, AVIF, JPEG-AI）およびカスタム学習済みコーデックによって概ね解決されている。トップパフォーマー間の差異は統計的に有意ではあるが、実用上の差は無視できる程度であり、運用上は相互に入れ替えが可能である。
512 B において: 状況は一変する。112 pxの作業解像度において、利用可能な検証精度を維持できるのは、JPEG-AIとバイト予算化された学習済みコーデック（特にOvers-ACCURATE）のみである。古典的なコーデックは崩壊する。しかし、224 pxのソース解像度においては、WebPが最も堅牢なコーデックとして浮上し、Ours-ACCURATEを凌駕する。
展開ガイダンス: 著者らは、以下の決定マトリックス（表1）を推奨している：
- 1024 Bで最高のアイデンティティを求めるなら、JPEG-AIまたはOurs-ACCURATE。
- 幅広いソフトウェア展開可能性とロイヤリティフリーのライセンスを求めるなら、WebPまたはAVIF（1024 Bにおいて）。
- ハードな512 B制約があり、かつ112 pxの作業解像度を用いるなら、Ours-ACCURATE（またはJPEG-AI）。
- ハードな512 B制約があり、かつ224 pxのソース解像度を用いるなら、WebP。
- アイデンティティ保持の悪さとバイアス増幅のため、JPEG 2000は一切避けること。

本研究は、アイデンティティ保持は画素の忠実度ではなく、検証指標（EER/FNMR）に基づいて検証されなければならないこと、そしてコーデックのランキングはバックボーン不変である（14のマッチャー間で Kendall's W = 0.85）ことを強調しており、これにより、その知見が異なるFRアーキテクチャにわたって汎用されることを保証している。