CFE-PPAR: Compression-friendly encryption for privacy-preserving action recognition leveraging video transformers

技術概要：CFE-PPAR

問題定義
プライバシー保護動作認識（PPAR）は、機密性の高い視覚コンテンツを露出させることなく、機械が動画内の人間の動作を分類できるようにすることを目的としています。暗号化ベースの PPAR 手法は、強力なプライバシー保護と非圧縮データにおける高い認識性能を提供しますが、重要な限界に直面しています。それは「圧縮に非対応」であるという点です。既存の手法（知覚暗号化や準同型暗号など）によって暗号化された動画が標準的な動画圧縮（例：Motion-JPEG または H.264）を受けると、認識精度は壊滅的な低下を招きます。さらに、復号プロセスは圧縮後に忠実な視覚コンテンツを回復できなくなることが多く、データ伝送と保存に圧縮が不可欠な実世界シナリオにおいて、これらの手法を実用的なものにしません。

手法
著者は、損失あり圧縮後でも高い認識精度と視覚的復元性を維持するように設計された新しいフレームワーク、CFE-PPAR（プライバシー保護動作認識のための圧縮対応暗号化）を提案します。この手法は、以下の 3 つの中核コンポーネントを統合しています。

1. 圧縮対応暗号化（CFE）:
   圧縮アルゴリズムに必要な空間相関を破壊する従来の暗号化手法とは異なり、CFE はブロック内相関を保持するブロック単位暗号化戦略を採用します。プロセスは以下の通りです。

   • 前処理: 動画フレームをトランスフォーマーの入力次元に合わせるためにリサイズします。
   • ブロック分割: 各フレームを Video Transformer (VT) のパッチサイズに一致するメインブロック（MB）に分割し、さらに MB をサブブロック（SB）に細分化します。
   • サブブロック変換: 秘密鍵（$K_{ST}$）を用いて、各 SB に 5 つの特定の変換（回転、反転、画素値の反転、RGB チャンルのシャッフル、サブブロックのスクランブル）を適用します。
   • メインブロックスクランブル: 別の秘密鍵（$K_{MS}$）を用いて、フレーム内の MB の順序を置換します。
     このアプローチにより、視覚情報が隠蔽されている一方で、効果的な圧縮に必要な統計的性質は intact（無傷）に保たれます。

2. 鍵依存ドメイン適応（KDDA）:
   Video Transformer が再学習やアーキテクチャ変更なしに暗号化動画を認識できるように、モデルパラメータを暗号化に適合するように変換します。具体的には、立方体埋め込み層の 3D 畳み込みカーネル（$E$）と位置埋め込み（$E_{pos}$）を、暗号化に使用されたのと同じ鍵（$K_{ST}$ および $K_{MS}$）を用いて修正します。これにより、暗号化入力に対して直接推論可能な「ドメイン適応型 VT」が作成されます。

3. 脅威モデル:
   システムは、暗号化された圧縮データを処理するが秘密鍵を一切持たない、信頼できないパブリックサーバーを想定しています。敵対者は暗号化データとアルゴリズムにはアクセスできると仮定されますが、鍵にはアクセスできないため、暗号文のみ攻撃（COA）に限定されます。

主な貢献

• 初の圧縮対応 PPAR: この研究は、動作認識能力を保持しつつ、標準的な動画圧縮コーデック（MJPEG および H.264）と互換性を持つように設計された、初の暗号化手法を導入します。
• 二重最適化: この手法は、暗号化かつ圧縮されたデータにおける高い認識精度を達成すると同時に、承認されたクライアントによる元の動画フレームの忠実な再構成を可能にします。
• 学習不要推論: このアプローチは、変換されたパラメータを持つ事前学習済み Video Transformer を利用し、暗号化データでのモデルの微調整やネットワークアーキテクチャの変更を不要にします。

実験結果
著者は、Motion-JPEG および H.264 圧縮（フレーム間予測あり・なし）下で、さまざまなビットレートにおいて、UCF101 および HMDB51 データセット上で CFE-PPAR を評価しました。

• 認識精度: 非圧縮条件下では、CFE-PPAR は平文（非暗号化）動画と同等の精度を達成しました。損失あり圧縮下では、既存の手法（LCVE および BDQ）を大幅に上回りました。特に、フレーム間予測を伴う H.264 条件下では、CFE-PPAR は中〜高ビットレートにおいても平文動画とほぼ同等の精度を維持しましたが、従来の手法は深刻な劣化を招きました。
• 視覚的復元: 従来の暗号化手法では、圧縮後の復号動画の PSNR が低く（しばしば 20 dB 未満）、CFE-PPAR はこの劣化を効果的に軽減し、元のフレームの信頼性の高い再構成を可能にしました。
• 攻撃耐性: 拡張ジグソーパズルソルバー（EJPS）を用いた暗号文のみ攻撃に対する耐性が評価されました。結果は、各メインブロックに異なる鍵を使用する変種（CFE-PPAR V2）が再構成に対して頑健であることを示しましたが、すべてのブロックに単一の鍵を使用する変種（V1）は非圧縮時に脆弱でした。ただし、圧縮自体が両変種における再構成試行を大幅に妨げました。

意義と主張
この論文は、CFE-PPAR がプライバシー保護コンピュータビジョンにおける根本的なギャップ、すなわち強力な暗号化と効率的なデータ圧縮との間の非互換性を解決すると主張しています。暗号化された動画を認識性能や視覚的復元性を犠牲にすることなく圧縮できることを実証することで、著者は、帯域幅とストレージが制約されているクラウドおよびエッジ環境において、PPAR システムの実用的な展開を可能にすると論じています。この研究は、強力なプライバシー保護、高有用性（精度）、および圧縮効率を同時に達成することが可能であることを検証しており、これは既存の暗号化ベースの戦略では以前は達成不可能な組み合わせでした。