技術要約：Vision Transformerベースのモデルにおけるプライバシー保護型物体検出

問題提起

Vision Transformer（ViT）は、プライバシー保護学習、アクセス制御、およびモデル保護において大きな成功を収めていますが、知覚的暗号化（perceptual encryption）を利用した既存の研究は、主に画像分類タスクに限定されてきました。分類だけでなく局在化（localization）も必要とする、より複雑なタスクである物体検出にこれらのプライバシー保護技術を適用することについては、顕著な空白が存在します。さらに、モデル自体が暗号化されていない状態で入力画像に直接標準的な暗号化を適用すると、暗号化が特徴抽出プロセスを阻害するため、検出性能がほぼゼロレベルまで低下するという問題があります。

手法

本論文は、Vision Transformer（ViT）の埋め込み構造（embedding structure）と知覚的暗号化を統合した、新しい物体検出フレームワークを提案しています。この手法は、テスト画像の機密性の高い視覚情報を保護しつつ、非暗号化モデルに匹敵する検出精度を維持するように設計されています。

コアフレームワーク

提案されたシステムは、モデル作成者、ユーザー、クラウドサーバーからなるクライアント・サーバー・アーキテクチャで動作します：

1. 鍵生成: モデル作成者が、秘密鍵（$k$）を用いてランダムな置換行列（$E_{enc}$）を生成します。
2. モデルの暗号化: 事前学習済みViTベースの物体検出モデル（具体的にはViTdet）のパッチ埋め込み行列（$E$）を、$E_{enc}$を用いて暗号化し、暗号化モデル（$\hat{E} = E_{enc}E$）を作成します。この暗号化モデルはクラウドサーバーにアップロードされます。
3. 画像の暗号化: ユーザーは、同じ$E_{enc}$を使用してテスト画像を暗号化します。画像は重なりのないブロック（$p \times p$）に分割され、ベクトルへと平坦化された後、置換行列によって変換されます（$\hat{b}_i = b_i E_{enc}^T$）。
4. 推論: 暗号化された画像はクラウドサーバーに送られ、サーバーは暗号化されたモデルを用いて推論を実行します。サーバーはプレーンな画像や秘密鍵に一切アクセスしません。

理論的メカニズム

この手法は、ViTアーキテクチャと直交行列の数学的特性に基づいています：

• 直交性: ランダムな置換行列 $E_{enc}$ は直交しており、$E_{enc}^T = E_{enc}^{-1}$ を満たします。
• 相殺効果: ViTの埋め込み層において、入力パッチ $x_p$ は埋め込み行列 $E$ によって投影されます。提案手法では、暗号化されたパッチ $\hat{x}_p$ が暗号化された行列 $\hat{E}$ によって投影されます。
  • 投影は次のように計算されます：$\hat{x}_p \hat{E} = (x_p E_{enc}^T) (E_{enc} E) = x_p (E_{enc}^T E_{enc}) E = x_p E$。
• 結果: 画像に適用された暗号化とモデルに適用された暗号化が、埋め込み層において互いに打ち消し合います。その結果、Transformerエンコーダーに供給される入力シーケンス（$\hat{z}_0$）は、非暗号化シナリオにおけるシーケンス（$z_0$）と数学的に同一となり、検出ロジックが影響を受けないことが保証されます。

主な貢献

1. 物体検出への初適用: 本研究は、知覚的暗号化を物体検出タスクに特化して利用した初めての手法であり、その適用範囲を画像分類を超えて拡大しました。
2. ViTベースのアーキテクチャ: 本手法は、Window Attentionと単純な特徴ピラミッドを備えたプレーンなViTバックボーンを利用し、ViTベースの物体検出モデル（ViTdet）の特定の埋め込み構造を活用しています。
3. 鍵を用いたドメイン適応: 分類タスクで使用されていた、秘密鍵を伴うドメイン適応技術を、より複雑な物体検出の領域へと成功裏に適応させました。
4. 二重暗号化戦略: 精度を維持するためには、モデルの埋め込み層と入力画像の両方を暗号化することが不可欠であることを示しました（画像のみを暗号化した場合、壊滅的な性能低下を招きます）。

実験結果

提案手法は、3つの異なるバックボーン（ViT-B、ViT-L、ViT-H）を用いたViTdetモデルを用いて、COCOおよびLVISデータセットで評価されました。

• 精度の維持: 提案手法は、非暗号化のベースラインとほぼ同等の検出精度（Average Precision, AP）を達成しました。
  • COCOにおいて、ViT-Hバックボーンは、ベースラインの 56.594 に対し、提案手法で 55.843 のAPを達成しました。
  • LVIS（1,203カテゴリを特徴とする）において、ViT-Hバックボーンは、ベースラインの 49.123 に対し、提案手法で 47.811 のAPを達成しました。
• 部分的暗号化の失敗: モデルを暗号化せずに画像のみを暗号化した場合、精度はほぼゼロまで低下しました（例：COCOにおけるViT-Hは56.594から0.406 APへ低下）。これにより、二重暗号化アプローチの必要性が確認されました。
• 視覚的保護: 暗号化された画像はバラバラのブロックとして表示され、機密性の高い視覚情報をクラウドサーバーから効果的に隠蔽しましたが、モデルは物体を正常に検出しました。
• 軽微な差異: 著者らは、ベースラインと比較したわずかな精度の低下（例：約1〜2%の低下）は、暗号化手法そのものではなく、COCOデータセットに内在するJPEG圧縮の影響によるものであると指摘しています。

重要性と主張

本論文は、Vision Transformerの埋め込み構造を利用することで、検出性能を損なうことなくプライバシー保護型物体検出を実現できると主張しています。その重要性は以下の点にあります：

• 視覚データのプライバシーが極めて重要となる、信頼できないクラウドサーバーへの物体検出モデルのデプロイを可能にすること。
• 埋め込み層における暗号化効果の理論的な相殺が、複雑な検出タスクにおいても実用的に成立することを実証したこと。
• クラウドサーバーが復号鍵や元の画像を一切持つことなく、暗号化されたデータに対して推論を実行できる実用的なフレームワークを提供したこと。

著者らは、本手法が検出精度を高く維持しながら視覚情報を効果的に保護していると結論付けており、ViTベースのアーキテクチャを用いたプライバシー保護型物体検出の実現可能性を検証しています。