On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

技術的サマリー：トランスフォーマー安全推論におけるシャッフル防御の（不）安全性について

問題定義
マルチパーティ計算（MPC）または準同型暗号（HE）を用いたトランスフォーマーモデルの安全推論は、非線形層（例：Softmax、GELU、LayerNorm）の計算において重大な効率性のボトルネックに直面している。完全モデル暗号化（FME）では、これらの層に対して多数の通信ラウンドと重たいデータ転送が必要となり、全体の遅延の 75%〜90% を占める。これを緩和するため、中間活性化をクライアントに平文で開示し、非線形層をローカルで計算する「線形のみ暗号化（LOE）推論」が提案された。しかし、活性化を開示することは、敵対者が線形系を解くことでモデル重みを抽出することを可能にする。

これに対抗するため、最近の研究では「シャッフル防御」が導入された。これは、中間活性化をクライアントに開示する前にランダムに順列（permutation）する手法である。支配的なセキュリティ主張は、特定の順列を復元することが計算的に不可能（次元 $d$ に対して確率 $1/d!$）であり、シャッフルされた活性化は重み抽出攻撃に必要な相関を破壊するというものである。本論文はこの主張に異議を唱え、シャッフル防御が重み抽出に対して頑健ではないことを実証する。

手法
著者は、特定の順列を知らずに、異なる順列でシャッフルされた活性化ベクトルを共通の順列に整合させる攻撃を提案する。手法は 3 つの段階で進行する。

1. 近接性によるベクトル整合: 敵対者は、互いに $\epsilon$-近接する複数の入力を用いてトランスフォーマーにクエリを送る。ニューラルネットワークのリプシッツ連続性により、得られる中間活性化ベクトルも値が近接する（$\|x_a - x_b\| < L\epsilon$）。各ベクトルはそれぞれ異なる未知の順列でシャッフルされているが、ベクトル内の値は同一である。敵対者は、割り当て問題（ハンガリー法を使用）を解くことでシャッフルされたベクトルの要素間の距離を最小化し、異なるクエリ間での要素の対応関係を事実上復元する。
2. GPT における近接入力の構築: トランスフォーマーの入力は離散的なトークン索引であるため、直接 $\epsilon$-近接する入力を生成することは困難であるという課題が生じる。著者は、安全推論プロトコルの特性、すなわち切り捨てを伴う固定小数点演算の使用を利用する。安全な切り捨ては確率的な 1 ビット誤差（例：大きさ $2^{-18}$）を導入する。敵対者は、同じプロンプトを繰り返し入力することで、これらの内在的な確率的誤差を利用して中間活性化に微小な摂動を生成し、必要な $\epsilon$-近接ベクトルを作成する。
3. 重み抽出: 活性化ベクトルが共通（ただし未知）の順列 $\pi$ に整合されると、敵対者は行列 $X^{(l)}\pi^{(l)}$ および $X^{(l+1)}\pi^{(l+1)}$ を構築する。そして、線形関係 $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$ を用いて重みを解く。得られた重み $W^{(l)'}$ は、元の重み $W^{(l)}$ と行および列の順列のみが異なる。重要なのは、本論文がニューラルネットワークの機能はこのようなシャッフルに対して不変であることを指摘しており、したがって抽出された重みは元のモデルと同じ順方向伝播を行う点である。

主要な貢献

• シャッフル防御の突破: 著者は、異なる順列でシャッフルされているが近接値を含む活性化ベクトルを敵対者が成功裡に整合させ、順列が抽出を不可能にするという仮定を回避できることを実証する。
• プロトコルノイズの悪用: 本作業は、安全な切り捨てプロトコルに内在する確率的誤差を特定し、トランスフォーマーにおける離散トークン入力の制限を克服するために、近接する中間活性化を生成するために利用する。
• 理論的および実践的な抽出: 本論文は、整合された活性化が、行/列の順列が不明であっても、元のものと機能的に同等のモデル重みの抽出を可能にすることを証明する。
• 実証的検証: 本攻撃は Pythia-70m および GPT-2 上で評価され、高い整合精度と成功した重み回復を実証した。

実験結果
著者は、様々な固定小数点精度（14、16、18 ビット）を用いて Pythia-70m および GPT-2 モデル上で本攻撃を評価した。

• 整合精度: 提案された手法は、シャッフルされた活性化を平均二乗誤差（MSE）$10^{-9}$ から $10^{-6}$ の範囲で整合する。要素の不一致は 2% 未満であり、より高い精度はより良い整合をもたらす。
• 重み回復: 抽出された重みは、オラクルの重みからの L1 ノルム差が $10^{-4}$ から $10^{-2}$ の範囲にある。より小さなモデル（Pythia-70m）は、より大きなモデル（GPT-2）よりも低い誤差率を示した。
• コスト効率: 本攻撃に必要なクエリ数はモデルの次元に比例する（例：Pythia-70m の場合約 32,768）。商用 API の価格設定を用いると、総コストは約 1 ドルである。
• 機能的同等性: 窃取された重みを代理モデルとして使用した場合、元のモデルに近いパープレキシティスコアを達成する（例：Pythia-70m の場合 31.81 対 44.46）。短い微調整段階（最大 6 分）の後、回復されたモデルは被害者のパープレキシティと一致し（32.43 対 31.81）、その後の攻撃を実質的にブラックボックスからホワイトボックスのシナリオへと変換する。

意義と主張
本論文は、以前は重み抽出に対して安全であると仮定されていたシャッフル防御において、重要な情報漏洩を明らかにしたと主張する。著者らは、この防御が失敗する理由は、位置情報ではなく数値的近接性に基づいてベクトルを整合させる能力を考慮していないためであると論じる。

この作業の意義は、敵対者が低コストで高い忠実度をもってモデル重みを回復することを可能にする脆弱性を暴露することにある。抽出された重みは、プライベートモデルを分析したり、代理モデルの有効な初期化として機能したりするのに十分であり、既存のブラックボックス攻撃を強化する。著者らは、安全推論および関連するプライバシー保護設定におけるシャッフル防御のセキュリティの再評価が必要であると結論づける。

限界
著者は、攻撃が理論的に保証されており小規模モデルで検証されている一方で、モデル規模が大きくなるにつれて抽出された重みの忠実度が低下する可能性があることを控えめに指摘する。しかし、彼らは小規模モデルでの成功した検証が、防御メカニズムの根本的な脆弱性を示すのに十分であると主張する。