🤖 machine learning

Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference

本論文は、クライアントが秘密裏に回転させた隠れ状態をサーバーに送信することで、トークン復元攻撃を効果的に防ぎつつ、性能低下を最小限に抑えながらプライバシーを保護するLLM推論を可能にする、直交等変トランスフォーマーアーキテクチャであるConjFormerを提案する。

原著者： Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、自分のプライベートな医療記録について、超スマートなAI（大規模言語モデル）に質問したいと考えています。問題は、そのAIが遠く離れた強力なサーバー上に存在していることです。あなたは、サーバーの所有者が中身を覗き見るかもしれないので、生のテキストをそこに送ることはしたくありません。

通常、人々は作業を分割しようとします。まず自分のスマートフォンで思考の第一段階を行い、その「思考」（隠された数値）だけをサーバーに送って、残りの作業を完了させるという方法です。しかし、落とし穴があります。それらの「思考」は解読可能な秘密のコードのようなものであり、サーバーが「どの単語がどのような数値に対応するか」という公開辞書を持っていれば、あなたが何を入力したかを推測できてしまうのです。

論文の解決策：「魔法の回転器（Magic Rotator）」

この論文は、CONJFORMERと呼ばれる新しいシステムを紹介しています。これは、重い暗号化技術の代わりに幾何学を利用した、魔法のプライバシーシールドのようなものです。

仕組みは以下の通りです。

1. 問題点：「透明なガラス」

あなたのデータが、テーブルの上に置かれた彫刻だと想像してください。サーバーには、あらゆる種類の彫刻のカタログがあります。もしあなたがその彫刻をサーバーに送ると、サーバーはそれを観察し、カタログと比較して、「ああ、これは猫の形をした写真だ！」と判断できてしまいます。たとえ少し異なる光の中で送ったとしても、形自体は同じなので、認識されてしまうのです。

2. 解決策：「秘密の回転」

著者らは、データを送る前に、あなただけが知っている秘密の鍵を使って、彫刻をターンテーブルに乗せて90度（あるいは任意の角度）回転させることを提案しています。

あなた： 彫刻を回転させる。
サーバー： 回転した彫刻を受け取る。彼らは、もはやどちらが「上」なのかを知りません。
魔法： サーバーのAIは、CONJFORMERと呼ばれる新しいアーキテクチャを用いて特別に構築されているため、たとえ彫刻が上下逆さまだったり横向きだったりしても、全く同じようにパズルを解くことができます。AIは、元の向きを知る必要がないのです。

3. 「アーキテクチャの変化」（秘伝のソース）

これが機能するためには、AIサーバーの構造を異なって作る必要があります。標準的なAIモデルは硬直したロボットのようなもので、視点が傾くと混乱してしまいます。
著者らは、AIの「脳」（Transformerアーキテクチャ）を以下のように変更しました。

「正規化（Normalization）」の変更： 複雑な定規を単純なスカラー定規に置き換えるなど、数学的な一部を微調整しました。これにより、AIはデータの方向を気にしなくなります。
重みの回転： 入力を回転させたのと同様に、サーバー内部の「ルール」（重み）も、数学的に回転させて合わせます。

結果： サーバーは「回転した世界」で計算を行います。サーバーは、あなたのデータを元の形式で見ることは決してありません。見えるのは、回転させたバージョンだけです。

4. サーバーは不正ができるか？（攻撃手法）

論文では、ずる賢いサーバーが秘密の回転を見破り、データを「解きほぐす（un-spool）」ことができるかどうかをテストしています。

旧来の攻撃（最近傍探索/Nearest Neighbor）： 以前の手法では、サーバーは単に形を照合していました。しかし今では、形が回転しているため、これは不可能です。
新しい攻撃（重みの整合性/Weight Alignment）： サーバーは、受け取った「ルール（重み）」を見ることで、回転の仕方を推測しようとします。これは、箱に描かれた絵を見ることで、パズルの向きがどう回転しているかを推測するようなものです。
結果： 論文によれば、モデルをあなたのプライベートなデータで学習（ファインチューニング）させた場合、サーバーが回転を推測できる能力は、非常に高い精度（単語の35%以上を復元）から、ほぼランダムなレベル（1.3%のみ復元）へと低下します。

5. トレードオフ

これにより、AIはバカになってしまうのでしょうか？

ごくわずかです。 論文ではGPT-2やLlamaといったモデルでテストが行われました。変更後、AIのパフォーマンス（パープレキシティ、つまりどれだけ混乱しているかの指標）の低下は、ごくわずか（0.4%から2%未満）でした。
ノイズなし： 他のプライバシー保護手法とは異なり、この手法はデータに「静的なノイズ」を加えることはありません（他の手法ではAIが風邪を引いたような話し方になってしまいます）。この手法はデータをクリーンに保ったまま、ただ回転させるだけです。

まとめ

CONJFORMERは、生のデータを見せることなく、リモートのAIにプライベートなタスクを完了させるための方法です。これは以下の手順で行われます。

秘密の鍵を用いて、データを事前に回転させる。
回転したデータの上でも完璧に動作するようにAIを作り変える（リフィット）。
サーバーが辞書を使って単語を検索することを阻止し、一度モデルを特定のデータで学習させれば、解読困難な高度な数学的パズルへと変貌させる。

これは、重い暗号化ではなく、対称性（数学は方向に関わらず同じように機能するという概念）に依存した、実用的な防御策です。

技術要約：対称性からのプライバシー（CONJFORMER）

問題提起

大規模言語モデル（LLM）をクラウドベースのサービスとして展開するには、ユーザーデータをサードパーティプロバイダーに送信する必要があり、これが重大なプライバシーリスクを生じさせる。分割推論（Split Inference: SI）は、埋め込み層（embedding layer）をローカルに保持し、中間的な隠れ表現のみを転送することでこのリスクを軽減するが、依然として最近傍（nearest-neighbor: NN）埋め込み反転に対して脆弱である。標準的なSIの設定では、埋め込みテーブルが公開されているため、攻撃者はサーバーが観測した隠れ状態を公開テーブルとコサイン類似度で照合することで、入力トークンを復元できてしまう。この攻撃は、モデルのファインチューニング後であっても非常に効果的である。差分プライバシー（DP）によるノイズ注入や、暗号技術（準同型暗号、秘密計算）といった既存のプライバシー保護手法は、モデル品質の大幅な低下、あるいは過大な計算オーバーヘッドを招くため、自己回帰的なLLMの推論においては実用的ではない。

手法：CONJFORMER

本論文は、アーキテクチャレベルで $O(d)$ -等変性（次元 $d$ の直交群に対する等変性）を強制するフレームワークであるCONJFORMERを提案する。これにより、クライアントは秘密の直交行列を用いて埋め込みを難読化できる一方で、サーバーは回転されていない隠れ状態を一度も観測することなく、正しい推論を実行できる。

コアメカニズム

直交難読化（Orthogonal Obfuscation）: クライアントは、転送前に、入力埋め込みに秘密の直交行列 $U \in O(d)$ を乗算する。
重みの共役化（Weight Conjugation）: この回転の下でモデルの機能を維持するため、クライアントはトランスフォーマー内のすべての線形重みに対して**両側線形共役（two-sided linear conjugation）**を適用する。線形層が $W$ である場合、サーバーは $\hat{W} = O W U^\top$ を受け取る（ここで $O$ はブロック固有の直交行列である）。
アーキテクチャの修正: $O(d)$ $O (d)$ -等変性を正確に実現するために、著者らはトランスフォーマー・アーキテクチャに最小限の変更を加えている。
- スカラーRMSNorm: 標準的な正規化層（学習可能なベクトルを持つLayerNormやRMSNorm）は座標依存的であり、等変性を損なう。CONJFORMERはこれらをスカラーゲインを用いたRMSNormに置き換える。これにより、正規化操作が直交変換と可換になる。
- ブロックごとの共役化: すべての線形射影（Query, Key, Value, Output、およびFFNの重み）が共役化される。サーバーは、回転された基底において推論の全工程を実行する。

理論的保証

本フレームワークは、ブロックごとの機能的等価性を保証する：
$\hat{F}_b(X U^\top) = F_b(X) U^\top$
ここで、 $F_b$ は元のトランスフォーマーブロック、 $\hat{F}_b$ は共役されたブロックである。その結果、サーバーは元のモデルと全く同じロジックを計算するが、完全に回転された表現上で動作する。サーバーは回転されていない隠れ状態を一度も観測しないため、公開された埋め込みテーブルに対する直接的なNN反転は不可能となる。

主な貢献

アーキテクチャ: 軽量な修正（スカラーRMSNorm）と重みの共役化を通じて、任意の埋め込み空間の直交変換と互換性のある、正確に $O(d)$ -等変なトランスフォーマー変種を開発した。
フレームワーク: 秘密の難読化の下で機能を維持するためにブロックごとの直交共役を適用するCONJFORMERフレームワークを提案し、直接的な最近傍埋め込み反転を効果的に排除した。
攻撃分析: 難読化によって必要となった新たな攻撃ベクトルを特定し、分析した。直接的なマッチングが排除されたため、攻撃者は隠れた直交変換を復元するために**重み整合攻撃（weight alignment attacks）**に頼らざるを得ない。本論文では以下を導入し評価している：
- 両側ALS–Procrustes整合: 共役されたファインチューニング済みの重みを公開された事前学習済み重みに整合させることで、 $U$ と $O$ を推定する反復的手法。
- グラム行列に基づく重み整合（Gram-based Weight Alignment）: ブロック固有の回転の下でのグラム行列の不変性を利用して、ブロックを横断して情報を集約する手法。これはProcrustesよりも強力な攻撃となる。
実証的検証: PubMedデータセットでファインチューニングされたGPT-2 (Small, Medium, Large) および Llama 3.2 1B モデルを用いた広範な実験。

実験結果

著者らは、PubMedの抄録でファインチューニングされたGPT-2の各バリアントおよびLlama 3.2 1Bを用いてCONJFORMERを評価した。

プライバシーの有効性:
- オリジナルモデル: 最近傍埋め込み反転は、ファインチューニング後であっても高い精度（Top-10トークン復元率が35%以上）を達成する。
- CONJFORMER: 直交難読化により、直接的なコサインNN反転が排除される。最も強力な残存攻撃（グラム行列による重み整合）を用いても、ファインチューニング後はランダムに近い性能（Top-10トークン復元率は最大でも1.3%）まで低下する。
モデル性能:
- パープレキシティ: 本フレームワークによる性能コストは極めて小さい。ファインチューニングされたCONJFORMERモデルのパープレキシティの上昇は、ベースラインモデルと比較して、Llama 3.2 1Bではわずか0.4%、GPT-2 Smallでは約2%であった。
- レトロフィッティング（再適合）: 事前学習済みモデルを、正規化層の置換と短期間のファインチューニングを行うことで、等変アーキテクチャへと「レトロフィット」でき、元のパープレキシティを2,000イテレーション以内に回復できる。

意義と主張

本論文は、CONJFORMERが、品質を低下させるノイズ注入や、計算負荷の高い暗号技術に依存することなく、プライバシー保護を実現するLLM推論のための実用的な防御策を提供すると主張している。

敵対的問題の転換: 主要な意義は、この手法が攻撃の性質を根本的に変える点にある。攻撃者の問題を、単純な「ルックアップ」問題（ベクトルを公開テーブルと照合すること）から、複雑な「基底復元」問題（隠れた直交変換を重み整合を通じて解くこと）へと移行させている。
アーキテクチャの対称性: 本研究は、アーキテクチャレベルで対称性を強制することが、埋め込み反転に対する堅牢なプライバシー保証を提供できることを示している。
限界: 著者らは、CONJFORMERは暗号学的または差分プライバシー的なメカニズムではないことを明示している。これは、クライアントの直交キーの秘匿性と、ファインチューニングされた埋め込みテーブルのプライバシーに依存している。直交不変量（例：ノルム、ペアワイズ距離）を悪用する攻撃や、攻撃者が回転されていない入力を観測できる既知平文シナリオに対しては保護されない。セキュリティは、情報理論的な秘匿性ではなく、重み整合問題の計算困難性に依存している。