💬 NLP

What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference

本論文は、ActInv という手法を導入することで、一般的な防御策を回避しつつ中間活性化からクライアント入力を再構築し、大規模言語モデルにおける分割推論の重要なプライバシー脆弱性を明らかにするとともに、これらの漏洩リスクを体系的に分析・軽減するための指標として摂動増幅係数 (PAF) と防御策として PriPert を提案する。

原著者： Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mingyuan Fan, Yu Liu, Fuyi Wang, Cen Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「What Does the Server See?」という論文を、平易な言葉と創造的な比喩を用いて解説します。

全体像：「分割」のジレンマ

非常に賢く巨大なロボット脳（大規模言語モデル、LLM）が、強力なクラウドサーバーに存在していると想像してください。あなたには、その巨大な脳を単独で動かすことのできない、小さく弱いスマートフォンがあります。

これを解決するために、分割推論（Split Inference）を使用します。これはリレーのようだと考えてください。

あなた（クライアント）：あなたはレースの最初の数メートルを走ります。秘密の質問（例：「私の膝の調子が悪いのはなぜ？」）を、ある程度処理して「バトン」（中間データ）の準備をします。
サーバー：あなたはバトンを巨大なロボットに渡します。ロボットは残りの距離を走り、答えを完成させてあなたに返します。

このアイデアは、生の質問ではなく「バトン」のみを送ることで、秘密を安全に保とうとするものです。しかし、この論文は問いかけます：バトンは本当に安全なのか、それともサーバーはそれを見るだけであなたの心を読み取れるのか？

攻撃：「ActInv」（心読み機）

研究者たちは、「バトン」は安全ではないことを発見しました。彼らは、ハイテク探偵のように機能するActInvというツールを作成しました。

比喩：あなたがサーバーに、あなたの顔のぼやけた、かき混ぜられた写真（中間データ）を送ったと想像してください。普通の人は「誰だか分からない」と思うかもしれません。しかし、ActInv は、空白のキャンバスから顔を描き始める超高度な AI のようなものです。それは、あなたが送ったかき混ぜられた写真と完全に一致するまで、描き続けるのです。一致した瞬間、それはあなたの元の顔（秘密の質問）がどうだったかを正確に知ることができます。
結果：この論文は、ActInv が恐ろしく優れていることを示しています。あなたがノイズを加えたりデータの部分をぼかしたりして隠そうとしても、元の質問を98% 以上の精度で再構築できます。これは雪嵐の中にメッセージを隠そうとしても、探偵が雪を透かして見る熱画像カメラを持っているようなものです。

なぜこれが起こるのか？（「弱いリンク」）

研究者たちは、なぜサーバーがそれほど簡単に心を読み取れるのかを知りたがりました。彼らはPAF（摂動増幅係数）と呼ばれる指標を発明しました。

比喩：AI モデルを、多くの部屋（層）がある長いトンネルだと考えてください。いくつかの部屋は厚い防音コンクリートでできています（高 PAF）。そこでささやいても、音は消え、向こう側の人は聞こえません。他の部屋は薄いガラスや増幅器でできています（低 PAF）。そこでささやくと、音が向こう側に届く頃には、より大きく明確になります。
発見：彼らは、「ガラスの部屋」（AI が意思決定を行う活性化層）が驚くほど弱いことを発見しました。それらは情報を撹乱するのではなく、実際には探偵が元の入力を再構築するのを助けています。これらの層は AI を「賢く」するはずですが、誤って「漏れやすい」ものにしてしまっています。

失敗した防御策

この論文以前、人々は「ノイズ」（ラジオの雑音のようなもの）を追加したり、「スパース化」（いくつかのデータポイントを隠すこと）を行えば、探偵を止められると考えていました。

現実：この論文は、これらの防御策がハリケーンを傘で止めようとするようなものだと示しています。探偵（ActInv）は非常に賢く、ノイズをフィルタリングして元のメッセージをまだ見ることができます。これらの方法でそれを止める唯一の方法は、AI が完全に機能しなくなるほど多くのノイズを追加することですが、それでは全員にとってサービスが台無しになります。

解決策：「PriPert」（賢い盾）

単純なノイズでは機能しないため、研究者たちはPriPertと呼ばれる新しい防御策を設計しました。

比喩：探偵の目にランダムに砂を投げかける（ランダムなノイズ）のではなく、PriPert は、どこを打つべきかを知っている格闘家のようです。それはデータの中で最も敏感な方向を計算します。
- データを風船だと想像してください。ランダムに突けば、ただ揺れるかもしれません。しかし、最も壊れやすい場所を正確に突けば、風船は割れます。
- PriPert はデータ内のその「壊れやすい場所」を見つけ、小さく標的を絞った押し付けを加えます。これにより、探偵の再構築が軌道から外れ、間違った質問を推測させる一方で、風船（AI の答え）は十分に intact なまま、有用性を保ちます。
結果：PriPert は古い方法よりもはるかに優れています。それは探偵をうまく混乱させ、元の質問を推測することを不可能にしながら、AI が役立つ答えを提供し続けることを可能にします。

発見のまとめ

リスク：分割推論（サーバーに部分的なデータを送ること）は、現在非常に危険です。好奇心旺盛なサーバーは、あなたの秘密の質問を簡単に再構築できます。
原因：AI モデルの特定の部分が増幅器のように機能し、入力を逆工学しやすくしています。
対策：単純なノイズでは機能しません。モデルの弱点を標的にし、再構築を破壊しながら AI の質問応答能力を壊さない、賢く標的を絞ったノイズ（PriPert）が必要です。

要約すると：今日、分割推論を使用している場合、あなたの秘密はサーバーに視認されている可能性が高いです。しかし、システムを壊すことなくそれらを隠す新しい、より賢い方法があります。

技術的概要：サーバーは何を見るのか？分割推論における大規模言語モデルからのプライバシー漏洩の理解

1. 問題定義

リソース制約のあるデバイスへの大規模言語モデル（LLM）の展開は、計算リソースとメモリ要件によって妨げられています。分割推論は、モデルをクライアント（初期層を保持）とサーバー（残りを保持）に分割する解決策として登場しました。クライアントは生入力ではなく中間アクティベーションのみを送信するため、理論的にはプライバシーが保護されます。しかし、著者らは、中間アクティベーションが本質的にプライバシーを保護するという仮定が証明されていないと主張します。本論文は、「誠実だが好奇な」サーバーが、モデルアーキテクチャへの完全なホワイトボックスアクセスを有している場合、これらの中間アクティベーションからクライアントの機密入力プロンプトを再構築できるかどうかを調査します。

2. 手法

2.1 攻撃設計：ActInv

プライバシー漏洩を定量化するために、著者らはActInvを提案しました。これは、傍受された中間アクティベーション（ $h_{Q1}$ ）からクライアントの生入力シーケンスを再構築する逆攻撃です。

メカニズム: 逐次トークン復元法とは異なり、ActInv は入力埋め込み空間における連続最適化問題として再構築を定式化します。ランダムな連続埋め込みベクトル $\hat{h}_0$ を初期化し、クライアント側サブモデルの順伝播（ $F_C(\hat{h}_0)$ ）と観測されたアクティベーション（ $h_{Q1}$ ）との距離を最小化するために、勾配ベースの最適化（例：Adam）を使用します。
離散化: 連続埋め込みが最適化された後、それらはモデルの語彙埋め込み行列内の最近傍探索を通じて、離散トークンへ投影されます。
効率性: トークンごとの最適化ではなく、完全なシーケンスを同時に最適化することにより、ActInv は $O(Tn^2)$ の時間計算量を実現し、SipIt（ $O(Tn^3)$ ）などの自己回帰的な手法に比べて計算上の大きな利点を提供します。

2.2 脆弱性分析：摂動増幅係数（PAF）

なぜ特定の層が脆弱なのかを理解するために、著者らはPAF（摂動増幅係数）を導入しました。これは、層の再構築に対する本質的な抵抗性を定量化する指標です。

定義: PAF は、層の出力における小さな摂動（ $\delta$ ）が、推定された入力における不確実性（ $\Delta$ ）にどの程度変換されるかを測定します。これは層のヤコビ行列から導出されます。
洞察: 高い PAF は、小さな出力摂動が入力の大きな偏差を引き起こす（再構築を困難にする）ことを示し、低い PAF はその層が「安定しており」容易に逆転可能であることを示します。
知見: 分析により、層間で脆弱性が均一でないことが明らかになりました。具体的には、非線形活性化層（例：Sigmoid/SwiGLU）および特定の射影層は、しばしば低い PAF を示し、単純なノイズ防御が顕著な再構築誤差を引き起こさない「弱いリンク」となります。

2.3 防御設計：PriPert

PAF 分析に基づき、著者らは中間アクティベーションに敵対的に較正された摂動を注入する防御メカニズムPriPertを提案しました。

戦略: 等方性（ランダム）ノイズを追加するのではなく、PriPert は再構築誤差を最大化する方向（層の最も敏感な方向に整合する）に摂動を注入しつつ、サーバー側出力の劣化（有用性）を最小化する制約付き最適化問題を解きます。
実装: この防御は、摂動によって引き起こされる入力偏差を推定するために経路積分近似を利用します。著者らは、 $L_2$ 制約付き解よりも $L_0$ 制約付き解（スパースな摂動）が優れていることを発見しました。これは、敵対者が悪用できる符号情報を保持しないためです。

3. 主要な結果

3.1 攻撃の有効性（ActInv）

高忠実度再構築: ActInv は、あらゆる防御なしで、さまざまなモデル（Qwen3、Falcon3）およびデータセット（AlpacaEval、iCliniq）において、精度と再現率が**98%**を超えています。
単純な防御への耐性: ガウスノイズ注入や活性化スパース化などの一般的な防御は、ほとんど効果がありません。高いスパース率（例：0.7）や中程度のノイズであっても、ActInv は高い再構築精度を維持します。モデル有用性を破壊する極端なノイズレベルのみが、攻撃を著しく妨げます。
効率性: ActInv は計算効率が良く、単一の GPU 上で 100 トークンのクエリを約 20 秒で再構築し、最先端の逐次攻撃よりも大幅に高速です。

3.2 脆弱性の洞察（PAF）

層ごとの変動: PAF 値は層やモデルによって大きく異なります。例えば、活性化層は一貫して低い PAF を示し、それらが漏洩の主要な源であることを確認しています。
方向性感受性: 「Max-PAF」（整合した摂動に対する感受性）は、しばしば「期待 PAF」（ランダムノイズに対する感受性）よりも著しく高く、ランダムノイズが最適ではない防御戦略であることを実証しています。

3.3 防御のパフォーマンス（PriPert）

プライバシーの向上: PriPert は再構築の品質を著しく低下させます。スパース率 0.7 において、ActInv の精度は 30% 未満に低下し（標準的なスパース化では 60% 超）、ROUGE-L スコアも急落し、意味内容が効果的に隠蔽されていることを示しています。
有用性の維持: 高い摂動レベルでモデル有用性を崩壊させる単純な防御とは異なり、PriPert は中程度のスパースレベル（例：0.5）で許容可能な有用性を維持します。著者らは、「正確性 & 正しさ」が「明瞭さ & 文体」よりも摂動に対して敏感であると指摘していますが、全体的なスコアは使用可能です。
堅牢性: PriPert は、他の最先端の逆攻撃（A1、TBS、PIA）に対しても有効であり、それらの再構築スコアを大幅に低下させます。

4. 意義と貢献

本論文は以下の貢献を主張しています：

脆弱性の暴露: LLM の分割推論が本質的にプライバシーを保証しないことを示す、包括的な調査を初めて提供しました。著者らは、誠実だが好奇なサーバーが、比較的単純で効率的な最適化ベースの攻撃（ActInv）を使用して、高忠実度でユーザー入力を再構築できることを示しました。
理論的指標（PAF）: 異なるモデル層の逆転に対する感受性を体系的に定量化・説明する PAF を導入し、非線形活性化層が驚くほど脆弱であることを明らかにしました。
効果的な防御（PriPert）: 層の方向性感受性を活用してプライバシー漏洩防止を最大化しつつ、有用性の損失を最小化する防御である PriPert を提案し、検証しました。その結果、敵対的に較正された摂動は、単純なランダムノイズやスパース化よりも優れていることが示唆されました。
実用的含意: この研究は、分割推論における重要な緊張関係を浮き彫りにしています。標準的な防御では不十分であり、医療などの機密分野で実用化するためには、LLM の有用性を破壊しないよう摂動を慎重に較正した、堅牢で非単純なプライバシーメカニズムが必要です。

著者らは、分割推論が計算上の利点を提供する一方で、医療のような機密分野で実用可能となるためには、堅牢で非単純なプライバシーメカニズムが必要であると結論付けています。今後の研究として、プライバシー意識のある圧縮や、プライバシー感受性のある活性化関数の設計が提案されています。