Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

技術要約：隠れ状態からの入力テキストの復元

問題提起
本研究は、デコーダーのみの言語モデル（具体的にはGPT-2 small）における「隠れ状態の逆転（hidden-state inversion）」問題を調査するものである。核心となる課題は、フォワードパスによって生成された最終層の隠れ状態行列 $H(x)$ のみから、元の入力トークン列 $x$ をいかにして復元するかである。近年の理論的研究（SIPIT [1]）は、トークンから隠れ状態への写像が単射であること、すなわち、隠れ状態には入力を再構成するために必要なすべての情報が理論上含まれていることを確立したが、本論文は、この逆転がいかに効率的に実行可能か、またどのような条件下で成功するかという実用的な問いに取り組む。本研究は、攻撃者がモデルの重み、トークナイザー、および埋め込み行列へのアクセス権を持つことを前提としたホワイトボックス脅威モデルの下で行われる。ただし、元のテキストに関する知識は、隠れ状態テンソルの形状のみに限定される。

手法
著者らは、この問題を離散的なワンショットの再構成としてではなく、連続的な埋め込み空間の最適化として扱う勾配ベースの逆転アルゴリズムを提案している。この手法は、以下の3つの異なるレイヤーを通じて、位置ごとに動作する。

1. 外側ループ（トークン位置）： シーケンス内の各位置 $t$ を反復処理する。
2. 内側ループ（連続最適化）： 現在の位置において、連続的なプロキシベクトル $e_t$（初期値はランダムなトークン埋め込み）をAdamオプティマイザを用いて最適化する。目的関数は、モデルが予測する隠れ状態（以前に確定したトークンに条件付けられたもの）と、漏洩したターゲットの隠れ状態との間の平均二乗誤差（MSE）を最小化することである。極めて重要な点は、このループの間、プロキシは連続空間内に留まり続けることであり、最適化の過程でハードなトークン投影は行われない。
3. 離散的検証と確定： 内側ループが収束するか、あるいはステップ予算に達した時点で、最適化されたプロキシに最も近い上位 $C$ 個の離滑なトークン埋め込みを抽出する。これらの候補は、単一のフォワードパスを通じて検証される。ターゲットの隠れ状態を許容誤差内で再現する最初の候補が「確定（commit）」される。もしどの候補もパスしない場合は、最も近い近傍がフォールバックとして確定される。

主要な設計原則は、連続的な探索と離散的な決定の厳格な分離である。内側ループの終了時にのみトークンを確定させることで、手法はクリーンな「離散損失（discrete loss）」($L^{disc}_t$) を生成する。これは、確定されたトークンがフォワードされた際のMSEとして定義される。この指標は、再構成の忠実度の直接的な尺度として機能する。

主な貢献と結果

• 連続的 vs 離散的定式化： 本論文は、最適化を連続空間に留めることで、真のトークンのランク軌跡や位置ごとの損失曲線を含む、豊かな内部信号が露出されることを示している。これは、高速ではあるが連続的なビューと離散的なビューを崩壊させ、最適化プロセスを不透明にする「ステップごとのハード投影」手法（SIPITの参照文献など）とは対照的である。
• 自己診断的失敗検出： 著者らは、累積離散損失が強力な、グラウンドトゥルース（正解）に依存しない失敗信号として機能することを特定した。完全な再構成が行われる場合、累積損失はマシン精度（$\sim 10^{-11}$）付近となるが、再構成エラーが発生すると、累積損失は鋭いバイナリ的なスパイク（約10桁の差）を示す。これにより、攻撃者や監査者は、元のテキストにアクセスすることなく、オンラインで失敗を検出できる。
• 精度と効率性：
  • C4データセットの10トークン プロンプトにおいて、完全一致率（EM）は、66.9%（ベースライン構成：$K=1000$ ステップ、$C=2000$ 候補）から、97.5%（高精度構成：$K=2000$、$C=10,000$）へと向上し、平均類似度は0.994であった。
  • 結果は、ほとんどのエラーが「ニアミス」（正しいトークンが高順位にランクされているが選択されていない）であり、真の曖昧さではないことを示している。これは、候補ウィンドウ $C$ を広げることで、これらの失敗の大部分が回復されることからも裏付けられる。
  • 実行時間の分析によれば、トレードオフが存在する。提案された連続的手法は、積極的な早期終了とステップごとの投影を行うSIPITの参照手法（0.65秒/トークン）と比較して、低速である（ベースライン：17.8秒/トークン）。
• 失敗分析と非対称性： 本研究は、失敗モードにおける明確なカテゴリ的非対称性を明らかにしている。再構成の失敗の大部分は、スペースを接頭辞として持つ高頻度の機能語（例：「 the」、「 ,」、「 and」）で発生している。これらのトークンは、埋め込み行列内の高密度でほぼ共線的な領域に存在するため、$\ell_1$ 距離による識別が困難である。対照的に、内容を持つトークン（固有名詞、専門用語）はほぼ完璧に復元される。これは、機密性の高い低頻度のコンテンツの方が、一般的な自然言語よりも漏洩しやすい可能性を示唆している。

意義と主張
本論文は、デコーダーのみのモデルの最終層の隠れ状態は、元のテキストと同等の感度を持っていると主張している。これらの知見は、分散型アーキテクチャ（例：分割推論、フェデレーテッドラーニング、または埋め込みAPI）において、隠れ状態ベクトルが不透明なプライバシー境界であるという仮定に異を唱えるものである。

著者らは、自身の連続的な定式化の意義は、それが最も速い手法であることではなく、逆転プロセスを「観測可能」にすることにあると主張している。連続的な探索と離散的な確定を分離することで、手法はランク軌跡や離散損失といった診断ツールを提供し、再構成エラーの検出と埋め込み空間の幾何学的な深い理解を可能にする。本研究は、最終層の活性化が転送または保存されるシステムにおいて、プライバシーの議論は崩壊することを結論付けている。なぜなら、十分に強力なアルゴリズムを用いれば、高い確率で入力を復元できるからである。著者らは、これらの隠れ状態を生のテキストと同じ感度で扱うべきであると推奨し、将来の防御策（例：差分プライバシー）は、復元可能性の低下を定量化するために、この離散損失診断を用いて評価されるべきであると示唆している。