技術要約：トークン・ランキングの偽造不可能性

問題提起

言語モデル（LM）のセキュリティにおける最近の進展では、テキストを生成した特定のモデルを識別するための「署名」として、モデルの出力を利用する手法が探索されている。従来の幾何学的署名は、トークンの確率（ロジット）へのアクセスに依存していた。しかし、この依存性は重大なセキュリティ上の脆弱性をもたらす。ロジットへのアクセスは、モデルの最終層のパラメータ（アンエンベディング行列）の窃取を可能にするからである。一度これらのパラメータが盗まれると、攻撃者は元のモデルの幾何学的制約を複製する新しいモデルを構築することで、署名を偽造できてしまう。

APIプロバイダーが、パラメータの窃取やプロンプト・インバージョンを防ぐためにトークン確率へのアクセスを制限するケースが増える中で、以下の要件を満たす署名メカニatingが必要となっている：

1. トークン確率へのアクセスを必要としないこと。
2. 計算量的に偽造不可能であること（すなわち、元のモデルと同じ署名を持つ異なるモデルを構築することが不可能であること）。
3. 署名が公開されてもモデルのパラメータを漏洩させないこと。

手法

ランキング署名

著者らは、確率ではなくトークンのランキングに基づく新しい署名を提案している。トークン・ランキングとは、確率によるトークンの順序（例：$r = \text{arg sort}(\ell)$）のことであり、確率値そのものは開示しない。

• 実現可能なランキング： 「ソフトマックス・ボトルネック」（埋め込み次元 $d$ が語彙サイズ $v$ よりもはるかに小さいという、アンエンベディング層の低ランク性）により、モデルは $v!$ 通りの可能なトークン・ランキングのうち、極めて限定された部分集合しか生成できない。
• 一意性： 特定のアンエンベディング行列 $W$ に対応する実現可能なランキングの集合は、そのモデルに固有である。著者らはこの疎性を理論的に特徴付け、実現可能なランキングの割合は $v$ が増加するにつれて超指数関数的に減少することを示している。
• Top-$k$ 署名： 著者らは、切り捨てられたランキング（上位 $k$ 個のトークン）がこの一意性を保持しているかどうかを調査している。彼らは、モデルを区別するために必要な最小限の $k$ を経験的に決定し、上位 $k$ のランキングが特定のモデルに対して一意となる明確な転移点が存在することを見出した。

偽造不可能性の証明

本論文は、署名の偽造に関する計算量的困難さに取り組んでいる。偽造とは、ターゲットとなるモデルと全く同じ実現可能なランキングの集合を生成する、新しいアンエンベディング行列 $W'$ を見つけ出すことと定義される。

• 複雑性クラス： 著者らは、与えられたランキングの集合に適合するランク $d$ の行列を見つけることが、$\exists\mathbb{R}$-困難（実数の存在理論における困難性）であることを証明している。
• 還元： 彼らは、「単純な許容シーケンス」の実現可能性を判定する問題（既知の $\exists\mathbb{R}$-完全問題）を、署名偽造問題へと還元している。
• 含意： $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$ であるため、すべての実現可能なランキングへのアクセスがあったとしても、署名の偽造は計算量的に実行不可能である。これは、従来の幾何学的署名（例：楕円ベースの署名）が多項式時間で偽造可能であったこととは対照的である。

ランキングによるパラメータ窃取

著者らは、ランキングの公開がモデルのパラメータを漏洩させるかどうかについても調査している。

• 攻撃メカニック： フル・トークン・ランキングを用いることで、アンエンベディング行列 $W$ の列空間を漸近的に復元できることを示している。これは、隠れ状態がガウス分布に従い、トークンのロジットが等しい周辺分散を持つという仮定に基づいている。
• 手法： ランキングのスペアマン相関を計算し、特異値分解（SVD）を適用することで、攻撃者は $W$ の列空間を近似することができる。
• 限界： この攻撃によって近似的な $W$ は復元されるものの、その近似はあまりに粗いため、署名の偽造には至らない。復元された行列の実現可能なランキングは、真のモデルのランキングとはほとんどすべてが互いに素（disjoint）である。

主な結果

1. ランキングの一意性： PythiaおよびOLMoモデルを用いた経験的テストにより、フル・ランキングは特定のモデルに対して一一的なものであることが示された。わずか1ステップの学習や、わずかな重みの摂動であっても、以前は実現可能であったランキングが実現不可能になる。
2. 偽造不可能性： 理論的証明により、ランキング署名の偽造は $\exists\mathbb{R}$-困難であることが確立された。勾配降下法を用いて一連のランキングに適合する新しい行列を当てはめる経験的な試みでは、48〜50個のランキングを用いても署名を再現することに失敗した。
3. パラメータ漏洩と署名のセキュリティ：
   • フル・ランキングは、アンエンベディング行列の列空間の近似的な復元を可能にする。
   • しかし、この近似は署名を偽造するには不十分である。
   • 「スイートスポット」： 著者らは、$k$（例：Pythia 70Mの場合は $k \approx 370$）の範囲を特定している。この範囲において：
     • 上位 $k$ のランキングはモデルに対して一意的であり（署名を保持）、
     • かつ、情報はアンエンベディング行列の再構成を行うには粗すぎる（パラメータ窃取を防ぐ）。
   • 具体的には、$k = d$（隠れ次元）に設定することは、モデルを区別するのに十分でありながら、復元されたパラメータを、異なるデータで訓練されたベースラインモデルよりもターゲットから遠い状態に保つのにしばしば十分である。

意義と主張

本論文は、トークン確率を必要としない、多項式時間で偽造不可能な最初の言語モデル署名を導入したと主張している。

• セキュリティの向上： パラメータを漏洩させるロジットに依存し、かつ多項式時間で偽造可能な従来の幾何学的署名とは異なり、ランキング署名はランキングのみを必要とし、計算量的に偽造が困難であり、プロバイダーがモデルの重みを漏洩させることなく署名を提示することを可能にする。
• フォレンジックへの応用： この署名はモデル・フォレンジックを可能にする。もしあるリポジトリが重みの流出を主張している場合、その重みが流出したものかどうかを、モデルのAPIからのトークン・ランキングが流出した重みにとって実現可能かどうかを確認することで検証できる。もしランキングが実現不可能であれば、その重みは偽物であり、実現可能であれば、リーカーは真の重座を有している可能性が高い（署名の一意性と偽造不可能性による）。
• 実用的なトレードオフ： 著者らは、APIプロバイダーが、一意性を確保するために十分に大きく、かつ再構成を防ぐために十分に小さい「安全な」範囲内で $k$ を選択することにより、検証可能な署名を提供しつつ、パラメータ窃取のリスクを軽減しながら、安全にトップ-$k$ ランキングを公開できると結論付けている。

著者らは、$\exists\mathbb{R}$-困難性が強力な理論的障壁であるものの、これらの問題の平均的なケースの困難さは完全には解明されておらず、本署名が伝統的な意味での暗号学的な安全性を持つことはまだ証明されていないとして、セキュリティに関する主張については慎重な姿勢を保っている。