💬 NLP

Reading Between the Lines: Towards Reliable Black-box LLM Fingerprinting via Zeroth-order Gradient Estimation

本論文は、意味を維持した単語の置換によるゼロ次勾配推定を活用することで、既存の出力ベースの手法よりも情報量が多く堅牢なモデルシグネチャを抽出する、新しいブラックボックスLLMフィンガープリンティング手法であるZeroPrintを提案する。

原著者： Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

公開日 2026-01-22

📖 1 分で読めます☕ さくっと読める

原著者： Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：デジタル巨人の盗用

大規模言語モデル（LLM）を、巨大で特注のカスタムメイド図書館だと想像してみてください。これを作るには、数百万ドルもの費用と数年の歳月がかかります。非常に価値が高いため、悪意のある者がこれらを盗もうとするかもしれません。彼らは図書館をコピーし、元の建設者に支払いをすることなく、自分のものとして販売しようとする可能性があります。

これを防ぐためには、「この図書館は私のものです」と証明する方法が必要です。これが**フィンガープリント（指紋認証）**と呼ばれるものです。

旧来の方法 vs 新しいアイデア

図書館がコピー品かどうかを確認するには、2つの方法があります。

「ホワイトボックス」方式（内部を知る者）： 図書館の中に入り、設計図や本の正確な配置、ページに使われている特定のインクまで調べることができます。所有権を証明するのは簡単ですが、現実の世界では、図書館のオーナーが部外者を中に入れることは滅多にありません。
「ブラックボックス」方式（外部の者）： 外側から図書館に質問を投げかけ、返ってきた答えを読み取るだけです。内部を見ることはできません。
- 問題点： 既存のブラックボックス方式は、声だけでその人物を特定しようとするようなものです。もし相手がささやいたり、声のトーンを変えたりすると、誰であるかの特定が難しくなります。モデルが話す際に通される複雑なフィルターのせいで、「声」（モデルの出力）からは「脳」（モデルの内部パラメータ）に関する詳細な情報が失われてしまうのです。

「アハ体験」：答えではなく、「変化」に耳を傾ける

この論文の著者たちは、賢い問いを立てました。「モデルの『声』よりも、モデルの『脳』についてより多くを語ってくれる、外部から観察可能な要素は他にないだろうか？」

彼らは**フィッシャー情報量理論（Fisher Information Theory）**という数学的概念を用いて、驚くべき事実を証明しました。

出力（答え）： モデルに「2+2は？」と聞き、「4」という答えが返ってきたとします。この答えは非常に一般的です。これは、モデルが「どのように考えているか」については、ほとんど何も教えてくれません。
勾配（反応）： もし「2+2は？」と聞いた後に、質問をわずかに調整して「2+2.001は？」と聞いたとします。そのとき、答えはどのように変化するでしょうか？

例え話： あなたがある特定の種類のゴムバンドを特定しようとしていると想像してください。

静止したバンドを見る（出力）： それは赤色で、長さは5インチだと分かります。多くのゴムバンドがそのように見えます。
와
バンドを引っ張る（勾配）： 少しだけ引っ張ってみます。それは簡単に伸びますか？それとも瞬時に元に戻りますか？それとも硬い感じがしますか？その「引っ張られたことに対する反応の仕方」こそが、その特定のゴムバンド固有の性質なのです。たとえ、静止している状態の見た目が同一であってもです。

この論文は、**モデルがどのように反応するか（勾配）**を観察することは、単に最終的な答えを聞くことよりも、そのモデル独自の「脳」について遥かに多くのことを明らかにすることを、数学的に証明しています。

解決策：ZeroPrint

課題は、「ブラックボックス」のシナリオでは、モデル内部の数学的な計算を実際に見ることができず、これらの反応を計算できないことです。見えるのはテキストだけです。

ZeroPrintは、この問題を回避するための巧妙なトリックです。仕組みは以下の通りです。

「単語の入れ替え」トリック： 文章に微小な数学的ノイズを加えることができない（単語に対して0.001を加えることはできない）ため、ZeroPrintは**意味論的な単語置換（semantic word substitution）**を使用します。
- 例：「鳥は飛べるか？」と聞く代わりに、「鳥は舞えるか？」あるいは「鳥は飛べるか？」と尋ねます。
- これらは、意味を維持したままの微細な変化です。人間にとっては同じ意味ですが、モデルの内部数学にとっては、わずかに異なる入力となります。
「シャドウ（影）」の計算：
- システムは元の質問と、入れ替えた質問の両方をモデルに投げます。
- そして、それぞれの回答を記録します。
- その後、**ゼロ次近似法（Zeroth-order Estimation）**と呼ばれる数学的手法を用います。これは、容疑者の指紋は見えないものの、足跡を踏んだ時の泥の動きを見て、その人の歩行パターンを推測する探偵のようなものです。
- 入力の微細な違い（単語の入れ替え）と、出力の微細な違いを比較することで、ZeroPrintは**ヤコビ行列（Jacobian Matrix）**を構築します。
フィンガープリント： このヤコビ行列こそが、モデル独自の「反応シグネチャ（署名）」です。これは、デジタルDNAテストのようなものであり、「このモデルは、私が所有する元のモデルと全く同じ方法で、単語の入れ替えに対して反応する」ということを証明します。

結果：新たなゴールドスタンダード

著者らは、標準的なベンチマークであるLeaFBenchを用いて、他の手法とZeroPrintを比較テストしました。

パフォーマンス： ZeroPrintは、テストされたブラックボックス手法の中で最高の結果を出しました。単に答えを比較する従来のメソッドよりも、コピー品の特定において大幅に優れていました。
堅牢性（ロバストネス）： たとえ泥棒が、システムプロンプトを変更したり、回答にノイズを加えたりしてモデルを偽装しようとしても、ZeroPrintは元の「反応シグネチャ」を認識することができました。
スピード： 実用的な速度を備えており、モデルのチェックにわずか数分しかかかりません。

まとめ

要約すると、ZeroPrintは、「モデルが何を言うかよりも、モデルがどのように考えを変えるかの方が、よりユニークである」という気づきによって、AIモデルの盗用問題を解決します。言葉の入れ替えによってモデルを外側から「つつき」、その反応を測定することで、ZeroPrintはモデルの秘密のコードを見ることなく、所有権を証明する信頼できるフィンガープリントを作成するのです。

技術要約：行間を読む：ゼロ次勾配推定による信頼性の高いブラックボックスLLMフィンガープリントに向けて

問題提起

大規模言語モデル（LLM）の開発には多大な投資が必要であり、それらは貴重な知的財産となります。しかし、不正なコピーやモデル窃取による著作権侵害のリスクは重大です。LLMフィンガープリントは、モデルの起源を検証するために固有のシグネチャを抽出する技術として台頭していますが、ホワイトボックス手法とブラックボックス手法の間には決定的な性能差が存在します。

ホワイトボックス手法（内部パラメータへのアクセスが可能）は、静的な重みが固有の識別子として機能するため、ほぼ完璧な監査性能を実現します。
ブラックボックス手法（API経由のアクセスのみ）は、モデルの出力を比較することに依存しています。著者らは、LLMアーキテクチャにおける非線形活性化関数（GEL_U、SiLUなど）の広範な使用が、パラメータ情報を漸進的に圧縮し、最終的な出力における重大な情報損失を招くため、これらの手法は効果的ではないと主張しています。

核心となる研究課題は、**「ブラックボックス条件下でアクセス可能であり、かつモデルの出力よりも多くのパラメータ情報を保持している特徴量は存在するのか？」**ということです。

手法：ZeroPrint

提案される解決策であるZeroPrintは、生の出力ではなく、モデルの勾配（具体的にはヤコビ行列）をフィンガープリントとして近似する、新しいブラックボックス・フィンガープリント・フレームワークです。この手法は、フィッシャー情報理論に基づき、ゼロ次勾配推定を通じて実装されています。

1. 理論的基礎

著者らは、モデルの出力（ $Y$ ）と、入力に対する出力の勾配（$D = dY/dX$）の情報量を形式的に分析しています。

非線形性のボトルネック： 標準的なニューラルユニット $Y = f(WX + K) $において、$ Y $を観測するには、パラメータ$ W $を非線形関数$ f$ に通す必要があり、これは情報を不可逆的に圧縮する可能性があります。
勾配の優位性： 勾配 $D = Wf'(WX+K) $を観測することは、パラメータ$ W$ を（微分によってスケールされた状態で）より直接的に観測することを可能にします。
定理1： フィッシャー情報量を用いて、非線形関数の場合、パラメータ $W$ に対する勾配 $D$ のフィッシャー情報は、出力 $Y$ のそれよりも厳密に大きいことを証明しています。これにより、勾配がフィンガープリントとして理論的に優れた特徴量であることが確立されました。

2. ZeroPrint フレームワーク

勾配はブラックボックス設定では直接アクセスできないため、ZeroPrintは離散的なテキストに適応させたゼロ次推定を用いて勾配を近似します。プロセスは3つのステップで構成されます。

ステップ1：クエリセットの構築
- ベースクエリ： システムは安定性のために設計された $n$ 個のベースクエリを選択します。著者らは、オープンエンドなテキストやQAタスクと比較して、コード構造が多様なモデル間で一貫したレスポンスを引き出しやすいため、コード補完タスク（例：「次のコードを完成させてください：[スニペット]」）を利用しています。
- 摂動を加えたクエリ： 各ベースクエリに対して、単語置換を用いて $m$ 個の意味的に類似したバリエーションを生成します。学習済みの単語埋め込みモデル（例：GloVe）を使用して、ベースクエリ内の特定のトークンを置き換える意味的に類似した単語を特定し、意味を保持しつつ入力ベクトルをわずかに変化させた「摂動を加えた」入力を作成します。
ステップ2：フィンガープリント生成（ゼロ次推定）
- ベースクエリとその摂動を加えた対となるクエリが対象のLLMに送信されます。出力の確率性を軽減するため、各クエリは $t$ 回繰り返され、得られたテキストレスポンスは平均化されます。
- 埋め込み： すべての入力と平均化された出力は、文埋め込みモデル（例：all-mpnet-base-v2）を使用して連続ベクトルに変換されます。
- ヤコビアン推定： 摂動を加えた入力とベース入力の差分ベクトル（ $\Delta x$ ）と、それに対応する出力埋め込みの差分ベクトル（ $\Delta y$ ）を計算します。
- 回帰： 不定系を扱うためにリッジ回帰を用いた線形回帰問題（ $\Delta y \approx J \Delta x$ ）を解くことにより、各ベースクエリに対する局所的なヤコビ行列 $J$ が推定されます。最終的なフィンガープリントは、すべてのベースクエリにおけるこれらのヤコビ行列の要素ごとの平均です。
ステップ3：フィンガープリントの比較
- ソースモデルのフィンガープリント（ $J_o$ ）と疑わしいモデルのフィンガープリント（ $J_s$ ）の間の類似性は、ピアソン相関係数を用いて計算されます。高い類似度スコアは、疑わしいモデルがソースの派生モデルであることを示唆します。

主な貢献

理論的洞察： 本論文は、モデルの勾配はモデルの出力よりも多くのパラメータ情報を含んでいることを、フィッシャー情報理論に基づいて形式的に証明し、出力のみの特徴量に依存することに異を唱えました。
ZeroPrint アルゴリズム： 離散的なテキスト領域において、これらの情報豊かな勾配を推定する方法を導入しました。これは、意味を保持する単語置換を通じて連続的な摂動をシミュレートし、ゼロ次最適化の原理を適用することで実現されます。
実証的検証： 149のモデルインスタンスを含むベンチマークであるLeaFBenchを用いた広範な実験により、ZeroPrintが既存のアンターゲット型およびターゲット型のブラックボックス手法（LLMmap、MET、SEF、TRAPなど）を大幅に上回り、最先端（SOTA）の性能を達成したことを示しました。

実験結果

クエリ制限をモデルあたり200回としたLeaFBenchベンチマークでの評価：

性能： ZeroPrintはAUC 0.720およびpAUC 0.683を達成し、既存のブラックボックス・ベースライン（LLMmap、MET、SEF、TRAP）を凌駕しました。
ホワイトボックスとの比較： ZeroPrintはすべてのブラックボックス手法を上回りましたが、モデル内部に直接アクセスできるホワイトボックス手法であるREEF（AUC 0.896）には及びませんでした。
アブレーション研究：
- 摂動を加えたクエリ ( $m$ )： 摂動を加えたクエリの数が増えるにつれて性能が大幅に向上し、 $m=14$ でピークに達しました。
- 繰り返し回数 ( $t$ )： クエリごとの繰り返し回数を増やすことで出力埋め込みが安定し、 $t=20$ 付近で性能が横ばいになりました。
- クエリタイプ： コード補完クエリ（HumanEval）は、QAや一般的なテキスト補完データセットよりも優れた結果をもたらしました。これは、コードの構造的な性質が、より均一なモデルの挙動を引き出すためと考えられます。
- 埋め込み次元： トレードオフが存在します。次元が大きいほど多くの意味を捉えられますが、より大きなヤコビ行列を正確に推定するためにより多くのクエリが必要になります。
堅牢性： ZeroPrintは、入力パラフレーズ攻撃（より小さなLLMを使用してクエリを書き換える）や出力摂動攻撃（ガウスノイズを加える）に対して耐性を示し、高い類似度スコアを維持しました。
効率性： この手法は約425秒を要し、計算量的に実用的であり、METやSEFといったいくつかのブラックボックス・ベースラインよりも高速です。

重要性と主張

本論文は、ZeroPrintが信頼性が高く安全なLLM著作権監査メカニズムに向けた重要な一歩であると主張しています。モデルの出力をグラディエント（勾配）の推定へとシフトさせることで、非線形LLMアーキテクチャに固有の情報損失を克服しています。著者らは、ZeroPrintを、モデルのファインチューニングを必要とせず、すでにデプロイされているモデルに適用可能な、実用的かつ非侵襲的なソリューションとして位置付けています。この研究は、勾配ベースの特徴量が、ホワイトボックスとブラックボックスのフィンガープリント間の性能差を埋める鍵であることを示唆しています。