技術要約：システムプロンプトは行動的指紋を残すか？

問題提起

大規模言語モデル（LLM）アプリケーションプラットフォーム（GPT Store、Cozeなど）の普及により、システムプロンプトは重要な知的財産（IP）となっている。モデルの重み（weights）を複製することは困難であるが、システムプロンプトは敵対的なクエリによってそのままの形で抽出される可能性があり、その成功率は0.8を超え、あらゆるプラットフォームへゼロコストで再展開が可能である。既存の防御策は抽出の防止に焦点を当てているが、一度プロンプトが盗まれた場合、所有者は疑わしいデプロイメントがクローンであるかどうかを検証する手段を持たない。

本研究の核心的な問いは、システムプロンプトが、抽出、言い換え、およびクロスモデル転送を経ても生存する**利用可能な行動的痕跡（behavioral trace）をモデルの出力に残すかどうかである。もしそのような痕跡が存在するならば、それはブラックボックス行動的指紋（Black-Box Behavioral Fingerprinting: BBF）**を可能にする。これは、プロンプトの所有者が自身のオリジナルのデプロイメントから行動的シグネチャを登録し、その後、疑わしいデプロイメントが、無関係なベースラインよりもそのシグネチャに密接に一致するかどうかを、ブラックボックスAPIアクセスのみを用いてテストする手法である。

手法：ブラックボックス行動的指紋（BBF）

BBFは、市販の文章エンコーダーとコサイン類似性にのみ依存することで、クローン検出を埋め込み空間における二標本比較として定式化する。プロセスは以下の2つのフェーズで構成される：

1. 登録（Registration）： 防御者は、診断用クエリの集合 $Q = \{q_1, \dots, q_K\}$ をオリジナルのデプロイメント（プロンプト $P$）に送信する。各クエリに対して、$N$ 個の確率的な出力サンプルを収集し、文章エンコーダー $\phi$ を通じて埋め込みを行い、行動的重心 $\hat{\mu}_k$ へと集約する。指紋 $F$ は、これらの重心の集合である。
2. 検出（Detection）： 防御者は、同じクエリを疑わしいデプロイメント（プロンプト $P^*$）に送信する。疑わしい重心 $\hat{\mu}^*_k$ が計算される。異なるプロンプトが同じ事実的な質問に対して意味的に類似した回答を生成する可能性を制御するため、防御者は同じ広範なドメインから取得した無関係なプロンプト（$P_u$）の重心も計算する。
3. 決定統計量（Decision Statistic）： 検出信号は「制御されたギャップ」 $\delta_k = s_{clone} - s_{unrel}$ である。ここで $s$ は、疑わしい（クローン）重心とオリジナル重心との間の、および無関係なベースラインとの間のコサイン類似度を表す。正のギャップは、疑わしいデプロイメントが、無関係なベースラインよりもオリジナルに対して行動的に近いことを示す。
4. 集約（Aggregation）： 検出は、$T$ 個のクエリに対する多数決によって行われる。理論的分析（命題1）によれば、十分なクエリ予算（例：$T=25$）があれば、検出確率は指数関数的に収束する。

診断的クエリ最適化（Diagnostic Query Optimization: DQO）：
検出力を最大化するために、本論文ではクエリ選択のためのゼロコストのルールであるDQOを提案している。DQOは、オリジナルと無関係なプロンプトが非常に乖離した出力（低いベースライン類似度 $s_{unrel}$）を生成するクエリが、プロンプトの変化に対して最も敏感であると仮定している。DQOは、疑わしいクローンへのアクセスを必要とせずに、無関係なプロンプトに対するベースライン類似度が最も低い $T$ 個のクエリを選択する。

実験設定

本研究は、以下の要素を含む大規模な実証評価である：

• モデル： 4つのモデルファミリー（Claude、GPT、DeepSeek、Qwen）。
• ベンチマーク： 7つのドメイン（MMLU、GSM8K、MNLI、MedQAなど）にわたる8つのNLPベンチマーク、計2,000個の診断的クエリ。
• シナリオ： すべての $4 \times 4$ クロスモデルの組み合わせと8つのベンチマークを網羅する、合計128のシナリオ。
• データ： 288,000個の生成レスポンス（250クエリ $\times$ 3サンプル $\times$ 3種類のプロンプトタイプ $\times$ 128シナリオ）。
• 埋め込みモデル： all-MiniLM-L6-v2。

主な結果

1. 行動的指紋の存在

本研究は、システムプロンプトの選択が出力の分散の大部分を説明することを確認している。一元配置分散分析（one-way ANOVA）の結果、平均効果量 $\eta^2 = 0.244$（Cohenの基準による「大きい」効果）が得られ、これはプロンプトの選択が出力埋め込みの分散の約24.4%を説明していることを示している。128シナリオ中118シナリオにおいて、クローンの出力は無関係な出力よりもオリジナルに近い結果となった。

2. 検出性能

• 同一モデル内検出： 平均 AUC 0.876 となり、非常に信頼性が高い。
• クロスモデル検出： 性能は検出器となるモデルの特性に依存する。
  • 検出器としての Claude は、最高のクロスモデルAUC（0.845）を達成した。
  • 検出器としての Qwen は、最低のAUC（0.665）となった。
  • 全体の平均クロスモデルAUCは 0.725 である。
• クエリ予算： 25個のクエリという予算があれば、信頼できる検出が可能である（シナリオレベルの確率 > 0.999）。
• DQOの有効性： DQOを適用することで、クロスモデルAUCが平均で +0.120 向上した。

3. 堅牢性と失敗モード

• 言い換え（Paraphrasing）： BBFは、非適応的な言い換え（類義語置換、構造の再編成、および機能的な書き換え）に対して堅牢である。攻撃的なL3レベルの書き換えが行われた場合でも、AUCは $\ge 0.889$ を維持した。
• 不完全な抽出： 自動化された不完全な抽出から派生したクローンは、手作業による言い換えと同等以上に検出可能であった。これは、抽出が機能的なフレーミングを保持する一方で、手作業による書き換えは直交するスタイルのノイズを導入するためと考えられる。
• 失敗モード： 128シナリオ中11のシナリオが失敗した（AUC $\le 0.5$）。失敗は以下の3つのパターンに集約される：
  1. 短い出力： スタイルが内容を支配してしまう、極めて短い出力（例：SST-2における感情分析）を伴うタスク。
  2. データのアーティファクト： CUADベンチマークは、プロンプトとクエリの不一致を引き起こすデータロードの問題により失敗した。
  3. スタイルの不一致： 特定のモデルペア（例：Qwen $\to$ GPT）において、系統的なスタイル不一致が見られた。
• 適応的攻撃（Adaptive Attacks）： 言い換えは検出を回避できなかったが、プロンプトに単一文のフォーマルなトーンのプレフィックスを注入すると、短く構造化されたタスク（MNLIのAUCが0.978から0.547へ低下）において検出が崩壊した。これは、**スタイル不変の検出（style-invariant detection）**が主要な未解決課題であることを示している。

意義と主張

本論文は、BBFを発見ツールではなく、既存のIP執行メカニズムを補完するための検証ツールとして位置づけている。その主な意義は以下の点にある：

1. 実現可能性： システムプロンプトが、ブラックボックス出力の中に測定可能で転送可能な行動的指紋を残すことを実証したこと。
2. アクセシビリティ： モデルの重み、プラットフォームの協力、および生成プロセスの変更を一切必要とせず、APIアクセスのみで検出可能であること。
3. 実用性： 固定された低コストの予算（25クエリ）が、ほとんどのコンテンツ豊かなシナリオにおいて高信頼の検出に十分であることを確立したこと。

著者らは、BBFは標準的なクローニングや言い換えには有効であるが、出力のトーンやフォーマットを操作する適応的な攻撃者に対抗するためには、スタイル不変の検出という課題に取り組む必要があると結論付けている。本研究は、プロンプト・クローニングの法的地位を解決しようとするものではなく、所有者が盗用の疑いを立証するための技術的なプロトコルを提供するものである。