技術概要：KBF – 言語モデルとブラックボックス API 監査のための指紋としての知識境界

1. 問題定義

本論文は、大規模言語モデル（LLM）のリレーおよび再販 API の成長するエコシステムに内在する「信頼の問題」に対処する。ユーザーは、モデルを集約し、統一された請求と切り替え機能を提供する第三者仲介業者を通じて LLM にアクセスすることが多い。しかし、これらの仲介業者は、利益率を高めるために、広告された高価なフラッグシップモデルを、安価で能力の低いバックエンドに静かに置換する可能性がある。

核心的な課題は、ブラックボックス・リレー監査である。モデルの重み、logits、またはトレーニングデータ、サーバー側のルーティングログ、または隠されたシステムプロンプト、そしてプロバイダーの協力（例えば、ウォーターマークや検証可能な推論）へのアクセスなしに、疑わしいリレーエンドポイント（$O_{sus}$）が主張する特定のモデル（$O_{ref}$）を提供しているかどうかを判断することである。

監査人は、公式の参照エンドポイントと疑わしいエンドポイントの両方に対するパブリック API アクセスのみを有する。目標は、完全な置換（全く異なるモデルを提供する）と混合ルーティング（主張されたモデルと安価な置換モデルの混合を提供する）を検出することであり、同時に低い偽陽性率（誠実なプロバイダーに対する誤った告発を避ける）を維持し、 benign なデプロイメントのばらつき（異なるシステムプロンプト、温度、または RAG ラッパーなど）に対して堅牢であることである。

既存のブラックボックス手法は、これらの要件を同時に満たすことができない。行動指紋（LLMmap など）は、回避されやすく、ラッパーに対して敏感な固定プローブに依存する。分布テスト（MET など）は、設定変更下で高い分散に苦しむ。自己識別プロンプトは、モデルがしばしば自身のアイデンティティを誤って述べるため、信頼性が低い。

2. 手法：知識境界指紋（KBF）

著者は、知識境界付近の安定した数値想起を指紋として利用するプロトコルであるKBFを提案する。

核心的な直感

著者は、モデルが一般的な事実（低信号）については合意し、難解な事実については不安定に失敗する一方で、「知識境界」付近では明確な振る舞いを示すことを観察する。

1. 境界内： モデルは正しい数値的事実を安定して想起する。
2. 境界のすぐ外： モデルはしばしば安定しているが事実上誤った数値値を生成する。
   これらの「誤っているが安定した」値は、永続的でモデル固有のパラメトリックな連合として機能する。置換モデルは、参照モデルの正確な同じ安定した誤り、または特定の安定した正しい値を再現する可能性は低い。

KBF プロトコル

KBF は 3 つの段階で動作する。

フェーズ 1：プローブ生成（オフライン）

• 適応的フロンティア探索： 監査人は、公式の参照エンドポイント（$O_{ref}$）にクエリを送信し、化学、天文学、数学など、さまざまな分野にわたる候補となる数値的事実を提案する。探索は、安定した想起の境界付近でますます難解な事実へと向かって適応する。
• 参照一貫性チェック： 候補は、複数の benign な設定（異なるシステムプロンプト、温度など）で再クエリされる。$O_{ref}$ が安定した、解析可能な数値値（事実上誤っていてもよい）を生成する候補のみが保持される。
• 対照的スクリーニング（オプション）： 効率を向上させるため、既知の安価な置換モデル（例えば、9B パラメータモデル）に対して候補がスクリーニングされる。置換モデルが参照と一致する場合、識別力を確保するためにプローブは破棄される。
• 出力： 参照の合意値 $a_i$ である $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$ のコンパクトなプローブセット。

フェーズ 2：自己較正

• 監査人は、疑わしい対象に意図された監査設定の下で、登録されたプローブを用いて $O_{ref}$ を再クエリする。
• システムは自己不一致（$k_{self}$）をカウントし、参照エンドポイントの「通常の自己ノイズ」を推定する。
• Clopper-Pearson (CP) 上限信頼区間（$p_0$）が計算される。これは、参照自体から期待されるエラー数に対する保守的な null 許容値を設定する。

フェーズ 3：疑わしいエンドポイント監査（オンライン）

• 監査人は、登録されたプローブを疑わしいエンドポイント（$O_{sus}$）に送信する。
• 応答は解析され、ドメイン固有のマッチング規則を用いて参照合意 $a_i$ と比較される。
• 二項統計的検定が実行される。不一致の数（$k$）が $p_0$ によって定義されたしきい値（有意水準 $\alpha = 0.05$）を超えた場合、帰無仮説（$H_0$: $O_{sus} \approx O_{ref}$）は棄却され、エンドポイントは異なるとしてフラグ付けされる。

適応的ルーティング拡張
混合ルーティング（トラフィックの割合 $\alpha$ のみが置換されている場合）に対して、KBF は2 段階監査を採用する。

1. 第 1 段階：すべてのプローブを監査する。
2. 第 2 段階：第 1 段階で不一致となったプローブのみを再監査する。
   これにより、最も置換されやすいトラフィックにクエリを集中させ、置換率が低い場合（例えば 5–10%）でも検出を可能にする。

3. 主要な貢献

1. 新規シグナルの特定： 本論文は、自己識別、スタイル、または特権メタデータに依存しない、安定したモデル固有のシグナルとして「知識境界の数値想起」（反復可能な誤った回答を含む）を特定する。
2. エンドツーエンドのプロトコル（KBF）： このシグナルを、適応的フロンティア探索、設定安定性フィルタリング、対照的スクリーニングを通じてコンパクトなプローブセットに変換するブラックボックス監査プロトコル。
3. 包括的な評価： 16 の生産用 LLM エンドポイント（8 つのファミリー、3 つの価格帯）にわたる評価により、経済的に重要な置換に対する高い識別能力を実証。
4. 実世界での応用： 6 つの「シャドー API」プラットフォームでの展開により、プロバイダーの協力なしに実世界の環境で統計的に不一致なエンドポイントを正常にフラグ付け。
5. オープンリソース： 再現性を支援するためのコード、データ、ベンチマークプローブセットの公開。

4. 実証結果

著者は KBF を 3 つのベースライン（MET、LLMmap、ZeroPrint）と比較評価し、以下の結果を得た。

• 高精度： KBF は、同一参照コントロールにおいて0 の偽陽性で、155 のすべての経済的に重要な置換（ファミリー内のダウングレードを含む）を検出した。ベースラインは高い偽陽性率（LLMmap で最大 37.5%）に苦しむか、置換を見逃した。
• 堅牢性： 6 つの異なるデプロイメント設定（役割プロンプト、温度変更、RAG ラッパー）の下で、KBF は0 の偽陽性を維持し、100% の置換を検出した。ベースラインは、ラッパーへの感度により過剰な誤報を生成するか、置換モデルを見逃した。
• 混合ルーティング検出： KBF は、トラフィックの**5–10%のみが置換モデルにルーティングされた場合（Opus ベースのモデルの場合）および、より困難なケース（Sonnet ベースの場合）では50%**までで置換を検出した。
• コスト効率：
  • 登録コスト： モデルバージョンのプローブ生成に約 22 ドル（一回限り）。
  • 監査コスト： 16 モデル全体を監査する総コストは約 0.39 ドル（モデルあたり約 0.02–0.24 ドル）。
• シャドー API の知見： 6 つのシャドープラットフォームにわたる 27 のエンドポイントの監査において：
  • 7 つのエンドポイントが統計的に不一致としてフラグ付けされた。
  • 7 つのフラグの 6 つは、高価なモデルを置換する経済的インセンティブと一致する、プレミアムな Claude エンドポイント（Opus と Sonnet）に集中していた。
  • ティア分析： 同じモデルに対して複数の価格ティアを提供するプラットフォームでは、高価格ティアよりも低価格ティアがフラグ付けされる可能性が有意に高く、ティア依存のバックエンド置換を示唆している。

5. 意義と主張

本論文は、KBF が LLM リレー API の第三者監査のための実用的で低コストかつ堅牢な解決策を提供すると主張する。その意義は以下の点にある。

• 運用上の実現可能性： モデルプロバイダーまたはリレーからの協力を必要とせず、厳密にブラックボックス設定で機能する。
• 経済的関連性： 汎用的なモデル識別ではなく、リレーの経済的インセンティブ（高価なモデルを安価なもので置換すること）を特にターゲットとする。
• 信頼性： 特定の参照エンドポイントの自己ノイズに対して較正することで、デプロイメント設定が変化する際に分布型または行動指紋手法を悩ませる高い偽陽性率を回避する。
• 実行可能性： ユーザーや研究者がサービスの主張を検証し、特に高価値の独自モデルに対して劣化または不整合なサービスを提供している可能性のある「シャドー」API を特定することを可能にする。

著者は、KBF がバックエンドのアイデンティティの暗号学的証明ではなく、統計的なトリアージツールであると述べることで、控えめな立場を維持している。彼らは、高リスクの運用利用には、時間や地域にわたる繰り返し監査などのさらなる較正が必要であり、現在の二項モデルはプローブの独立性を仮定しているため、ドメインブロックの相関に対して修正が必要である可能性を認めている。