💬 NLP

SVIP: Towards Verifiable Inference of Open-source Large Language Models

SVIPは、隠れた表現に対してプロキシタスクを学習させることで、モデルを一意に特定し、より小さく能力の低いバージョンへの不正な置換を防ぐことにより、ユーザーが分散型LLM推論プロバイダーの誠実性を検証することを可能にする、計算効率の高い秘密ベースのプロトコルである。

原著者： Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に高価で複雑な料理を作るために、特定の高級レシピ（大規模なAIモデル）を持つシェフを雇ったと想像してください。あなた自身にはそれを作るのに十分なキッチンがないため、注文を遠隔地の独立したシェフ（分散型コンピューティング・プロバイダー）に送ります。

問題は、その遠隔地のシェフが怠慢だったり、強欲だったりする可能性があることです。彼らは、あなたが支払った高価で時間のかかるレシピを使う代わりに、見た目は似ているけれど味はひどい、安くて早い低品質なレシピを密かに使うかもしれません。あなたは彼らのキッチンの中を見ることができないため、彼らが本当に正しい材料を使ったのか、それとも結果を偽造しただけなのかを知る術がありません。

この論文は、シェフが実際に正しいレシピを使用したことを保証するための、巧妙な「秘密の手順（シークレット・ハンドシェイク）」システムであるSVIPを紹介しています。

コアとなる問題：「偽物のシェフ」

オープンソースAIの世界では、モデルは巨大化しています。一般の人々が自分のコンピュータでこれらを動かすことはできません。そのため、彼らはサードパーティのプロバイダーに、自分たちの代わりにAIを実行してもらうよう支払います。

リスク： 不誠実なプロバイダーは、電気代やハードウェアのコストを節約するために、大きくて強力なAIモデルを、小さくて弱いものにすり替え、それでもなお、大きなAIの代金として全額を請求する可能性があります。
罠：単に答えを確認するだけでは不十分です。小さなAIは、大きなAIの仕事のように見える「十分に良い」答えを出すことがあります。あなたは、答えが「何であるか」だけでなく、その答えが「どのように作られたか」を証明する方法を必要としています。

解決策：SVIP（「秘密の材料」チェック）

著者らは、プロバイダーがモデル自体を公開することなく、その特定のモデルを使用したことを証明しなければならないシステムを提案しています。その仕組みを、いくつかの比喩を用いて説明します。

1. 「隠れた指紋」（単なる答えではない）

AIが思考するとき、単にテキストを吐き出すだけでなく、最終的な答えを出す前に、多くの層の「隠れた思考（hidden representationsと呼ばれるもの）」を通じて情報を通過させます。

従来の方法： あなたは最終的なテキストのみを受け取ります。
SVIPの方法： プロバイダーは、それらの「隠れた思考」の圧縮された要約も送らなければなりません。
比喩： シェフがスープを送るだけでなく、調理のあらゆる段階における出汁（だし）の小さなサンプルも一緒に送ってくると想像してください。「出汁の風味のプロファイル」は、使用された特定のレシピに対して固有のものです。

2. 「プロキシ・テスト」（味見）

このシステムは、特別な、事前学習された「味見役（プロキシ・タスク）」を使用します。

このテスターは、あなたがリクエストした特定の大きなAIの「隠れた思考」のみに基づいて学習されています。
もしプロバイダーが、大きなAIから得られた「隠れた思考」を返してきた場合、味見役は「はい、これは指定されたレシピと完璧に一致しています！」と判定します。
もしプロバイダーが小さなAIを使って偽造した場合、「隠れた思考」の味は異なり、テスターは「いいえ、これは正しいレシピではありません」と判定します。

3. 「秘密のソース」（セキュリティのアップグレード）

当初、著者らは、賢いチーターであれば「正しい味」を暗記して、実際に調理することなく隠れた思考を偽造できることに気づきました。これを防ぐために、彼らは**秘密（Secret）**を追加しました。

仕組み： 注文を送る前に、システムはユーザーに、プロバイダーには決して見えない秘密のコード（ランダムなパスワードのようなもの）を与えます。
「隠れた思考」は、返送される前にこの秘密のコードと混ぜ合わされます。
結果： プロバイダーは、隠れた思考を偽造するために「正しい味」を暗記することはできません。なぜなら、「秘密のソース」は毎回変わるからです。彼らは秘密のコードを推測できないため、隠れた思考を偽造することはできません。彼らは、正しい結果を得るために、実際に本物のAIを実行しなければならないのです。

なぜこれが重要なのか

論文は、SVIPが以下の特性を持つと主張しています。

高速： 検証に瞬きする間（0.01秒）もかかりません。他の手法のように数時間を要することはありません。
正確： チートを見逃す確率が極めて低く（不正を見逃す確率は5%未満、誠実なシェフを誤って告発する確率は3%未満）、ほぼ100%の精度でチーターを捕らえます。
軽量： ユーザーはスーパーコンピュータを持っている必要はなく、一般的なノートパソコンで検証を行うことができます。

結論

SVIPは、AI経済における信頼メカニズムです。これにより、あなたは巨大なAIモデルを実行するために見知らぬ人に支払う際、もし彼らが手抜きをしてより小さく安価なモデルを使おうとしても、あなたの「秘密の手順」システムが即座に彼らを暴くことを確信して、安心して依頼できるようになります。これは、AIの思考という目に見えないプロセスを検証可能なものに変え、あなたが支払った通りのものを確実に受け取れるようにするものです。

技術要約: SVIP – オープンソース大規模言語モデルの検証可能な推論に向けて

1. 問題提起

オープンソースの大規模言語モデル（LLM）の急速な成長により、高い計算需要のために個人ユーザーによるローカル展開は非現実的となっています。その結果、ユーザーが余剰リソースを持つ第三者プロバイダー（個人や小規模企業）にLLMの推論をオフロードする、分散型コンピューティングがコスト効率の高い代替案として浮上しています。

しかし、この設定には重大な信頼の問題、すなわち**検証可能な推論（verifiable inference）**が導入されます。悪意のあるコンピューティングプロバイダーは、計算コストを節約するために、ユーザーが要求した大容量モデル（例：Llama-3.1-70B）を、より小規模で能力の低いモデル（例：Llama-2-7B）に密かに置き換える可能性があります。そして、より大きなモデルの料金を請求し続けるのです。プロバイダーは通常、ブラックボックス型のAPIアクセスのみを提供するため、ユーザーはこのような置き換えを容易に検知することができません。既存の解決策には以下のような重大な限界があります。

暗号学的手法（例：ゼロ知識証明）は、法外な計算オーバーヘッド（例：1クエリあたり800秒以上）を課します。
ゲーム理論的プロトコルは、合理的で非協力的なプロバイダーという非現実的な仮定に依存しています。
ウォーターマーキング／フィンガープリント技術は、通常モデルのパブリッシャーによって実装されるものであり、ユーザーとプロバイダー間の検証シナリオには適していません。

本研究の目的は、計算効率、低い偽陽性・偽陰性率、および生成品質の維持を保ちつつ、特定のLLMが推論に使用されたことを高い信頼度で検証できるプロトコルを設計することです。

2. 手法

著者らは、暗号学的証明に頼るのではなく、LLMの推論プロセスからの**隠れ表現（hidden representations）を活用するSVIP (Secret-based Verifiable Inference Protocol)**を提案しています。

2.1. コアメカニズム：隠れ状態によるプロキシ・タスク

このプロトコルは、特定のモデルによって生成される隠れ状態の表現には、ユニークな署名が含まれているという直感に基づいています。

データ交換: コンピューティングプロバイダーは、生成されたテキストだけでなく、指定されたモデルから得られる処理済み隠れ表現の圧縮ベクトル( $z(x)$ )を返します。
プロキシ・タスク: 指定されたモデル( $M_{spec}$ )の隠れ表現に対してのみ学習された「プロキシ・タスク」が用意されます。このタスクは、隠れ表現を指定されたモデルのユニークな識別子へと変換します。
検証: ユーザーは、返されたベクトル $z(x)$ をプロキシ・タスク上でローカルに評価します。もし使用されたモデルが $M_{spec}$ であれば、ベクトルはそのタスクにおいて良好なパフォーマンスを示します。もし代替となる小規模なモデル ( $M_{alt}$ ) が使用されていた場合、パフォーマンスは著しく低下します。

2.2. 単純なプロトコルとその脆弱性

当初、ユーザーが隠れ状態に対してバイナリ分類器を学習するという単純なプロトコルが提案されました。しかし、これは**直接ベクトル最適化攻撃（Direct Vector Optimization Attacks）**に対して脆弱です。悪意のあるプロバイダーは、ラベル付け関数を知っている場合、LLMを完全にバイパスして、分類器を満たすようにベクトル $\tilde{z}$ を直接最適化し、それを返すことで、推論コストをかけずに不正を行うことができます。

2.3. シークレットベースのプロトコル (SVIP)

最適化攻撃に対抗するため、SVIPはシークレット・メカニズムを導入しています。

シークレット割り当て: プラットフォームはユーザーに固有のシークレット ( $s$ ) を割り当てますが、これはコンピューティングプロバイダーには決して共有されません。
シークレット依存のラベル付け: ラベル付け関数 $y(x, s)$ はシークレットに依存します。悪意のあるプロバイダーは、 $s$ を知らない限り、正しいラベルを特定できません。
シークレットの埋め込み: シークレット $s$ はトークン $t_\psi(s)$ としてタスク内に埋め込まれ、圧縮前に隠れ状態と結合されます。
継続的な検証: 検証では、予測されたプロキシ出力とシークレット依存のラベルベクトルの間の距離が閾値 $\eta$ を下回っているかを確認します。

2.4. 適応型攻撃に対する防御

論文では、2つの適応型攻撃を分析しています。

アダプター攻撃 (Adapter Attack): 攻撃者が、特定のシークレットの下で $M_{spec}$ を模倣するように、 $M_{alt}$ の隠れ状態をマッピングするニューラル・アダプターを学習する攻撃。
シークレット復元攻撃 (Secret Recovery Attack): 攻撃者が、多くのシークレットと埋め込みのペアを収集することで、提供された埋め込み $t_\psi(s)$ からシークレット $s$ を逆エンジニアリングしようとする攻撃。

防御メカニズム: SVIPは更新メカニズムを採用しています。一定のクエリ数 ( $M^*$ ) を経過した後にシークレットをローテーションし、合計のシークレット数 ( $N^*$ ) に達した後にプロトコル全体を再学習します。これにより、攻撃者が単一のシークレットの下で収集できるデータを制限し、攻撃を無効化します。

3. 主な貢献

定式化: 検証可能なLLM推論の問題を体系的に定式化し、処理された隠れ表現を活用するプロトコルを提案しました。
シークレットベースのセキュリティ: 隠れ表現をユニークでシークレット依存の識別子へと変換する、新しいシークレット・メカニズムを導入し、直接的なベクトル最適化攻撃を効果的に無効化しました。
包括的な分析: 強力かつ適応的な敵対的シナリオ（アダプター攻撃およびシークレット復元攻撃）に対する徹底的なセキュリティ分析を提供しました。
実証的検証: 5つの指定されたオープンソースLLM（13Bから70Bパラメータ）と6つの代替モデルを用いて、プロトコルの有効性を実証しました。

4. 実験結果

実験は、LMSYS-Chat-1Mデータセット、および様々なモデルファミリー（Llama, GPT-NeoX, OPT, Falcon）を用いて行われました。

精度:
- 偽陰性率 (FNR): クエリあたりのFNRは一貫して5%未満（全モデルの平均は3.49%）でした。これは、正直なプロバイダーが誤って告発されることが稀であることを示しています。
- 偽陽性率 (FPR): すべての代替モデルにおいて、クエリあたりのFPRは一貫して3%未満でした。これは、不誠実なプロバイダーが免責されることが稀であることを示しています。
- 集約された信頼性: 複数のクエリ（例： $B=30$ ）にわたって結果を集約することで、プロトコルは極めて低い第I種および第II種の誤り率を達成します（例：Llama-3.1-70B 対 Llama-2-7B の場合、第I種誤り $\approx 1.7 \times 10^{-49}$ ）。
効率性:
- レイテンシ: 検証によるオーバーヘッドは無視できる程度であり、ユーザーとプロバイダーの両方において、プロンプトクエリあたり0.01秒未満です。これは、暗号学的代替手段（例：zkLLMは約803秒を要する）よりも数桁高速です。
- メモリ: プロバイダーは特徴抽出器に約980 MBのGPUメモリを必要とし、ユーザーは約1428 MBを必要としますが、これは標準的なローカルマシンで実行可能です。
堅牢性:
- アダプター攻撃: プロトコルは、攻撃者がシークレットあたり400〜800個のプロンプトサンプルを収集した場合でも、アダプター攻撃に耐えられます。
- シークレット復元: シークレット復元のための攻撃成功率は、20万個のシークレット・埋め込みペアを収集した後でも50%を下回っています。更新メカニズムを用いることで、SVIPは再学習が必要になる前に、8,000万から1億2,000万のプロンプトクエリを安全に処理できます。
汎用性: 未知のデータセット（ToxicChat, Web Questions, GSM8K, Verifiable-Coding-Problems）においても低いFPR/FNRを維持しており、異なるドメインにおける堅牢性を実証しています。

5. 意義と主張

本論文は、SVIPが計算効率とセキュリティの間の実用的なバランスを提供し、リアルタイムのインタラクションに不可欠な、分散型LLMサービスにおける検証可能な推論を可能にすると主張しています。リアルタイムのやり取りには遅すぎる暗号学的手法とは異なり、SVIPは高い信頼度と最小限のレイテンシでモデルの使用を検証することを可能にします。

著者らは、SVIPがゼロ知識証明のような厳密な数学的保証を提供するものではないものの、複数のクエリにわたる仮説検定と組み合わせた低い誤り率により、「合理的かつ実用的に意味のあるレベルのセキュリティ」を提供することを強調しています。本研究は、ユーザーとコンピューティングプロバイダーの間の信頼を醸成し、分散型コンピューティングエコシステムにおけるオープンソースLLMのより広範な採用を促進することを目的としています。著者らは、誤用（例：逆エンジニアリング）のリスクを認めた上で、プロトコルの設計がそのようなベクトルに対する堅牢性を優先していると述べています。