Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

技術要約：ブラックボックスLLM蒸留における限定的行動的不可識別性

問題提起

ブラックボックス型大規模言語モデル（LLM）の蒸留は、従来、教師モデル（$T$）と生徒モデル（$S$）の間の意味的類似性、タスクの一貫性、または語彙的な重複によって成功を定義する、出力マッチング問題として評価されてきた。しかし、著者らは、高い意味的類似性が必ずしも**行動的不可識別性（behavioral indistinguishability）**を保証するものではないと主張している。生徒モデルは、教師の核となる回答を複製できても、注意喚起の言語、拒絶行動、フォーマットのアーティファクト、あるいは摂動に対する堅牢性といった、重要な行動的ニュアンスの模倣に失敗する場合がある。敵対的な設定（例：モデル抽出）や良性なデプロイメントにおいて、運用上の問いは単に「出力がいかに似ているか？」ではなく、「攻撃者が、生成された応答が教師によるものか、それとも蒸留された生徒によるものかを識別できるか？」という点にある。

現在の指標は、攻撃者がソースを特定するために得る残留的な優位性を測定していないため、この運用上のギャップに対処できていない。

手法

本論文は、不可識別性を絶対的な特性としてではなく、特定の制約に関連した限定的な経験的主張として扱う**限定的行動的不可儀識別性（Bounded Behavioral Indistinguishability）**という形式的なフレームワークを導入している。

1. 形式的定義:
生徒 $S$ が、明示的なプロンプト分布 $\mathcal{P}$ に対して、クエリ予算 $q$ と計算予算 $t$ を持ついかなる攻撃者 $\mathcal{A}$ も、教師と生徒の出力を識別する際の優位性が $\epsilon$ を超えることができない場合、$(\epsilon, q, t, \mathcal{A})$-行動的に不可識別であると定義される。

• $\epsilon$: 識別優位性の境界。
• $q$: オラクルクエリの制限。
• $t$: 攻撃者の計算リソースの制限。
• $\mathcal{A}$: 攻撃者のクラス（学習済み識別器、ペアワイズ判定器など）の定義。

2. 実験設定:

• モデル: 本研究では2つのオープンモデルファミリーを評価対象とする：
  • Qwen: 教師 $T$ = Qwen2.5-3B-Instruct; 生徒 $S$ = Qwen2.5-0.5B-Instruct。
  • Llama: 教師 $T$ = Llama-3.2-3B-Instruct; 生徒 $S$ = Llama-3.2-1B-Instruct。
• 蒸留プロトコル: 生徒は、教師によって生成されたブラックボックス応答に対して低ランク適応（LoRA）を用いて学習される。ベースとなる生徒の重みは凍結され、教師の応答に対する負の対数尤度を最小化するようにアダプターパラメータのみが更新される。
• プローブ・スイート: 5,000個のプロンプトからなる制御されたデータセットを使用し、4,000個の学習用プロンプトと1,000個の保持テスト用プロンプトに分割している。このスイートは、10の行動カテゴリをカバーしている：一般QA、推論、コーディング、要約、スタイル/フォーマット、曖昧性、安全性境界、指示の競合、ドメイン技術、および堅牢性の摂動。

3. 評価指標:
著者らは、経験的な識別優位性を推定するために、一連の補完的なテストを採用している：

• 意味的類似性: 文埋め込みのコサイン類似度。
• 学習済み識別器: 以下の3つの入力ビューの下で、教師と生徒の出力を区別するように訓練された分類器（RoBERTa, DistilBERT）：
  • プロンプトのみ: リーク（漏洩）を制御。
  • 応答のみ: プロンプトに依存しないアーティファクト（スタイル、長さ）を検出。
  • プロンプト-応答: 文脈的な行動模倣をテスト。
• ペアワイズ教師識別: 異なるファミリーの判定モデル（Llama-3.2-3B-Instruct）が、ランダムな順序で提示されたプロンプトと2つの応答（一方から $T$、他方から $S$）を受け取り、教師を特定する。位置バイアスを制御するために、一貫性フィルタリング（A/Bスワップ）が適用される。
• ポリシーレベルの評価: 安全性に関する行動（拒絶、注意喚起、専門的な助言）に関する合意度を測定する。

主な結果

1. 意味的類似性と不可識別性:
LoRA蒸留は、意味的類似性を大幅に向上させる。Qwenの場合、埋め込みの類似性は0.788（ベース）から0.862（LoRA）へと上昇した。Llamaの場合、0.814から0.874へと上昇した。しかし、高い類似性は不可識別性と等価ではなかった。

2. 識別優位性の減少:

• 学習済み識別器: LoRA蒸留は、プロンプト-応答識別器の経験的な優位性を減少させた。Qwenでは、DistilBERTの優位性が0.278（ベース）から0.098（LoRA）に低下した。Llamaでは、RoBERTaの精度が0.657からほぼチャンスレベル（0.499）まで低下した。
• ペアワイズ識別: 一貫性フィルタリングを用いたクロスファミリーのLlama判定器を使用した場合、Qwenのペアワイズ識別優位性は、ベースの生徒の0.158からLoRA生徒の0.081へと減少し、約49%の減少を示した。これは、蒸留によって教師の特定が困難になることを裏付けているが、不可能ではないことも示している。

3. 残留アーティファクトの不均一性:
残留する識別性は一様ではない。カテゴリ別の分析により、アーティファクトは特定の行動領域に集中していることが明らかになった：

• 残留識別性が高い領域: スタイル/フォーマット、堅牢性の摂動、ドメイン技術、およびコーディングのプロンプト。
• 残留識別性が低い領域: 安全性境界、曖昧性、一般QA、および要約のプロンプト（チャンスレベルに近い）。

4. クエリ獲得戦略:
層化ランダムサンプリングと、不一致ガイド付き獲得（教師と生徒が最も不一致を示すプロンプトを選択する手法）を比較した実験では、不一致ガイド付きの選択がランダムサンプリングを一貫して上回ることはなかった。カバレッジと多様性が、行動的蒸留における強力なベースラインであり続ける。

意義と主張

本論文は、意味的忠実度は必要条件であるが十分条件ではないと主張している。主要な貢献は、評価のパラダイムを「出力がいかに似ているか？」から、「明示的な制約の下で、攻撃者は教師と生徒を区別できるか？」へとシフトさせたことにある。

• 限定的な主張: 本フレームワークは、普遍的な不可識別性を主張することを避けている。代わりに、特定の攻撃者クラスおよび予算に関連した、残留する識別性を測定するための形式的で再現可能な方法を提供している。
• 運用的関連性: 「識別優位性」を定量化することで、本研究は、蒸留されたモデルが教師の行動プロファイルを真に継承しているのか、あるいは単にその意味的内容を継承しているに過ぎないのかを評価するための、セキュリティにインスパイアされた視点を提供している。
• カテゴリへの意識: 結果は、行動の転移が不均一であることを示している。モデルは一般QAにおいては不可識別であっても、技術的またはスタイリッシュな文脈においては容易に識別可能となる可能性がある。
• ポリシーの保存: 安全に関連する行動（拒絶、警告）は、意味的類似性とは別の評価レイヤーを必要とすることを、本フレームワークは強調している。なぜなら、生徒モデルは意味的には近くても、重要なポリシー決定の保存に失敗する場合があるからである。

著者らは、限定的行動的不可識別性が、ブラックボックス蒸留に対してより情報量が多く厳格な基準を提供すると結論づけており、LoRAは模倣を改善するものの、限定的な攻撃者によって依然として検出可能な重大な行動的アーティファクトが残っていることを明らかにしている。