Knowledge Distillation Must Account for What It Loses

Wenshuo Wang によるポジションペーパー「知識蒸留は、それが失うものを考慮しなければならない」の詳細な技術的サマリーです。

1. 問題提起

本論文は、知識蒸留（KD）の評価における重要な欠落に対処しています。現在、KD の研究と実装は、成功を主張するために主要指標（精度、pass@k、勝率など）に大きく依存しています。 prevailing な仮説は、学生モデルがこれらの主要スコアで教師モデルと一致すれば、教師の関連する能力を忠実に保持したとみなすというものです。

著者は、この**「保持仮説」**が論理的に欠陥があり、実用的にも危険であると主張します。

• 欠陥: スカラー指標 $m(S) \approx m(T)$ が一致しても、不確実性の較正、境界挙動、プライバシー、安全性、推論プロセスなどの他の重要な次元 ($c_i$) における同等性を意味するものではありません。
• 結果: 蒸留されたモデルは、高リスク環境における最先端モデルの代替としてますます展開されています。しかし、主要指標は「指標外損失」を隠蔽する可能性があります。つまり、高い精度を維持しながらも、学生モデルが教師モデルよりも信頼性が低く、安全でなく、頑健でなくなる場合があるのです。
• 核心的な問題: 蒸留は「忠実なコピー」として扱われていますが、実際には損失を伴う射影です。現在の評価フレームワークは、この射影の過程で失われるものを考慮しておらず、検証されていない能力の侵食を引き起こしています。

2. 方法論と理論的枠組み

本論文は、概念的な再構成と既存文献の統合を用いて、新しい評価パラダイムを提案しています。

A. 蒸留を損失を伴う射影として再構成

著者は、蒸留を能力の完全な転送ではなく、観測可能な変数の部分集合への射影として形式化します。

• $\Phi(M, x)$ を、主要指標、較正、推論の痕跡など、教師に関連するすべての観測可能な変数のベクトルとします。
• 蒸留は、通常、主要指標である観測可能な変数の部分集合 $A$ への射影 $P_A$ を最適化します。
• 不等式: 射影 $P_A\Phi(S) \approx P_A\Phi(T)$ が一致しても、$\Phi(S) \approx \Phi(T)$ を意味するわけではありません。
• 指標外損失: 射影されていない次元における不一致を「指標外蒸留損失（$\Delta_c$）」として定義します。学生モデルは、標準的なスコア保持基準を満たしながらも、重要な指標外の能力において甚大な損失を被り得ます。

B. 証拠の統合

著者は、教師と学生の乖離が仮説的なものではなく、反復的に観察される実証的な現実であることを示すために、既存文献をレビューします。証拠は以下の分野にわたって統合されます。

• 予測分布: 学生モデルは、教師のソフト確率や不確実性の形状に一致できないことが多いです。
• 内部表現: 中間特徴量や注意関係は、常に保持されるわけではありません。
• 境界: 平均精度が保たれていても、頑健性、サブグループの公平性、尾部の挙動は劣化することが多いです。
• プライバシーと記憶: 蒸留は、記憶プロファイルやメンバーシップ漏洩のリスクを変化させる可能性があります。
• プロセスと安全性: 推論の忠実性、拒絶の境界、グラウンディング（引用・証拠選択）は、頻繁に損なわれます。

C. 提案される枠組み：シナリオ固有の保持

ユニバーサルなチェックリストの代わりに、本論文は文脈依存型のアプローチを提案します。

1. 重要な能力の特定: 特定の展開シナリオにとって不可欠な指標外の能力を特定します（例：医療 AI における較正、安全性における拒絶の境界）。
2. 保持ターゲットの定義: 保持する特定の教師信号や代理指標を選択します（例：信頼度推定値、ツールの痕跡）。
3. ストレステスト: これらの能力が重要となる分布（敵対的入力、曖昧なクエリ、分布外データなど）において学生モデルを評価します。

3. 主要な貢献

A. 指標外蒸留損失の分類

本論文は、主要指標がしばしば見逃す損失を分類する包括的な分類体系（表 1）を導入します。

• 予測分布損失: ソフト確率やエントロピーの損失。
• 表現/関係損失: 中間特徴量や不変性の損失。
• 能力境界損失: OOD 頑健性やサブグループ公平性の劣化。
• プライバシー/記憶損失: メンバーシップ推論リスクの変化。
• 較正/棄権損失: 信頼度の信頼性や「わからない」と言う能力の損失。
• プロセス/オンポリシー安定性損失: 推論の痕跡や自己生成エラーからの回復の失敗。
• グラウンディング/出所損失: 証拠選択や引用の忠実性の乖離。
• 安全性境界損失: 拒絶/受容の境界のシフト（過剰拒絶 vs 過少拒絶）。
• 長尾/多様性損失: 合成データにおける稀なモードや少数派カバレッジの損失。

B. シナリオ固有の保持ターゲット（表 2）

本論文は、特定の蒸留シナリオを保持すべき指標外の能力にマッピングします。

• 推論学生: 最終的な答えだけでなく、自己検証とプロセスの信頼性を保持する必要があります。
• コード/ツールエージェント: デバッグの軌跡と失敗からの回復を保持する必要があります。
• RAG システム: 検索ポリシーと引用の忠実性を保持する必要があります。
• 安全性/拒絶モデル: 安全な拒絶と安全でない拒絶の間の正確な境界を保持する必要があります。

C. 蒸留損失ステートメント

これを運用化するために、著者は蒸留損失ステートメントと呼ばれる標準化された報告テンプレート（表 3）を提案します。このステートメントでは、著者が以下を明示的に報告することを要求します。

• 展開コンテキスト: モデルが使用される場所。
• 重要な指標外能力: 主要スコア以外で重要なもの。
• 保持ターゲットとストレステスト分布: 保持がどのようにテストされたか。
• 観測された損失と受容された損失: 何が失われたか、そして残りの損失がなぜ許容されるのか（あるいはそれが是正的な乖離であるのか）の正当性。

4. 結果と知見

ポジションペーパーとして、「結果」とは既存の証拠の統合と、新しい規範のための論理的な論証です。

• 論理的証明: 本論文は、$m(S) \approx m(T) \nRightarrow c_i(S) \approx c_i(T)$ であることを実証します。
• 実証的統合: 頑健性、プライバシー、公平性、推論など多様なサブ分野からの知見を統合し、指標外損失が具体的で、測定可能であり、反復的に発生することを示しています。
• 実現可能性: 本論文は、これらの損失を成功裏に測定する既存の研究（例：コードモデルにおけるメタモルフィックテスト）を引用し、「損失の会計」が、精度スコアだけでなくても技術的に可能であることを証明しています。

5. 意義と影響

• スコア保持から説明責任への転換: 本論文は、分野のゴールポストを「どの程度のスコアを保持したか？」から「どの能力を失い、それは許容できるか？」へと移すことを主張します。
• 安全性と信頼性: 安全性、プライバシー、較正における損失の明示的な会計を強制することで、重要な点で「小さくなったが壊れている」蒸留モデルの展開を防ぐことを目指します。
• 標準化: 蒸留損失ステートメントは、報告を標準化するメカニズムを提供し、レビュアーや展開者が、有用な圧縮と検証されていない能力の侵食を区別できるようにします。
• 文脈を考慮した評価: 「万能」な指標を拒絶し、意図された展開環境（例：医療対クリエイティブライティング）の特定のリスクと要件に合わせた評価戦略を提唱します。

結論として、本論文は「損失なし」の蒸留（多くの場合不可能または望ましくない）を要求するものではありません。代わりに、トレードオフを明示し、可能な限り測定し、意図された使用ケースに基づいて正当化される説明責任ある蒸留を要求しています。