🤖 AI

Teacher Supervision over Representation Equivalence Classes

本論文は、知識蒸留を絶対的な特徴量の照合ではなく、教師モデルの表現の同値類を一致させるという幾何学的な問題として再定義し、隠れ表現の整合はモデルの幾何学的構造を回復するものの、機能的な能力を復元するのはロジットの照合のみであることを示している。

原著者： Sang Il Han

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sang Il Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コアとなる謎：なぜ脳の「コピー」はうまくいかないのか

あなたは、熟練したシェフ（教師）と、その弟子（生徒）を持っていると想像してください。あなたは、弟子にシェフと全く同じ料理を作らせたいと考えています。

AIの世界では、研究者は通常、教師の内部的なメモ（コンピュータの「脳」の中にある隠れた特徴量）を見せることで弟子に教えようとします。彼らはこう言います。「プロセスの途中にあるこれらの数値を見てください。君の数値も僕の数値と全く同じにするんだ」

この論文の大きな発見： このアプローチは壊れています。弟子の内部的なメモを教師と「同一」に見せるように強制できたとしても、弟子は依然としてひどい料理を作ることになります。この論文は、「メモ（内部特徴量）」を一致させても、「料理（最終的な出力／能力）」が保証されるわけではないことを証明しています。

大きなアイデア：「翻訳」の問題

なぜこのようなことが起こるのでしょうか？論文では、驚くほどシンプルな幾何学的な説明を用いています。

アナロジー：地図とコンパス
教師の内部的なメモが、紙に描かれた地図だと想像してください。

問題： 教師の地図は特定のコンパスの方向（北が上）を使って描かれています。しかし、生徒の地図は北が東を向いた状態で描かれています。
間違い： コンパスの向きを修正せずに、教師の地図を一行ずつコピーしようとすると、間違った方向をコピーすることになります。たとえ線が同じに見えても、指し示す場所が異なるのです。
現実： 教師の内部的な「脳」には、固定されたコンパスはありません。最終的な結果（出力）が変わらない限り、内部的なメモを回転させたり、反転させたり、引き伸ばしたりすることができます。論文ではこれを**等価類（Equivalence Class）**と呼んでいます。これは、同じ「思考」を内部的に表現する方法は無限にあるが、最終的な答えを出す方法は一つしかない、ということを意味しています。

論文の解決策：
内部的なメモ（地図）を一致させようとするのではなく、最終的な答えを一致させてください。
もし生徒が教師と同じ最終的な料理（出力）を作るように強制すれば、生徒は自ずと、その結果を実現するために自分自身の内部的なメモをどのように配置すべきかを理解します。論文ではこれを**出力関数マッチング（Output Function Matching）**と呼んでいます。

3つの教え方（そして、なぜ2つが失敗するのか）

論文は、学習方法を3つのグループに分類しています。

「内部メモ」の一致（特徴量蒸留 / Feature Distillation）：
- 何をするか： 生徒の隠れた数値を教師のものと一致させようとします。
- 欠陥： これは、自分が話せない言語で書かれた文章を、アルファベットを知らないまま、一文字ずつ書き写そうとするようなものです。なぜなら「アルファベット（座標系）」は変化しうるため、間違ったものをコピーしてしまう可能性があるからです。論文では、内部のメモが99%一致していても、モデルが機能しない事例を示しています。
- 判定： 能力の転移に失敗する。
「関係性」の一致（関係性蒸留 / Relational Distillation）：
- 何をするか： 数値をコピーするのではなく、数値同士がどのように関係しているか（例：「文章AはCよりもBに似ている」）をコピーします。
- 欠陥： これは、特定の「アルファベット」を無視してデータの形状を見るため、より優れた方法です。しかし、それでも最終的な答えが正しいことを保証するものではありません。これは「脳の形」は修正しますが、「脳の声」を修正するわけではありません。
- 判定： 幾何学的な形状は修正するが、関数は修正しない。
「最終回答」の一致（ロジット蒸留 / Logit Distillation）：
- 何をするか： 内部的なメモを完全に無視します。ただ、「教師が『リンゴ』と言ったら、君も同じ自信を持って『リンゴ』と言わなければならない」と指示するだけです。
- 成功の理由： これが完璧に機能します。内部的なメモがどのように回転していようとも、最終的な答えは変わらない唯一の要素であるため、最終回答を一致させるように強制することで、システム全体が正しく整列されます。
- 判定： 能力を転移させる。

「復元」実験

これを証明するために、研究者たちは劇的な実験を行いました。

彼らは、動作しているAIモデルを取り出し、その内部的な脳を「かき混ぜ（スクランブルし）」、内部的なメモを破壊しました。
彼らは、スクランブルされたメモを元の教師のメモに一致させるように強制することで、それを修復しようと試みました。
- 結果： 内部的なメモは完璧に見えましたが（99%の一致）、モデルは依然として壊れたままで、会話すらできませんでした。
次に、彼らはモデルに教師の「最終回答」を一致させるように強制しました（スクランブルされたメモは無視しました）。
- 結果： 内部的なメモは依然としてめちゃくちゃであるにもかかわらず、モデルは即座に再び機能し始めました。

教訓： 完璧な内部構造を持っていても、能力がゼロであることはあり得ますが、正しい出力関数なしに能力を持つことは不可能です。

「移植」のアナロジー：臓器移植

論文では、グラフト（Grafting：接ぎ木・移植）（あるモデルの一部を別のモデルに組み込むこと）についても考察しています。

ルール： 二つの脳の「言語」が重なり合っている場合にのみ、脳の一部を移植できます。
メタファー： USB-CケーブルをUSB-Aポートに差し込もうとしている状況を想像してください。たとえケーブルが高品質であっても、アダプターがなければ動作しません。
発見： もし二つのモデルが異なる「言語」を話している場合（それらの内部部分空間が重なっていない場合）、移植は失敗します。しかし、共通の基盤が十分に共有されている場合、移植は成功します。論文は、生の数値がどれほど似ているかではなく、それらの「言語」がどれほど重なっているかに基づいて成功を予測しています。

まとめ：私たちは何をすべきか？

論文は、AIを訓練するすべての人に向けて、シンプルなルールを提示して締めくくっています。

「思考」を直接コピーしようとするのをやめること（隠れ層は単なる任意の座標であり、変化しうるものです）。
「発言」をコピーすることに注力すること（最終的な出力）。
黄金律： モデルが「できること」を転移させたいのであれば、モデルが「言うこと」を一致させなければなりません。最終的な出力が正しければ、内部的なメカニズムは自然と整います。

一言で言えば： 教師の知識は、その特定の内部的な数値の中に保存されているのではなく、入力と最終回答の関係の中に保存されています。教師から学ぶためには、メモではなく、答えを一致させなければなりません。

技術要約：表現の同値類に対する教師の監督

1. 問題提起

知識蒸留は伝統的に、教師モデルの何を一致させるか（ロジット（出力分布）、隠れ特徴量、あるいはサンプルの関係性）という選択として定式化されてきた。この定式化は、教師の表現が、生徒が直接一致させることができる「絶対座標」を持っていることを前提としている。

本論文は、この前提が根本的に誤っていると主張する。学習済み表現は固定された行列ではなく、直交および等方的スケーリングの同値類（orthogonal-and-isotropic-scaling equivalence class）に対してのみ識別可能である。なぜなら、ダウンストリームの「リーダー（読み手）」（重み）は、ネットワークの出力関数を変更することなく、表現の任意の回転やスケーリングを吸収できるため、特徴ベクトルの特定の座標自体には固有の意味が存在しないからである。したがって、教師の特徴量を「基底ごと」に一致させようとする試みは、不良設定問題（ill-posed objective）である。本論文は、能力（例：パープレキシティ、Top-1精度）は表現自体の属性ではなく、表現の同値類、具体的には出力関数の不変量であると断定している。

2. 方法論と理論的枠組み

2.1 同値類としての表現

著者らは、表現 $H$ （層の活性化）を固定された行列ではなく、群 $G = O(d) \times \mathbb{R}^+$ （直交回転と等方的スケーリング）による軌道として定義する。

仮定 2.1（吸収可能な再パラメータ化）： 表現における任意の座標変化 $h \mapsto c h Q$ は、対応するダウンストリームの重みの変化 $W_{in} \mapsto c^{-1} Q^\top W_{in}$ によって打ち消すことができ、ネットワーク関数 $f$ を変化させない。
命題 2.1（絶対的一致の不良設定性）： 関数はこの群作用に対して不変であるため、絶対的な座標間の距離（例： $\|H_T - H_S\|_F$ ）を最小化する損失関数は不良設定である。それは関数を保存する再パラメータ化に対してペナルティを課し、その最小値は同値類内の恣意的な代表元の選択に依存する。

2.2 商空間と能力

論文では、2つの商空間を区別している。

表現の商（ $\pi_{rep}$ ）： 表現 $H$ 単体をその同値類 $[H]$ へと潰したもの。ここでの不変量は、グラム行列、CKA（Centered Kernel Alignment）、および主角（principal angles）である。これらは幾何学的な類似性を測定するが、出力関数を決定するものではない。
結合商（ $\pi_{joint}$ ）： ペア $(H, \theta_{downstream})$ を共に潰したもの。出力関数 $f$ は、この結合商上で定義されたウェルディファインドな関数である。

命題 3.2 は、能力とはこの結合商上で定義されたクラス不変量であることを確立している。したがって、蒸留の目的関数は、この商における出力関数不変量を対象とする場合にのみ、能力を転移させることができる。

2.3 蒸留目的関数の分類学

商の枠組みに基づき、論文は蒸留の損失を3つのファミリーに分類している。

(A) 関係性の一致（Relational Matching）： 表現の商を対象とする（例：CKA、正規化グラム）。これらは基底不変であるが、リーダーの座標系を無視しているため、それ単体では能力を転移させない。
(B) 整列後の一致（Align-then-Match）： 同値類内の代表元を固定するために、整列写像（例：プロクラステス回転や低容量の線形写像 $W$ ）を推定し、その後に絶対座標を一致させる。これは、座標固有の特徴消費（例：グラフティング）を必要とするタスクには必要であるが、整列ノイズを導入する。
(C) ロジット蒸留（Logit Distillation）： 出力分布を一致させることで、結合商を直接対象とする。出力はすでにこの結合クラスの関数であるため、この目的関数は正しい商に対してネイティブに定義されており、整列ステップを必要としない。

3. 主な貢献

幾何学的再定式化： 論文は、教師の監督を「特徴量のマッチング」から「表現の同値類の転移」へと再定義した。能力を、特定の特徴行列の属性ではなく、出力関数であるクラス不変量として特定した。
不良設定性の証明： 絶対的な特徴量の一致は、単一の関数的ファイバー内の点同士を分離し、有効な再パラメータ化にペナルティを課すため、不良設定であることを形式的に証明した。
損失の分類学： 特徴量マッチング、関係性蒸留、整列、およびグラフティングを、それらがクラス構造のどの部分を固定するかによって区別する、統一的な幾何学的説明を提供した。
実証的検証： Qwen2.5およびLlama-3.1を用いた制御された復元およびクロス幅蒸留実験を通じて、能力転移のメカニズムを分離した。

4. 実験結果

4.1 復元研究（Qwen2.5, Llama-3.1）

著者らは、教師モデルの層の一部を再初期化することでモデルを破損させ、異なる目的関数を用いて復元を試みた。

結果 1： 基底不変な関係性損失（ $L_{CKA}$ ）のみで学習した場合、表現の幾何学性は正常に復元された（CKA $\approx$ 0.99）が、能力の復元には失敗した（パープレキシティ比は $10^2$ ～ $10^4$ 低く、Top-1精度 $\approx$ 0）。
結果 2： ロジット損失（ $L_{logit}$ ）のみで学習した場合、隠れ表現は整列されなかったが（CKAは低いまま）、能力はほぼ完全に復元された（パープレキシティ比 $\approx$ 1.01、Top-1 $\approx$ 0.98）。
結論： 表現の整列と関数の復元は、ほぼ直交するタスクである。能力は排他的に出力関数項によって駆動される。

4.2 重みタイイングの役割

入出力埋め込みがタイイングされているモデル（Qwen2.5-0.5B）では、出力ヘッドが固定されているため、ロジットマッチングのみで関数を復元するのに十分である。
ヘッドがアンタイイングされているモデル（Qwen2.5-7B, Llama-3.1-8B）では、能力を復元するために、ロジット損失とともに出力ヘッドを明示的に学習させる必要があった。これは、「リーダー」が新しい表現の座標系に整列する必要があることを裏付けている。

4.3 クロス幅蒸留

真のクロス幅蒸留の設定（教師：1.5B、生徒：0.5B）において：

特徴量のみのマッチング（学習された射影 $W$ を用いた場合でも）は、生徒モデルの崩壊（パープレキシティ $> 10^6$ ）を引き起こした。
ロジットのみのマッチングは、生徒の性能を維持し、わずかに向上させた。
特徴量項をロジットマッチングに加えることは、恩恵をもたらさず、しばしば有害であった。
最適に解かれた整列マップを用いた代理実験により、特徴量のみの監督は最適化の困難さではなく、構造的に失敗することが確認された。

4.4 グラフティングと部分空間の重複

本論文は、モジュール・グラフティングの成功が、ドナーとホスト間の境界部分空間の重複（CKAまたはプロクラステス残差で測定）によって支配されることを検証している。高い重複は必要条件であるが十分条件ではない。出力層に近いグラフトは、高い重複があっても、微小な不一致に対する敏感さゆえに失敗する。

5. 意義と主張

本論文は、「蒸留は基底の中で行われる」という直感は「精神的には正しいが、記述としては間違っている」と主張している。

核心的な主張： 教師の監督は、座標ではなく同値類を対象とすべきである。能力は、出力関数不変量を通じて転移される。
実用的な含意： 能力を転移させるためには、ロジットマッチングが正しい商に対してネイティブに定義された唯一の目的関数である。特徴量マッチング（関係性または整列されたものを含む）は、能力転移には不十分であり、幾何学的構造の転移や、座標の整列が明示的に要求されるグラフティングのような特定のタスクにのみ有用である。
適用範囲の制限： 本論文は、蒸留は複製であり、創造ではないことを強調している。それは、トレーニングコーパスによってカバーされる範囲内での教師の出力関数を転移するものである。教師の既存の関数を超える新しい能力を生成したり、トークナイザーが一致しない異なるファミリー間の転移を解決したりすることを主張していない。

論文は次のように結論づけている。「教師が知っていることはクラスの中にあり、転移するのは、目的関数とコーパスが実際にターゲットとしたそのクラスの一部である。」