Reference-Based Distillation Detection in LLMs

ある優秀な生徒が、突然あらゆるテストで満点を取るようになったと想像してみてください。あなたは、その生徒が単に一生懸命勉強しただけではなく、密かに超優秀な「教師」モデルから答えをコピーしているのではないかと疑っています。しかし、ここでの難点は、その生徒があまりにも教師のスタイルを模倣するのが上手すぎるため、生徒の最終試験の結果だけを見ても、どの教師から教わったのかを判別することがほぼ不可能なことです。それはまるで、過去の作品を知らないまま、ある有名な俳優の最新作を見て、その俳優のお気に入りの監督が誰だったかを推測しようとするようなものです。

これが、ラジャット・ラワット（Rajat Rawat）氏とそのチームが取り組んだ問題です。彼らはこう問いかけました：あるモデルが別のモデルの回答に基づいて「蒸留（学習）」された場合、そのモデルを特定できるだろうか？

「ビフォー・アフター」のトリック

この論文は、生徒単体から教師を推測しようとすることは、行き止まりであると主張しています。それはあまりにも困難だからです。代わりに、研究者たちは巧妙な回避策を見つけ出しました。それは、生徒を自分自身の「赤ちゃんの頃の姿」と比較することです。

次のように考えてみてください。あるティーンエイジャー（「生徒」モデル）の写真と、同じ人物の子供時代の古い写真（「参照」モデル：そのAIの初期バージョン）があるとします。もし、そのティーンエイジャーが突然、特定の有名なセレブリティと全く同じ話し方をするようになったのに、子供の頃はそのようではなかったとしたら、その変化を見抜くことができます！

研究者たちは、この「ティーンエイジャー」モデルが、特定のセレブリティの回答をどれほど好むか、そして「子供」モデルがそれらをどれほど好むかを測定する手法を構築しました。もし、ティーンエイジャーが子供の頃よりも特定の教師のスタイルを異常に好むようになったとしたら、それは決定的な証拠となります。それは、棒人間を描くのが好きだった子供が、突然ゴッホのスタイルで絵を描き始めたことに気づくようなものです。

探偵の仕事

チームは、ラボ内で独自の「偽の」生徒を作成することで、この検証を行いました。彼らはベースとなるモデルを取り、特定の教師（DeepSeek-R1、Llama、または GPT-OSS など）の回答を流し込み、自分たちの手法がその犯人を特定できるかどうかを観察しました。

• 結果： これらの制御された実験において、彼らの手法は驚異的に正確であり、多くの場合、教師を**100%**の精度で正しく特定しました。
• 落とし穴： ただし、これは比較対象となる「子供の写真（参照モデル）」がある場合にのみ機能しました。参照モデルがない場合、この手法は苦戦しました。
• 「隠されたプロンプト」の問題： 時には、教師が秘密の指示（プロンプト）を使用しており、探偵（検出手法）がそれを知らないことがあります。研究者たちは、生徒自身の文章スタイルをいくつか提示して「ウォームアップ」させる（few-shot プロンプティング戦略）ことで、これらの隠された指示があっても、依然として教師を特定できることを発見しました。

秘密の「グリフ（記号）」の署名

研究者たちはまた、o1 や o3（OpenAI の推論モデル）で訓練されたモデルに関する、奇妙で特定のヒントも見つけました。これらのモデルは、思考プロセスの中で特殊な非標準文字（奇妙な記号など）を使うことを好みます。

これらが蒸留された生徒モデルは、この習慣の「幽霊」を受け継ぎます。研究者たちは、生徒にプレーンテキスト（ASCII）で書くよう強制した場合と、自然なテキスト（Unicode）で書く場合を比較すると、蒸留されたモデルはプレーンテキストでは混乱し、より多くのミスを犯すことを発見しました。これは、特定のアクセントで話すことを学んだ人が、そのアクセントなしで話そうとすると躓いてしまうようなものです。この「Unicode 対 ASCII」のギャップは、たとって教師が容疑者のリストにいなくても、そのモデルが o1/o3 のデータによって訓練された強力なシグナルとなりました。

実世界のモデルについては？

チームはラボでの実験にとどまりませんでした。彼らは、QwQ-32B、DeepSeek-R1、GPT-OSS といった実際の公開モデルに探偵のスキルを適用しました。

• QwQ-32B： 彼らの手法は、このモデルが、特定の QwQ の初期バージョンがリリースされた後に、DeepSeek-R1 の出力を学習した可能性があることを示唆しました。「ティーンエイジャー」は、その「子供」自身よりも DeepSeek の回答をはるかに好んでいました。
• DeepSeek-R1： この手法は、このモデルが o1 または QwQ-32B-Preview の影響を受けている可能性を示唆しました。さらに、「Unicode 対 ASCII」のテストは大きな差を示しており、o1 スタイルの影響を強く示唆していました。
• GPT-OSS： これは困難でした。比較するための適切な「子供の写真（参照モデル）」がなかったため、結果は曖昧でした。手法は DeepSeek や QwQ を指し示しましたが、著者らは、使用した参照モデル（GPT-2 XL）があまりにも古く、公平な比較として不適切であるため、これは極めて不確実であると警告しています。

彼らが否定したもの

この論文は、何がうまくいかないかについても明確に述べています：

• 生徒単体を見る： 参照モデルなしに、最終的なモデルを見るだけで、誰が教師であったかを信頼性高く判断することはできません。
• 単純な類似性チェック： 単に一致する単語の数を数えたり、標準的な「尤度（likelihood）」スコア（回答がどれほど確率的か）を用いたりする方法は、惨めに失敗しました。これらの手法は混乱し、誤った教師を選んでしまいました。
• 隠された推論プロセス： もし教師が「思考プロセス」を隠し、最終的な回答のみを表示する場合、検出手法は失敗します。「推論プロセス（reasoning traces）」は、探偵が機能するために不可欠です。

彼らはどの程度確信しているのか？

著者らはラボでの結果については非常に自信を持っています。彼らは、制御された環境において、彼らの手法がほぼ完璧な精度で機能することを証明しました。実世界のモデルについては、それらが蒸留の関係にあるという「強い証拠」を示唆していますが、これらは決定的な判決ではなく、あくまで予備的な探索であると慎重に述べています。彼らは、実世界のモデルは複雑であり、複数の教師から、あるいは複数の段階を経て訓練されている可能性があり、現在の彼らの手法ではまだ完全には対処できないことを認めています。

要約すると、この論文は AI オーディティング（監査）のための強力な新しい拡大鏡を導入するものです。それはこう言っています。「生徒だけを見るのではなく、彼らが赤ちゃんの頃からどれほど変わったかを見、その変化を疑われる教師たちと比較せよ」。これは、AI モデルが互いに宿題をコピーすることによって構築されることが増えている世界において、透明性への大きな一歩となります。