On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity
本論文は、サンプリングされたデモンストレーションを用いたオンポリシーの自己蒸留が、高いpass@1精度を達成する一方で、連鎖的なフィードバックを通じて既存のモデルのバイアスを増幅させることにより、意図せず出力の多様性を減少させ、pass@kの性能を平坦化させ、最終的には分布外のタスクに対して多様な戦略を生成するモデルの能力を制限してしまうことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
本質的なアイデア：「エコーチェンバー（共鳴室）」効果
あなたが迷路の解き方を学ぼうとしている場面を想像してください。そこには、あなた自身の少し年上のバージョンである「先生」がいます。
標準的な学習設定（強化学習、または RL と呼ばれます）では、もしあなたが迷路の中の「いずれかの」正しい経路を見つけたら、先生は「よくやった！」と言って報酬を与えます。それが、遠回りして景色を楽しむルートであっても、短くて直進的なハイウェイであっても関係ありません。出口にたどり着いたのであれば、同じハイタッチをもらえるのです。これにより、あなたは多くの異なる経路を試そうとするようになります。
この論文が研究している手法、**サンプリングされたデモンストレーションを用いた自己蒸留（SDSD）**では、先生の働き方が異なります。始める前に、先生は以前のあなた（あるいは他の誰か）が見つけた「特定の」正しい経路を一つ選び、「いいかい、私は君に、まさにこの特定の経路と全く同じように迷路を解いてほしいんだ」と言います。
この論文は、この手法を用いると、正解にたどり着く頻度（精度）は非常に高くなるものの、密かにあなたを「怠け者」にし、「単調な繰り返し」へと追い込んでしまうと主張しています。先生が掲げている特定の経路を模倣したときだけ褒めてくれるため、あなたは新しい経路を探索することをやめてしまうのです。
コアとなる問題：「富める者はさらに富む」
著者たちは、この手法に隠されたコスト、すなわち**「多様性の喪失」**を発見しました。
これは、ラジオで流れる人気の曲のようなものです。
- 標準的なRL: 新しい曲が良ければ、DJはその曲を流します。別の新しい曲も良ければ、それも流します。結果として、ヒット曲のミックスが提供されます。
- 自己蒸留（SDSD）: DJは、すでに最も多く再生されている「一つの曲」を選びます。そしてバンドにこう指示します。「その曲と全く同じように演奏してくれ」。
- もしバンドが、そのヒット曲に「少しでも似ている」曲を演奏すれば、先生はそれを気に入り、強化します。
- もしバンドが、全く異なる（しかし依然として正しい）曲を演奏した場合、先生は困惑するか、あるいは熱意を失います。なぜなら、それは先生が手に持っている「サンプリングされたデモンストレーション」と一致しないからです。
時間が経つにつれ、バンドは新しい曲を演奏することをやめてしまいます。彼らはその一つのヒット曲のバリエーションだけを演奏するようになります。彼らはその一曲に関しては驚異的に上手くなりますが、もしラジオ局から別のジャンルを求められたら、彼らは失敗してしまうのです。
論文の発見（エビデンス）
研究者たちはこれを主に2つの対象でテストしました。
1. 「グラフ迷路」ゲーム
彼らは、AIがさまざまな概念（鳥、果物、形など）で構成されたグラフの中を通る経路を見つけるゲームを作成しました。
- 罠: 短くて簡単な経路もあれば、長くて難しい経路もありました。
- 結果: SDSDモデルは、簡単な経路を非常に素早く見つけ、高いスコアを出しました。しかし、彼らは長い困難な経路を完全に無視しました。
- 失敗: 研究者がルールを変更したとき（すべての経路を長くしたとき）、SDSDモデルは崩壊しました。彼らは「簡単なルート」という習慣に依存することを学んでしまい、適応できなかったのです。一方で、多くの異なるルートを練習してきたRLモデルは、新しいルールにも容易に対処できました。
2. 科学の問題
彼らは科学の問題（生物学、化学、物理学）を用いてモデルをテストしました。
- 指標: 彼らは
pass@kを調べました。これは、「もしAIに16個の異なる回答を生成させた場合、そのうちいくつが正しいか？」を問うものです。 - 発見: SDSDモデルは、最初の回答（
pass@1）を当てることには非常に優れていました。しかし、16個の回答を生成するよう求めると、そのほとんど16個すべてが、単に書き方が少し違うだけの「同じ回答」でした。 - 対照: RLモデルは、16個の「異なる」正解を生成しました。もし最初の回答が間違っていたとしても、16番目の回答が正解である可能性がありました。SDSDモデルには、バックアッププラン（予備の策）がなかったのです。
なぜこれが起きるのか？（「傾いた」天秤）
論文では、なぜこれほどまでに起こるのかを説明するために高度な数学を使用していますが、ここでは簡単に説明します。
異なる解決策のバランスを取る天秤を想像してください。
- 標準的なRL は、すべての正しい解決策を平等に扱います。解決策Aと解決策Bの両方が正しい場合、天秤は均衡を保ちます。
- 自己蒸留 は、天秤を傾けます。それは「デモンストレーション（例示された経路）」を見て、「解決策Aは例にどれくらい似ているか？」と問いかけます。もし解決策Aが例に少しでも似ていれば、天秤はAの方へ大きく傾きます。もし解決策Bが異なっていれば、天秤はBに対して不利に働きます。
AIは常に自分自身の「人気のある」回答を例として目にしているため、天秤をそれらの人気のある回答の方へと、さらに、さらに傾けていくのです。これにより、「不人気だが正しい」回答は押しつぶされてしまいます。これは**モード崩壊（Mode Collapse）**と呼ばれ、AIが単一の思考様式へと収束してしまう現象です。
「エントロピー」の罠
論文はまた、トリッキーな測定問題についても指摘しています。通常、科学者はAIがどれだけ多様な言葉を使っているか（トークン・エントロピー）によって「多様性」を測定します。
- 論文によれば、SDSDモデルは多様な言葉を使う（高い単語多様性）ことができても、思考自体は全く同じ方法で行っている（低い「意味的」多様性）場合があることが分かりました。
- これは、二人の人がエッセイを書いているようなものです。一人は「猫」について書き、もう一人は「犬」について書きます。彼らは異なる言葉を使っていますが、もし両者が全く同じ論点について全く同じ構造で論じているのであれば、彼らの思考は実際には多様ではありません。SDSDモデルはこれを行います。言葉を並べ替えてはいますが、硬直した戦略に固執しているのです。
まとめ
論文は、サンプリングされたデモンストレーションを用いた自己蒸留は、諸刃の剣であると結論づけています。
- 良い点: これまでに見たことがある問題に対して、最初の試行で正解を得るための精度を非常に高めます。
- 悪い点: モデルの創造的な思考や、異なる戦略を試す能力を破壊します。問題がわずかに変化したり、最初の推測が間違っていたりする場合、モデルにはバックアッププランがありません。
著者たちは、もし私たちが頑健で適応力のあるAIを望むのであれば、単に正解の頻度を見るだけでは不十分であると示唆しています。AIが実際に異なるアプローチを試みているのか、それとも単に同じトリックを何度も繰り返しているだけなのかを確認しなければならないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。