Co-Evolving Policy Distillation
本論文は、既存の RLVR および蒸留手法と比較して、テキスト、画像、ビデオの推論性能において優れたオールインワン性能を達成し、能力の低下や行動の乖離を克服するために並列専門家訓練と双方向オンライン方策蒸留を統合する新たな訓練パラダイムである共進化方策蒸留（CoPD）を提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが、数学、芸術、そして動画分析という、非常に異なる 3 つの分野の専門家になるよう、1 人の超優秀な学生を訓練しようとしていると想像してください。
過去、研究者たちはこれを実現するための 2 つの主要なアプローチを試しましたが、どちらも重大な欠陥がありました。この論文は、学生がユニークで「ダンスのような」パートナーシップの中で学ぶことで、それらの欠陥を修正する新しい手法、共進化方策蒸留（CoPD） を導入します。
以下は、この論文が単純なアナロジーを用いて問題と解決策を説明したものです。
問題：「綱引き」と「離れすぎた」隔たり
1. 「綱引き」（混合 RLVR）
同じ教室で、同じ教師のもと、数学と芸術を完全に同時に教えようとしていると想像してください。
- 問題点: 数学は厳密な論理と規則を必要とする一方、芸術は創造性と規則を破ることを必要とします。これらを混ぜると、学生は混乱します。論文はこの現象を**「能力の乖離」**と呼びます。まるで綱引きのように、数学の授業が学生を一方の方向に引っ張り、芸術の授業がもう一方の方向に引っ張るのです。学生は両方の授業が互いに相殺してしまうため、どちらの分野でも平均的な成果しか出せなくなります。
2. 「離れすぎた」隔たり（静的 OPD）
そこで研究者たちは、異なるアプローチを試みました。「まず数学の専門家を訓練し、次に芸術の専門家を別々に訓練し、その後、新しい学生に教える」という方法です。
- 問題点: 数学の専門家の訓練が完了する頃には、彼らはあまりにも変化してしまい、新しい学生と同じ「言語」を話さなくなっています。学生は初心者ですが、専門家はグランドマスターです。
- アナロジー: グランドマスターのチェスプレイヤーが幼児に教える状況を想像してください。グランドマスターは幼児には理解しすぎた複雑な手を打ちます。幼児（学生）はグランドマスター（教師）の手を見て、「あなたが何をしているのか、全くわかりません」 と考えます。思考パターンがあまりにも離れすぎているため、知識は失われてしまいます。論文はこの現象を**「行動パターンの隔たり」**と呼びます。
解決策：「共進化のダンス」（CoPD）
著者たちは、訓練スケジュールを完全に変更するCoPDを提案します。まず 1 人の専門家を訓練し、その後で教えるのではなく、2 人の学生を同時に訓練し、互いに絶えず教え合い、学び合うようにします。
このダンスの仕組みは以下の通りです。
ステップ 1：ソロ練習（RLVR フェーズ）
- 「数学学生」は数学の問題だけを練習します。
- 「芸術学生」は芸術の問題だけを練習します。
- 理由: これにより、彼らはそれぞれの特定のスキルを極めて、新しい高度な技法を発見することができます。彼らの思考は互いに離れていきますが、これは良いことです。なぜなら、それは彼らが互いに教えるべき新しいものを持っていることを意味するからです。
ステップ 2：ダンスパートナーの交代（相互 OPD フェーズ）
- 彼らが離れすぎた前に、一度停止して役割を交代します。
- 数学学生は芸術の問題を解こうとし、芸術学生はそれを見てフィードバックを与えます。
- 芸術学生は数学の問題を解こうとし、数学学生はそれを見てフィードバックを与えます。
- 理由: 彼らは直前に一緒に練習していたため、互いの思考パターンがまだ十分に近く、理解し合える状態にあります。数学学生は*「あなたが X をやろうとしているのはわかりますが、より良い方法がありますよ」* と言うことができ、芸術学生もまだ同じページにいますので、それを理解できます。
ステップ 3：繰り返し
- さらに高度なトリックを学ぶためにステップ 1 に戻り、その後ステップ 2 で再び交代します。
- このサイクルが絶えず繰り返されます。
なぜこれがより優れているのか
この論文は、この手法が以下の 3 つの主な理由で優れていると主張しています。
- 綱引きがない: 彼らはしばらくの間、特定のスキルを別々に練習するため、数学と芸術の規則を混ぜることで混乱することがありません。
- 「離れすぎた」隔たりがない: 彼らは訓練の後ではなく、訓練中に役割を交代するため、互いを理解できなくなるほど離れすぎることはありません。教師が教えるのに十分な高度さを持ちつつ、理解されるのに十分な近さがある「絶妙な地点」に留まります。
- 相互成長: 彼らは単なる教師と学生ではなく、共進化しています。彼らは一緒に成長します。論文によると、最終的な結果は、個々の「専門家」が単独で持っていたものよりも、実際には数学と芸術の両方で優れた単一のモデルとなります。
結果
研究者たちは、テキスト（数学）、画像（芸術）、動画を処理する必要があるモデルでこれをテストしました。
- 旧来の手法: モデルは混乱するか（混合訓練）、知識を失うか（静的な指導）でした。
- CoPD: モデルは 3 つすべてを習得しました。実際、最終的な「オールインワン」モデルは、それに基づいて構築された専門家の専門家たちよりも優れたパフォーマンスを発揮しました。
まとめ
CoPD を、ある科目を卒業してから次の科目を始める学校ではなく、2 人のアスリートが一緒に訓練するジムとして考えてください。彼らは強くなるために各自のドリルを行い、その後、まだ温かく同期している間に互いにスポットしてヒントを共有します。完了する頃には、彼らは単独で訓練した場合や、孤立して訓練した場合よりも、どちらも強くなっています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。