🤖 machine learning

Evolutionary Task Discovery: Advancing Reasoning Frontiers via Skill Composition and Complexity Scaling

本論文は、構造化された進化演算子と動的難易度フィルタを活用してデータ合成をスキル構成と複雑性属性にわたる指向性探索として扱うことで、データの均質性を克服し、堅牢な汎化を達成するように大規模言語モデルの推論を強化する「進化タスク発見（EvoTD）」というフレームワークを提案する。

原著者： Liqin Ye, Yanbin Yin, Michael Galarnyk, Yuzhao Heng, Sudheer Chava, Chao Zhang

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Liqin Ye, Yanbin Yin, Michael Galarnyk, Yuzhao Heng, Sudheer Chava, Chao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの経験の浅いロボットに、複雑なパズルを解く方法を教えると想像してください。これには主に 2 つの方法があります。

従来の方法（人間によるキュレーション）: 既存のパズルを数千個見つけ、それらを記録し、ロボットがそれらから学習することを期待します。問題は、質の高いパズルが十分にあるわけではなく、手元にあるものも難しすぎたり、互いに似すぎたりする可能性があることです。
「難しくする」方法（現在の AI 手法）: 超賢い AI に「これを難しくして」と言って、新しいパズルを発明させます。しかし、AI は往々にして、数字を 5 から 6 に変えるような些末で無意味な変更を加えたり、同じパズルを繰り返し生成したりします。その結果、ロボットは退屈し、実際には賢くなりません。

EVOTD（進化的タスク発見） は、この問題を解決するためにジョージア工科大学の研究者たちが提案した新しい手法です。AI に単に「難しくして」と頼む代わりに、トレーニング用パズルの作成を新しい植物種の育種のように扱います。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 2 つの材料：「レシピ」と「分量」

研究者たちは、すべてのパズルには 2 つの明確な部分があることに気づきました。

スキル（レシピ）: これは中核となる論理です。「スライドウィンドウ」や「二分探索」の使い方を理解することなどがこれに当たります。求められる思考の「種類」です。
複雑さ（分量）: これは特定のインスタンスがどのくらい大きく、難しいかです。数字のリストは 5 個分でしょうか、それとも 5,000 個分でしょうか。木構造は 3 段深さでしょうか、それとも 100 段でしょうか。

従来の多くの手法は、これらを同時にランダムに変更しようとしました。しかし EVOTD は、シェフがまず「何を作るか（スキル）」を決め、次に「何人分作るか（複雑さ）」を決めるように、これらを分離します。

2. 進化的キッチン

このシステムは、新しいパズルを作成するために 2 つの特別な「シェフ（演算子）」を使用します。

変異体（分量シェフ）: このシェフは、有効なパズルを受け取り、中核となる論理を変えずに「サイズ」や「制約」を変更します。
- 比喩: 元のパズルが「10 人の列の中で最も背の高い人を見つける」だった場合、変異体はそれを「10,000 人の列の中で最も背の高い人を見つける」に変更します。論理（最大値を探すこと）は同じままですが、難易度（規模）が向上します。これにより、ロボットは小さな例だけでなく、あらゆるサイズに通用する堅牢なルールを学ぶことを強制されます。
交配体（レシピシェフ）: このシェフは、2 つの異なるパズルを取り、その中核となるスキルを組み合わせ、全く新しいものを作ります。
- 比喩: パズル A が「ソート」を使用し、パズル B が「グラフ探索」を使用する場合、交配体は、グラフを探索する前にアイテムをソートすることを要求する新しいパズルを作成します。これは、チョコレートとピーナッツバターを混ぜて、どちらにもなかった新しい味を生み出すようなものです。これにより、ロボットが異なる論理的ツールを組み合わせることを学ぶことが保証されます。

3. 「金髪姫」フィルター（最近接発達領域）

ロボットにランダムなパズルを投げつけるだけではいけません。パズルが難しすぎれば何も学びません。不可能であれば、ロボットは諦めてしまいます。

EVOTD は金髪姫フィルターを使用します。パズルがトレーニングに使用される前に、システムは以下を確認します。

難しすぎますか？（破棄する）
不可能ですか？（破棄する）
ちょうどいいですか？（採用する）

重要なのは、「ちょうどいい」基準が、ロボットが賢くなるにつれて変化することです。昨日は不可能だったパズルが、今日は「ちょうどいい」かもしれません。これにより、ロボットが向上するにつれて自動的に難しくなり、常に「学習ゾーン」に留まる動的カリキュラムが作成されます。

4. 結果

研究者たちは、数学やコーディングの問題を解くモデルでこれをテストしました。その結果、以下がわかりました。

優れた汎化: モデルは単に答えを暗記したのではなく、根本的な論理を非常に深く理解したため、これまで見たことのない問題も解くことができました。
「均質化の崩壊」の回避: 他の手法が最終的にアイデアを使い果たし、同じパズルを繰り返すのとは異なり、EVOTD は新鮮で多様な課題を見つけ続けました。
普遍的な向上: モデルのサイズや元のトレーニング方法に関わらず、さまざまな種類の AI モデルで効果的に機能しました。

結論

EVOTD は、単にワークシートを配る教師のようなものではありません。むしろ、異なる論理的スキルを組み合わせ、生徒の現在の能力に完璧に合わせた難易度に調整することで、新しい問題を体系的に発明する方法を持っています。これにより、生徒は成長するために常に適切な挑戦を受け続け、静的で事前に書かれた問題で練習するだけでは得られない、はるかに強力な推論能力を身につけることになります。

技術的概要：進化的タスク発見（EVOTD）

問題定義

大規模言語モデル（LLM）の推論能力は、検証可能な報酬からの強化学習（RLVR）などのポストトレーニングパラダイムを通じて著しく進展しました。しかし、これらの手法の有効性は、利用可能なトレーニングデータの多様性と複雑性によって根本的に制約されています。人間がキュレーションした推論タスクの不足に対する解決策としてデータ合成が提案されていますが、構造化されていない突然変異（例えば、LLM に「これを難しくして」と指示する）に依存する既存の手法は、均質性の崩壊に悩まされています。これらのアプローチは、しばしばほぼ重複するサンプルを生成するか、テキストの多様性とアルゴリズム的な多様性を混同するため、推論のフロンティアを体系的に拡張することに失敗します。さらに、既存のスキルベースの分類体系は、問題の論理（スキル）には対処するものの、構造的制約（複雑性）を軽視しており、スケーリング across において堅牢な一般化を誘発できない「平坦な」カリキュラムを生み出しています。

手法：進化的タスク発見（EVOTD）

これらの限界に対処するため、著者はEVOTDを提案します。これは、構造化された双軸多様体上における指向性のある探索としてデータ合成を扱うフレームワークです。中核的な革新は、推論タスクを2つの直交する次元に分解することにあります。

アルゴリズム的スキル（ $S$ ）： タスクのセマンティックな論理的骨格（例：二分探索、動的計画法、グラフ探索）。
複雑性属性（ $C$ ）： 問題インスタンスの規模を決定するパラメトリックな構造的制約（例：入力サイズ、木深さ、値の範囲）。

進化的エンジン

EVOTD は、「提案者」LLM がタスクを合成し、「ソルバー」LLM がそれらから RLVR を通じて学習する提案者 - ソルバーパラダイムを採用します。合成プロセスは、タスク空間を探索するために2つの構造化された進化的演算子を利用します。

属性突然変異（垂直進化）： この演算子は、論理的骨格を厳密に維持しながら複雑性属性をスケーリングします。ランダムなテキスト摂動の代わりに、提案者はメタ認知的監査を行い、適用可能な属性（例えば、木ベースのタスクの場合のみ tree_depth を増加させる）を選択し、それらを強化します。これにより、モデルは壊れやすいヒューリスティックではなく、スケール不変な解を学習するように駆動されます。
スキル交叉（水平進化）： この演算子は、異なるアルゴリズム的パターンを組み合わせる（例：dijkstra と priority_queue の結合、または bitmask_dp と bfs の結合）ことで、新しいスキル構成を探索します。提案者は、スキルが逐次的に連結されるのではなく、深く相互接続されている相乗的な組み合わせを見つけるように導かれ、組み合わせ的な退行を防ぎます。

動的カリキュラムフィルタリング

EVOTD の重要な構成要素は、**至近発達領域（ZPD）**フィルタです。タスクが教育的に効果的であることを保証するため、フレームワークはタスクがトレーニングセットに入る前に3つの条件を検証します。

実行可能性： コードは構文エラーなしで実行され、制限内で終了しなければならない。
スキル整合性： 生成されたタスクは、対象となるアルゴリズム的スキルに厳密に従わなければならない。
学習可能性： タスクは、現在のソルバー方策（ $\pi_\theta$ ）にとって、無意味でも不可能でもあってはならない。具体的には、ソルバーのパス率は非自明な範囲（ $0 < \text{pass rate} < 1$ ）内になければならない。ソルバーが改善するにつれて、フィルタは分布をより困難なインスタンスへと動的にシフトさせ、自己適応型カリキュラムを創出する。

主要な貢献

本論文は、以下の貢献を形式化し、実証します。

双軸抽象化： 論理と制約に対するナイーブなプロンプティングを超え、正確な制御を可能にするアルゴリズム的スキルと複雑性属性の多様体上における指向性のある移動として、推論タスク合成を形式化すること。
構造化された進化的演算子： 複雑性スケーリングのための属性突然変異と、構成発見のためのスキル交叉を導入し、タスク空間の境界の体系的な探索を可能にすること。
動的 ZPD カリキュラム： トレーニングデータがモデルの学習可能領域内に留まることを保証するフィルタリング機構により、モード崩壊なしに継続的な推論改善を促進すること。
実証的検証： コード生成と数学的推論の5つのベンチマークにわたる広範な評価により、構造化された進化的カリキュラムがヒューリスティック合成や自己改善ベースラインを上回ることを実証すること。

実験結果

著者は、多様なモデルアーキテクチャ（Qwen3、LLaMA）、事前学習レジーム（Base、Instruct）、およびパラメータ規模（3B–8B）にわたって EVOTD を評価しました。

推論の向上： Qwen3-4B 推論モデルにおいて、EVOTD は競争力のあるベンチマークで大幅な向上を達成しました。具体的には、AIME 24 で**+8.2%、AIME 25 で+7.2%**の向上です。
一般化： この手法は、評価されたすべてのバックボーン（Evol-Instruct、SPIRAL、Agent0 などを含む）に対して一貫してベースラインを上回りました。特に、テストされたすべてのアーキテクチャにおいて最良の Pass@1 パフォーマンスを達成しました。
均質性の崩壊に対する堅牢性： Pass@1 を増大させる一方で Pass@k を劣化させる（モード崩壊を示す）標準的な合成手法とは異なり、EVOTD は Pass@1 と Pass@8 の両方で一貫した向上を示し、多様な推論経路を普及させていることを示唆しています。
難易度スケーリング： EVOTD とベースラインのパフォーマンスの差は、問題の難易度とともに拡大し、LiveCodeBench などのベンチマークの「Hard」サブセットで最大 90% の相対的向上が観察されました。これは、スケール不変な論理を教える上での複雑性変調の有効性を確認するものです。
一般ドメイン転移： 改善は、一般ドメインの推論ベンチマーク（MMLU-Pro、SuperGPQA）へもクリーンに転移しました。最も顕著な向上は、厳密な推論が結合制約となる STEM 関連分野に集中していました。

意義と主張

本論文は、制約のないヒューリスティック生成から構造化された進化的探索への転換によって、EVOTD が推論改善のための新たなパラダイムを確立すると主張しています。著者は以下を論じています。

構造はランダム性に優る： 論理と複雑性を体系的に分離することで、ヒューリスティックなプロンプティングでは達成できない高品質で多様なカリキュラムの生成が可能になる。
過剰なコストなしのスケーラビリティ： EVOTD は、複雑な自己対戦やツール統合フレームワークの過大な計算オーバーヘッドなしに、ベースモデルが効率的にスケーリングできる実用的な道筋を提供する。
解釈可能性： 透明なスキル - 複雑性多様体上でタスクを進化させることで、フロンティア探索型でありながら解釈可能なカリキュラムを構築し、多くの自己改善型 LLM システムの「ブラックボックス」性質に対処する。

著者は、構造的進化が、標準的なプロンプティングで一般的な構造化されていない生成よりも、複雑な推論に対してはるかに信頼性の高いトレーニングシグナルを提供し、LLM の推論フロンティアを実質的に押し広げると結論付けています。