技術的概要：ディスカバリーエージェントによる I/O からコードへ

問題定義：IO2Code

本論文は、自然言語からコード（NL2Code）という主流のパラダイムとは異なる、プログラム合成における根本的な課題に取り組んでいる。NL2Code は事前学習中に獲得された自然言語記述とコードの間の意味的整合性に依存するのに対し、IO2Code（入力 - 出力からコードへ）は、自然言語による仕様を一切用いず、限られた入力 - 出力（I/O）ペアのみから汎用的なプログラムを合成することを要求する。

著者らは、IO2Code が NL2Code よりもはるかに深刻な課題を提起すると主張する：

• 帰納対構成：NL2Code は主に学習された記述と整合するコードパターンの構成と再利用に帰着する。これに対し、IO2Code は帰納と発見を要求し、モデルは潜在的なアルゴリズム的構造を解明し、因果関係を推論し、具体的な計算行動から自律的に完全なロジックを構築しなければならない。
• 未定義性：I/O 観測は本質的に未定義である。有限の例のセットと整合する複数の異なるプログラムが存在しうる。これにより、エージェントが誤ったパターン（暗記）に過剰適合したり、構造的に複雑だが誤った「行き止まり」に迷い込んだりする、広大な仮説空間が生まれる。
• 失敗モード：本論文は、既存のアプローチにおける 2 つの主要な失敗モードを特定している：
  1. 過剰適合の罠：モデルは未見の入力において失敗し、一般化するのではなく、特定の例（例えば、ルックアップテーブル）を暗記する。
  2. 盲目な変異の罠：構造的なガイダンスなしの進化探索は、構造的に複雑だが意味的に誤ったプログラムを生み出し、脱出が困難な構造的な行き止まりへと至る。

手法：DIO-Agent

これらの課題に対処するため、著者らは離散プログラム空間における進化探索として IO2Code を捉えるディスカバリーエージェント、DIO-Agentを提案する。この手法は 3 つの中核コンポーネントを統合している：

1. カリキュラム別進化

探索プロセスは、難易度が上昇する段階に組織化される。

• カリキュラム構築：可視化された例は、入力/出力の複雑さに基づいて易しいものから難しいものへソートされる。
• 段階的進行：エージェントは易しい例のサブセット（$C_1$）から開始し、徐々に難しい例（$C_2, \dots, C_S$）を導入していく。
• 初期化：各新しい段階 $s$ において、探索はゼロから再開するのではなく、段階 $s-1$ で見つかった最良のプログラムで初期化される。これにより、エージェントは基本的なロジックを再発見するのではなく、部分的に正しいプログラムを洗練させることができる。

2. 変異優先度前提（TPP）ガイド付き変異

テスト駆動開発（TDD）からの**変異優先度前提（TPP）**に着想を得て、DIO-Agent は変異中に大規模言語モデル（LLM）にバイアスをかける構造的な事前分布を導入する。

• 順序付けられた複雑性：LLM には、構造的複雑性の増加する特定の順序で変換を適用するよう指示される：nil $\to$ constant $\to$ variable $\to$ unconditional $\to$ conditional $\to$ iteration $\to$ recursion。
• メカニズム：エージェントは、より複雑な構成（ループや条件分岐など）を試みる前に、より単純な仮説（定数や変数の返却など）を尽くさなければならない。これにより、探索が過剰適合する複雑な解決策へ早急に飛びつくことを防ぎ、エージェントに最小限の十分条件となる規則を特定させる。
• 実装：LLM は完全な書き換えではなく、SEARCH/REPLACE 差分を提案するようプロンプトされ、複雑性の順序に従いつつ動作するコードを維持する。

3. エラーに基づくフィードバック

スカラー精度スコアのみを頼るのではなく、DIO-Agent は構造化されたフィードバックアーティファクトを利用する。

• 具体的な失敗事例：評価器は候補プログラムを現在のカリキュラムセットと、以前の例のリプレイセットの両方で実行する。そして、不一致の出力やランタイムエラーといった具体的な失敗事例を返す。
• フィードバック連鎖：これらの具体的なエラーと、祖先プログラムから継承されたフィードバックの連鎖は、後続の変異のためのプロンプトに注入される。これにより、LLM は抽象的な報酬ではなく、明示的なデバッグ証拠を得る。
• スコアリング：段階レベルの選択スコアは、現在のカリキュラムにおける精度と、複雑性および暗記（提供された I/O と生成されたコードの間の重複）に対するペナルティのバランスを取る。

主要な貢献

1. IO2Code の形式化：本論文は、構成に重点を置く NL2Code タスクと対比させ、帰納と発見に焦点を当てた IO2Code を明確なタスクとして定義する。
2. IO2CodeBench：著者らは、4 つの難易度レベルにまたがる新しいベンチマークを構築した：Base（スカラー/リスト操作）、Algorithm（複雑な推論）、Geometry（空間計算）、Multimodal（画像から数値への抽出）。このベンチマークには、漏洩を防ぐための厳格な訓練 - テスト分割を含む 125 のタスクが含まれる。
3. DIO-Agent アーキテクチャ：カリキュラム学習、TPP ガイド付き変異、およびエラーに基づくフィードバックを組み合わせた構造化された進化ループの提案により、未定義のプログラム空間をナビゲートする。
4. 能動的探索：本論文は、モデルが真実のオラクルに問い合わせるために自らの I/O 例を能動的に設計する「自律的発見」設定におけるエージェントの能力を実証し、論理的な曖昧さを解決するエージェントの能力をさらに検証している。

実験結果

IO2CodeBench における広範な実験により、DIO-Agent が既存のアプローチを一貫して上回ることが示された：

• 性能：DIO-Agent はすべての難易度レベルで最先端の結果を達成した。
  • Base レベル：61.29%（最良のベースラインと同等）。
  • Algorithm レベル：71.43%（すべてのベースラインを上回る）。
  • Geometry レベル：61.11%（CodeEvolve の 44.44% から大幅な改善）。
  • Multimodal レベル：40.67%（AlphaEvolve の 22.00% をほぼ倍増）。
• 汎用性：この手法は、多様なベース LLM（DeepSeek V3.2、Qwen-3.6-Plus、Claude-Sonnet-4.6）において堅牢な性能向上を示し、モデル非依存であることを確認した。
• 効率性：DIO-Agent は他の進化ベースライン（CodeEvolve の 5,829 トークン/イテレーションに対し 3,738 トークン/イテレーションなど）よりもトークン効率が高く、蛮力生成ではなくターゲットを絞った探索プロセスを示している。
• スケーリングとの比較：DIO-Agent は、同等のサンプリング予算（N=40）が与えられた場合でも、テスト時のスケーリング戦略（Direct、Best-of-N、Self-Consistency）を大幅に上回った。これは、プログラム発見において反復的な独立サンプリングよりも、反復的探索による体系的な洗練が優れていることを示唆している。
• アブレーション研究：カリキュラム別進化を除去すると、最も大きな性能低下（58.63% $\to$ 51.33%）が生じ、非生産的な経路を剪定する上でその役割が重要であることを浮き彫りにした。TPPを除去しても、特に Geometry と Algorithm タスクにおいて顕著な低下が生じた。

意義と主張

本論文は、IO2Code が NL2Code に比べて未だ largely 未解決であるコンピュータサイエンスの「聖杯」を表すと主張する。この研究の意義は以下の点にある：

• パラダイムの転換：自然言語駆動のコード生成を超え、レガシーシステムの移行、ブラックボックス API のリバースエンジニアリング、科学的アルゴリズムの仮説形成などのタスクに不可欠な行動駆動のプログラム発見へと移行すること。
• 構造的制約：ソフトウェア工学の原則（特に TDD からの TPP）を自律エージェントにおける構造的制約として適用することが、過剰適合を効果的に緩和し、広大な仮説空間における探索を導くことを実証すること。
• 汎用性：構造化されたフィードバック駆動の進化探索が、さまざまなドメインおよびモデルバックボーンにわたって LLM の帰納と発見の能力を大幅に強化し、単純なプロンプティングやスケーリングでは達成できない自動プログラム発見の天井を押し上げること。

著者らは、自らの研究が I/O 行動からのプログラム発見というより広範な問題に注目を集め、自然言語駆動の生成を超えたさらなる探求を鼓舞すると結論づけている。