技術サマリー：daVinci-Agency – 長期的なエージェンシー（Long-Horizon Agency）をデータ効率的に解き放つ

1. 問題提起

大規模言語モデル（LLM）は短期的なタスクにおいては習熟を示しているが、それを長期的なエージェント・ワークフロー（long-horizon agentic workflows）へとスケールさせることは依然として大きな課題である。主なボトルネックは、真正な長期的依存構造とステージ間の進化ダイナミクスを捉えた高品質な学習データの不足にある。

既存のデータ合成手法は、以下の2つの決定的な限界に直面している：

1. 合成された軌跡（Synthetic Trajectories）： 単一の機能的シナリオや教師モデルに限定された蒸留に依存する手法は、現実的な失敗モード、エラーの蓄積、および反復的な洗練のパターンを捉えることに失敗することが多い。これらはステップを独立したものとして扱い、持続的な目標指向行動に不可欠な因果関係を欠いている。
2. 手動アノテーション： 高精度な監督のための人間によるアノテーションは、コストが極めて高く、スケールさせることが困難である。

その結果、現在のモデルは、長期的な相互作用のスパンにおいて、方向性を維持し、累積的なエラーを軽減し、反復的な洗面を行うことに苦慮している。

2. 手法：daVinci-Agency

著者らは、現実世界のソフトウェア進化の観点からデータ構築を再定義する新しいデータ合成パラダイム、daVinci-Agencyを提案する。その核心となる洞察は、GitHubのプルリクエスト（PR）シーケンスが、長期的な学習に必要な監督信号を自然に体現しているという点である。

2.1 コアメカニズム：Chain-of-PRs

孤立したIssueの修正とは異なり、ソフトウェア開発は、複数のPRが単一の機能的目標に沿って継続的に反復されるプロセスである。daVinci-Agencyは、PRの連鎖（chains of PRs）（$PR_i$ が $PR_{i-1}$ を反復、修正、または拡張するという、意味的にリンクされたPRのシーケンス）から、構造化された監督信号を体系的にマイニングする。この構造は、以下の3つの重要なメカニズムを強制する：

1. 漸進的なタスク分解（Progressive Task Decomposition）： 連続的なコミットとサブクエリを通じて、複雑な目的を検証可能な提出ユニットへと分解することで達成される。
2. 長期的な一貫性（Long-Term Consistency）： 連鎖全体を通じて統一された機能的目標を通じて強制され、コードベースの進化に伴い、エージェントが状態の整合性を維持することを要求する。
3. 検証可能な洗練（Verifiable Refinement）： 本物のバグ修正履歴とフィードバックループから導出され、エージェントに、事前の状態に基づいてエラーを修正する方法を教え込む。

2.2 データキュレーション・パイプライン

本フレームワークは、厳格なパイプラインを通じて動作する：

• データソーシング： スケール（>7,000 PRs）、コミュニティのインタラクティビティ、および言語的多様性に基づき、9つの代表的かつ成熟したGitHubリポジトリ（例：Scipy, Django）が選定された。
• PRチェーンの構築： GitHub APIのメタデータを使用し、意味的な参照（例：「fixes #15」）によってPRがリンクされた依存トポロジーを構築する。
• クエリの定式化： チェーン内の各PRに対して、サブクエリを合成する。重要な点として、エージェントにコードのナビゲーションとローカライズを強制するために実装詳細は伏せられる一方で、マクロ的な理解を確実にするために、チェーン全体のグローバルな概要が提供される。
• ロールアウトと棄却サンプリング（Rollout & Rejection Sampling）： エージェント（ロールアウトモデルとしてGLM-4.6を使用）は、PRチェーンに沿ってタスクを逐次実行する。状態遷移メカニズムにより、前のステージからのコード変更が次のステージへと伝播することを保証する。厳格な棄却サンプリングプロセス（閾値 $s \ge 0.8$ を持つエバリュエーターを使用）によって軌跡をフィルタリングし、グラウンドトゥルースのパッチに対する意味的な忠実度が高いもののみを保持する。

3. 主な貢献

1. スケーラブルなデータパラダイム： 高価な人間によるアノテーションや単一機能の合成に頼ることなく、検証可能な長期的な学習データを構築するために、現実世界のPR進化を利用するdaVinci-Agencyを導入した。
2. データ効率性： 極めて小さなデータセット（239サンプル）のファインチューニングによって、桁違いに大きなデータセット（例：66kサンプル）で訓練されたベースラインを上回る広範な改善が得られることを示した。
3. メタスキルの獲得： このパラダイムが、タスク分解、長期的な一貫性、および反復的な洗練という3つの重要なメタスキルを効果的に教えるという証拠を提供した。
4. スケーリング則（Scaling Laws）： 長期的なタスクにおける特定のデータスケーリング則を明らかにし、訓練ホライゾン（チェーンの長さ）と推論時の相互作用予算の両方を拡張することで、エージェントの性能が大幅に向上することを示した。

4. 実験結果

著者らは、SWE-bench、Toolathlon、DS-1000、および $\tau^2$-Bench を含む多様なベンチマークにおいて、ファインチューニングされたモデル（具体的にはGLM-4.6、Qwen3シリーズ）を評価した。

• 性能向上： GLM-4.6をわずか239個のdaVinci-Agencyサンプルでファインチューニングした結果、Toolathlonにおいて47%の相対的な向上、および、より大規模で構造化されていないデータセットで訓練されたモデルと比較して、長期的なパフォーマンスにおいて148%の改善を実現した。
• ベースラインとの比較： モデルは、SWE-Smith（66kサンプル）やCC-Bench（260サンプル）で訓練されたベースラインを、特にステージ間の進化を必要とするタスクにおいて上回った。
• アブレーション研究：
  • クロスステージの進化を取り除いた場合（SinglePRバリアント）、性能が低下し、マルチPRチェーンの必要性が確認された。
  • 意味的なリンクを持たない時系列順のチェーン（TemporalChain）は限定的な利益しか示さず、単なるシーケンスの長さよりも固有の進化ロジックがより重要であることを浮き彫りにした。
• 効率性： daVinci-Agencyで訓練されたモデルは、トークン消費量（例：SWE-benchにおいてGLM-4.6で113.6Kトークンの削減）およびツール使用量が大幅に減少しており、これはトークンあたりの情報密度が高く、コンテキスト管理が優れていることを示している。
• スケーリング分析： 訓練軌跡を（より長いPRチェーンを完了させることで）約59kから約85kトークンへと拡張すると、さらなる性能向上が得られ、長期的な逐次的構造のスケールアップの可能性が検証された。

5. 意義と主張

本論文は、daVinci-Agencyがエージェントの固有の長期的ポテンシャルを解き放つための原理的な道筋を確立すると主張している。その意義は以下の通りである：

• データの希少性の克服： 現実世界の進化の軌跡をモデリングすることが、合成データや手動アノテーションデータの代替案としてスケーラブルであることを示した。
• 行動の内面化： 結果は、エージェントが表面的なパターンだけでなく、高品質な構造化データにさらされることで、複雑で持続的な目標指向行動（プランニング、一貫性、エラー修正）を内面化できることを示唆している。
• 自己蒸留の可能性： 訓練軌跡自体がモデル自身（GLM-4.6）によって生成されているため、性能向上は、優れた「教師」からの知識蒸留ではなく、精緻化された環境内でのモデルの自己探索と最適化に起因している。

著者らは、現在の実装は成功率の制約により最大5つのPRのチェーンに限定されているものの、観察されたスケーリング則は、これらのチェーンを拡張することが、長期的なエージェント・システムにおける将来の研究に向けた実現可能で有望な方向性であることを示唆していると結論付けている。