💬 NLP

CurateEvo: Data-Curation Evolving for Agentic Post-Training

CurateEvoは、データキュレーションを実行可能なコードとして表現し、大規模言語モデルエージェントのためのポストトレーニングデータの有効性と効率性の両方を最適化するために、エージェントの失敗の軌跡を用いてそれを反復的に書き換える、失敗駆動型の動的進化フレームワークである。

原著者： Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが経験の浅いロボットアシスタントに対し、予算内で航空券を予約するといった複雑な現実世界の課題を解決する方法を教えようとしていると想像してください。あなたには、人間や他のロボットがこれらのタスクに取り組んだ膨大な古いログのライブラリがあります。一部のログは完璧な成功を示していますが、多くはロボットが行き詰まったり、間違った動きをしたり、クラッシュしたりした様子を示しています。

この論文は、CURATEEVOと呼ばれる新しいシステムを紹介し、特定の課題を解決します。それは、**「この乱雑なログのライブラリを、いかにしてロボットにとって完璧なトレーニングマニュアルに変えるか？」**という問題です。

問題点：「静的なシェフ」対「スマートな編集者」

現在、これらのロボットアシスタントを訓練するほとんどの手法は、静的なシェフのように振る舞います。彼らは生のログライブラリを受け取り、「例題を増やす」「悪いものは捨てる」「すべてを保持する」といった固定されたルールを適用します。

欠陥: ロボットが学習を試みて新しいテストで失敗しても、シェフはレシピを変更しません。彼らは、ロボットが（例えば天気をチェックすることを忘れたといった）特定の弱点のせいで失敗したことを無視し、その特定のギャップに対処するためにトレーニングデータを修正することはありません。

CURATEEVOは異なります。それは、単にデータを選ぶのではなく、データの選び方のための「ルール」を書き、書き換える、スマートで進化する編集者として機能します。

CURATEEVOの仕組み：「練習ループ」

CURATEEVOを、継続的なフィードバックループを実行するコーチと考えてください。

試運転: コーチは現在の「トレーニングマニュアル」（データキュレーションのルール）を取り出し、テスト問題のセット（保持された開発セット）を用いてロボットに練習させます。
失敗報告: ロボットが失敗したとき、コーチは単にスコアを記録するだけではありません。彼らは「なぜ」失敗したのかを分析します。道具の選択を間違えたのか？ステップを忘れたのか？長い会話に混乱したのか？
ルールの書き換え（進化）: 次に、コーチはどのデータを使用するかを決定するコンピュータコードへと向かいます。彼らは、ステップ2で見つかった特定の問題を解決するために、そのコードを書き換えます。
- もしロボットが特定のツールの使い方を知らなかったために失敗した場合、 コードはトレーニングデータにそのツールの例を追加するように更新されます。
- もしロボットがノイズが多すぎて混乱した場合、 コードはそれらの乱雑な例を取り除くように更新されます。
- もしロボットが無駄に長いステップに時間を費やしていた場合、 コードはトレーニングを高速化するために、それらのステップを削るように更新されます。
反復: これは何度も繰り返されます。ラウンドを重ねるごとに、「トレーニングマニュアル」はロボットの特定の弱点に合わせてより最適化されていきます。

2つの主要な目標：有効性と効率性

論文では、CURATEEVOが、料理を美味しく、かつ素早く作ることを試みるシェフのように、2つのことをバランスよく実現していると述べています。

有効性（美味しさを作る）: システムはロボットがどこで失敗するかを監視し、それらの特定の穴を埋めるためにデータを追加または洗練させます。これにより、ロボットが必要な知識を正確に学べるようにします。
効率性（素早さを作る）: システムはまた、トレーニングデータを見て、「これは必要か？」と問いかけます。もしロボットがすでに概念を学習している場合、あるいはトレーニングの例が長すぎたり冗長であったりする場合、CURATEEVOはそれを削ぎ落とします。これにより、ロボットのパフォーマンスを損なうことなく、時間と計算資源を節約します。

結果：より優れたロボット、より少ない無駄

研究者たちは、3種類の異なるロボットの課題（ベンチマーク）に対し、2種類のデータを使用してこのシステムをテストしました。

ラベル付きデータ: きれいな、人間によって注釈が付いたログ（教科書のようなもの）。
ワイルドデータ: 実際のユーザーとのやり取りから得られた、乱雑で現実世界のログ（混沌とした日記のようなもの）。

結果は明白でした：

より高いスコア: CURATEEVOで訓練されたロボットは、従来の静的な手法で訓練されたロボットよりも、有意に高いスコア（平均して約3〜4ポイント高い）を記録しました。
乱雑なデータにも対応: 入力データが「ワイルド」でノイズが多くても、CURATEEVOはそれを高品質なトレーニング教材へとフィルタリングし、洗練させることができました。
高速なトレーニング: 冗長なステップを削ぎ落とすことで、CURATEEVOはロボットの訓練に必要な時間と計算資源を、他の手法と比較して約50%削減しました。
汎用性: それは、ロボット自体に使用される特定のトレーニングレシピ（アルゴリズム）が何であっても、うまく機能しました。

結論

この論文は、データの準備を一度限りの固定されたステップとして扱うのではなく、動的で進化するプロセスとして扱うべきであると主張しています。データキュレーション戦略に、ロボットの失敗から学び、自らのルールを書き換えさせることで、複雑な現実世界の課題をより良く解決できる、よりスマートで効率的なAIエージェントを構築できるのです。

技術要約: CURATEEVO

問題提起

大規模言語モデル（LLM）エージェントには、環境からのフィードバックを用いて長期的な意思決定能力を向上させるためのポストトレーニング手法が必要である。エージェントのポストトレーニングにおいてデータの質が性能の決定要因であることは既知であるが、既存のデータキュレーション・パイプラインには主に2つの制限がある：

キュレーションの軽視: ほとんどの手法はデータの増強（失敗した軌跡の収集）に主眼を置いており、データのフィルタリングや洗練という重要な操作を軽視している。これにより、低品質または冗長なデータが含まれることが多く、性能の比例的な向上なしにトレーニングコストが増大する結果を招いている。
適応の硬直性: 既存のパイプラインは固定されたデータ処理ルールに依存している。これらの静的な戦略は、現在のエージェント・ポリシーの特定の弱みに合わせて動的に調整することができないため、分布外（out-of-distribution）のダウンストリーム・アプリケーションや進化する失敗モードに適応することが困難である。

手法: CURATEEVO

著者らは、エージェントのポストトレーニングにおける失敗駆動型の動的進化キュレーション・フレームワークであるCURATEEVOを提案する。CURATEEVOは、キュレーションを静的な前処理ステップとして扱う従来のプローチとは異なり、キュレーション戦略を環境からのフィードバックに基づいて反復的に書き換えられる実行可能なコードとして扱う。

コア・フレームワーク

本フレームワークは、マルチエポックの進化サイクルで動作する：

表現: キュレーション戦略 $\rho$ $ρ$ は、固定された生コーパス（ $D_{raw}$ $D_{r a w}$ ）を以下の3つのリソースに変換する実行可能なコードとして表現される：
- 教師あり微調整（SFT）データ（ $D_{SFT}$ ）
- 強化学習（RL）データ（ $D_{RL}$ ）
- 推論時のメモリバンク（ $M_{mem}$ ）
トレーニングと評価: エージェント・ポリシーは、キュレートされたデータを用い、固定されたレシピ（SFT + GRPO）を使用して、固定されたベースモデルから学習される。その後、ポリシーは保持された開発セット（ $Q_{dev}$ ）で評価される。
フィードバック収集: 開発セットからの失敗した軌跡が、現在のキュレートされたデータの統計情報（規模、ターン分布、冗長性）と共に収集される。
コードの進化: LLMベースのコード進化エージェントが、失敗した軌跡を分析して、繰り返される失敗モード（例：誤ったツールの選択、弱いプランニング、メモリの不一致）を診断する。その後、これらの問題に対処するために、キュレーション・コード（ $\rho$ ）を書き換える。

最適化目的関数

進化プロセスは、コストを考慮した目的関数 $J(\rho) = P(\rho) - \lambda C(\rho)$ を最適化する：

有効性 ( $P(\rho)$ ): エージェントのダウンストリーム性能によって測定される。進化エージェントは、まず欠落している能力を補うためのデータの増強、誤解を招く例のフィルタリング、および弱い軌跡の洗練を行うことで、これに対処する。
効率性 ( $C(\rho)$ ): 正規化されたトレーニング・ターン・コストによって測定される。有効性への対処後、エージェントは冗長なターンを削減し、有用性の低いサンプルを除去し、重要な監督信号を維持しながらトレーニング・スケールを縮小するために、過度に長い軌跡を切り詰める。

進化した戦略が目的関数を改善できなかった場合、エラーのカスケードを防ぐためにプロセスはロールバックされる。

主な貢献

動的進化フレームワーク: エージェントの失敗によって駆動される、静的なパイプラインから動的なコードベースの進化プロセスへとキュレーションを転換するCURATEEVOの提案。
共同最適化: 本フレームワークは、データの増強、フィルタリング、および洗練を共同で考慮しており、性能向上を実現すると同時にトレーニングコストを削減する。
適応性: 評価フィードバックに基づいてキュレーション・コードを動的に改訂することにより、固定されたパイプラインとは異なり、分布外のアプリケーションや特定の失敗モードに適応する。
リソース構築: 本手法は、単なるトレーニングデータ（SFT/RL）だけでなく、推論時のメモリバンクを明示的に構築し、エージェント訓練のための包括的なリソースセットを作成する。

実験結果

著者らは、Labeled Data（人間がアノテーションした軌跡）およびWild Data（実際のユーザー・インタラクション・ログ）の2つの設定下で、ACEBench-Agent、BFCL-V4、および $\tau^2$ -Benchを用いてCURATEEVOを評価した。

性能向上:
- Labeled Dataの設定において、CURATEEVOは最強の既存のベースラインに対して平均スコアを3.2ポイント向上させた。
- Wild Dataの設定において、平均スコアを2.7ポイント向上させた。
- 特筆すべきは、4Bパラメータモデル（QWEN3-4B）を使用したCURATEEVOが、複数の8Bモデルを使用した従来のメソッドを上回ったことであり、これは適応的なキュレーションがモデルサイズの拡大と同等のインパクトを持ち得ることを示唆している。
効率性: CURATEEVOは、高価な環境インタラクションやシミュレートされたユーザーに頼るのではなく、固定されたコーパスに対してコードを進化させることにより、保持された1,000トレーニング・ターンあたりのトークンオーバーヘッドを約48%、実時間（wall-clock）オーバーヘッドを**50%**削減した。
互換性: CURATEEVOによって生成されたキュレートされたリソースは、異なるポストトレーニング・レシピ（例：AgentGym-RL, ProRL-Agent）と互換性があり、これらと組み合わせることで平均21.3ポイントの追加的な向上をもたらした。
アブレーション研究:
- 有効性重視の改訂を取り除くと、最大の性能低下（約7ポイント）が発生し、失敗モードの診断が成功の主要な原動力であることを確認した。
- 効率性重視の改訂を取り除くと、一貫した低下が見られ、冗長性の削減がスケールの縮小だけでなく、データの質を向上させることを示した。
- 3つのリソース（SFT、RL、Memory）はすべて相補的であることが判明した。

意義と主張

本論文は、適応的でフィードバック駆動型のデータキュレーションが、LLMエージェントを向上させるための実用的かつ効果的な方向性であると主張している。CURATEEVOの意義は、以下の点にある：

キュレーション・プロセスを「固定された前処理ステップ」から、反復的で失敗を認識する最適化ループへと変革したこと。
エージェントのポストトレーニングにおいて、フィルタリングと洗練が増強と同様に重要であることを示したこと。
コストを考慮したキュレーションが、トレーニングのオーバーヘッドを削減しながらダウンストリームの性能を同時に向上させることが可能であり、データがノイズを含んでいたり不完全であったりする場合が多い現実世界のエージェント・アプリケーションに適していることを示したこと。

著者らは、CURATEEVOを特定のポリシー最適化アルゴリズムの代替品としてではなく、あらゆるエージェント的ポストトレーニング・パイプラインに供給されるトレーニング・リソース（ $D_{SFT}$ 、 $D_{RL}$ 、 $M_{mem}$ ）の品質と効率を向上させる、モジュール式のデータ側の強化策として位置付けている。