🤖 AI

ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents

本論文は、ステップごとのルーブリック基準のための生成ヘッドと、ステップレベルの報酬のためのスコアリングヘッドを共通のモデルバックボーン内で共進化させるフレームワークであるARCOを提案しており、これにより、ステップレベルのラベルや静的なクローズドソースのジャッジを必要とせずに、動的なクレジット割り当てとマルチステップエージェントの性能向上を実現している。

原著者： Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたはロボットに、複雑なミステリー、例えば多段階の推理ストーリーを解く方法を教えています。ロボットは手がかりを探し、点と点をつなぎ合わせ、最終的に答えを出す必要があります。

かつて、こうしたロボットを教えることは、非常に厳格な審判と「熱いか冷たいか（ホット・オア・コールド）」ゲームをしているようなものでした。

従来の方法： ロボットはミステリー全体を解こうとします。もし最終的な答えが正解であれば、審判は「よくできました！」（高スコア）を与えます。もし間違っていれば、「ダメでした！」（低スコア）を与えます。
問題点： ロボットは「なぜ」失敗したのかを知ることができませんでした。間違った質問をしたのか？手がかりを見落としたのか？早すぎる段階で推測してしまったのか？審判はただ「間違い」と言うだけで、ロボットは何が間違っていたのかを推測するしかありませんでした。これは、数学の各ステップのどこが間違っていたのかというコメントが一切ないまま、期末試験で赤字の「F」を付けられる学生のようなものです。

ARCOの登場：「共進化」するコーチ

この論文は、こうしたAIエージェントを訓練するための新しい手法であるARCO（Adaptive Rubric CO-evolution：適応型ルーブリック共進化）を紹介しています。ARCOを単なる一人の審判ではなく、生徒の働きを見守りながら、自分自身で採点基準（ルーブリック）を書き上げるスマートなコーチだと考えてみてください。

その仕組みを、簡単な比喩を使って説明します。

1. 「同じスケール」のコーチと生徒

通常、私たちはロボットを採点するために、非常に賢く高価な「ブラックボックス」型の判定器（巨大でクローズドソースなAIなど）を使用します。しかし、その判定器は静的であり、学習しません。
ARCOは、生徒であるロボットと同じサイズで、同じ「脳の能力」を持つコーチ（ルーブリック・モデル）を使用します。彼らはパートナーです。生徒が上手くなるにつれて、コーチも採点するのが上手くなります。彼らは共に成長していくのです。

2. チェックリストの作成（ルーブリック）

コーチは単にスコアを与えるのではなく、ロボットが行うあらゆるステップに対してチェックリストを作成します。

ステップ1： ロボットが「セルゲイ・トカレフとは誰か？」を検索する。
コーチのチェックリスト： 「ロボットは正しい人物を検索したか？無関係な人物を検索していないか？十分な証拠を見つけたか？」
ステップ2： ロボットが「彼の大学はいつ設立されたか？」を検索する。
コーチの新しいチェックリスト： 「ロボットはまず大学名を知る必要があると気づいたか？無関係な事実の検索を止めたか？」

コーチは、ミスが変わるたびに、ステップごとに新しいチェックリストを作成します。初期段階では、ロボットは間違った人物を検索するかもしれません。その後、正しい人物を検索しても、その方法が間違っているかもしれません。固定されたチェックリストでは、これら進化するミスをすべて捉えることはできませんが、ARCOのコーチは毎回、新鮮なチェックリストを作成します。

3. 「部分の総和」のルール

ここには魔法のような仕掛けがあります。コーチはステップをランダムに採点するのではありません。コーチはある黄金律を叩き込まれます。それは、**「すべてのステップのスコアの合計は、最終的な結果と一致しなければならない」**というルールです。

もしロボットがミステリーを完璧に解いた場合（最終スコア = 100）、コーチは、合計が100になるように、良いステップには高いスコアを、悪いステップには低いスコアを与える方法を見つけ出さなければなりません。
もしロボットが失敗した場合（最終スコア = 0）、コーチはどの特定のステップがスコアを下げたのかを突き止めなければなりません。

これにより、コーチは人間から「ステップ3が悪かった」と言われなくても、まさに「どこで」ロボットが間違ったのかを学習できるのです。コーチは、最終的な結果を小さく公平な断片へと分解することを学びます。

4. 共進化のダンス

最もユニークな部分は、生徒とコーチが同時に更新されることです。

生徒がパズルを解こうとします。
コーチがそれを見守り、チェックリストを書き、スコアを与えます。
生徒はスコアから学び、より賢くなります。
生徒が賢くなったことで、生徒は新しい種類のミスをするようになります（もはや初心者レベルのミスはしません）。
コーチはこれらの新しいミスを見つけ、それらを捉えるためにチェックリストを更新します。

これは、パートナー（コーチ）がダンサー（生徒）に合わせて常にステップを調整するダンスのようなものです。生徒が華麗なスピンを始めたら、コーチは単なる基本ステップではなく、そのスピンを採点することを学ぶのです。

なぜこれが優れているのか？

ブラックボックスがない： 謎めいた、変化しない巨大なAIに採点を頼ることはありません。透明性が高く、理由を平易な言葉で説明できるオープンソースのモデルを使用します。
ステップごとの明快さ： 単に「全体として失敗した」と言うのではなく、どのステップが良く、どのステップが悪かったのかを正確にロボットに伝えます。
適応性： ロボットが向上するにつれて、採点基準もより洗練され、固定されたチェックリストでは見逃してしまうような微妙なエラーをも捉えるようになります。

要するに、ARCOは訓練プロセスを「何が間違っていたのかを当てる」ゲームから、教師と生徒が共に学び、進むにつれてゲームのルールを絶えず洗練させていく、明確なステップ・バイ・ステップのチュートリアルへと変えるのです。

技術要約: ARCO (Adaptive Rubric CO-evolution)

問題提起

マルチホップ質問応答（QA）などで用いられるマルチステップの大規模言語モデル（LLM）エージェントのための強化学習（RL）は、通常、スカラー報酬に依存しています。これらの報酬は、多くの場合、結果ベース（軌跡レベルでの成功または失敗というバイナリ形式）か、あるいはプロセスベース（ステップごとの不透明なスカラー値）のいずれかです。

結果報酬は、詳細なクレジット割り当て（貢献度の評価）を提供できず、それが「運による正解」なのか「体系的な探索プロセス」によるものなのかを区別することを困難にします。
プロセス報酬は粒度は向上しますが、依然として「ブラックボックス」であり、なぜ特定のステップが良かったのか、あるいは悪かったのかについての説明を提供しません。
既存のルーブリック（評価基準）ベースの手法は、自然言語による基準を用いることで解釈性を高めようと試みています。しかし、これらは2つの決定的な限界を抱えています。
1. 軌跡レベルのスコアリング: これらはロールアウト全体に対して単一のスコアを割り当てるため、ステップレベルのクレジット割り当ての問題が解決されません。
2. 静的なジャッジ: これらは、外部のジャッジとして固定されたクローズドソースのLLM（例：GPT-4）に依存しています。ルーブリックのテキスト自体は更新可能であっても、ジャッジのパラメータは静的であるため、エージェントの進化する失敗モードに対してスコアリング関数を適応させることができません。

手法: ARCO

著者らは、評価基準（ルーブリック）とスコアリング関数が、同規模のオープンソースモデルを用いて、パラメータレベルでポリシー（方策）と共に共進化するフレームワークであるARCO (Adaptive Rubric CO-evolution) を提案しています。

1. 階層的ルーブリックモデル ( $\mu$ )

ARCOは、ポリシー $\pi$ とバックボーン $f_\theta$ を共有する単一の学習可能なモデル $\mu$ 内に、ルーブリック生成とスコアリングの両方を実装しています。このモデルは、2つの軽量なヘッドを備えています。

生成ヘッド（高レベル）: 軌跡のプレフィックス $h_t$ とアクション $a_t$ が与えられたとき、順序付けられた $K$ 個の自然言語基準の集合 $r_t = (c_{t,1}, \dots, c_{t,K})$ を生成します。これらの基準は、タスクの段階（例：初期の探索におけるエンティティ・ターゲティングから、最終ステップにおける回答の裏付けまで）に適応し、コンテキスト依存的です。
スコア・ヘッド（低レベル）: 同じ状態・アクションのコンテキストと、生成された基準 $r_t$ を入力として受け取ります。これは $K$ 次元のスコア $d_t \in [-1, 1]^K$ を生成し、それらを平均することでステップレベルの報酬 $s_t$ を形成します。

2. 共進化トレーニング

このフレームワークはオンポリシーのデータ上で動作し、ポリシー $\pi$ とルーブリックモデル $\mu$ を共同で更新します。

教師ありウォームアップ: RLの前に、クローズドソースのティーチャー（教師）が、ルーブリックとスコアを用いて軌跡をアノテーションします。ポリシーは成功した軌跡を用いた教師あり微調整（SFT）によって初期化され、 $\mu$ は、軌跡レベルの分解制約を満たすように基準を生成しスコアを予測するように初期化されます。
RLループ:
- ポリシーの更新 ( $\pi$ ): ポリシーは、現在の $\mu$ によって予測されたステップレベルのスコア $s_t$ から導出された報酬-to-go（報酬の残り）のアドバンテージを用いて更新されます。分散を抑えるために、ポジション・バケット化されたベースラインが使用されます。
- ルーブリックモデルの更新 ( $\mu$ ): モデルは、軌跡分解制約を用いて更新されます。予測されたステップスコアの総和は、終端のバイナリ結果 $R(\tau)$ と一致しなければなりません。
  $\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$
  これにより、 $\mu$ はゴールドのステップラベルなしで、ステップレベルのクレジット割り当てを学習することができます。なお、KL項は、生成されたルーブリックがウォームアップ時の分布と整合性を保つように機能します。

3. 主要な設計上の選択

共有バックボーン: 生成ヘッドとスコアリング・ヘッドはパラメータを共有しています。これにより、基準がスコアリングに使用されるものと同じ表現空間で記述されることが保証され、分解目的関数からの勾配が両方のステージの機能（特徴量）を形成できるようになります。
同規模のオープンソース: ARCOは、エージェントとエバリュエーター（評価器）の両方に、オープンソースモデル（例：Qwen3-4B, Llama-3.2-3B）を使用しており、外部のクローズドソース・ジャッジへの依存を排除しています。

主な貢献

適応的かつステップレベルのルーブリック・フレームワーク: ARCOは、自然言語のルーブリックとスコアリング関数の両方が、パラメータレベルでポリシーと共に共進化するプロセス報酬フレームワークを導入しており、固定されたクローズドソースのジャッジを必要としません。
分解を伴う階層的モデル: 著者らは、コンテキストに特化した基準を生成し、その下でアクションをスコアリングするモデルを設計しました。軌跡分解制約を課すことで、モデルは終端の結果のみに基づいて個々のステップへのクレジットを割り当てる方法を学習します。
実証的検証: マルチホップQAベンチマークにおける広範な実験により、ARCOが強力なベースラインを上回ることが示されました。また、分析により、生成されたルーブリックがステップ特異的であり、堅牢であり、エージェントの挙動を診断するのに有用であることが確認されました。

実験結果

著者らは、2つのオープンソース・バックボーン（Qwen3-4BおよびLlama-3.2-3B）を用い、3つのマルチホップQAベンチマーク（HototaQA, 2WikiMultiHopQA, MuSiQue）でARCOを評価しました。

パフォーマンス: ARCOは、すべての6つの構成（データセット、バックボーン）において最高のExact Match (EM) スコアを達成し、6つのうち5つで最高のF1スコアを記録しました。以下のモデルを一貫して上回りました。
- 結果報酬モデル (ORM): バイナリ報酬手法（Search-R1, R1-Searcher）や、固定されたジャッジを用いたルーブリック型ORM（RaR, CARMO, RLER）を含む。
- プロセス報酬モデル (PRM): 特に、不透明なスカラー・ステップ値を備えたAgentPRM。
アブレーション研究:
- ルーブリックのテキスト生成を除去した場合（"w/o Rubric"）、パフォーマンスが大幅に低下し、ルーブリックが単なる装飾ではなく、不可欠な意味構造を提供していることが確認されました。
- 固定されたデータセットレベルの基準を用いた場合（"w/o Adaptive"）は、適応的な生成よりも性能が悪く、固定された基準では進化する失敗モードを追跡できないことが示されました。
- 軌跡のプレフィックスなしで質問とアクションのみに基づいたルーブリックを用いた場合（"w/o Prefix"）は、回答の正確性が低下し、フルコンテキストの重要性が示されました。
ルーブリックの質: 診断テストにより、ARCOのルーブリックは高度にアクションに紐付いており（スコア対象となった特定のアクションを識別する精度は42〜55%で、偶然を大きく上回る）、特異性についても高く評価されている（約4.0/5.0）ことが示されました。
感度: 基準の数（ $K$ ）には感度があることが判明しました。 $K=3$ が最適なパフォーマンスを示しましたが、 $K$ の値が高くなると、スコアを向上させることなく冗長性が導入されました。

意義と主張

本論文は、ARCOが、静的で不透明な報酬モデリングから、適応的で解釈可能、かつ共進化的な報酬システムへの転換を象徴していると主張しています。

解釈性: 全てのステップに対して自然言語の基準を生成することで、ARCOは、なぜあるアクションに報酬が与えられたのか、あるいは罰が与えられたのかを説明する「読み取り可能な」信号を提供し、エージェントの挙動の診断を支援します。
適応性: 固定されたジャッジを使用する方法とは異なり、ARCOのエバリュエーターはポリシーと共に進化します。エージェントが特定の誤りを回避することを学習するにつれ、ルーブリックモデルも、より微細な失敗モード（例：誤ったエンティティのターゲット化や冗長な検索）を識別するように適応します。
効率性とアクセシビリティ: エージェントとエバリュエーターの両方に同規模のオープンソースモデルを使用することで、ARCOは高い性能を維持しながら、クローズドソースAPIのコストと依存関係を回避します。

著者らは、ARCOが、解釈可能なプロセス報酬学習システムを構築するための基礎を提供し、外部のジャッジなしで、希薄な結果報酬を密なステップ認識信号へと変えるものであると結論付けています。

ARCOの登場： 「共進化」するコーチ