STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
STEP-VERIFIERは、自動生成されたペア比較を通じてエージェントの個々の行動を検証することを学習するプロセス報酬モデルであり、デプロイ時には検証器への依存を必要とすることなく、複雑なツール利用タスクにおけるエージェントの性能を大幅に向上させるための高密度な中間フィードバックを提供します。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界には、「エージェント」として知られる新しいクラスのプログラムが増えています。単に質問に答えるだけの標準的なチャットボットとは異なり、エージェントは行動を起こすように設計されています。ウェブを閲覧したり、外部ツールを呼び出したり、ファイルを操作したりして、複雑な問題を解決することができます。この方法を学ぶために、これらのエージェントはしばしば試行錯誤に似たプロセスを通じて訓練されます。彼らはタスクに挑戦し、プロセスの最後に成功すれば報酬を与えられます。失敗した場合は、与えられません。これは単純なタスクにはうまく機能しますが、数十のステップを伴う長く複雑なミッションにおいては、重大な盲点を生み出します。エージェントは最終的な結果のみを知っており、どの特定のステップが失敗の原因となったのかを知りません。プロセスの初期段階でのたった一つの誤った動きが、試行全体の台無しにする可能性がありますが、学習システムはその失敗を、あらゆるステップで失敗した試みと同じものとして扱ってしまいます。この詳細の欠如により、エージェントが自身のミスから効率的に学ぶことが困難になります。
香港大学とXiaomiの研究者たちは、「STEP-VERIFIER」と呼ばれる、この問題を解決するための新しい手法を開発しました。このシステムは、タスクの終了まで待ってエージェントのパフォーマンスを判断するのではなく、個々のアクションの質を発生の都度評価することを学びます。この革新性は、すべてのステップに対して人間の教師による採点を必要とせずに、これを行う方法にあります。チームは、エージェント自身の過去の試行を用いて、必要なフィードバックを生成できることに気づきました。エージェントが同じ問題を何度も解こうとするとき、多くの場合、最初の数ステップまでは同じ経路を辿りますが、その後異なる方向へと分岐していきます。これらの異なる分岐の最終的な結果を比較することで、システムはどの初期の選択がより優れていたかを推論できます。ある経路が成功につながり、別の経路が失敗につながる場合、システムはその分岐点こそが重要であったと学習します。
研究者たちは、個々のステップの裁判官として機能する、独立した「検証器（verifier）」モデルを構築しました。彼らは、各試行が成功または失敗としてマークされた、膨大なログ化されたインタラクションを用いて、この検証器を訓練しました。システムは、二つの異なる試行が特定の時点まで同じ履歴を共有していたものの、その後異なるアクションを取った瞬間を探します。そして、それらの最終的な成功率の差を計算します。例えば、あるアクションが80%の確率で成功をもたらし、別の指示が成功をもたらす確率がわずか20%であった場合、検証器はその最初の指示に対してより高いスコアを与えることを学びます。このプロセスによって、タスクが完了するずっと前に、どの動きが良く、どの動きが悪かったのかをエージェントに伝える、濃密なフィードバックのストリームが生成されます。
決定的なのは、この検証器は訓練フェーズにおいてのみ使用されるということです。研究者たちは、エージェニングが多くのランダムな推測を行い、最終的な結果にノイズが多い初期段階において、検証器の影響力が最も強くなるようなスケジュールを設計しました。エージェントが習熟し、自身の最終的な結果がより信頼できるものになるにつれて、検証器のフィードバックは徐々に減少していき、最終的には完全に消失します。これにより、展開される最終的なエージェントは、機能するために検証器を必要としません。エージェントはレッスンを内面化し、独立して動作することができるのです。ウェブブラウジング、ツール使用、およびマルチステップ計画を含む3つの異なるベンチマークでテストされた際、このアプローチは、最終スコアのみに依存する方法を大幅に上回りました。エージェントはより速く学習し、より少ないミスを犯しました。
この研究では、中間ステップを判断する他の方法とも比較が行われました。従来のいくつかのアプローチは、各ステップに対して単純な「はい」または「いいえ」のラベルを使用していましたが、他のアプローチは試行全体を単一のユニットとしてスコア付けしようとしました。ペアとなるアクションを比較する、より微細なランキングシステムを使用する「STEP-VERIFIER」のアプローチは、最も効果的であることが証明されました。そのスコアは、優れたステップとはどのようなものかという人間の判断と、はるかに密接に一致していました。実際、人間がエージェントのアクションをレビューした際、検証器の評価に対して81.5%の割合で一致しており、これは他の自動化された手法よりもはるかに高い数値でした。このことは、システムが複雑なタスクをナビゲートするために必要な微妙なロジックを、うまく捉えていることを示唆しています。
最も重要な発見の一つは、このシステムが追加の人間の労力や新しいデータの収集なしに機能することです。それは、標準的な訓練中にすでに生成されているデータに完全に依存しています。研究者たちは、システムがエージェントが最も時間を費やすステップに自然と焦点を当てることを発見しました。なぜなら、それらのステップこそが、比較するための最も多くのデータを持っているからです。しかし、彼らは一つの限界についても指摘しました。エージェントが滅多に試行しない非常に困難なステップについては、信頼できる判断を下すための十分なデータが存在しません。そのような稀なケースでは、システムの情報は不足します。この境界があるにもかかわらず、この手法は、エージェントに自身の行動について批判的に考えることを教えるための、大きな前進を意味しています。エージェント自身の履歴を教師に変えることで、研究者たちは、これらのシステムがリアルタイムでミスから学ぶ方法を作り出し、より有能で信頼性の高い人工知能へと導いたのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。