AgentHER: LLM エージェントの軌跡再ラベリングのためのヒンズィエイト・エクスペリエンス・リプレイ

以下は、Liang 氏（Alibaba Group）による論文「AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling」の技術的な要約です。

1. 問題定義：LLM エージェントにおける「失敗データ」の浪費

現在の LLM エージェント（Web ナビゲーションや API 操作など）は、実世界のタスクにおいて高い失敗率（WebArena で 85% 以上、ToolBench で 45% 以上）を示しています。従来のトレーニングパイプラインでは、成功した軌跡（Trajectory）のみを学習データとして使用し、失敗した軌跡はすべて破棄するというアプローチが一般的です。

しかし、失敗した軌跡は単なるノイズではありません。エージェントは「目標 A」の達成に失敗したとしても、その過程で「目標 B」の達成に必要な正しい中間結果や行動を既に実行しているケースが多々あります。例えば、「5 ドル/kg 以下の銅線を探す」という目標で失敗したエージェントが、複数のサプライヤーを調査し、5.3 ドル/kg の製品を特定したとします。これは「5.3 ドル/kg 以下の銅線を探す」という別の目標にとっては完全な成功事例です。

この「失敗した軌跡から、実際に達成された結果を逆算して新しい目標（ヒンズィエイト・ゴール）を定義し、それを高品質な学習データとして再利用する」というアイデアを、自然言語エージェントの文脈で体系化したのが本論文の核心です。

2. 提案手法：AgentHER の 4 段階パイプライン

AgentHER は、強化学習の「ヒンズィエイト・エクスペリエンス・リプレイ（HER）」の原理を LLM エージェントの軌跡再ラベリングに応用する、4 段階の自動化パイプラインを提案しています。

ステージ 1: 失敗検出（Failure Detector）

失敗した軌跡を分析し、以下の情報を付与します。

• 失敗タイプ分類: 不完全、制約違反、誤った結果、ツールエラー、幻覚、トピック逸脱の 6 分類。
• 回復可能性フラグ: 軌跡が再利用可能か否か。
• 重大度重み付け（Severity Weighting）: MQM（Multi-dimensional Quality Metrics）の考え方に基づき、幻覚や致命的なツール誤用など重大な欠陥を含む軌跡は破棄し、軽微な欠陥（制約違反など）を含む軌跡には重み付けを適用します。これにより、ラベルノイズを削減します。

ステージ 2: 結果抽出（Outcome Extractor）

軌跡から実際に達成された事実（数値データ、エンティティ名、観測結果）を抽出します。

• ルールベースまたは LLM: 抽出された事実に基づいて、次の段階で生成されるプロンプトの根拠（アンカー）とし、LLM が事実と異なる「幻覚したゴール」を生成するのを防ぎます。

ステージ 3: プロンプト再ラベリング（Prompt Relabeler）

抽出された結果（Outcome）と元のプロンプトを参考に、LLM が「この軌跡が実際に成功したとみなせる新しい自然言語のゴール（ヒンズィエイト・ゴール）」を生成します。

• 制約条件: 生成されたゴールは自然なユーザー要求であること、観測事実に基づいていること、元の失敗したプロンプトを参照しないこと、などが課されます。
• 多判定者検証（Multi-Judge Verification）: 生成されたゴールが有効かどうかを、2 人の独立した LLM 判定者が確認します。両者が高い信頼度で合意した場合のみ採用されます。これにより、ラベルの精度が大幅に向上します。

ステージ 4: データ拡張（Data Augmenter）

検証された「新しいゴール」と「元の軌跡」のペアを、以下の形式に変換して学習データセットに追加します。

• SFT（Supervised Fine-Tuning）: 2 回会話形式（ユーザー：新ゴール、アシスタント：軌跡の思考連鎖）。
• DPO（Direct Preference Optimization）: 「新ゴール（正解）」と「元ゴール（不正解）」を対比させ、同じ軌跡に対するゴールの好みを学習させます。
• ShareGPT 形式: 既存のフレームワークとの互換性を確保。

3. 主要な貢献

1. 新規な定式化: 推論時のメモリ管理（ECHO など）ではなく、オフラインのトレーニングデータ拡張に HER を適用する最初の体系的なパイプラインです。特に、ゴールの忠実性と事実の裏付けを厳格に扱う点が先行研究と異なります。
2. 堅牢性の向上メカニズム:
   • 失敗重大度重み付け: 重大なエラーを含むデータの影響を低減。
   • 多判定者検証: ラベルノイズを 5.9% から 2.3% に削減し、精度を 94.1% から 97.7% に向上させました。
3. 一貫した性能向上: 2 つのベンチマーク（WebArena, ToolBench）と 4 つのモデルファミリー（GPT-4o, Qwen2.5, LLaMA-3.1）において、成功事例のみで学習させたベースライン（SFT-Success）を、+7.1〜11.7 ポイント上回る性能を達成しました。
4. データ効率の向上: AgentHER を用いることで、成功事例のデータ量を 50% に減らしても、従来の全量成功データと同程度の性能を達成可能（2 倍のデータ効率）となりました。

4. 実験結果

• ベンチマーク性能:
  • WebArena: GPT-4o で +7.1%、Qwen2.5-7B で +8.9% の改善。
  • ToolBench: Qwen2.5-7B で +11.7%、LLaMA-3.1-8B で +11.1% の改善。
• モデルサイズへのスケーラビリティ: 1.5B から 72B パラメータまでのモデルで効果を確認。特に 7B/8B 程度の小規模モデルでは、世界知識が不足しているため、多様なタスクサブタイプをカバーする AgentHER の恩恵が最も大きく現れました。
• 反復展開（Iterative Redeployment）: 学習済みモデルで新たに収集した失敗データを再ラベリングして学習を繰り返すことで、さらに +2.1 ポイントの追加改善が確認されました。
• 転移学習: WebArena で学習したモデルを ToolBench（全く異なるタスク構造）でゼロショット評価した際も、SFT-Success に対して +9.5 ポイントの改善が見られ、タスク固有の暗記ではなく、汎用的なエージェント行動を学習していることが示されました。

5. 意義と結論

AgentHER は、「成功と失敗の境界はタスクに依存するものであり、軌跡そのものが絶対的な失敗ではない」という視点の転換を実現しました。

• コスト削減: 追加の環境インタラクションや人間の注釈なしに、既存の失敗データから高品質な学習データを生成できます。
• 実用性: 失敗データを「次の学習のためのカリキュラム」として再利用することで、LLM エージェントのトレーニング効率を劇的に向上させます。
• 将来展望: オンライン学習への拡張、マルチモーダル軌跡（スクリーンショット等）への対応、およびゴール生成自体の学習化などが今後の課題として挙げられています。

本論文は、LLM エージェント開発における「失敗データの廃棄」という慣習を打破し、データ効率とモデル性能の両面で大きな飛躍をもたらす重要なアプローチを示しています。