技術的サマリー：ノイズ下での行動学習（NoisyAgent）

問題定義

大規模言語モデル（LLM）の最近の進歩により、推論、計画、ツール使用が可能なインタラクティブなエージェントの展開が可能になった。しかし、現在の研究で用いられる理想化された学習環境と、実世界展開における確率的で不完全な性質との間に根本的な不一致が存在する。既存のパラダイムは、慎重にキュレーションされた指示と、安定した制御された環境に依存している。それに対し、実世界の相互作用には以下が含まれる：

• ユーザーノイズ: ユーザー指示における曖昧さ、変動性、予測不可能な行動。
• ツールノイズ: 外部ツールの実行における失敗、不完全な出力、誤った情報、異常。

この不一致は、エージェントが動的な環境に展開された際に、著しい性能低下をもたらす。現在の学習手法は、実務で遭遇するエラーからの回復や曖昧さの解決に必要な堅牢性をエージェントに備えさせることに失敗することが多い。

手法：NoisyAgent

著者らは、学習プロセスに環境の不完全性を明示的に組み込むように設計されたエージェント型強化学習（RL）フレームワークNoisyAgentを提案する。このフレームワークは、自動ノイズ注入パイプラインと適応的学習戦略という 2 つの主要な構成要素からなる。

1. 自動ノイズ注入パイプライン

このシステムは、エージェントと環境の相互作用を 2 つのレベルで攪乱することで、実世界の不完全性をシミュレートする：

• ユーザー側注入: タスク開始前に相互作用パターンを変更し、非理想的なユーザー行動をシミュレートする。これには以下が含まれる：
  • 曖昧: 不十分なユーザー意図。
  • 矛盾: 時間経過とともに矛盾したり変化したりするユーザーのニーズ。
  • 冗長: 無関係な情報の含め。
  • 制約: 相互作用プロセスがより確率的になる一方で、タスクの根本的な目的（$q$）は解決可能性を確保するために保持される。
• ツール側注入: エージェントのロールアウト中にツール実行結果を攪乱し、実行異常をシミュレートする。これには以下が含まれる：
  • 失敗: エラーを返すツール要求。
  • 不完全: 切り捨てられた出力。
  • 誤導: 不正確または矛盾する情報。
  • 冗長: 応答に含まれる不要な詳細。

2. 適応的ノイズ学習戦略

制御されていないノイズによる学習ダイナミクスの不安定化を防ぐため、著者らはハイブリッド学習方式とカリキュラム学習を組み合わせて採用する：

• ハイブリッドロールアウト: 各タスクについて、モデルは並列ロールアウトのセットを生成する。サブセット（$N_{noise}$）は攪乱された（ノイズのある）環境で実行され、残りの部分（$N - N_{noise}$）はクリーンで理想化された環境で実行される。
• グループ別正規化: 学習目的（グループ相対方策最適化、GRPO に基づく）は、クリーングループとノイズグループ内で個別にアドバンテージを計算する。これにより、どちらかのグループが勾配更新を支配することを防ぎ、不均質な条件下での学習を安定させる。
• ノイズスケジューリング: ノイズの難易度と割合は静的ではない。システムは、クリーンなロールアウトとノイズのあるロールアウトの間の性能ギャップ（$\Delta$）を通じてモデルの堅牢性を定量化する。
  • 学習は完全に理想化された環境から開始される。
  • モデルが適応するにつれて（すなわち、$\Delta$が閾値$\theta$を下回る）、システムはノイズスケール（ノイズのあるロールアウトの割合）とノイズ難易度（攪乱の深刻度）を段階的に増加させる。
  • これにより、エージェントを圧倒することなく相互作用の複雑さを徐々に増大させるカリキュラムが作成される。

主要な貢献

1. 学習と展開のギャップの特定: 現在のエージェント学習における理想化された仮定への依存が、実世界設定における堅牢性の失敗の主要な原因であることを論文は浮き彫りにする。
2. ノイズ感知フレームワーク: 指示ノイズ（ユーザー側）とツールノイズ（ツール側）をエージェント学習パイプラインに統合する体系的なフレームワークの開発。
3. 適応的カリキュラム: モデルの性能に基づいてノイズの難易度を段階的に増加させることで、学習の安定性と堅牢性のバランスを取る新しいスケジューリング戦略。
4. 実証的検証: ノイズ下での学習が、ノイズのある環境だけでなく、標準的な理想化されたベンチマークにおいても性能を向上させることを示す広範な実験。

実験結果

著者らは、Qwen3-8BおよびQwen3-32Bをバックボーンとして使用し、AgentNoiseBench（ノイズ設定）および$\tau^2$-BenchやVita-Bench（理想設定）などの標準ベンチマークにおいて、強力なベースライン（GRPO、DAPO、GSPO）に対して NoisyAgent を評価した。

• ノイズ環境における堅牢性: NoisyAgent は、さまざまなドメイン（小売、航空、通信、配送など）で AgentNoiseBench においてすべてのベースラインを一貫して上回った。例えば、Qwen3-32B を使用した小売ドメインにおいて、NoisyAgent はAvg@4 が 43.20、Pass@4 が 65.79を達成し、次の最良の方法（GSPO: 37.72 / 60.53）を大幅に上回った。
• 理想設定への汎化: ノイズ学習がクリーンなタスクの性能を低下させるかもしれないという仮説とは対照的に、NoisyAgent は標準ベンチマークで一貫した向上を達成した。$\tau^2$-Bench の小売ドメイン（Qwen3-32B）において、Avg@4 が 60.31、Pass@4 が 86.84を達成し、GSPO（58.55 / 84.21）を上回った。
• 行動分析:
  • 効率性: ノイズ条件下では、NoisyAgent はベースモデルと比較してツール使用を 18% 削減（エピソードあたり 13.9 回から 11.4 回）し、冗長な相互作用を回避した。
  • 明瞭性: モデルはより長く詳細な応答を生成し（ノイズ下での出力トークンが 2.1 倍増加）、さらなるツール呼び出しに依存するのではなく、曖昧さを解決するための明示的な相互作用への移行を示唆した。
• アブレーション研究: 制御された注入を除去（すべてのロールアウトにノイズを適用）すると、最大の性能低下が発生し、ハイブリッド学習方式の必要性が確認された。スケジューリング戦略を除去しても劣化が生じ、段階的な難易度の重要性が検証された。

意義と主張

この論文は、環境ノイズへの制御された曝露が、暗黙的な難易度増強の一形態として機能すると主張する。エラーからの回復、曖昧さの解決、予期せぬ結果への適応をエージェントに学習させることで、このフレームワークはより汎用的な推論と意思決定行動を促進する。

著者らは、以下の点により、エージェント学習と実世界展開のギャップを埋めたと主張する：

1. 堅牢性が、学習中に多様な不完全性に曝露されることで現れる性質であることを検証すること。
2. ノイズを用いた学習が理想化された設定での性能を損なうのではなく、むしろ向上させることを実証すること。
3. 確率的な実世界シナリオにおける信頼性を向上させるために、任意のエージェント環境に適用可能な実用的でスケーラブルなフレームワーク（NoisyAgent）を提供すること。

この研究は、キュレーションされ制御されたベンチマークの外で効果的に機能する LLM ベースのエージェントを開発するには、相互作用の不完全性をモデル化することが不可欠であると結論付けている。