技術要約: CLEANER – 自己浄化された軌跡によるエージェント型強化学習のブースト

1. 問題提起

本論文は、Pythonインタープリタのようなツールを利用する大規模言語モデル（LLM）、特にパラメータ制約のあるモデル（例：4B–7Bパラメータ）における**エージェント型強化学習（RL）**の決定的なボトルネックに対処している。ツールの使用は複雑な問題解決を可能にする一方で、探索フェーズは頻繁な実行失敗に悩まされる。これらの失敗は、無効なコードや冗長なトレースバックを含む「ノイズの多い軌跡（noisy trajectories）」を生成し、コンテキストウィンドウを汚染する。

標準的な結果ベースの報酬設定（例：GRPOなど）の下では、最終的な成功に対して軌跡全体に一律の正の報酬が与えられるが、中間段階のエラーは考慮されない。これにより、以下のクレジット割り当てのジレンマが生じる：

• ノイズ汚染: 誤ったアクションと、それに続く「エラー → フィードバック → 再試行」のループが、成功した推論とともに不適切に強化されてしまう。
• 意味的干渉: モデルが意思決定を再接地（re-grounding）するのではなく、誤った実行パスを正当化することを学習してしまい、ポリシーの不安定化と性能低下を招く。
• 既存の限界: 現在の緩和戦略はトレードオフに直面している。密な報酬（dense rewards）を割り当てると「報酬ハッキング」（最終的な結果よりも中間的な指標を最適化すること）を誘発しやすく、一方で、高品質なものをフィルタリングするために複数の候補を生成するスーパーサンプリング（supersampling）は、ロールアウトフェーズがRL訓練時間を支配するため、膨大な計算コストを要する。

2. 手法: CLEANER と SAAR

著者らは、外部的なフィルタリングやサンプリングの増加に頼るのではなく、データ収集中にエラーで汚染されたコンテキストを直接排除することで、エージェント型RLを強化するフレームワークであるCLEANERを提案している。その中核となるメカニズムは、**類似度を考慮した適応型ロールバック（Similarity-Aware Adaptive Rollback: SAAR）**である。

SAAR メカニズム

SAARは、実行エラー（$o^-$）が発生した際のロールアウトフェーズ中に動作する。エラーを履歴に永久に記録する代わりに、システムは「自己浄化された」軌跡を構築するために2段階のプロセスを開始する。

1. フェーズ I: エラーのトリガーと先読み修正 (Error Trigger and Lookahead Correction)

   • エラーが発生すると、現在の状態が凍結される。
   • モデルは、拡張されたコンテキスト（エラートレースを含む）を用いて、修正（$c'_t$）および補助的な推論トレース（$r'_{aux}$）を生成するように促される。
   • 修正が成功した場合、プロセスはフェーズ II へ進む。

2. フェーズ II: 類似度を考慮した適応型置換 (Similarity-Aware Adaptive Replacement)

   • SAARは、difflib.SequenceMatcherなどの類似度関数を使用して、誤ったコード（$c_t$）と修正されたコード（$c'_t$）の間の意味的な類似度を計算する。
   • 実装レベルの修復（高類似度）: 類似度が閾値 $\gamma$ を超える場合、そのエラーは表面的なもの（例：構文上のタイポ）とみなされる。システムは**浅い置換（shallow replacement）**を行い、エラーのタプルを破棄して、元の推論に修正されたコードを直接移植する。
   • 推論レベルの修復（低類似度）: 類似度が低い場合、そのエラーは深い論理的欠陥を示している。システムは**深い置換（deep replacement）**を実行し、失敗したターン全体（推論＋コード＋エラー）を削除し、意味的な一貫性を維持するために補助的な推論と修正されたコードに置き換える。

実装の詳細

• ロジットの再計算: ポリシーの更新が正しい因果経路に基づいていることを保証するため、システムは（エラー拡張されたコンテキストではなく）浄化されたコンテキストの下で、修正されたアクションの対数確率を再計算する。これは、不変な履歴プレフィックスのKVキャッシュを再利用することにより、RadixAttention（SGLang経由）を用いて効率的に実現される。
• カリキュラム混合: エラー回避能力とモデル固有の自己修正能力のバランスを取るため、訓練パイプラインはSAARを70%の軌跡に確率的に適用し、残りの30%は元の状態のまま保持する。

3. 主な貢献

本論文は、主に4つの貢献を述べている：

1. CLEANER フレームワーク: 自己浄化された軌跡を用いて訓練することで、実行ノイズをフィルタリングし、正しい推論パターンをモデルに内在化させる、エージェント型RLのクレジット割り当て問題を解決する新しいアプローチ。
2. SAAR メカニズム: 計算コストの高いスーパーサンプリングを行うことなく、失敗を適応的に修復（構文上のタイポから論理的欠陥まで）してクリーンな信号を構築する自律的な手法。
3. 効率性と性能: CLEANERが、わずか3分の1の訓練ステップでSOTAモデルに匹敵する性能を発揮し、SOTAを達成できることを実証。
4. 再現性: コード、環境設定、処理済みデータセットを含む、完全に再現可能な訓練パイプニラインの提供。

4. 実験結果

著者らは、Qwen3-4B-InstructおよびQwen2.5-7B-Instructをベースモデルとして、AIME24/25、GPQA、LiveCodeBenchを用いてCLEANERを評価した。

• 性能向上: ベースラインと比較して、CLEANERは平均して以下の精度向上を達成した：
  • AIME (Pass@1) で 6%
  • GPQA で 3%
  • LiveCodeBench で 5%
• 効率性: CLEANERは、SOTAベースラインであるDemyAgent-4Bと同等の性能を、わずか3分の1の訓練ステップ（750ステップに対し250ステップ）で達成した。
• エラー抑制: 訓練メトリクスは、誤ったツール呼び出しの一貫した抑制を示しており、ツール失敗率の低下と合格率（pass rate）の向上との間に明確な相関関係が見られた。
• アブレーション研究:
  • ツールの必要性: コードインタープリタを統合することで、数学およびコーディングタスクにおいて性能が大幅に向上した（例：Qwen2.5-7Bで+20%）。
  • 軌跡の浄化: SAARメカニズムは、すべてのベンチマークとモデルスケールにおいて一貫した利点を提供した。
  • 内在化: 推論時にSAARを無効化しても、性能低下は無視できる程度であった（例：AIME24 Pass@1で1%未満の低下）。これは、モデルがメカニズムを足場として依存しているのではなく、エラー回避のロジックを内在化していることを裏付けている。
  • 回復: 不足または不安定なベースライン（ステップ200時点）にCLEANERを導入すると、訓練が安定し精度が向上したが、最初からSAARを用いて訓練されたモデルの性能には完全には到達しなかった。

5. 意義と主張

本論文は、CLEANERが「より多くのデータ（スーパーサンプリング）」から「よりクリーンなデータ（軌跡の浄化）」へと焦点を移すことで、効率的なエージェント型RLのためのスケーラブルなソリューションを提供すると主張している。

• スケーラビリティ: 高価なスーパーサンプリングの必要性を排除することで、リソース制約のある環境においても高品質なエージェント型RLを可能にする。
• 学習シグナルの整合性: この手法は、訓練シグナルを正しい振る舞いに適合させ、エラー回復ループの強化を防ぎ、堅牢なツール使用パターンをモデルに内在化させる。
• 汎用性: 結果は、カスタマイズされた事後学習（ポストトレーニング）と軌跡の浄化を受けることで、小型モデル（4B）が、エージェント型の推論タスクにおいて大幅に大きなモデル（例：72Bや671B）に匹敵する能力を獲得できることを示唆している。

著者らは、軌跡の浄化が、ツール拡張型LLMエージェントを進展させるための、極めて重要かつスケーラブルな代替手段であると結論づけている。