技術的概要：選択的観測下における構造化行動クレジットを用いた CLI エージェントの学習

問題定義

コマンドラインインターフェース（CLI）エージェントは、事前定義されたツール API ではなく、シェルコマンドを介してファイルシステム環境内で直接動作する、エージェントとコンピュータの相互作用における実用的なパラダイムを表します。しかし、これらのエージェントの訓練には、2 つの連動したボトルネックが存在します：

1. 選択的観測：エージェントは、部分的な観測から、大規模で高次元のコードベースおよびファイルシステム内のタスクに関連する証拠を特定する必要があります。初期の視界は通常、環境の限られた投影しかカバーしないため、行動のための正しいファイルやディレクトリを選択することが困難です。
2. 希薄な行動クレジット：多ターン相互作用において、ターミナル報酬はしばしば希薄で遅延しており、エピソードの終了時のみ現れます。大きな状態空間において、ほぼすべての観測が固有であり、既存の強化学習（RL）手法が正規化のために依存する反復状態の仮定が弱まる中で、長い軌道を形成する特定の行動にクレジットを割り当てることは困難です。

現在の手法、例えば軌道レベルの教師あり微調整は、真のタスク理解ではなく、インターフェースパターンの記憶化を招く傾向があります。逆に、既存の RL 手法（Group Relative Policy Optimization の変種など）は、反復状態の欠如と、希薄なターミナル報酬を特定のシェルコマンド構造にマッピングする複雑さにより、CLI 環境におけるクレジット割り当てに苦慮しています。

手法

本論文は、$\sigma$-Reveal と Action Advantage Assignment (A3) という 2 つの主要なメカニズムを通じて、観測とクレジット割り当ての両方に対処する統合フレームワークを提案します。

1. $\sigma$-Reveal：選択的観測

部分的な観測というボトルネックに対処するため、著者はトークン予算を考慮した初期ワークスペース視界を構築する推論時のメカニズムである $\sigma$-Reveal を導入します。

• メカニズム：最初の行動の前に、$\sigma$-Reveal は初期ファイルツリー（$FS_0$）から、トークン予算 $B$ の下で関連性スコア $\hat{\mu}(x | o_0)$ を最大化するサブツリー閉集合のファイルを選択します。
• 関連性スコアリング：スコアは 3 つのシグナルを組み合わせます：
  1. 名称一致：ファイル名がタスク指示のトークンと一致するかどうか。
  2. 深度優先：ディレクトリツリー内のファイルの深度に基づく幾何学的減衰。
  3. 拡張子優先：推定されたタスクタイプに関連するファイル拡張子の可能性。
• 結果：これにより、エージェントは選択されたファイルのディレクトリコンテキストを保持しつつ、トークン効率に優れた文脈的に豊かなワークスペースの視界を受け取ることが保証されます。

2. Action Advantage Assignment (A3)

希薄なクレジット割り当てに対処するため、A3 は補助的な価値モデルや状態のアンカリングを必要とせず、3 つの相補的シグナルを融合してターンごとのアドバンテージを構築するネイティブなエージェント型 RL 手法です。

• AST ベースの行動類似性：この手法は、シェルコマンドの抽象構文木（AST）署名を比較することで行動意図を定量化します。Bash 用の Tree-sitter を使用して、行動を特定のファイルパスやリテラル値に依存しない構造的署名（動詞、リテラル、制御構造）に変換します。行動間の距離は、これらの署名に対する正規化されたレーベンシュタイン距離によって計算されます。
• 3 チャンネルアドバンテージ融合：
  1. エピソードバックボーン ($A^{ep}$)：同じプロンプトに対する兄弟ロールアウトの中央値リターンに対するロールアウトのリターンを対比し、中央値絶対偏差（MAD）で正規化します。これはタスク成功のグローバルなシグナルを提供します。
  2. ターンレベル行動サブチェーン残差 ($A^{intent}$)：最近の行動サブチェーンの構造的類似性（AST 距離を使用）に基づいて、特定のターンで軌道をクラスタリングします。構造的に類似した行動に対するリターンの leave-one-out (LOO) 平均を計算し、この平均からの偏差に基づいてクレジットを割り当てます。これにより、特定のコマンド構造の価値が分離されます。
  3. ツリーアドバンテージ ($A^{tree}$)：過去の行動署名に基づいて相互作用履歴を「バケット」に抽象化します。特定の抽象行動分枝を取る場合と、同じ抽象状態からの平均的な分枝を取る場合との価値差を計算します。このシグナルは、小さなクラスターにおけるノイズを防ぐためにグループサイズによってゲートされます。
• 融合：これら 3 つのシグナルは正規化され、重み付けされ、有界活性化関数（tanh）を通過させられ、ポリシー勾配更新に使用される最終的なアドバンテージ $A_i$ を生成します。

3. ShellOps データセット

この設定を評価するため、著者はリポジトリ環境における CLI タスクを網羅する検証可能なデータセットスイートである ShellOps と ShellOps-Pro を構築しました。

• 範囲：タスクには、Lookup（値の抽出）、Aggregate（散在する証拠からのスカラー回答）、Edit（検証可能なファイル書き換え）、Mixed（stdout とファイル編集の組み合わせ）が含まれます。
• 規模：ShellOps には 1,624 のタスクが含まれています。ShellOps-Pro は、より大きく多様なファイル拡張子を持つ、より困難な分布外タスク 150 件を追加し、作業領域が拡大されています（タスクあたりの中央値ファイル数が標準セットの 3 から 25 に増加）。

主要な結果

実験は、複数のベンチマーク（AgentBench、DataBench、EHRCon、TableBench、および ShellOps）において Qwen3-14B ポリシーモデルを使用して実施されました。

• 性能：$\sigma$-Reveal を用いた A3 は、Qwen3-14B 手法の中で最も強力な結果を達成しました。ファイル編集と stdout の両方を必要とする ShellOps のハイブリッドタスクにおいて、A3 は 24.6% の完全一致スコアを達成し、最強のベースライン（11.3%）を大幅に上回りました。
• サンプリング効率：Pass@k の観点では、$\sigma$-Reveal を用いた A3 は ShellOps で 55.7%（Pass@5）に達し、最良の非 A3 ベースラインの 28.6% と比較して優れていました。
• 長距離転移：最大 10 ステップまで拡張されたホライズンを持つ ShellOps-Pro において、A3 は Qwen3-14B エージェントの中で最高の性能を維持し、特定の設定ではより大規模なフロンティアモデル（例：Qwen3-235B）と同等の性能レベルに達しましたが、Kimi-K2.6 などのモデルとの間には依然としてギャップがありました。
• 安定性：訓練の診断では、A3 が安定したサロゲート KL とポリシーエントロピーを維持し、HGPO や RetroAgent などのベースラインで観察された「KL スパイク」やエントロピーの崩壊を回避したことが示されました。
• 効率性：A3 のアドバンテージ計算コストは、標準的なグループ相対的訓練と同等であり、LLM ジャッジに依存する手法（GiGPO、HGPO など）とは異なり、計算オーバーヘッドが著しく高いものではありません。

意義と主張

本論文は、ワークスペース証拠の選択とコマンド構造が CLI エージェント学習の有効な基盤であると主張します。

• 構造的クレジット：表面テキストではなく、CLI 行動のネイティブな構造的属性（AST 署名）を活用することで、A3 は反復状態や外部ジャッジに依存しない、スケーラブルかつ計算効率の高いクレジット割り当て手法を提供します。
• 観測管理：$\sigma$-Reveal は、網羅的な検索を必要とせず、大規模なファイルシステムにおける部分的な観測の問題を効果的に緩和できる、選択的でトークン予算を考慮したコンテキスト注入を実証しています。
• 実用的パラダイム：この研究は、報酬が実行可能な結果（ファイル状態とターミナル出力）から導出される、CLI エージェントのための検証可能なループを確立し、孤立した入力 - 出力のペアを超えて、真の多ターン相互作用の最適化へと移行します。

著者は、意図の代理としてシェル構造に依存すること（パスやファイル内容の意味論的差異を見逃す可能性がある）という限界と、現在の範囲がシェル駆動のファイルシステム相互作用に限定されており、GUI やネットワーク設定でのさらなる検証が必要であることを指摘しています。