技術要約: HarnessBridge

問題提起

大規模言語モデル（LLM）は、複雑で長期的なタスク（例：自律的なソフトウェアエンジニアリング、ウェブナビゲーション）を実行するエージェントとして、ますます多く展開されています。進歩の焦点は、より強力な生成モデルやより豊かな環境に置かれてきましたが、エージェントと環境の相互作用を媒介する「ハーネス（harness）」という第3の軸が、依然としてボトルネックとなっています。

既存のハーネスは、主に観察結果のフォーマット、コンテキスト管理、およびアクションの検証を行うために、手動で設計されたスキャフォールド（足場）です。相互作用のホライゾン（期間）が長くなるにつれ、これらの静的なシステムは主に2つの制限に直面します。

1. 環境からエージェントへ（観察）: トラジェリ（軌跡）に冗長なコンテキスト、古いエラー、価値の低い詳細が蓄積され、意思決定に不可欠な状態を不明瞭にし、トークンコストを増大させます。
2. エージェントから環境へ（アクション）: モデルが無効なアクションを繰り返したり、無効化された仮説を追求したり、不適切なコマンドを発行したりすることで、タスクを進展させることなく貴重な環境ステップを消費してしまいます。

現在の自動化されたアプローチ（例：Meta-Harness）は、通常、外部のスキャフォールドやプロンプトを最適化しますが、何が情報を生成器に流し、何のアクションを環境にコミットするかを動的に決定する実行時の相互作用ポリシーを学習することはありません。著者らは次のように問いかけています：ハーネスを、エンドツーエンドで学習可能な生成問題として定式化できるか？

手法: HarnessBridge

著者らは、エージェントと環境のインターフェースを双方向投影ポリシー ($\pi_h$) としてパラメータ化する、軽量で学習可能なハーネスコントローラーである HarnessBridge を提案します。生成器ポリシー ($\pi_g$) は凍結されたまま、最適化はハーネスのみに対して行われます。

1. 双方向投影

HarnessBridgeは、2つの異なるマッピングを学習します。

• 観察投影 ($P_{obs}$): 生の相互作用履歴 ($H_t$) を、生成器が可視化できる状態 ($\tilde{H}_t$) にマッピングします。

  • メカニズム: 各履歴ユニット $h_i$ を処理し、$z_i \in \{Pass, Compress, Drop\}$ の決定を割り当てます。
    • Pass (通過): ユニットをそのまま保持します。
    • Compress (圧縮): 意味を保持しながらユニットを凝縮します（例：冗長なログの要約）。
    • Drop (破棄): 無関係、古い、または上書きされたコンテンツを削除します。
  • アクティブ状態インデックス: 履歴の前に配置される学習されたコンポーネント ($U_t$) は、未解決のエラー、未解決の制約、確立された事実、および保留中のゴールを明示的に追跡し、長い軌跡から再構築することなく、重要な状態が確実に可視化されるようにします。

• アクション投影 ($P_{act}$): 生成器が提案したアクション ($a_t$) を、環境に直面するアクション ($a'_t$) にマッピングします。

  • メカニズム: $d_t \in \{Pass, Reject\}$ の決定を予測します。
    • Pass (通過): アクションを実行します ($a'_t = a_t$)。
    • Reject (拒否): アクションをブロックし ($a'_t = \emptyset$)、軌跡に基づいたフィードバック ($\rho_t$) を生成器に返します。
  • フィードバック構造: 拒否には、「懸念事項（なぜそのアクションが非生産的であるか）」、「根拠（拒否を支持する履歴内の具体的な引用）」、および「提案（どのように改善すべきか）」を含める必要があります。これにより、有益な探索を維持しつつ、生産性のないループを防ぎます。

2. 統一されたインストラクション・チューニング

個別のモジュールを訓練する代わりに、HarnessBridgeは共有ポリシー ($P_\theta$) を使用して、両方の投影を単一の条件付き生成問題へと統合します。

• 訓練データ: 解かれた軌跡（例：SWE-bench Verified）から構築されます。
• 教師あり学習: モデルは、タスク仕様と現在の軌跡に基づいて、適切な投影（圧縮された状態、またはパス/拒否の決定とフィードバック）を生成するようにインストラクション・チューニングを通じて訓練されます。
• データキュレーション: 高品質な教師信号を確保するため、LLMジャッジを用いて以下の項目をフィルタリングします：
  • 観察投影が、意思決定に不可欠な証拠とスキーマの一貫性を保持していること。
  • アクション投影が軌跡に基づいていること（拒否は必ず履歴を引用すること）、および効率性の向上につながること。
• モデル: 軽量なLLM（Qwen3.5-0.8B）がコントローラーとして機能するようにファインチューニングされます。一方、生成器（例：Qwen3.5-35B、GPT-5.4）は凍結されたままとなります。

主な貢献

1. エンドツーエンドで学習可能なハーネス: 手動で設計された相互作用ロジックを、エージェントと環境のインターフェースを媒介する学習可能なハーネス・ポリシーに置き換える最初のフレームワークを導入しました。
2. 統一されたインストラクション・チューニング: エージェントと環境の間の双方向マッピング（観察の圧縮とアクションの検証）を学習するために、統一されたインストラクション・チューニングを初めて適用しました。
3. HarnessBridge システム: タスクの成功率を維持しながら、トークン使用量と軌跡の長さを大幅に削減し、競争力のあるタスクパフォーマンスを実現する動作システムを提示しました。

実験結果

著者らは、様々なオープンソースおよび商用モデルを用いて、Terminal-Bench 2.0 および SWE-bench Verified でHarnessBridgeを評価しました。

• パフォーマンス vs 効率性: HarnessBridgeは、強力な特化型ハーネス（例：Terminus 2, OpenHands, Meta-Harness）と同等またはそれを上回る性能を示しながら、トークン使用量を大幅に削減しました。
  • Terminal-Bench 2.0 (Qwen3.5-35B) において、33.7%の成功率（Terminus 2の30.3%に対し）を達成し、46.8%のトークン使用量削減を実現しました。
  • SWE-bench Verified において、60.2%の成功率（Terminus 2の61.6%に対し）を維持しながら、23.1%のトークン削減を実現しました。
• 汎用性: 小規模な生成器（Qwen3.5-35B）の軌跡から訓練されたモデルは、大規模な商用モデル（例：GPT-5.4, Claude-Opus-4.7）に対しても効果的に汎化し、特定のモデルでは成功率を向上させつつ、トークンコストを最大**90%**削減しました。
• アブレーション研究: 観察またはアクションのいずれかの投影モジュールを取り除くと、成功率が低下し、両方のコンポーネントが最適な相互作用に必要であることが確認されました。
• ケーススタディ: 分析により、HarnessBridgeが冗長な推論やナビゲーションのターンを効果的に圧縮しつつ、重要なテスト出力やエラーメッセージを保持していることが示されました。また、エージェントがコードをテストせずに繰り返しチェックするような「冗長な検証ループ」を効果的に中断し、実行可能なステップへと誘導することに成功しました。

意義と主張

本論文は、HarnessBridgeがエージェントと環境のインターフェースを、静的なインフラストラクチャではなく、学習可能なポリシーとして再構成したものであると主張しています。その意義は以下の通りです：

• スケーラビリティ: 古いコンテキストを抑制し、不生産的なアクションを拒否することを学習することで、タスクのホライゾンが延びても効率性を維持でき、現在の長期ホライゾン・エージェントの中心的な制限に対処します。
• 効率性: タスクの成功率を犠牲にすることなく（あるいは向上させながら）、トークン消費量と軌跡の長さを大幅に削減します。
• 転移可能性: 学習された制御パターンは、異なる生成モデルや環境を横断して汎化されます。これは、ハーネスが特定のモデルの軌跡のアーティファクトに過学習しているのではなく、効果的なエージェントと環境の相互作用の根本的な特性を捉えていることを示唆しています。

著者らは、現在の評価がコーディング設定に限定されていることを注記していますが、このメカニズムは一般的なツール使用の軌跡に対して動作するため、ウェブナビゲーションや多段階の研究ワークフローへの適用可能性を示唆しています。