技術要約: MemoHarness

問題提起

大規模言語モデル（LLM）エージェントの性能は、コンテキスト構築、ツールアクセス、推論オーケストレーション、メモリ保持、および出力検証を管理する外部制御レイヤーである「エージェント・ハーネス（agent harness）」に大きく依存している。実務家の経験によれば、ハーネスの設計によってタスクの成功率が数十パーセント変動することが示されているが、現在の自動最適化手法は、通常、狭いアーティファクト（例：プロンプト、パイプライン、またはワークフロー）に焦点を当てており、フルコントロールレイヤー全体を対象としていない。さらに、デプロイされたエージェントは通常、すべてのケースに対して単一の静的なグローバル・ハーネスに依存しており、ドメイン、曖昧さ、あるいは推論の深さによる特定のバリエーションに適応できていない。

既存のアプローチは、主に3つの課題に直面している：

1. 高次元性と結合性: ハーネスは複雑なシステムであり、一つのコンポーネント（例：検索）を変更すると、他のコンポーネント（例：プロンプト形式やメモリ・ポリシー）に影響を与える。
2. 弱い監督: ベンチマークのスコアは成功または失敗を示してはいるが、どのハーネスの次元が失敗の原因となったのか、あるいは将来のケースに何を転移させるべきなのかを診断できない。
3. テスト時適応のギャップ: デプロイされたエージェントは、新しいラベル、フィードバック、または新たな探索実行を必要とせずに、特定の入力ケースに対して自身のハーネスを特化させる能力を欠いている。

手法: MemoHarness

MemoHarnessは、自身の実行から学習してエージェント・ハーネスを最適化する適応型フレームワークである。これは、**トレーニング時の探索（Training-Time Search）とテスト時のケース適応（Test-Time Case Adaptation）**の2つのフェーズで動作する。

1. 6次元のハーネス空間

MemoHarnessは、ハーネスをモノリシックなプロンプトとして扱うのではなく、推論の時系列フローに基づいて6つの編集可能な制御次元に分解する：

• D1 コンテキスト組み立て (Context Assembly): モデル入力（指示、制約、検索された資料）の構築。
• D2 ツール相互作用 (Tool Interaction): 外部ツールやリトリーバーをいつ、どのように呼び出すかの制御。
• D3 生成制御 (Generation Control): デコーディング・パラメータ（サンプリング、トークン予算）。
• D4 オーケストレーション (Orchestration): ワークフローのトポロジー（呼び出しの順序と推論ステップ）。
• D5 メモリ管理 (Memory Management): 呼び出し間の状態の永続化とコンテキストの削減（pruning）。
• D6 出力処理 (Output Processing): 生のモデル出力の後処理と検証。

2. 二層構造の経験バンク (Dual-Layer Experience Bank)

探索フェーズにおいて、MemoHarnessは構造化された経験バンク ($B_t = \{E_t, G_t\}$) を蓄積する：

• ケースごとのエントリ ($E_t$): 各ケースの実行軌跡、報酬、コスト、および**診断（diagnosis）**を記録する。診断では、主要な失敗次元、二次的な寄与次元、および自然言語による分析を特定する。
• グローバル・パターン ($G_t$): 失敗のクラスターから抽出されたこれらのパターンは、繰り返される現象、支持的な証拠、およびターゲットとなるハーネス変更の期待される効果を捉える。

3. トレーニング時の最適化

システムは、最小限のハーネスから開始して、6次元空間におけるガイド付き探索を行う。

• 正確性優先の選択: 主要な目的はタスク報酬（正確性）の最大化である。実行コスト（トークン使用量）は、二次的なタイブレーク（同点決勝）としてのみ機能する。
• 反復的な洗練: コントローラーは、経験バンクから抽出された証拠に基づいて、新しいハーネス構成を提案する。探索は $T$ 回のイテレーションを実行し、単なるスカラー値のスコアではなく、診断的知識を蓄積する。

4. テスト時のケース適応

推論時には、システムは新たな探索を行わない。代わりに、学習されたグローバル・ハーネス ($W^*$) を特定のテストケース ($x_j$) に適応させる：

• 検索 (Retrieval): システムは、ケースの特徴量と指示の類似性に基づいて、凍結された経験バンクから類似した過去のケース（成功および失敗の両方）と関連するグローバル・パターンを検索する。
• 適応 (Adaptation): コントローラーは、抽出された証拠を用いて、グローバル・ハーネスをケース固有のハーネス ($W(x_j)$) へとマッピングする。
• 実行 (Execution): 適応されたハーネスが実行され、最終的な出力を生成する。テスト時のフィードバックや勾配更新は使用されない。

主な貢献

1. 構造化されたハーネス最適化: モノリシックなハーネスを6つの分離可能な制御面へと分解し、二層の経験バンクと組み合わせることで、探索が再利用可能な診断的知識を蓄積できるようにするフレームワーク。
2. テスト時適応メカニズム: 検索された経験を用いて、テスト時のラベルやフィードバックなしに、検索によって導出されたグローバル・ハーネスを個々のテストケースに適応させる手法。
3. 実証的検証: ドメイン内、クロスデータセット、およびクロスモデルの評価において、タスク成功率の向上を示す結果、および（検索されたコンテキストがキャッシュ可能である場合の）良好なコスト挙動。

実験結果

著者らは、Terminal-Bench（シェル・ツール）、LiveCodeBench（コード生成）、および FinanceAgent（分析的推論）の3つのベンチマークでMemoHarnessを評価した。

• タスク成功率 (RQ1): Terminal-Benchにおいて、MemoHarnessは平均成功率 0.806 を達成し、最強の固定ハーネス・ベースラインであるCodexの0.722を上回った。
• 探索の進化 (RQ2): ハーネスの品質はイテレーションとともに向上し、特にベースとなるハーネスに大幅な改善の余地があった長期間のタスク（FinanceAgent）において顕著な利得が見られた。
• クロスデータセット転移 (RQ3): 学習されたハーネスは、未知の評価スイートに対して選択的な転移を示した。例えば、Terminal-Benchで学習されたハーネスは、MMMLU、StrongReject、およびSWE-Bench Proの性能を向上させたが、その利得はすべてのスイートで一様ではなかった。
• クロスモデル転移 (RQ4): GPT-5.3-Codexを使用して学習されたハーネスを、再学習なしに他の6つのモデルに適用した。すべてのモデルが改善を示し、平均利得はファミリー全体で +0.098 であった。これは、学習された制御ポリシーが移植可能であることを示唆している。
• コスト効率 (RQ3): MemoHarnessは追加のコンテキストを検索するものの、この入力の大部分はキャッシュ可能である。評価において、MemoHarnessは（キャッシュの仮定が成立する場合）、CodexおよびClaude Codeよりも高い精度を達成しながら、より低い総ドルコスト（$6.89 vs. $10.28 および$9.51）を実現した。

意義と主張

本論文は、実行経験は、単一の静的な構成よりも適応的なエージェント・ハーネスを構築するための実用的な基質であると断じている。MemoHarnessは、LLMを取り巻く制御レイヤーを最適化することでエンドツーエンドの性能を向上させられることを示しており、モデルのスケーリングや手動エンジニアリングに対する実用的な補完として機能する。

著者らは、彼らの結果は適応型ハーネスの有効性の証拠を提供するものであるが、統計的な堅牢性と詳細なコンポーネントの属性付けに関するより広範な主張については、今後の課題として残していると明示している。彼らは、観察された利得は普遍的ではなく選択的なものであり、フレーム本フレームワークは、検索された経験がコスト競争力を維持するために効果的にキャッシュできるという仮定に基づいていることを強調している。