技術要約：テスト時ハーネス進化（TTHE）

問題提起

現代の大規模言語モデル（LLM）エージェントは、凍結された基礎モデルだけでなく、コンテキスト構築、ツール呼び出し、中間検証、および失敗からの回復を管理する制御プログラムである「ハーネス（harness）」によって挙動が決定される、実行可能なシステムとして構築されることが増えています。現在のデプロイメントの実践では、通常、開発または訓練用のラベル付きデータに対してこのハーネスを最適化し、評価前に固定します。この静的なアプローチは、テスト分布、失敗モード、またはツールの相互作用が開発時と異なる場合の適応性を制限します。

ファインチューニングやテスト時学習といった既存の適応メカニズムはモデルの重みを変更しますが、セルフデバッグやリフレクション手法は、単一の応答を修正したりテキストベースの経験を保存したりするにとどまります。自動化されたワークフロー探索は通常、デプロイ前に行われます。ここで重要な未解決の問いは、LLMエージェントが、モデルの重みを更新したり、ゴールドラベル（正解ラベル）を必要としたり、別の適応モデルを訓練したりすることなく、自身のラベルなしの実行トレースのみから、周囲の実行可能なハーネスを修正することで、評価中に適応できるか？ という点です。

手法：テスト時ハーネス進化（TTHE）

TTHEは、実行可能なハーネスをテスト時の適応状態として扱うことで、この問題に対処します。ラベル付きデータ上で固定のワークフローを探索するのではなく、TTHEはハーネスの最適化を、ラベルなしのテストバッチに対して行われる評価プロセスそのものへと移行させます。

コアメカニズム

TTHEは、同一の凍結されたLLMの周囲にインスタンス化された3つの役割からなるエージェント・ループを通じて、候補となるハーネスの集団を維持し、それらを洗練させます。

1. Solver（ソルバー）: 現在のハーネス内でタスクを実行するエージェント。
2. Proposers（プロポーザー）: 実行トレースを考察してハーネスのコードを書き換えるエージェント的コーディングエージェント。
3. Judge（ジャッジ）: 実行から得られた信号に基づき、改善されたハーネスを確定させるエージェント的セレクター。

進化ループ

各ラベルなし入力バッチ $X_t$ に対して：

1. 観測: 現在確定されているハーネス $H_t$ が $X_t$ 上で実行され、詳細な実行トレース（プロンプト、ツール呼び出し、stdout/stderr、エラー、ランタイム状態）と軽量なプロキシ信号が生成されます。
2. 集団の進化: TTHEは、$R$ ラウンドにわたって $G$ 個の並列ブランチを進化させます。各ラウンドにおいて、$G$ 個のプロポーザーがそれぞれの親ハーネスを編集して子ハーネスを作成します。プロポーザーは文脈として他のブランチからのトレースを読み取りますが、編集自体は自身の系統（lineage）に対して行います。これにより、系統性（有用な戦略の保持）と多様性（保守的な修復、探索、敵対的アプローチなど、異なる編集方向の探索）の両方が確保されます。
3. 選択: ジャッジは、最終的な候補ハーネスのセット、そのトレース、およびプロキシ信号を検査し、次のバッチのための単一のハーネス $H_{t+1}$ を確定します。
4. 測定: ゴールドラベルは、選択が行われた後でのみ精度測定のために参照されます。ラベルが適応ループに入ることはありません。

最適化信号

ゴールドラベルは適応中には利用できないため、TTHEは実行から得られるプロキシ信号に依存します。これらは不完全な証拠であり、正解やオラクルではありません。

• 実行の健全性: 出力がエラーなく実行され、整った形式の結果を返すかどうか。
• ラウンドトリップの一貫性: 出力が入力と一致するように記述へと逆変換できるかどうか（意味的なドリフトを検出するため）。
• 公開テスト通過率: 公開されている例やリポジトリのテストを通過した割合（隠れたテストでは失敗する可能性があるため、不完全な証拠となります）。

システムは、これらを単一のスカラー報酬に集約することを避け、代わりに生のトレースと信号をエージェント的プロポーザーとジャッジにさらすことで、ゲーミング（報酬ハック）や系統的なエラーの繰り返しを防ぎます。

主な貢献

1. テスト時ハーネス進化の定式化: 本論文は、モデルの重みを固定し、ゴールドラベルを事後の測定に隔離した状態で、評価中にラベルなしのトレースから実行可能な制御プログラムとしての恒久的なハーネスを適応させるという、新しい適応パラダイムを定義しました。
2. 集団ベースの生成・判定ループ: これを、同一の凍結されたLLMの周囲でソルバー、プロポーザー、ジャッジが異なる役割を果たすシステムとして実現し、プログラムの変更を通じて完全に適応することを可能にしました。
3. 実証的検証: 本手法は、5つの実行接地型ドメイン（Text-to-SQL、競技プログラミング、ソフトウェアエンジニアリング、データサイエンス・コーディング、およびエージェント的ツール使用）において実証され、グラウンディング、検証、および修復のための検査可能なポリシーを生み出しました。
4. 診断分析: 検索予算、バッチサイズ、およびバックボーンに関するアブレーション研究を提供し、トレース監査を実施して、失敗モード（特に「選択の後悔（selection regret）」、すなわち優れた候補が確定されない現象、および限定的な候補カバレッジ）を特定しました。

結果

TTHEは、BIRD (Text-to-SQL)、LiveCodeBench、SWE-bench Verified、DS-1000、および claw-eval (エージェント的ツール使用) の5つのベンチマークのハードなスライスにおいて評価されました。

• 性能向上: DeepSeek-v4-flashをバックボーンとして使用した場合、TTHEはベースラインのReActハーネスを大幅に改善しました。
  • BIRD: 12.0% $\to$ 50.0%
  • LiveCodeBench: 30.0% $\to$ 38.3%
  • SWE-bench Verified: 20.0% $\to$ 35.0%
  • DS-1000: 38.0% $\to$ 44.0%
  • claw-eval: 48.9% $\to$ 69.8% (平均グレードスコア)
• モデルの独立性: 向上は異なるバックボーン（MiMo V2.5, Kimi K2.5）間でも一貫しており、このループが特定のモデルに依存していないことを示しています。
• 創発的なポリシー: 進化したハーネスは、ベースラインには存在しない、検査可能な挙動（例：厳格な再現優先ワークフロー、SQLのための実行・自己デバッグループ、コーディングのための条件付き検証・修復ポリシー）を導入しました。
• アブレーションによる洞察:
  • 検索予算: パフォーマンスは検索予算に対して非単調です。並列系統（$G=3$）は単一系統（$G=1$）よりも優れています。これは、優れた初期候補の喪失を防げるためです。
  • バッチサイズ: パフォーマンスは中程度のバッチサイズ（$B=10$）でピークに達します。これは、意思決定あたりの証拠量と適応ステップ数のバランスをとっています。
  • 累積: 確定されたハーネスをバッチ間で引き継ぐことは、各バッチに対してベースラインにリセットする場合よりも高い精度をもたらします。

意義と限界

本論文は、TTHEがLLMエージェントのテスト時適応を、実行可能な制御プログラムの進化として再定義することを提唱しています。モデルの重みを更新したりゴールドラベルを使用したりすることなく、持続的で検査可能な改善が可能であることを示しています。

しかし、著者らは中心的な技術的ボトルネックを特定しています。

• プロキシの信頼性: 実行から得られる信号の質が極めて重要です。システムは、クエリが正常に実行されても誤った回答を返す可能性があるという、不完全な証拠の下で最適化を行わなければなりません。
• ジャッジの信頼性: 潜在的な利得の大部分は「選択の後悔」によって失われます。これは、エージェント的ジャッジが妥当ではあるが不正確なプログラムを確定させてしまったり、プールの中からより良い候補を選択できなかったりする現象です。ジャッジは明らかに誤った較正（miscalibrated）をしており、ベンチマークと互換性のない出力形式を好む傾向があります。
• カバレッジの限界: 生成されたすべての候補に対してオラクルが存在する場合でも、解決できないタスクが残っており、これは現在の探索空間のカバレッジにおける本質的な限界を示しています。

著者らは、TTHEがモデルの重みを変えずにエージェントを適応させるための実用的なメカニズムを提供する一方で、そのような進化の堅牢性は、プロキシ信号と選択メカニズムの信頼性に大きく依存すると結論付けています。前方予測的なスコアリングによる前方汎化の確立や、選択のボトルネックへの対処など、今後の課題が残されています。