技術的サマリー：能力の問題ではない：LLM エージェントの階層におけるハネス感度は単調ではない

問題提起

自律型 LLM エージェントの展開において広く信じられている仮説は、モデルの能力と「ハネス」（タスクの範囲、操作、出力形式、検証を定義するシステムレベルのプロンプト）の最適複雑性の間に、単調な逆相関関係が存在するというものである。この仮説は、能力の高いモデルは構造的なガイダンスを比例的に少なく必要とし、能力の低いモデルはより厳格で構造化されたプロンプトから恩恵を受けると示唆している。その結果、実務家はしばしば多様なモデル・フリートに対して均一で高度に構造化されたハネスを適用している。

本論文は、この単調な逆相関仮説の実証的妥当性に疑問を呈する。それは、異なるモデル階層にわたって「能力が高いほど構造が少ない」という単一の勾配が成立するかどうか、そしてチャット指向モデルと推論指向の最先端モデルとの間で関係性が異なるかどうかを問うものである。

手法

著者らは、ワークスペースレベルの検証のために設計された決定論的 24 タスク合成ベンチマーク「HEAT-24」を用いた、制御された実証研究を実施した。

• ベンチマーク設計（HEAT-24）： このベンチマークは、git リポジトリとして初期化された 12 個のファイル（YAML、JSON、Python、Markdown、CSV など）を含む共有合成ワークスペース上で動作する。検証はファイルの変更を検出するために git diff を通じて行われる。タスクは 6 種類に分類される：ローカル検査、構造化編集、形式感受性、検証回復、修復、および多段階操作。各タスクには二値の検証子が存在する。
• ハネス条件： 構造的複雑性の 3 つのレベルがテストされた：
  1. 軽量（Light）： 形式や範囲の制約のない、2 行のプロンプト（役割＋生タスク指示）。
  2. バランス型（Balanced）： 4 段階のプロセステンプレート（計画、実行、確認、応答）と許可ファイルリストを追加。
  3. 厳格（Strict）： 6 つの明示的な段階（プレフライトからレポートまで）、明示的な成功基準、検証仕様、ファイル変更のための特定のマーカー（<<<WRITE:path>>>）の使用を指示するものを追加。
• モデル： 4 つの能力階層にまたがる 6 つのモデルが評価された（合計 432 回の実行：24 タスク × 3 ハネス × 6 モデル）：
  • 最先端・プロプライエタリ： Gemini 2.5 Flash。
  • 最先端・推論： 拡張思考を有効化された Qwen3.5-122B。
  • 強力・オープン： GPT-OSS-120B。
  • 制約あり： Qwen3.5:2B、LLaMA 3.2（3B）、および Gemma4:e2B（2B）。
• 指標： タスク成功率（TSR）と検証済みタスク成功率（VTSR）。失敗は、自動ルールベースの分類体系を通じて 6 つのラベルに分類された：形式違反、誤った回答、誤ったファイル、変更の欠落、無関係な変更、およびテストの継続的な失敗。

主要な貢献

1. HEAT-24 ベンチマーク： 異なるハネス条件におけるエージェントの信頼性を評価するための、6 つのタスクカテゴリを網羅する決定論的かつ git 検証付きのベンチマーク。
2. 単調性の実証的反証： 能力と最適ハネス複雑性の間の逆相関関係が普遍的に成立しないことを示す、最初の制御実験。
3. 非単調パターンの特定： 2 つの対照的な現象の証拠：最先端チャットモデルにおいて厳格なハネスがパフォーマンスを低下させる「ハネス複雑性のパラドックス」と、最先端推論モデルにおいて厳格なハネスがパフォーマンスを向上させる非単調パターン。
4. パラメータ数対指示チューニング： パラメータ数はハネス感度に対する信頼性の低い代理指標であり、指示チューニングの品質が決定的な調整変数であることを示唆する知見。
5. 失敗分類体系とガイドライン： 6 ラベルの失敗分類体系と、階層を考慮した実用的なハネス選択ガイドライン。

結果

1. ハネス複雑性のパラドックス（最先端チャットモデル）

Gemini 2.5 Flash においては、ハネスの冗長性の増加がパフォーマンスを著しく低下させた。

• 軽量ハネス： VTSR 95.8%。
• バランス型ハネス： VTSR 58.3%（-37.5 ポイント）。
• 厳格ハネス： VTSR 66.7%（-29.2 ポイント）。
• 分析： 複雑な条件における支配的な失敗モードは形式違反であった（バランス型で 10/10 の失敗、厳格で 8/8）。著者らは、複雑な多段階指示がモデルの生成分布を説明的な散文へとシフトさせ、必要な JSON スキーマを直接出力するのではなく推論を叙述させていると仮説立てている。この効果は形式感受性タスクに特有であり、構造化ファイル編集タスクはすべてのハネスにおいて 100% を維持した。

2. 非単調パターン（最先端推論モデル）

Qwen3.5-122B（拡張思考を有効化）においては、関係性は非単調であり、仮説に反していた。

• バランス型ハネス： VTSR 75.0%（最低）。
• 軽量ハネス： VTSR 87.5%。
• 厳格ハネス： VTSR 91.7%（最高）。
• レイテンシ： 驚くべきことに、厳格ハネスは軽量（35.4 秒）およびバランス型（38.5 秒）と比較して、最も低いレイテンシ（23.3 秒）をもたらした。
• 分析： 厳格ハネスの明示的な成功基準は、モデルの思考連鎖（chain-of-thought）のための足場として機能し、曖昧さを軽減した。バランス型ハネスは、拡張思考プロセスによって解決されるのではなく増幅される矛盾した信号を生み出した。

3. 強力・オープンおよび制約あり階層

• 強力・オープン（GPT-OSS-120B）： 軽量およびバランス型ハネスに対して堅牢性を示し（いずれも VTSR 95.8%）、厳格条件下では modest な低下（87.5%）を示した。完全なパラドックスや非単調パターンは示さなかった。
• 制約あり階層の異質性：
  • Qwen3.5:2B： 逆 U 字型のパターンを示した。軽量ハネスは誤ったファイルおよび形式違反エラーにより失敗（VTSR 0%）。バランス型ハネスが最適（58.3%）であり、十分な足場を提供した。厳格ハネスは指示の過負荷によりパフォーマンスを崩壊させた（4.2%）。
  • LLaMA 3.2： すべての条件で均一に低いパフォーマンス（<21%）を示し、誤ったファイルエラーが支配的であり、基礎的な指示追従能力の欠如を示していた。
  • Gemma4:e2B： すべてのハネス条件で VTSR 91.7% を達成し、パラメータ数が約 2B しかないにもかかわらず、120B の強力・オープンモデルの安定性と同等であった。これは、ハネス感度研究における能力階層の代理指標としてパラメータ数が十分であることを疑問視するものである。

4. 失敗モード

• 能力のあるモデル： 複雑なハネスを使用する際に形式違反が支配的であった。タスクを理解していたが、説明的な散文を抑制できなかった。
• 制約ありモデル： 軽量ハネス下では構造的ガイダンスの欠如による誤ったファイルエラーが、厳格ハネス下では指示の過負荷による形式違反が支配的であった。

意義と主張

本論文は、単調な逆相関仮説が実証的に誤りであると結論づける。ハネス感度は非単調であり、能力階層だけでなく、モデルタイプ（チャット対推論）と指示チューニングの品質に決定的に依存する。

• 政策への示唆： 普遍的なハネスポリシーは効果的ではない。
  • 最先端チャット： 形式違反を避けるため、形式感受性タスクには軽量ハネスを優先する。
  • 最先端推論： 思考連鎖の足場を築きレイテンシを削減するため、厳格ハネスを優先する。
  • 制約あり（中程度）： バランス型ハネスが最適である。
  • 制約あり（高度なチューニング）： Gemma4:e2B のようなモデルは、パラメータ数に関わらずハネス複雑性に対して堅牢である。
• 理論的転換： 本研究は、指示チューニングの品質が、生のパラメータ数よりもハネス感度のより信頼性の高い予測因子であると主張する。今後の展開フレームワークは、規模のみに基づく階層分類に依存するのではなく、指示追従能力を実証的に評価すべきであると示唆している。
• 限界： 著者らは、本研究が条件ごとに単一の反復（$k=1$）を使用しているため、結果は予備的なものであると指摘している。ワークスペースは合成のものであり、「チャット対推論」の区別は事前定義された変数ではなく、事後解釈的枠組みであった。Qwen3.5-122B の結果は、実験中に有効化された「拡張思考」設定に特有のものである。