技術概要：スキルプログラムを用いた LLM エージェントの活用（HASP）

1. 問題定義

大規模言語モデル（LLM）エージェントは、計画立案や環境との対話において能力を向上させているが、検証前に終了してしまう、壊れやすい中間結論に固執する、あるいは非生産的な行動を繰り返すなど、反復的な失敗パターンを示すことが頻繁にある。これらの失敗を軽減するための既存のアプローチは、過去の経験から導き出されたテキストベースのスキルに依存することが多い。これらのスキルは通常、プロンプトに注入するか、助言的なガイダンスとして使用される。しかし、本論文は、テキストベースのスキルには以下の 3 つの核心的な限界があると主張している：

1. 助言的性質：これらは原則的にエージェントが「何を」すべきかを表現するが、ポリシーループ内で「いつ」活性化し、「どのように」介入するかを決定する明示的なメカニズムを欠いている。
2. 制御の弱さ：実際にはモデルによって無視されることが多く、エージェントの行動を確実に変更できない。
3. 実行可能性の欠如：言語で表現された再利用可能な経験と、エージェントの行動を明示的に制御できる再利用可能な経験との間にギャップが存在する。

中心的な課題は、このギャップを埋め、受動的なテキストの教訓を、エージェントの意思決定プロセスに直接介入できる能動的かつ実行可能なメカニズムへと変換することである。

2. 手法：HASP フレームワーク

著者は、スキルを受動的なテキストから**プログラム関数（PF）**へと昇華させるフレームワーク、**HASP（Harnessing LLM Agents with Skill Programs）**を導入する。PF は、再利用可能で実行可能な状態 - 行動介入関数として定義される。

コアコンポーネント

• プログラム関数（PF）：自然言語のリマインダーとは異なり、PF は 2 つの明確なインターフェースを持つ実行可能な Python モジュールである：
  • should_activate(state, action)：現在の状態と提案された行動に対してスキルが関連するかどうかを決定する決定論的な述語。
  • intervene(state, action, teacher)：構造化された介入を返す。これには以下が含まれる：
    • Modify_Action：次の行動を書き換えるまたは洗練する（例：過度に制約された検索クエリの短縮）。
    • Inject_Context：エージェントの観測に修正テキストを追加する（例：エンティティの混同に関する警告）。
    • NOOP：変更を控える一方で監査記録をログに記録する。
• スキルライブラリ：検証済みの PF のコレクション。新しい候補は失敗事例から生成され、構文とインターフェースの検証を受け、承認前にティーチャーモデルによってレビューされる。
• ハーネス：ベースエージェントの方策（$\pi_\theta$）をラップする外部制御層。各ステップにおいて、ハーネスは関連する PF を取得し、その活性化述語を評価し、有効な介入を実行し、修正された行動または注入されたコンテキストをループにフィードバックする。

3 つの運用モード

HASP は非常にモジュール性が高く、3 つの異なるパラダイムをサポートするように設計されている：

1. 推論時の介入：PF は実行時に実行可能なガードレールとして機能する。モデルの重みを更新することなく、エージェントの状態に基づいて自律的にトリガーされ、行動を変更するかコンテキストを注入する。複数の候補が存在する場合、適切な PF を選択するのを補助するオプションの補助ティーチャーを使用できる。
2. 事後学習（内部化）：PF の実行は、元の行動、PF による修正、および結果を含む構造化されたレコードを生成する。これらのレコードは、タイミング（いつ）、モード（どのように）、正しさ（品質）、結果（有効性）という 4 つのシグナルを用いてスコアリングされる。これらのスコアは、以下の方法で事後学習を導く：
   • 教師あり微調整（SFT）：修正された行動に基づいて学習する。
   • 拒否サンプリング（RS）：PF による修正に一致し、タスクの成功を達成する軌道を選択する。
   • オンポリシー蒸留（OPD）：PF が介入した自身の状態に基づいて学生モデルを学習させる。
3. 自己改善進化：システムは現在のチェックポイント下での残存失敗を再検討し、反復的な失敗 - 修正パターンを候補 PF として要約し、厳密な実行可能検証とティーチャーレビューを経て外部スキルライブラリを更新する。これにより、実行、学習、ライブラリの成長の間のループが閉じられる。

3. 主要な貢献

本論文は、以下の 3 つの主要な貢献を概説している：

1. 実行可能な状態 - 行動関数としてのスキル：再利用可能なエージェントの経験を、オンデマンドでトリガーされ明示的に介入する実行可能なプログラム関数へと変換し、受動的なテキストベースのスキルを超えていくこと。
2. モジュール型エージェントハーネスフレームワーク：推論のみの、事後学習の、および自己改善のパラダイム全体にわたって制御可能な PF のトリガーと介入をサポートする HASP の提案。
3. 強力な実証的パフォーマンス：Web 検索推論、数学的推論、コーディングタスクにおいて、競争力のあるベースラインを大幅に上回る成果を実証すること。

4. 実験結果

著者は、HASP をHotpotQA、2Wiki、MuSiQue（Web 検索）、AIME24、AMC23、GameOf24（数学）、HumanEval、MBPP、BigCodeBench（コーディング）で評価した。ベースモデルはQwen2.5-7B-Instructであった。

主要な知見

• 推論時の改善：モデルの更新なしでも、PF 単独の介入はベースラインを大幅に上回った。
  • Web 検索推論において、PF 単独の介入は平均精度を**51.0%**まで向上させた（プロンプトのみのスキルは 20.5%、マルチループ ReAct ベースラインは 31.2%）。
  • PF 選択のための補助ティーチャーを追加すると、Web 検索の精度はさらに**56.2%**まで向上した。
  • コーディングにおいて、PF 単独は**63.4%の pass@1 を達成し、ティーチャー選択により68.7%**まで上昇した。
• 事後学習による内部化：PF 由来の教師信号により、モデルは完全な強化学習なしに行動を内部化できた。
  • Web 検索において、**オンポリシー蒸留（OPD）は62.5%**を達成し、**拒否サンプリング（RS）は固定ライブラリ下で59.3%**に達した。
  • これらの結果は、標準的な SFT やスキルベースの学習スキームと同等かそれ以上であった。
• クローズドループ進化：スキルライブラリの制御された進化がパフォーマンスをさらに向上させた。
  • HASP-Evolve + RSは、Web 検索で60.3%、数学的推論で**45.4%**を達成した。
  • コーディングでは**69.9%**の pass@1 に達し、バニラ SFT より 12.4% 上回り、GRPO ベースの手法と競合する性能を示した。
• メカニズム分析：
  • 介入タイプ：介入の 65.1% が行動レベルの修正（例：クエリの書き換え）であり、34.9% がコンテキスト注入であった。
  • シグナルの重要性：アブレーション研究により、4 つの教師信号（タイミング、モード、正しさ、結果）のすべてが必要であることが示された。「モード」を除去すると最大の低下（-15.5%）が生じ、介入が「いつ」適用されるかと同じくらい「どのように」適用されるかが重要であることを示している。
  • フィルタリングの必要性：厳格なフィルタリング（実行可能検証＋ティーチャーレビュー）が不可欠であった。フィルタリングなしの進化は性能の急激な低下（-24.0%）を引き起こし、ライブラリの汚染がエージェントのパフォーマンスを劣化させることを確認した。

5. 意義と主張

本論文は、HASP を LLM エージェントを改善するための補完的な道として位置づけている。著者は以下を主張している：

• 発見よりも安定化：PF は、モデルがしばしば実行可能であるが確実に適用しない有用な戦略を表面化し、安定化させる。これは、根本的に新しい戦略の発見に適している RL 型の探索とは対照的である。
• 明示的な制御：スキルを実行可能なコードに変換することで、HASP はエージェントの行動に対する明示的で監査可能な制御を提供し、プロンプトベースのスキルが持つ「助言的」な弱点に対処する。
• モジュール性：このフレームワークは、スキル定義を学習目的から分離し、同じ PF を実行時の介入、教師あり学習、または自己改善に使用できるようにする。

著者は限界について謙虚であり、PF は主に新しい戦略を発見するのではなく、既存の戦略を吸収するのに役立つこと、フレームワークが明確な検証シグナルに依存していること（開放的なタスクへの適用性を制限する）、そして自己改善にはライブラリの劣化を防ぐための厳格なフィルタリングが必要であることを指摘している。彼らは結論として、新しい戦略の発見にはより広範な RL 型の探索が必要かもしれないが、PF は複雑で長期的なタスクにおけるエージェントの行動を洗練し、安定化させるための堅牢なメカニズムを提供すると述べている。