技術要約：LLMエージェントのためのモデル認識型スキルアライメント (MASA)

1. 問題提起

大規模言語モデル（LLM）エージェントは、長期的なインタラクティブ・タスクを解決するために、外部でキュレーションされた手続き的指示、すなわち「スキル」の検索にますます依存するようになっています。現在のスキルライブラリ・システムは、これらのライブラリを**モデル非依存（model-agnostic）**として扱う傾向があり、パラメータ数（例：4Bから32B）が大きく異なるバックボーン間で同一のスキル定式化を再利用しています。

著者らは、スキルの有効性は強く**モデル依存的（model-dependent）**であるという経験的証拠を示し、この「一律（one-size-fits-all）」の仮定に異議を唱えています。ある特定のバックボーンに利益をもたらすスキル定式化が、別のバックボーンの性能を積極的に低下させることもあります。例えば、ALFWorld環境において、「中程度の（Moderate）」粒度のスキルセットはQwen3-4Bモデルの性能を向上させましたが、Qwen3-8Bモデルの性能を低下させました（Qwen3-8Bはガイダンスなしの状態が最適でした）。さらに、スキルの粒度と性能の関係は非単調であり、単に詳細度を高めることが、すべてのモデルスケールやタスクタイプにおいて線形に性能を向上させるわけではありません。この不整合は、取得されたスキルが、ターゲットモデルのデフォルトの課題解決戦略や能力と表現が一致しない場合、支援するどころか、かえって注意を逸らしてしまう可能性があることを示唆しています。

2. メソドロジー：MASAフレームワーク

これに対処するため、著者らは、エージェントの重みを変更することなく、特定のターゲット・バックボーンにスキル定式化を適応させるフレームワークである**MASA（Model-Aware Skill Alignment）**を提案します。MASAは、2つの明確なステージで動作します。

ステージ1：階層的モデル条件付きスキル進化

このステージでは、特定のターゲットモデル $F$ に対して最適なスキルライブラリを発見するための、探索ベースの最適化を行います。これには、強力な「教師（Teacher）」LLM ($T$) と、ターゲットモデルのメタデータ、訓練の由来、および能力プロファイル（強み／弱み）を含む構造化されたモデルカード ($M_F$) を利用します。進化は2つのフェーズに分かれています。

1. 一般的スキル進化（反復的ヒルクライミング）:

   • クロス・タスクの戦略原則（例：「アクション・パースの検証」）を対象とします。
   • ターゲットモデル $F$ をフル・タスク・スイート全体でロールアウトします。
   • 教師モデルは失敗の軌跡を分析し、構造化された失敗の帰属（failure attributions）を生成します。
   • モデルカードと過去の高報酬イテレーションに基づき、教師モデルは一般的なスキルを書き換えます。
   • 候補は、成功率と「何も起こらない（nothing-happens）」ことによる停滞のバランスをとった調整済み報酬が高い場合にのみ受理されます。

2. タスク特化型スキル進化（UCB駆動型木探索）:

   • ドメイン固有の手順（例：「カウンターの前に冷蔵庫を確認する」）を対象とします。
   • 各タスクタイプに対して独立した木探索が実行されます。
   • ノードは候補となるスキルセットを表し、エッジは教師による書き換えを表します。
   • 選択: 新しい戦略の探索と高報酬ノードの活用（exploitation）のバランスをとるために、UCB1（Upper Confidence Bound）を使用します。
   • 拡張: ターゲットモデルが特定のタスクタイプ上でロールアウトを行い、教師は失敗に基づいてスキルを書き換えます。
   • バックプロパゲーション: 報酬はノードの値を更新するために伝播されます。

ステージ2：モデル条件付きスキルリライター

デプロイ時の高い計算コストを避けるため、MASAは軽量なスキルリライター ($f_\theta$) を訓練します。

• 訓練: リライター（Qwen3-4Bとしてインスタンス化）は、ステージ1の進化パイプラインによって生成された軌跡を用いて、教師あり微調整（SFT）を通じて訓練されます。入力は、モデルカード ($M_F$)、入力スキルセット ($S_{in}$)、およびタスク記述 ($d$) で構成されます。ターゲット出力は、進化した最適なスキルセット ($S^*_F$) です。
• 推論: デプロイ時には、リライターは単一のフォワードパスでスキルを適応させ、環境との相互作用や反復的な探索を必要としません。これは、ターゲット・バックボーンのプロファイルに基づいて、アラインされていないスキルをモデルに適したものへと変換することを学習します。

3. 主な貢献

1. モデル依存性の経験的実証: 本論文は、同一のスキルライブラリが一方のバックボーンには利益をもたらし、他方のバックボーンには悪影響を与えることを示す制御実験を提供しています。この発見は、単一のスキル定式化がすべてのモデルスケールに等しく機能するという仮定を無効にするものです。
2. MASAフレームワーク: 著者らは、反復的なモデル条件付き探索と軽量なリライターを組み合わせた2段階のフレームワークを導入しました。このアプローチは、スキルの表現を特定のターゲットモデルの容量および行動パターンに適合させます。
3. 包括的な評価: MASAは、3つの多様な環境（ALFWorld、WebShop、検索拡張QA）と4つのQwen3バックボーン（4B、8B、14B、32B）にわたって評価されています。

4. 実験結果

• 性能向上: MASAは、すべてのバックボーンと環境において一貫して最高の成功率を達成しました。
  • ALFWorldにおいて、MASAはQwen3-8Bモデルに対し、最強のベースライン（Base Skill）と比較して最大 +25.8ポイント の成功率向上を実現しました。
  • WebShopにおいて、MASAはベースラインを大幅に上回り、特に過剰な思考連鎖（CoT）の生成やステップ予算の枯渇に苦しんでいた大型モデル（8B–32B）において顕著な成果を示しました。
• 効率性: MASAは、タスク完了に必要な平均インタラクション・ステップ数を削減しました（例：ALFWorldでのQwen3-8Bにおけるステップ数を39.1から29.2へ削減）。これは、より精密なアクション実行を示しています。
• 汎化性能（OOD）: 訓練されたスキルリライターは、追加の探索なしに、未知のタスクタイプや環境に対して強力な汎化性能を示しました。
  • SearchおよびWebShopのデータで訓練されたリライターは、保持された（held-out）ALFWorldタスクにおいて、ワンショットの教師適応（DS-Adapter）を上回る性能を発揮しました。
  • リライター（4Bパラメータ）は、ワンショット適応に使用されたはるかに大規模な教師LLM（DeepSeek-V4）よりも一貫して高い性能を示し、かつ推論コストを大幅に抑えました。

5. 意義と主張

本論文は、スキルライブラリを普遍的なリソースではなく、モデル認識型のアーティファクトとして扱うべきであると主張しています。著者らは以下のことを主張しています。

• アライメントの重要性: スキルの表現をモデルの容量に適切に適合させることで、汎用的なスキルでは到達できない能力を解禁できます。
• コスト効率の高い適応: MASA-Rewriterにより、高コストな探索時間の最適化を単一のフォワードパスへと償却（amortize）することが可能になり、環境へのロールアウトや手動のプロンプトエンジニアリングなしに、新しいバックボーンへの迅速な適応が可能になります。
• インフラストラクチャの転換: 本研究は、スキルアライメントを、ヘテロジニアスなLLMエージェントをデプロイするための不可欠なインフラ層として位置づけています。これは、適切にアラインされたスキルを持つことで、コンパクトなモデルであっても、従来はフロンティア規模のシステムに関連付けられてきた挙動を示すことができることを示唆しています。

著者らは、経験的エビデンスが現在Qwen3ファミリーに限定されていることや、進化パイプラインが自動報酬信号を持つ環境に依存していることを認め、限界についても謙虚な姿勢を維持しています。彼らは、今後の研究として、フレームワークをより多くのモデルファミリーや、組み込みの成功／失敗信号を持たないドメインへと拡張できる可能性を示唆しています。