技術要約: LatentSkill

問題提起

大規模言語モデル（LLM）エージェントは、複雑で長期的なタスクを解決するために、戦略、ツール使用パターン、およびヒューリスティックをエンコードした再利用可能な手順である「外部テキストスキル」にますます依存するようになっています。従来の設計では、これらのスキルをライブラリから検索し、毎ステップの決定時にプレーンテキストとしてプロンプトに注入します。この手法はモジュール化されているものの、以下の3つの決定的な限界を抱えています。

1. コンテキストのオーバーヘッド: スキルのテキストを繰り返し挿入することは、コンテキストウィンドウの容量を消費し、特にスキルライブラリが増大し相互作用が長くなるにつれて、プリフィックス（prefill）コストを増大させます。
2. 堅牢性: 長い入力は、供給されたすべての情報をロバストに活用するモデルの能力を低下させることがあります。
3. セキュリティ: スキルを読み取り可能なプロンプト内容として保持することは、独自のプロシージャ（手順）を露呈させ、指示のハイジャックやスキルの抽出攻撃に対する脆弱性を生み出します。

対照的に、フルファインチューニングやカリキュラム学習のようなパラメトリックな代替案は、スキルをモデルの重みに融合させますが、これらは更新、削除、またはモジュールとしての組み合わせが困難です。これにより、「既存の手法は、スキルのテキストを繰り返すことを避けつつ、推論中にスキルを動的に更新および組み合わせる能力を維持することに苦慮している」というトリレンマが生じています。

手法: LatentSkill

LatentSkillは、事前学習済みのハイパーネットワークを介して、テキストによるエージェントスキルをモジュール式のLoRA（Low-Rank Adaptation）アダプターへと変換するフレームワークを提案します。これにより、スキルの知識をコンテキスト空間から重み空間へと効果的に移行させます。

コアアーキテクチャ

1. スキルコンパイラ（ハイパーネットワーク）: Transformerベースのハイパーネットワーク $G_\phi$ が、テキストによるスキル文書 $s$ を一連のLoRA更新 $\Delta_s$ にマッピングします。
   $$\Delta_s = G_\phi(s)$$
   生成される更新は、ターゲットモジュール（query, key, value, output, gate, up, down projections）に対する標準的なLoRA形式 $\Delta W_s = B_s A_s$ に従います。
2. 推論メカニズム: モデルにスキルのテキストをプロンプト内で条件付けする代わりに、生成されたアダプターを凍結されたバックボーンLLM $\theta$ にマウントします。モデルは、タスク履歴 $h_t$ と拡張された重みに基づいて出力を予測します。
   $$p_{\theta, \phi}(y_t | h_t, s) = p_{\theta \oplus \alpha \Delta_s}(y_t | h_t)$$
   ここで、$\alpha$ はスキルの注入強度を制御するスケーリング係数です。

トレーニング・パイライン

本フレームワークは、バックボーンLLMを凍結した状態で、スキルコンパイラの2段階のトレーニングプロセスを採用しています。

1. ドキュメントレベルの事前学習: コンパイラは、テキストによるスキル文書のコーパス ($D_{pre}$) を用いて、再構成（ドキュメント全体の再現）と補完（切り詰められた接尾辞の予測）の目的を1:1の混合比率で用いて学習されます。これにより、手続き的なテキストから利用可能なアダプターの重みへのマッピングを初期化します。
2. 軌跡監督ファインチューニング（SFT）: コンパイラは、教師エージェントの軌跡 ($D_{sft}$) を用いてファインチューニングされます。各スキル文書と軌跡のペアに対して、同じ生成されたアダプターがすべての決定ステップに適用されます。目的関数は、適応されたモデルの出力と教師の軌跡との間の損失を最小化するように設計されており、アダプターがステップごとの適応ではなく、安定したスキルレベルのポリシー情報を捉えるように促します。

推論時の制御と合成

• モジュール式ロード: スキルは一度コンパイルされ、キャッシュされます。推論時には、セレクターがスキルテキストをプロンプトに含めることなく、関連するアダプター（複数可）をマウントします。
• 重み空間での合成: 複数のスキルは、そのLoRA更新を合算することで組み合わせることができます： $\Delta_K = \sum \alpha_k C[k]$。
• コンポーネントレベルの合成: 共有された挙動の過剰増幅を避けるため、スキルをセマンティックなコンポーネント（例：一般的な原則 vs 特定の戦略）に分解し、それらを独立してコンパイルした上で、特定の注入係数を用いて再結合することができます。

主な貢献

1. フレームワークの提案: テキストによるスキルを、ハイパーネットワークを介してモジュール式のプラグアンドプレイ可能なLoRAアダプターに変換するLatentSkillというフレームワークを導入し、推論プロンプトにおけるスキルテキストの必要性を排除しました。
2. 性能と効率性: ALFWorldおよびSearch-QAベンチマークにおいて、LatentSkillがインコンテキスト・スキル・プロンプティングを上回る性能を示すとともに、コンテキストのオーバーヘッド（プリフィックス・トークン）を大幅に削減できることを実証しました。
3. 構造的分析: 生成されたスキルLoRAが構造化されたセマンティックな幾何学（semantic geometry）を呈し、スケーリング係数による連続的な制御を可能にし、セマンティックなコンポーネントが整列している場合にはパラメータ空間における合成演算をサポートすることを明らかにしました。

実験結果

本フレームワークは、凍結されたバックボーンとしてQwen3-8Bを使用し、ALFWorld（エンボディードAIタスク）およびSearch-QA（マルチホップ質問回答）で評価されました。

• ALFWorldの性能: LatentSkillは、既知（seen）のタスクで74.3%、未知（unseen）のタスクで69.4%の成功率を達成しました。これは、インコンテキスト・スキル・ベースラインと比較して、それぞれ21.4ポイントおよび13.4ポイントの向上を表しています。また、平均プリフィックス・トークン数を**63.9%**削減しました。
• Search-QAの性能: LatestSkillは平均Exact Match (EM) **35.6%を達成し、RAGを1.2ポイント、インコンテキスト・スキル・ベースラインを3.0ポイント上回りました。同時に、ステップあたりのトークン数を71.8%**削減しました。
• 分布外（OOD）汎化: 学習軌跡のないWebShopベンチマークにおいて、LatentSkill (SFT) は23.9を記録し、インコンテキスト・スキル・ベースライン（6.7）を大幅に上回りました。これは、スキルを潜在空間にコンパイルすることが、長いプロンプトによるアテンションの希釈を軽減することを示唆しています。
• 堅牢性: LatentSkillは、スキルテキストの摂動（言い換え、ノイズ、並べ替え）やプロンプトレベルの攻撃（ハイジャック、抽出）に対しても一貫した性能を維持しました。一方、インコンテキスト・スキルは深刻な性能低下（例：ALFWorldでのハイジャック下で52.9%から8.57%へ低下）に見舞われました。

意義と主張

本論文は、現在のスキルシステムにおける効率性、モジュール性、およびセキュリティのトレードオフに対処することで、LatentSkillがLLMエージェントを拡張するための実用的な基盤を提供すると主張しています。

• 効率性: スキルを重み空間に保存することにより、本フレームワークはスキルテキストのトークン化および処理のステップごとのコストを取り除き、より高速な推論とより低いコンテキスト使用量を実現します。
• モジュール性: ファインチューニングとは異なり、スキルはバックボーンから分離されているため、ベースモデルを再学習させることなく、ロード、アンロード、置換、またはスケーリングが可能です。
• 構造化された表現: 生成されたLoRAの重みは単なる圧縮されたプロンプトではなく、ドメインごとにクラスター化される構造化されたセマンティックな幾何学を形成します。この構造により、以下が可能になります：
  • 制御可能性: スキルの注入強度は、スケーリング係数 $\alpha$ を通じて連続的に調整できます。
  • 合成可能性: セマンティックなコンポーネントが整列していれば、スキルはパラメータ空間において算術的に結合でき、単純なモジュールから複雑な挙動を作成することが可能です。

著者らは、潜在的なスキル重みが、堅牢なLLMエージェントを構築するための、プレーンテキストのプロンプトに代わる、効率的でモジュール化された、かつ露出の少ない選択肢を提供すると結論付けています。