技術要約: ParametricSkills

問題提起

エージェント型大規模言語モデル（LLM）は、ソフトウェアエンジニアリング（SWE）や科学研究といった複雑な現実世界のタスクを処理するために、問題解決の経験を構造化されたテキスト形式のレシピとしてエンコードした「スキル」に大きく依存しています。しかし、これらのスキルをインコンテキスト・テキストとして表現するという従来のパラダイムには、主に2つの根本的な限界が存在します。

1. 指示遂行のボトルネック: モデルは、複雑で長いコンテキストのテキスト指示を理解し、従うことに苦慮します。重要な指示が失われたり、特定が困難になったりすることがあり、特にモデルのサイズが小さくなるにつれて、タスクの結果が最適ではなくなる傾向があります。
2. 進化と学習のデカップリング（分離）: テキスト空間におけるスキルの最適化や進化（例：自然言語ドキュメントの書き換え）は、モデル固有の学習から切り離されています。テキストベースの手法はダウンストリームの性能を向上させることはできますが、モデルのパラメータ自体を更新するわけではないため、モデルの核心的な能力を最適化することにはなりません。

メソドロジー: ParametricSkills

著者らは、テスト時にハイパーネットワークを用いて、自由形式のテキストスキルをパラメトリック・アダプター（具体的にはLoRAアダプター）へと変換するフレームワークであるParametricSkillsを提案しています。このアプローチは、コンテキストウィンドウの消費を排除し、スキルの進化をモデルの学習と直接結合させます。

コア・アーキテクチャ

本システムは、テキストスキルの記述（$s$）を受け取り、凍結されたテキストエンコーダ（$g(\cdot)$）を介してそれを表現（$z$）へとエンコードし、単一のフォワードパスでLoRAパラメータ（$\phi$）を生成するハイパーネットワーク（$h_\theta$）を利用します。
$$\phi = h_\theta(g(s))$$
これらのパラメータはベースモデル（$W_0 + \Delta W$）にマージされ、ベースの重みを変更したりコンテキスト・トークンを消費したりすることなく、スキル条件付きモデルを構築します。

トレーニング・パイブルライン

トレーニングプロセスは、以下の3つのステージで構成されます。

1. スキル再構成事前学習 (Skill-Reconstruction Pretraining): ハイパーネットワークは、スキルの内容を忠実にエンコードするために、3つの自己教師あり目的関数を用いて大規模なスキルライブラリ上で学習されます。
   • フル再構成 (Full Reconstruction): フルスキルの文脈全体を再構成する。
   • プレフィックス補完 (Prefix Completion): 切り詰められたプレフィックスからフルコンテキストを推論する。
   • セクションレベル補完 (Section-Level Completion): 機能的なセクションが削除された穴埋め形式のタスクであり、欠落したコンポーネントを再構成するために双方向の推論を必要とする。
2. スキル活用微調整 (Skill-Exploitation Fine-tuning): ハイパーネットワークは、合成されたエージェントの軌跡（シングルターンおよびマルチターン）を用いて微調整されます。これにより、単なるコンテンツの圧縮から、具体的な行動ステップ（計画、ツール利用、検証）にパラメータを接地させるスキルの活用方法の学習へと焦点が移ります。
3. 自己進化ループ (Self-Evolving Loop): スキルはテキスト空間で洗練（ジェネレーター・ベリファイアー・ループを介して）され、再びパラメータ空間へとコンパイル可能です。継続学習においては、成功したタスクの軌跡が要約され、パラメータに変換された後、指数移動平均（EMA）を介してグローバルなパラメトリック・スキルへとマージされます。

データ・キュレーション

著者らは、以下の要素を含む大規模なデータセットを構築しました。

• スキルライブラリ: Webリポジトリ（GitHub、npmなど）や、13のドメイン（ソフトウェア、AI/LLM、セキュリティなど）にわたる成功したエージェントの軌跡からマイニングされた45.8kの高品質なスキル。
• 軌跡 (Trajectories): OpenCodeサンドボックスを使用して生成された、合成されたシングルターン（QA形式および現実的なシナリオ）およびマルチターン（サンドボックスベース）の活用軌跡。

スキル・マージ

複数のスキルを必要とする複雑なタスクを扱うため、本フレームワークは複数のLoRAアダプターのマージをサポートしています。著者らは、単純な要素ごとの線形結合よりも優れた性能を示す、個々のアダプターの重み付き更新を連結するランク連結 (rank-concatenation) 法を提案しています。

主な貢献

1. 大規模スキル・インフラストラクチャ: 厳格な品質管理を備えた45.8kのスキルライブラリと、対応するエージェントの軌跡データセットの構築。
2. パラメトリック・スキル・フレームワーク: スキルの活用方法をコンテキストフリーなパラメータ内に内在化させる、テスト時パラメータ化フレームワークの導入。これにより、長コンテキストにおける指示遂行のボトルネックに対処。
3. 実証的な優位性: 複雑なSWEタスクにおいて、ParametricSkillsがインコンテキスト学習のベースラインおよびテキスト-to-LoRAベースライン（SHINE）を凌駕することを包括的な評価により実証。
4. 継続学習への経路: パラメトリック・スキルが自己進化パイプラインとシームレスに統合可能であり、EMAを介して蓄積できることを示し、従来のバックプロパゲーションを伴わないテスト時の継続学習への実行可能な道筋を提示。

実験結果

DeepSeek-V4-Flashを判定器として使用し、6つの複雑なSWEサブタスク（例：機能/パッチ、堅牢性の修正、リファクタリング）で評価を実施：

• パフォーマンス: ParametricSkillsは平均LLM判定スコア64.09を達成し、In-Contextベースライン（57.65）を6.44ポイント、No-Skillsベースライン（50.21）を大幅に上回りました。
• 指標: また、In-Contextベースラインと比較して、より高い**BERTスコア（+1.17）およびF1スコア（+5.53%）**を達成しました。
• ベースライン比較: テキスト-to-LoRAベースライン（SHINE）はIn-Contextベースラインを上回ることができませんでした（56.36 vs 68.12）。これは、スキルの活用に関する特定のトレーニングなしでは、ナイーブなテキスト-to-パラメータ変換は不十分であることを浮き彫りにしています。
• 継続学習: HumanEvalにおけるオンライン蓄積実験において、「Online continual merge」設定は51.61%のパス率を達成し、独立した自己進化ベースライン（38.71%）を大幅に上回りました。

重要性

本論文は、スキルをテキスト空間ではなくパラメータ空間で表現することは、エージェントのパラダイムを根本的に変えるものであると主張しています。スキルをLoRAアダプターに変換することで、本フレームワークは以下を実現します：

• 長いコンテキスト内の複雑な指示を見つけ出し、従うというモデルの能力への依存を排除する。
• スキルの進化をモデルの学習と本質的に結合させる。なぜなら、スキルの改善が直接的にモデルのパラメータを改善することになるからです。
• テスト時の継続学習のための、予備的かつ有望な道筋を提供し、従来のファインチューニングのような計算オーバーヘッドなしに、複数の軌跡から経験を蓄積することを可能にします。