技術概要：SkillWeaving：モジュール型スキルパックによる効率的な LLM 改善

問題定義

大規模言語モデル（LLM）は、多領域の専門性と厳格なメモリおよび推論制約とのバランスにおいて、決定的なボトルネックに直面している。単一モデルは、破滅的な忘却やタスク干渉なしに異種ドメイン全体で高いパフォーマンスを維持することに苦慮する一方、既存の解決策はトレードオフを伴う：

• 全パラメータ微調整は高い容量を提供するが、過大なストレージおよび推論オーバーヘッドを招く。
• **パラメータ効率型微調整（PEFT）**手法（例：LoRA）は軽量であるが、特定のドメイン能力の保持において性能が不十分なことが多い。
• デルタ圧縮技術はストレージサイズを削減するが、頻繁に実行時の非量子化を必要とし、顕著な推論遅延の改善をもたらさない。
• モデルマージアプローチは、能力を単一のパラメータ空間に統合する際に、しばしばタスク干渉に悩まされる。

その結果、実務家は複数の専門モデルを維持するか、巨大な単一モデルを展開することを余儀なくされており、どちらも現実世界のリソース制約のある展開には実用的ではない。

手法：SkillWeave フレームワーク

著者は、固定されたメモリおよび推論予算の下で LLM が専門化できるように設計されたモジュール型フレームワークSkillWeaveを提案する。このフレームワークは、汎用モデルをスキルパック（軽量でドメイン固有のデルタモジュール）に分解し、効率的な展開のための圧縮戦略SkillZipを統合する。パイプラインは 3 つの段階で構成される：

1. スキルパック構築（自己専門化）

SkillWeave は外部の人間の注釈に依存するのではなく、ドメイン固有の改善のために自己生成データを利用する：

• タスク分解と自己生成：ベースモデルにドメイン固有の指示を与えて、候補応答を生成させる。
• ルールベース分類：軽量フィルターが、タスク固有のルール（数学の答えに対する正規表現、コードに対するサンドボックス実行、推論に対するヒューリスティックフィルターなど）に基づき、生成されたデータを「有益」($D^+$) と「有害」($D^-$) のサブセットに分離する。
• 選好最適化：ベースモデルを、選好ラベル付きデータセット上で**直接選好最適化（DPO）**を用いて微調整する。これにより、各ドメインに対して全パラメータデルタ（$\Delta_k$）が生成され、洗練された能力を捉えながらドメイン固有の知識を隔離する。

2. スキルパック圧縮（SkillZip）

全パラメータデルタの保持に伴うストレージおよび推論コストに対処するため、著者はSkillZip、すなわち完全量子化された圧縮戦略を導入する：

• 共有知識のためのモデルマージ：圧縮前に、共有されたタスク間知識をモデルマージ（$\Delta_{shared}$）を通じて抽出し、バックボーンに再統合する。残りのデルタはこの共有コンポーネントから減算され、よりスパースでタスク固有のスキルパックが得られる。
• 完全量子化：重みだけを量子化する先行手法とは異なり、SkillZip はデルタ重みと活性化入力の両方を量子化する。これにより、実行時の非量子化なしに低ビット整数形式（INT8/INT4）での直接計算が可能となる。
• ダブルスムージング：外れ値（他の活性化チャネルに比べて $100\times$ 大きい大きさを持つ活性化チャネル）に起因する量子化誤差を軽減するため、本手法は以下の 2 つを採用する：
  1. チャネル別スムージング：活性化と重みの大きさを再バランスし、量子化の負担をシフトさせる。
  2. ランク別スムージング：低ランク重み行列（$A, B$）に直交回転を適用し、エネルギーを均等に分散させ、特異ベクトルが量子化範囲を支配するのを防ぐ。

3. スキルパック統合（モジュール型展開）

推論時、システムはすべてのタスクに対してアクティブなままの共有バックボーンを維持する。推論されたタスクタイプ（軽量ルーターまたは明示的なツール呼び出しを介して）に基づき、単一の専門化されたスキルパックが動的に選択され適用される。出力は以下のように計算される：
$$Output_i = X_i W + \hat{X}_i \hat{A}_i \hat{B}_i$$
ここで、$W$は共有バックボーンの重みを表し、$\hat{A}_i, \hat{B}_i$はアクティブなスキルパックの量子化された低ランク行列である。

主要な貢献

1. SkillWeave フレームワーク：モデル能力をコンパクトで自己専門化されたスキルパックに分解するモジュール型改善フレームワーク。固定されたメモリ予算の下で、スケーラブルかつ解釈可能な自己改善を達成するために内部知識を再編成する。
2. SkillZip 圧縮：重みと活性化を共同で量子化する完全量子化デルタ圧縮戦略。ストレージ削減に焦点を当てた先行手法とは異なり、SkillZip は実行時の非量子化を排除し、ハードウェアを考慮した最適化による低遅延推論を実現する。
3. 実証的検証：マルチタスクおよびエージェントベンチマークにおける包括的な評価により、9B SkillWeave モデル（8B バックボーン + 0.5B スキルパック）が、タスク固有モデルおよび32B 単一 LLMを上回る性能を示し、最大4 倍の推論速度向上を達成することが実証された。

実験結果

著者は、SkillWeave を一般的能力（数学、コーディング、対話、推論）および LLM-as-Agent シナリオ（AgentBench）で評価した。

• 性能：9B SkillWeave モデルは、同程度のサイズのベースライン間で最先端の結果を達成し、特定のドメイン（例：MATH で +8.1）においてより大きなオープンソースモデル（例：Gemma2-27B）を上回った。これは、マルチ教師蒸留、モデルマージ、ルーティングベースの MoE ベースラインを上回るものであった。
• 干渉の軽減：ドメイン固有のトレーニングを隔離することにより、SkillWeave は混合ドメインおよび逐次微調整ベースラインで観察された破滅的な忘却とタスク干渉を回避した。
• 効率性：
  • メモリ：エージェントシナリオにおいて、SkillWeave は 7B バックボーンと 5 つの 0.5B スキルパック（合計 9.5B の常駐パラメータ）のみを必要とした。これは、5 つの個別の 7B モデル（35B）または単一モデル（32B）と比較して少ない。
  • 遅延：SkillWeave は、効率的なバッチ処理とカーネルレベルの最適化により、32B 単一モデルに対して4.2 倍、5 つの個別の 7B モデルを展開するシステムに対して5.5 倍の速度向上を達成した。
  • 圧縮忠実度：SkillZip は、フル精度デルタと同等の性能を維持し、BitDelta、ASVD、DeltaCome などのデルタ圧縮ベースラインを、精度および推論速度の両面で上回った。

意義と主張

本論文は、SkillWeaveが LLM のスケーラブルかつ効率的な強化に向けた有望な方向性を提供すると主張する。単一モデルの能力をモジュール型スキルパックに分解し、展開に完全量子化を利用することで、このフレームワークは性能向上とパラメータ効率性のバランスに成功している。

著者は、このアプローチが外部の教師や人間の注釈に依存することなく自己改善を可能にすることを強調しており、SkillZipコンポーネントは高忠実度な専門化と低遅延推論の間のギャップを埋めている。結果は、単なるモデルのスケールアップよりもモジュール型スキル構成が優れている可能性を示唆しており、厳格なリソース制約内でも専門的な LLM 能力へのアクセスを可能にする。

著者は、構造化されたタスク（例：コード、数学）におけるルールベースの検証への依存、および明確な正解基準が存在しないオープンエンドタスク（例：クリエイティブライティング）にこの検証パラダイムを適用することの課題という限界を認めている。彼らは、今後の研究はこれらのオープンエンド設定における自動的なスキル発見と検証に焦点を当てるべきであると提言している。