Signature-Guided Capacity Occupancy for Dense Expert Merging

技術要約：SigMerge (Signature-Guided Capacity Occupancy)

問題提起
高密度なエキスパート・マージング（Dense expert merging）は、複数のドメイン特化型言語モデルを、追加の学習を行うことなく単一のチェックポイントへと結合することを目指しており、通常は重み空間におけるタスクベクトルの操作によって行われます。しかし、既存の手法は根本的な限界に直面しています。それは、単一の共有パラメータが、孤立して獲得されたスキルをエンコードしなければならないという点であり、これにより「エキスパート干渉（expert interference）」が発生し、あるドメインのための更新が別のドメインで学習された能力を消去してしまう現象が起こります。

既存の戦略はこれに部分的に対処していますが、タスクベクトルの受容に関して以下の3つの重要な問いに答えることができていません。

1. どこで (Where): どのレイヤーにおいて容量（capacity）を開放すべきか、そしてどの程度か？
2. 誰が (Who): 需要に基づいて、どのドメインがその容量を占有すべきか？
3. どのように (How): コストのかかるレシピ探索に頼ることなく、どのようにサポートを受容すべきか？

実証分析によれば、高密度マージングは顕著な「残留エキスパート・ギャップ（residual expert gap）」（様々な設定において平均12.13パーセントポイント）を残しており、これは専門家としての能力が完全には保持されていないことを示しています。現在の手法は、一律のルールを適用するか、あるいは真の専門家性能を捉えきれない可能性のある探索ベースのプロキシに依存していることが多く、最も必要としているドメインに容量をルーティングできていません。

手法：SigMerge
著者らは、限定された数のタスクベクトルの座標をレイヤーおよびドメイン間で配分することにより、専門家の能力を回復する学習フリーのオペレータであるSigMergeを提案しています。この手法は、高密度なベース・マージ（「アンカー」）の上に動作し、以下の3つのコアコンポーネントで構成されています。

1. 衝突から容量へ (Conflict-to-Capacity / Where):
   SigMergeは、エキスパート間の不一致に基づき、各レイヤーの容量（$C_i$）を決定します。本手法は、各レイヤーにおける衝突の3つの補完的な視点を集計します。

   • 隠れ状態の幾何学 (Hidden-state geometry): プーリングされた隠れ状態のCentered Kernel Alignment (CKA) を通じて測定。
   • タスクベクトルの方向 (Task vector direction): エキスパート間の更新におけるコサイン類似度を通じて測定。
   • 符号付き座標需要 (Signed coordinate demand): 個々の重みにおける反対の符号の頻度によって測定。
     これらの信号は正規化および平均化され、衝突スコア（$\bar{S}_i$）を形成します。その後、レイヤー容量は線形に導出されます。すなわち、衝突が高いレイヤーは容量を少なく設定し（干渉を避けるため）、衝突が低いレイヤーは容量を多く設定します。

2. 欠損から配分へ (Deficit-to-Allocation / Who):
   本手法は、「残留エキスパート欠損（residual expert deficits）」に基づいて、開放された容量をドメイン間で配分します。各ドメイン $d$ について、欠損 $g_d$ は、ベースのマージ済みモデルと、その特定のドメインにおけるプール内の最良のエキスパートとの間の性能差として定義されます。各ドメインに割り当てられる容量のシェア（$\rho_d$）は、その欠損に比例します。ベースのマージがすでに完璧に一致しているドメインにはゼロの容量が割り当てられ、修復対象が不足している能力のみに限定されるようになっています。

3. 逐次的占有 (Sequential Occupancy / How):
   探索なしにレイヤー・ドメインの予算を満たすために、SigMergeは逐次的請求ルールを採用しています。ドメインは欠損の大きさによって順序付けられます（欠損が大きいものから優先）。各ドメインは、レイヤー内の「未請求」の座標セットから、自身の割り当てられたクォータを請求し、その際、自身のタスクベクトルにおける大きさ（$\Delta_{d,i}$）が最大のものを選択します。これにより、複数のドメインが同じ高マグニチュードの座標を競合することを防ぎ、最もサービスが不足しているドメインが最も影響力のある更新に優先的にアクセスできることを保証します。

最終的なマージ済みモデルは $\hat{\theta} = \theta_{base} + \sum_d V_d$ として構築されます。ここで、$V_d$ は逐次的占有ルールによって受容された限定的な増分を表します。

主な貢献

1. 実証的特性評価: 著者らは、高密度マージにおける専門家の欠損は、モデル、ドメイン、およびマージ・ファミリーを横断して大きく、かつ不均質であることを示し、修復には単なるより良い平均化ルールではなく、座標の配分が必要であることを主張しています。
2. 学習フリーのフレームワーク: SigMergeは、学習や探索を行うことなく、容量割り当ての3つの課題（どこで、誰が、どのように）を解決します。本手法は、測定可能な信号（衝突シグネチャと性能欠損）を用いて、ランク1の予算行列（$B = C\rho^\top$）を構築します。
3. 理論的およびアルゴリズム的保証: 本論文は、固定されたクォータと優先順位が与えられた条件下で、逐次的占有ルールが受容されるタスクベクトルの質量を最大化するために段階的に最適であることの証明（定理1）を提供しています。
4. 包括的な評価: 本手法は、21のペア設定（7つのアンカー $\times$ 3つのモデルプール）にわたって評価されており、衝突を考慮した手法、レイヤー単位の手法、および探索ベースの手法を含む6つのベースラインと比較されています。

結果

• 性能向上: SigMergeは21のペア設定すべてにおいて性能を向上させ、Macro-5スコアにおいて平均**15.0%**の相対的な改善を達成しました。
• ギャップの削減: 平均的な残留エキスパート・ギャップは、12.13から5.77パーセントポイントに減少しました。
• ランキング: SigMergeは、6つのマージ手法の中で最高の平均順位（1.67）を獲得し、3つのカテゴリ（衝突考慮型、レイヤー単位型、探索ベース型）すべてにおいてすべてのベースラインを上回りました。
• アブレーション研究: 衝突由来の容量、または欠損駆動の配分のいずれかを削除すると、大幅な性能低下（総利得と同等の低下）が発生し、両方の信号が不可欠であることが確認されました。特定の座標の選択（逐次的占有）は、固定予算において利得の約80%を占めています。
• 効率性: 本手法はアンカーのコストに約0.6 GPU時間を加えるだけであり、探索フリーのベースラインの中に位置付けられ、MERGE3（約26.8時間）のような探索ベースの手法よりも大幅に高速です。

意義と主張
本論文は、SigMergeが、ドメインの欠損の不均質性とレイヤーごとの衝突を明示的に扱う、原理に基づいた学習フリーの高密度エキスパート・マージングのアプローチを提供することを主張しています。容量の決定を探索や一律のヒューリスティックではなく、測定可能な信号に基づかせることで、SigMergeは標準的な高密度マージで失われた専門家能力を効果的に回復します。

著者らは、本手法がアンカーやエキスパート・プールを決定するものではないことを謙虚に述べており、それらが定義する範囲内で動作します。さらに、現在の評価は5つのドメインに限定されており、より大きなプールへのスケーラビリティや、より高ランクの予算行列の必要性については未解決の課題として残っています。しかし、結果は、実際の性能欠損に基づいて測定およびルーティングを行うことが、タスクベクトルの幾何学のみに依存したり、高コストな探索手順に頼ったりするよりも効果的な戦略であることを示唆しています。