Signature-Guided Capacity Occupancy for Dense Expert Merging

기술 요약: SigMerge (Signature-Guided Capacity Occupancy)

문제 정의
밀집 전문가 병합(Dense expert merging)은 추가 학습 없이 여러 도메인 특화 언어 모델을 하나의 체크포인트로 결합하는 것을 목표로 하며, 일반적으로 가중치 공간에서의 태스크 벡터(task vectors)를 대상으로 수행됩니다. 그러나 기존 방식들은 근본적인 한계에 직면해 있습니다: 단일한 공유 파라미터 세트가 고립되어 습득된 기술들을 인코딩해야 하므로, 한 도메인을 위한 업데이트가 다른 도메인이 학습한 능력을 지워버리는 "전문가 간섭(expert interference)" 현상이 발생합니다.

기존 전략들이 이를 부분적으로 해결하려 노력하고 있으나, 태스크 벡터 지원의 수용과 관련하여 다음 세 가지 핵심 질문에 답하지 못하고 있습니다:

1. 어디에(Where): 어느 레이어에서 용량을 개방해야 하며, 얼마나 많이 개방해야 하는가?
2. 누구에게(Who): 수요에 따라 어떤 도메인이 해당 용량을 점유해야 하는가?
3. 어떻게(How): 비용이 많이 드는 병합 레시피 탐색(search over merge recipes)에 의존하지 않고 어떻게 지원을 수용할 것인가?

경험적 분석 결과, 밀집 병합은 상당한 "잔여 전문가 격차(residual expert gap)"(다양한 설정에서 평균 12.13 퍼센티지 포인트)를 남기는 것으로 나타났으며, 이는 전문화된 능력이 완전히 유지되지 못함을 시사합니다. 현재의 방법들은 균등한 규칙을 적용하거나 실제 전문가 성능을 포착하지 못할 수 있는 탐색 기반의 대리 지표(proxies)에 의존하여, 가장 필요한 도메인에 용량을 라우팅하는 데 실패하고 있습니다.

방법론: SigMerge
저자들은 레이어와 도메인 전반에 걸쳐 제한된 수의 태스크 벡터 좌표를 할당함으로써 전문가 능력을 회복하는 학습 불필요(training-free) 연산자인 SigMerge를 제안합니다. 이 방법은 밀집 베이스 병합(the "anchor") 위에서 작동하며 세 가지 핵심 구성 요소로 이루어집니다:

1. 충돌-대-용량 (Where - 어디에):
   SigMerge는 교차 전문가 불일치(cross-expert disagreement)를 기반으로 각 레이어의 용량($C_i$)을 결정합니다. 이 방법은 각 레이어에서 충돌에 대한 세 가지 상호 보완적인 관점을 집계합니다:

   • 은닉 상태 기하학(Hidden-state geometry): 풀링된 은닉 상태의 중심 커널 정렬(Centered Kernel Alignment, CKA)을 통해 측정됩니다.
   • 태스크 벡터 방향(Task vector direction): 전문가 업데이트 간의 코사인 유사도를 통해 측정됩니다.
   • 부호된 좌표 수요(Signed coordinate demand): 개별 가중치에서 반대되는 부호가 나타나는 빈도를 통해 측정됩니다.
     이러한 신호들은 정규화 및 평균화되어 충돌 점수($\bar{S}_i$)를 형성합니다. 이후 레이어 용량은 선형적으로 도출됩니다: 충돌이 높은 레이어는 적은 용량을 할당받고(간섭을 피하기 위해), 충돌이 낮은 레이어는 더 많은 용량을 할당받습니다.

2. 결핍-대-할당 (Who - 누구에게):
   이 방법은 "잔여 전문가 결핍(residual expert deficits)"을 기준으로 개방된 용량을 도메인 간에 할당합니다. 각 도메인 $d$에 대해 결핍 $g_d$는 베이스 병합 모델과 해당 도메인의 풀 내 최적 전문가 모델 사이의 성능 격차로 정의됩니다. 각 도메인에 할당되는 용량 비율($\rho_d$)은 그 결핍에 비례합니다. 베이스 병합이 이미 완벽하게 일치하는 도메인은 용량을 받지 않으므로, 수리가 누락된 능력만을 타겟팅하도록 보장합니다.

3. 순차적 점유 (How - 어떻게):
   탐색 없이 레이어-도메인 예산을 채우기 위해, SigMerge는 순차적 점유 규칙(sequential claiming rule)을 사용합니다. 도메인들은 결핍 크기에 따라 정렬됩니다(결핍이 큰 순서부터). 각 도메인은 레이어 내의 아직 점유되지 않은 좌표 집합으로부터 할당된 쿼터를 점유하며, 이때 자신의 태스크 벡터($\Delta_{d,i}$)에서 크기가 가장 큰 좌표를 선택합니다. 이는 여러 도메인이 동일한 고-매그니튜드(high-magnitude) 좌표를 두고 경쟁하는 것을 방지하며, 가장 지원이 부족한 도메인이 가장 영향력 있는 업데이트에 우선적으로 접근할 수 있도록 보장합니다.

최종 병합 모델은 $\hat{\theta} = \theta_{base} + \sum_d V_d$로 구축되며, 여기서 $V_d$는 순차적 점유 규칙에 의해 수용된 유한한 증분(bounded increment)을 나타냅니다.

주요 기여

1. 경험적 특성화: 저자들은 밀집 병합에서 전문가 결핍이 모델, 도메인, 병합 패밀리에 따라 크고 이질적임을 입증하며, 수리가 단순한 평균화 규칙이 아닌 좌표 할당을 필요로 한다고 주장합니다.
2. 학습 불필요 프레임워크: SigMerge는 학습이나 탐색 없이 용량 할당의 세 가지 과제(어디에, 누구에게, 어떻게)를 해결합니다. 이 방법은 측정 가능한 신호(충돌 시그니처 및 성능 결핍)를 사용하여 랭크-1 예산 행렬($B = C\rho^\top$)을 구축합니다.
3. 이론적 및 알고리즘적 보장: 본 논문은 고정된 쿼터와 선행 순서가 주어졌을 때, 순차적 점유 규칙이 수용된 태스크 벡터 질량을 최대화하는 데 있어 단계별로 최적(stagewise optimal)임을 증명합니다(정리 1).
4. 포괄적 평가: 이 방법은 21개의 쌍(7개 앵커 $\times$ 3개 모델 풀)에 대해 평가되었으며, 충돌 인식, 레이어별, 탐색 기반 방법을 포함한 6개의 베이스라인과 비교되었습니다.

결과

• 성능 향상: SigMerge는 21개 쌍의 모든 설정에서 성능을 개선하였으며, Macro-5 점수에서 평균 **15.0%**의 상대적 향상을 달성했습니다.
• 격차 감소: 평균 잔여 전문가 격차가 12.13에서 5.77 퍼센티지 포인트로 감소했습니다.
• 순위: SigMerge는 6개의 병합 방법 중 가장 높은 평균 순위(1.67)를 기록하며, 세 가지 카테고리(충돌 인식, 레이어별, 탐색 기반) 모두에서 모든 베이스라인을 능가했습니다.
• 절제 연구(Ablation Studies): 충돌 유래 용량 또는 결핍 기반 할당 중 하나라도 제거하면 상당한 성능 저하(전체 이득과 맞먹는 수준)가 발생하며, 이는 두 신호가 모두 필수적임을 확인시켜 줍니다. 특정 좌표의 선택(순차적 점유)은 고정된 예산에서 약 80%의 이득을 차지합니다.
• 효율성: 이 방법은 앵커 비용에 약 0.6 GPU 시간을 추가하며, 이는 탐색이 없는 베이스라인들과 비슷한 수준으로, 약 26.8 시간이 소요되는 MERGE3와 같은 탐색 기반 방법보다 훨씬 빠릅니다.

의의 및 주장
본 논문은 SigMerge가 도메인 결핍의 이질성과 레이어별 충돌을 명시적으로 다루는 원칙적이고 학습이 필요 없는 밀집 전문가 병합 방식을 제공한다고 주장합니다. 탐색이나 균등한 휴리스틱에 의존하는 대신 측정 가능한 신호에 근거하여 용량 결정을 수행함으로써, SigMerge는 표준 밀집 병합에서 손실된 전문가 능력을 효과적으로 회복합니다.

저자들은 이 방법이 앵커나 전문가 풀을 결정하는 것이 아니라, 이들이 정의한 구간 내에서 작동한다는 점을 겸허히 언급합니다. 또한, 현재의 평가는 5개의 도메인으로 제한되어 있으며, 더 큰 풀로의 확장성이나 더 높은 랭크의 예산 행렬의 필요성 등은 여전히 미해결 과제로 남아 있습니다. 그러나 결과는 실제 성능 결핍을 측정하고 라우팅하는 것이 태스크 벡터 기하학에만 의존하거나 비용이 많이 드는 탐색 절차를 사용하는 것보다 더 효과적인 전략임을 시사합니다.