기술 요약: Stay Unique, Stay Efficient (DTS)

문제 정의

모델 병합(Model merging)은 여러 개의 태스크별 모델을 하나의 표현으로 통합하여, 미세 조정(fine-tuning) 및 개별 모델 저장에 드는 막대한 비용을 피할 수 있는 데이터 프리(data-free) 및 최적화 프리(optimization-free) 패러다임을 제공한다. 그러나 전통적인 기본 병합 방식(예: Weight-Averaging, Task-Arithmetic)은 심각한 **파라미터 충돌(parameter conflicts)**을 겪으며, 이는 모델들이 의미론적으로 유사한 태스크를 대상으로 학습되었음에도 불구하고 상당한 성능 저하를 초래한다.

최근의 개인화된 모델 병합(personalized model merging) 프레임워크들은 이러한 충돌을 완화하기 위해 태스크별 정보를 보존하려고 시도하지만, 일반적으로 과도한 **저장 오버헤드(storage overhead)**를 발생시킨다. 밀집된 전문가 구성 요소(dense expert components), 전체 모델 파라미터, 또는 복잡한 라우팅 네트워크를 저장하는 방식은 모델 병합의 주요 장점인 효율성을 상쇄하여, 자원이 제한된 환경에서의 배포를 어렵게 만든다. 핵심 과제는 성능을 유지하기 위해 필수적인 태스크별 정보를 보존하면서도, 태스크당 추가로 필요한 저장 용량을 최소화하는 것이다.

방법론: 분해, 임계값 설정 및 스케일링 (DTS)

저자들은 태스크별 정보를 효율적으로 압축하도록 설계된 근사 기반 개인화 병합 프레임워크인 DTS를 제안한다. 이 방법은 근사 단계(approximation stage)와 추론 단계(inference stage)의 두 가지 주요 단계로 작동한다.

1. 태스크별 정보 표현

프레임워크는 태스크별 정보를 두 가지 형태로 정의한다:

• 태스크 벡터 ($\tau_n$): 미세 조정된 가중치($\theta_n$)와 사전 학습된 가중치($\theta_0$)의 차이, 즉 $\tau_n = \theta_n - \theta_0$.
• 차이 벡터 ($d_n$): 미세 조정된 가중치와 거칠게 병합된 베이스라인($\theta_m$) 사이의 차이로 정의되는 새로운 표현, 즉 $d_n = \theta_n - \theta_m$. 이 변형은 원래의 사전 학습된 가중치에 접근할 수 없을 때 특히 유용하며, 공유된 베이스라인에 대한 개인화된 잔차(residual)를 포착한다.

2. DTS 압축 파이프라인

이러-벡터들을 효율적으로 저장하기 위해, DTS는 세 가지 순차적 연산을 적용한다:

• 분해 (SVD): 대상 행렬(태스크 벡터 또는 차이 벡터)은 절단된 특이값 분해(truncated SVD)를 거친다. 에카르트-영-미르스키 정리(Eckart-Young-Mirsky theorem)에 따라 상위 $r$개의 특이값과 그에 대응하는 벡터들만 유지하여 구조화되지 않은 파라미터 노이즈를 필터링한다.
• 임계값 설정 (Thresholding): 단순한 이진 마스크(fine-grained 정보를 버리는 방식)를 사용하는 대신, DTS는 새로운 임계값 전략을 도입한다. 이는 각 특이 벡터의 요소들을 네 그룹으로 나눈다:
  1. 양수 "큰" 값 (Positive "Large")
  2. 양수 "작은" 값 (Positive "Small")
  3. 음수 "큰" 값 (Negative "Large")
  4. 음수 "작은" 값 (Negative "Small")
     이는 먼저 부호(1 비트)를 인코딩한 다음, 양수/음수 값을 각각의 중앙값(median)과 비교하여 크기 수준을 결정함으로써 수행된다.
• 스케일링 (Scaling): 각 네 그룹에 대해 단일 스케일링 인자가 계산된다. 이 인자는 해당 그룹 내 절대값의 산술 평균(효율성을 위해 L1 노름을 통해 계산됨)을 나타낸다.

3. 재구성 및 저장 효율성

추론 과정에서, 근사된 특이 벡터와 스케일링 인자를 결합하여 태스크별 정보를 재구성한다. 결과적인 표현은 요소당 2비트(부호 1비트, 크기 수준 1비트)만을 필요로 하며, 16배의 압축률을 달もの한다. 이는 태스크당 약 **1%**의 추가적인 저장 오버헤드만을 발생시킨다.

4. 미학습 태스크에 대한 일반화 (Data-Free Adaptation)

추가적인 학습 데이터나 레이블된 예시 없이 미학습 태스크를 처리하기 위해, 저자들은 **의미론적 유사성(semantic similarity)**을 기반으로 태스크별 정보를 융합하는 변형 모델을 제안한다.

• 태스크 특성(예: 분류 작업의 클래스 이름, 생성 작업의 지시문)은 사전 학습된 텍스트 인코더를 사용하여 의미론적 임베딩을 생성하도록 인코딩된다.
• 미학습 태스크를 위한 병합 가중치는 미학습 태스크의 임베딩과 이미 학습된 태스크들의 임베딩 사이의 **코사인 유사도(cosine similarity)**를 기반으로 동적으로 계산된다.
• 이 접근 방식은 완전히 **데이터 프리(data-free)**이며, 온라인 학습이나 역전파(backpropagation)를 필요로 하지 않는다.

주요 기여

1. DTS 프레임워크: SVD, 새로운 4그룹 임계값 설정, 스케일링을 통해 저장 오버헤드를 최소화하면서 태스크별 정보를 보존하는 경량화된 근사 기반 개인화 병합 방법.
2. DTS-T 및 DTS-D 변형: 두 가지 특정 구현체를 도입함: 하나는 표준 태스크 벡터에서 작동하고, 다른 하나는 (공유된 병합 베이스라인에 상대적인) 차이 벡터에서 작동하여 다양한 배포 시나리오에 대한 유연성을 제공함.
3. 데이터 프리 일반화: 학습된 태스크의 특성에 대한 의미론적 유사성을 활용하여 미학습 태스크에 적응할 수 있는 변형 모델을 제공하며, 이를 통해 타겟 도메인 데이터나 학습 가능한 라우터를 제거함.
4. 효율성-성능 트레이드오프: 태스크당 약 1%의 추가 저장 공간만으로 최첨단 성능을 달성하며, 이는 종종 10~100%의 추가 저장 공간을 요구하는 기존의 개인화 방식들을 크게 능가함.

실험 결과

저자들은 시각 분류(ViT-B/32, ViT-L/14, ViT-B/16), 자연어 처리(RoBERTa, GPT-2), 자연어 생성(Qwen-14B) 태스크에서 DTS를 평가하였다.

• 표준 멀티 태스크 병합: DTS는 표준 벤치마크에서 최첨단 베이스라인(T-Switch, FREE-Merging, WEMOE 포함)을 지속적으로 능가한다.
  • ViT-B/32에서, DTS-D는 평균 정확도 **90.40%**를 달성하여, 가장 우수한 베이스라인인 T-Switch(90.15%)를 앞질렀으며, 동시에 훨씬 적은 **3.68%**의 추가 메모리만을 요구했다(T-Switch의 6.25% 및 WEMOE의 49.95%와 비교 시).
  • RoBERTa에서, DTS-D는 **84.98%**의 평균 정확도를 달성하며 단 **3.81%**의 추가 메모리로 개별 미세 조정 모델 성능의 **99.06%**를 회복했다.
  • 저자들은 희소성 계수($r$)를 적응적으로 조정함으로써, 성능 손실을 최소 최소화하면서 추가 메모리 비율을 1% 미만으로 줄일 수 있다고 언급했다(예: ViT-B/32에 대해 0.98%인 DTS-D*).
• 미학습 태스크에 대한 일반화: 병합 과정에서 미학습 태스크를 위한 미세 조정된 모델을 사용할 수 없는 제로샷(zero-shot) 시나리오에서:
  • DTS 변형 모델들은 모든 경쟁 개인화 방식들을 크게 앞질렀다. 예를 들어, ViT-B/32 미학습 태스크에서 DTS-D는 평균 정확도 **55.41%**를 달성한 반면, WEMOE 및 T-Switch와 같은 다른 개인화 베이스라인들은 40~50%대로 떨어졌으며, 종종 Ties-Merging와 같은 기본 병합 방식보다도 낮은 성능을 보였다.
  • 이는 의미론적 유사성 기반의 융합이 학습된 태스크에 과적합되지 않고 태스크별 지식을 효과적으로 전달함을 입증한다.

의의 및 주장

본 논문은 DTS가 모델 병합에서의 성능 보존과 저장 효율성 사이의 근본적인 트레이드오프 문제를 해결한다고 주장한다. 태스크별 정보를 유의미한 손실 없이 2비트 표현으로 압축할 수 있음을 입증함으로써, 저자들은 개인화된 병합이 기존에는 접근 불가능했던 자원 제한적 환경에서도 배포될 수 있다고 논한다.

또한, 본 연구는 개인화된 병합 방식이 특정 학습된 태스크에 과하게 최적화될 경우 미학습 태스크에 대한 일반화에 실패할 수 있음을 강조한다. 제안된 데이터 프리, 의미론적 유사성 기반 적응 방식은 "콜드 스타트(cold-start)" 멀티 태스크 시나리오를 위한 확장 가능한 솔루션을 제공하며, 추가적인 학습 데이터나 계산 오버헤드 없이 새로운 태스크를 처리할 수 있게 한다. 저자들은 DTS를 차세대 멀티 태스크 배포를 위한 실용적이고 효율적이며 효과적인 패러다임으로 제시한다.