기술 요약: RotMoLE – 회전 게이트를 통한 저랭크 전문가 혼합(Mixture of Low-Rank Experts) 강화

문제 제기

대형 언어 모델 (LLM) 은 다양한 작업을 처리하기 위해 전문가 혼합 (MoE) 아키텍처와 LoRA 와 같은 매개변수 효율적 미세 조정 (PEFT) 기술을 활용하지만, 기존 저랭크 전문가 혼합 (MoE-LoRA) 프레임워크는 복잡하고 다중 작업적이거나 다국어적인 시나리오에서 한계를 겪습니다.

식별된 핵심 문제는 MoE 의 기존 게이트 메커니즘의 한계입니다. 표준 라우터는 선택된 전문가에 대해 **스칼라 재가중 (스케일링)**만 적용합니다. 이는 전문가의 기여도 크기를 조절할 수는 있지만, 전문가 출력에 복잡한 공간 변환을 수행할 수 있는 능력이 부족합니다. 결과적으로 전문가들의 가중치 집계로 형성된 해 공간은 고정된 공간 방향을 따라 선형 결합으로만 제한됩니다. 이 한계는 후보 전문가의 수가 작업 수에 비해 제한적인 경우 (예: 여러 도메인 간에 전문가를 공유해야 하는 리소스 제약 시나리오) 에 특히 두드러지는데, 이는 라우터가 단순한 크기 스케일링을 넘어 공유된 전문가를 충분히 구분하거나 전문화할 수 없기 때문입니다.

또한, 게이트 모듈을 통해 복잡한 변환 (예: 전체 선형 변환) 을 구현하는 것은 일반적으로 금지할 정도로 많은 학습 가능 매개변수 (예: 은닉 차원 $d$에 대한 $d \times d$ 행렬) 를 필요로 하므로, PEFT 의 매개변수 효율성을 무효화합니다.

방법론: RotMoLE

저자들은 기존 스케일링 게이트와 함께 회전 게이트 메커니즘을 도입한 특수한 MoE-LoRA 프레임워크인 RotMoLE(Rotatable Mixture of Low-rank Experts) 를 제안합니다.

이론적 기반

이 방법은 두 개의 비영 (non-zero) 벡터 간의 모든 변환이 해당 벡터들이 span 하는 2 차원 부분 평면 내에서 순수 스케일링 연산과 순수 회전으로 분해될 수 있다는 관찰에 기반합니다. LoRA 의 저랭크 구조 (랭크 $r \ll d$) 를 활용하여, RotMoLE 는 전체 은닉 차원이 아닌 전문가 어댑터의 $r$차원 공간 내에서 이러한 변환을 적용합니다.

아키텍처 구성 요소

모델의 가중치 업데이트는 다음과 같이 공식화됩니다:
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
여기서:

• $W_0$는 사전 학습된 가중치 행렬입니다.
• $A_i$와 $B_i$는 $i$번째 전문가의 저랭크 행렬입니다.
• $g_i$는 스케일링 게이트 값 (표준 스칼라 가중치) 입니다.
• $R_i$는 $i$번째 전문가에 특화된 회전 행렬입니다.

이 프레임워크는 LoRA 랭크 $r$에 따라 두 가지 모드로 작동합니다:

1. 랭크 $r = 2$ (2 차원 회전):

   • 회전은 단일 학습 가능한 각도 $\theta_i$를 사용하여 모델링됩니다.
   • 회전 행렬 $R_i$는 표준 2 차원 회전 행렬입니다:
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • 각도 $\theta_i$는 회전 게이트 $\Theta(x)$에 의해 생성되며, 안정성과 주기성을 보장하기 위해 Sigmoid 기반 정규화를 사용하여 $[-\pi, \pi]$ 범위의 값을 출력합니다.

2. 랭크 $r > 2$ (고차원 회전):

   • 단일 각도로 2 차원 이상의 차원에서 회전을 정의할 수 없으므로, 이 방법은 각 전문가마다 특정 회전 평면 $P_i$를 구성합니다.
   • 이 평면은 두 개의 기저 벡터로 정의됩니다:
     1. 전문가로의 정규화된 입력 임베딩 ($e_1 = A_i x / |A_i x|$).
     2. 해당 전문가에 라우팅된 입력들의 집계된 중심을 나타내는 해당 전문가에 특화된 학습 가능한 클러스터 중심 벡터 $q_i$. 두 번째 기저 벡터 $e_2$는 $e_1$에 직교하는 $q_i$의 성분에서 유도됩니다.
   • 회전 행렬 $R_i$는 $\theta_i$로 정의된 2 차원 회전을 $e_1$과 $e_2$가 span 하는 $r$차원 평면에 투영하여 구성됩니다.

매개변수 효율성

RotMoLE 는 높은 매개변수 효율성을 유지합니다. 도입된 추가 매개변수는 다음과 같습니다:

• $r=2$인 경우: $d \times n$개의 매개변수 (회전 게이트 가중치용).
• $r>2$인 경우: $(d + r) \times n$개의 매개변수 (회전 게이트 및 클러스터 중심 벡터 $q$용).
  이는 전체 선형 변환에 필요한 $d^2 \times n$개의 매개변수에 비해 훨씬 작아, 오버헤드를 전문가 모듈 자체와 유사한 수준으로 유지합니다.

주요 기여

1. 한계 식별: 기존 MoE 라우터는 노름 스케일링에 국한되어 있으며, 제한된 전문가 수로 다양한 시나리오에 필요한 복잡한 공간 변환을 수행할 수 없다는 점을 강조합니다.
2. RotMoLE 프레임워크: 회전 게이트를 통합한 특수한 MoE-LoRA 프레임워크를 제안하여, 전문가의 저랭크 공간 내에서 2 차원 회전을 가능하게 함으로써 가중치 전문가 조합의 해 공간을 확장합니다.
3. 실증적 검증: 다중 작업 및 다국어 연합 학습 시나리오에 대한 광범위한 실험을 통해 RotMoLE 가 기존 MoE-LoRA 베이스라인 및 기타 최근 변형들보다 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 RotMoLE 를 Llama-3.2-3B, Qwen-2.5-3B, GLM-4-9B에서 여러 벤치마크에 걸쳐 평가했습니다:

• 다중 작업 연합 학습 (QA 및 GLUE):
  • 세 가지 QA 작업 (CommonsenseQA, OpenBookQA, SocialIQA) 의 혼합에서 RotMoLE 는 MoE-LoRA 베이스라인을 일관되게 능가하여 평균 정확도 향상폭이 1% 에서 10% (평균 약 5%) 에 달했습니다.
  • 전문가 수가 제한된 경우 (예: $n=2$) 개선 효과가 가장 두드러졌으며, 이는 회전이 공유된 전문가들을 구분하는 데 도움이 된다는 가설을 뒷받침합니다.
  • GLUE 작업 (SST-2, MRPC, QNLI) 에서도 유사한 향상이 관찰되었습니다.
• 다국어 연합 학습:
  • 다국어 텍스트 생성 (MTG) 및 XNLI(자연어 추론) 에서 RotMoLE 는 베이스라인에 비해 더 높은 평균 및 언어별 점수를 달성했습니다.
  • 수렴 분석 결과, RotMoLE 는 초기에는 더 느리게 수렴하지만 베이스라인에서 관찰되는 조기 포화 없이 더 나은 최종 성능을 달성하는 더 나은 과적합 방지 특성을 보임이 확인되었습니다.
• 변형들과의 비교:
  • RotMoLE 는 전반적 및 작업별 정확도 측면에서 전방 라우팅에 초점을 맞춘 다른 MoE-LoRA 변형들 (MoCLE, MoLA, AdaMoLE) 보다 우수한 성능을 발휘했습니다.
• 어블레이션 연구:
  • 실험은 성능 향상이 단순히 매개변수 수의 증가가 아니라 회전 구조에 기인함을 확인했습니다. 크기가 동일한 MLP 게이트를 사용하는 베이스라인은 더 낮은 성능을 보였으며, 이는 회전 메커니즘이 다양성을 위해 추가 매개변수를 활용하는 데 더 효과적임을 시사합니다.

의의 및 주장

이 논문은 RotMoLE 가 단순한 스케일링을 넘어 저랭크 전문가를 위한 더 강력한 변환 함수를 제공한다고 주장합니다. 회전 게이트를 도입함으로써 프레임워크는 MoE 의 전역 해 공간을 크게 확장하여, 특히 여러 작업이나 언어 간에 전문가가 공유되는 시나리오에서 전문가들의 활용과 전문화를 더 잘 가능하게 합니다.

저자들은 이 접근법이 현재 PEFT-MoE 연구의 특정 격차를 해결한다고 강조합니다. 즉, 전문가 수가 제한될 때 후보 전문가들을 위한 다양한 활용 전략을 모델링할 수 없다는 문제점입니다. 결과는 RotMoLE 가 풀랭크 변환의 계산 비용을 치르지 않고도 복잡한 다도메인 응용 분야에서 LLM 의 표현 능력을 향상시키는 견고하고 매개변수 효율적인 방법을 제공함을 시사합니다.