기술 요약: FRAME (Fractional-Fourier Mixture of Experts)

1. 문제 정의

매개변수 효율적 미세 조정(PEFT) 방법, 특히 저계수 적응(LoRA)은 일반적으로 고정된 기저(basis) 내에서 가중치 업데이트를 재매개변수화한다. 지배적인 접근 방식은 공간 영역(canonical coordinates)에서 작동하며, 성장하는 일련의 스펙트럼 방식들은 고정된 푸리에 영역에서 작동한다. 본 논문은 이러한 이분법이 검증되지 않은 설계상의 선택임을 주장한다: 단일 기저는 모든 태스크, 레이어 또는 토큰에 대해 최적일 수 없다.

기존 방식들은 공간 영역($a=0$)이나 푸리에 영역($a=1$) 중 하나에 전념하며, 이는 최적의 업데이트 표현이 중간 영역에 존재할 경우 잠재적인 용량 낭비를 초래할 수 있다. 또한, 고정된 도메인의 어댑터는 업데이트가 겹치는 서브스페이스를 점유할 때 병합하거나 멀티태스크 학습을 수행할 때 간섭 문제를 겪을 수 있다. 핵심 문제는 적응 도메인 자체가 고정된 관습이 아니라 학습 가능한 자유도여야 한다는 것이다.

2. 방법론: FRAME

저자들은 적응 도메인을 학습 가능한 전문가별 양으로 취급하는 PEFT 어댑터인 FRAME(Fractional-Fourier Mixture of Experts)을 제안한다.

핵심 메커니즘

FRAME은 공간 영역과 푸리에 영역 사이를 연속적으로 보간하는 일-매개변수 패밀리 유니터리 변환인 **분수 푸리에 변환(Fractional-Fourier Transform, FrFT)**을 활용한다.

• 매개변수: 변환은 차수 $a \in [0, 1]$에 의해 정의된다.
  • $a=0$: 항등 변환 (공간 영역, 표준 LoRA와 동일).
  • $a=1$: 표준 푸리에 변환 (스펙트럼 영역).
  • $0 < a < 1$: 시간-주파수 평면에서의 회전을 나타내는 중간 영역.
• 아키텍처: FRAME은 Mixture-of-Experts (MoE) 어댑터이다. 각 전문가 $i$는 다음을 보유한다:
  1. 표준 저계수 인자 $A_i \in \mathbb{R}^{r \times d}$ 및 $B_i \in \mathbb{R}^{d_{out} \times r}$.
  2. 학습 가능한 스칼라 차수 $a_i \in [0, 1]$.
• 순전파(Forward Pass): 토큰 $x$에 대하여, 업데이트는 다음과 같이 계산된다:
  $$\Delta W_i x = B_i A_i \text{Re}\{\Phi_{a_i} x\}$$
  여기서 $\Phi_{a_i}$는 $a_i$ 차수의 이산 FrFT이다. 토큰은 먼저 전문가의 특정 분수 도메인으로 회전된 후, 실수부가 취해지고, 저계수 투영이 적용된다.
• 라우팅(Routing): 라우터는 각 토큰에 대해 상위-$k$ 전문가를 선택하여, 서로 다른 토큰들이 동시에 서로 다른 도메인에서 적응될 수 있도록 한다.

효율성 및 최적화

• 계산 비용: FrFT 행렬을 명시적으로 구현하는 것은 $O(d^2)$의 비용이 든다. FRAME은 프리-처프 곱셈, FFT, 포스트-처프 곱셈을 통해 $O(d \log d)$ 시간 내에 변환을 계산하는 chirp–FFT 대리 모델(Ozaktas et al., 1996)을 사용하여 계산 비용을 낮춘다. 이는 표준 MoE-LoRA와 비교했을 때 무시할 만한 오버헤드만을 추가한다.
• 최적화 전략:
  • 분리된 옵티마이저: 차수 스칼라 $\{a_i\}$와 행렬 인자 $\{A_i, B_i\}$는 별도의 옵티마이저로 학습된다. 차수($a$)의 변화는 전체 도메인을 회전시키는 반면 행렬 업데이트는 밀집되어 있으므로, 차수 학습률($\eta_a$)은 행렬 학습률($\eta$)보다 현저히 작게 설정된다.
  • 그룹화된 부하 분산(Grouped Load Balancing): 전문가들이 단일 도메인으로 붕괴되는 것을 방기하기 위해, 저자들은 전문가들을 $G$개의 "차수 밴드(order bands)"로 분할한다(균등 그리드 상에 초기화됨). 글로벌 균일성을 강제하지 않으면서도 다양한 도메인 활용을 보장하기 위해 각 밴드 내에서 밸런싱 손실이 적용된다.

3. 주요 기여

1. 도메인의 재정의: 본 논문은 공간-스펙트럼 이분법을 단일 연속 축(분수 차수)으로 재구성하며, 최적의 적응 도메인이 태스크, 레이어, 토큰에 따라 달라짐을 입증한다.
2. FRAME 아키텍처: 전문가별 학습 가능한 차수, $O(d \log d)$ 변환 대리 모델, 그리고 도메인 매개변수를 위한 특정 최적화 체계를 갖춘 MoE 어댑터를 도입한다.
3. 이론적 보장:
   • 엄격한 일반화: FRAME은 공간 LoRA와 푸리에 도메인 어댑터를 엄격하게 일반화한다.
   • 탈상관성(Decorrelation): 차수가 잘 분리된 전문가들은 서로 무상관(incoherent) 관계에 있다는 이론적 증명을 제시하여, 태스크 및 전문가 간의 간섭을 줄인다.
   • 안정성: 차수 그래디언트가 유계(bounded)임을 증명하여 안정적인 학습을 보장한다.
4. 실험적 성능: FRAME은 LLaMA-3.1-8B에 대한 상식, 수학, 코드 및 지식 벤치마크에서 강력한 공간 및 스펙트럼 베이스라인(FlyLoRA, Fourier-MoE, HMoRA 포함)을 능가하면서도 낮은 활성 매개변수 예산을 유지한다.

4. 실험 결과

• 성능: LLaMA-3.1-8B에서 FRAME은 평균 상식 정확도 **87.1%**를 달성하여, 가장 강력한 베이스라인인 MoA(86.3%)보다 0.8%p, 바닐라 LoRA(86.3% 대비 +2.6%p)보다 높은 성능을 보였다. QWEN2.5-7B에서도 유사한 이득이 관찰되었다.
• 효율성: FRAME은 많은 MoE 베이스라인과 비슷하거나 더 낮은 수준인 **0.31%**의 매개변수만을 활성화하면서도 최고의 정확도를 달est했다.
• 절제 연구(Ablation Studies):
  • 차수를 $a=0$(공간) 또는 $a=1$(스펙트럼)로 고정하면 상당한 성능 저하(−1.4% 및 −1.1% 각각)가 발생하여, 단일 고정 도메인은 불충분함을 확인했다.
  • (학습되지 않은) 고정된 다양한 그리드의 차수를 사용하는 것은 성능 격분의 일부만을 회복했으며, 이는 전문가별 특정 차수를 학습하는 것의 필요성을 강조한다.
  • Chirp–FFT 대리 모델은 밀집 변환 구현보다 3배 느린 대신, 공간 MoE-LoRA 대비 7% 미만의 훈련 시간 오버헤드만을 발생시켰다.
• 메커니즘 분석:
  • 특성화(Specialization): 학습된 차수는 레이어 깊이에 따라 특성화되었다(초기 레이어에서는 공간에 가깝게, 후기 레이어에서는 스펙트럼에 가깝게 이동).
  • 탈상관성: 전문가 간의 차수 차이가 증가함에 따라 상호 무상관성이 단조 감소하였으며, 이는 탈상관성 속성을 검증한다.
  • 토큰 라우팅: 숫자형 토큰과 기능어(function words)와 같은 서로 다른 토큰 유형이 체계적으로 다른 차수로 라우팅되었다.

5. 의의 및 주장

본 논문은 적응 도메인이 고정된 관습이 아니라 학습 가능한 설계 선택이라고 주장한다. 분수 푸리에 차수를 통한 연속적인 도메인 스펙트럼을 도입함으로써, FRAME은 모델이 저계수 업데이트를 가장 압축적이고 간섭이 적은 도메인에 배치할 수 있게 한다.

저자들은 세 가지 구체적인 장점을 강조한다:

1. 표현력: 여러 차수를 아우르는 혼합은 동일한 계수를 가진 단일 도메인 어댑터가 포착할 수 없는 업데이트를 표현한다.
2. 탈상관성: 서로 다른 차수는 상호 무상관 관계에 있는 서브스페이스를 유도하여, 엄격한 직교성 제약 없이도 전문가와 태스크 간의 간섭을 자연스럽게 줄인다.
3. 효율성: 효율적인 chirp–FFT 대리 모델 덕분에 학습 가능한 도메인은 계산 비용을 거의 늘리지 않는다.

결론적으로 FRAME은 적응을 위한 "폭넓게 유용한 축"을 제공하며, 분수 렌즈가 풀 파인튜닝, 어텐션 메커니즘 또는 지속 학습(continual learning)에도 적용될 수 있음을 시사한다. 저자들은 변환으로 인한 비제로(non-zero) 오버헤드와 라우팅 붕괴(routing collapse)에 대한 민감도를 언급하며, 이를 완화했으나 완전히 제거하지는 못했다고 밝히고 있다.