기술 요약: LLM 적응을 위한 그래디언트 기반 옵티마이저 라우팅 (MoLF)

1. 문제 제기

대형 언어 모델 (LLM) 의 파인튜닝은 **전체 파인튜닝 (FFT)**과 저랭크 적응 (LoRA) 사이의 근본적인 구조적 트레이드오프에 직면해 있습니다.

• FFT는 고엔트로피 지식 (예: 사실적 업데이트) 주입에 필수적인 높은 표현적 가소성을 제공하지만, 공격적인 최적화로 인해 사전 훈련된 추론 능력의 재앙적 망각을 초래할 위험이 있습니다.
• LoRA는 암묵적 정규화제 역할을 하여 사전 훈련된 논리를 보존하고 과적합을 방지하지만, 고랭크 업데이트가 필요한 작업 (예: 복잡한 사실적 연관성 암기) 에서는 용량 병목 현상으로 고통받습니다.

실증적 증거는 어느 정적 구조도 보편적으로 최적이지 않으며, 최선의 선택은 작업의 고유 차원과 특정 모델에 따라 달라진다고 시사합니다. 적응형 랭크 LoRA 나 토큰을 라우팅하는 전문가 혼합 (MoE) 과 같은 기존 솔루션들은 검색 공간을 저랭크 부분 공간으로 제한하거나 입력 라우팅으로 인해 그래디언트 통계를 분산시켜, 랭크 변경 시 불안정한 훈련 역동성과 콜드스타트 문제를 야기하므로 이러한 긴장 관계를 해결하지 못합니다.

2. 방법론: MoLF 및 MoLF-Efficient

저자들은 단일 훈련 체제 내에서 전방 전달 구조를 변경하지 않고 FFT 와 LoRA 를 통합하는 LoRA 와 전체의 혼합 (MoLF) 파인튜닝 프레임워크를 제안합니다.

핵심 아키텍처

MoLF 는 기본 모델 가중치 ($W_{base}$) 를 "FFT 전문가"로 간주하고 여러 개의 독립적인 LoRA 어댑터를 "LoRA 전문가"로 주입합니다. 전통적인 MoE 와 달리, 모든 전문가가 모든 전방 및 후방 전달에 참여합니다. 전방 전달은 무조건적 중첩입니다:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
여기서 $\alpha_i$는 랭크 안정화 LoRA(RS-LoRA) 스케일링 인자입니다.

그래디언트 기반 옵티마이저 라우팅

MoLF 의 참신함은 전방 전달이 아닌 파라미터 업데이트 단계를 희소화하는 데 있습니다. 이 프레임워크는 3 단계 라우팅 메커니즘을 갖춘 맞춤형 Sparse AdamW 옵티마이저를 사용합니다:

1. 보편적 모멘텀 추적: 모든 전문가 (FFT 및 LoRA) 는 풀배치 그래디언트를 수신하고 Adam 의 1 차 ($m_t$) 및 2 차 ($v_t$) 모멘트 추정을 업데이트합니다. 이는 모든 전문가가 적응형 랭크 방법에서 관찰되는 "콜드스타트" 실패 모드를 피하면서 성숙하고 편향 제거된 모멘트 상태를 유지하도록 보장합니다.
2. 전문가 점수화 (예상 전조건 하강 - EPD): 원시 그래디언트 노름에 기반하여 라우팅하는 대신, MoLF 는 각 전문가에 대해 EPD 점수($S_t^{(i)}$) 를 계산합니다. 이 점수는 해당 전문가가 업데이트될 경우 파라미터당 예상 손실 감소를 파라미터 수 ($N_{params}^{(i)}$) 로 정규화하여 추정합니다:
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   이 지표는 옵티마이저의 의도된 스텝 크기와 국소 손실 위상을 모두 고려하여 거대한 FFT 백본과 경량 LoRA 어댑터 간의 공정한 비교를 가능하게 합니다.
3. Top-K 희소 업데이트: 가장 높은 EPD 점수를 가진 상위-$K$개 전문가 (일반적으로 $K=1$) 만 표준 AdamW 단계를 통해 물리적 가중치 업데이트를 받습니다. 낙선된 전문가들은 이전 가중치를 유지하지만 그래디언트 통계를 계속 누적합니다.

MoLF-Efficient (MoLF-E)

메모리 제약 환경에서는 MoLF-E가 FFT 전문가를 완전히 제거합니다. 이는 다양한 랭크 (예: $r$과 $128$) 를 가진 LoRA 전문가 쌍 사이에서 업데이트를 라우팅합니다. 이 변형은 기본 가중치와 비선형 파라미터를 고정하여 메모리 오버헤드를 줄이면서도 동적 부분 공간 검색의 이점을 유지합니다.

추론

훈련 후 MoLF 는 오버헤드 없는 추론을 허용합니다. 훈련된 모든 LoRA 전문가는 수학적으로 기본 가중치에 직접 투영되어 ($W_{final} = W_{base} + \sum \Delta W_i$), 다중 전문가 그래프를 기본 LLM 아키텍처와 동일한 표준 밀집 모델로 축소합니다.

3. 주요 기여

1. 파인튜닝 체제의 실증적 특성화: 저자들은 세 가지 데이터셋 (CounterFact, MedMCQA, Text-to-SQL) 과 세 가지 모델 (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B) 을 통해 FFT 와 LoRA 를 체계적으로 평가합니다. 그들은 세 가지 뚜렷한 체제를 식별합니다:
   • Fact (용량 병목): FFT 가 우세함; LoRA 는 고엔트로피, 긴 꼬리 특성을 가진 특이값 스펙트럼을 포착하지 못함.
   • Med (스펙트럼 정규화): 고랭크 LoRA 가 FFT 를 능가함; 저랭크 제약은 추론의 재앙적 망각을 방지하는 정규화제로 작용함.
   • SQL (낮은 고유 차원): 둘 다 유사하게 수행됨; LoRA 는 집중된 특이 스펙트럼을 효율적으로 포착함.
2. MoLF 프레임워크: 옵티마이저 수준에서 FFT 와 LoRA 사이를 동적으로 탐색하는 통합 방법으로, 모든 전문가를 그래디언트 누적에 활성화시켜 안정적인 훈련 역동성을 보장합니다.
3. MoLF-E: FFT 경로 없이 서로 다른 랭크의 병렬 LoRA 전문가를 유지함으로써 기존 적응형 랭크 방법 (AdaLoRA, AdaMix) 보다 우수한 성능을 보이는 메모리 효율적 변형입니다.

4. 실험 결과

• MoLF vs. 정적 베이스라인: 9 가지 설정 (3 모델 $\times$ 3 작업) 전반에 걸쳐 MoLF 는 일관되게 최상의 정적 베이스라인 (FFT 또는 최적 랭크 LoRA) 을 일치시키거나 능가합니다. 모든 경우 최상위 베이스라인의 1.5% 이내에 머무르며, 3 가지 구성에서 명백한 최상위 점수를 달성합니다. 특히 Fact 작업에서는 FFT 수준의 용량을 회복하는 반면, Med 작업에서는 최대 **3.25%**까지 FFT 를 능가합니다.
• MoLF-E vs. 적응형 PEFT: MoLF-E 는 9 가지 설정 중 8 가지에서 AdaLoRA 와 AdaMix 를 능가합니다. 개선은 용량이 병목인 경우 더 높은 랭크 부분 공간으로 업데이트를 효과적으로 할당함으로써 최저 성능 베이스라인 (AdaMix) 보다 최대 20% 높은 정확도를 달성하는 Fact 작업에서 가장 두드러집니다.
• 애블레이션 연구:
  • 희소 업데이트: 모든 전문가를 동시에 업데이트 (밀집 업데이트) 하면 경쟁적인 표현 용량 간의 최적화 진동으로 인해 Med 작업에서 심각한 성능 저하가 발생합니다.
  • 라우팅 휴리스틱: EPD 점수는 Med 작업에서 전조건 프로베니우스 노름 (PFN) 을 능가하며, 학습률과 스텝 크기를 통합하는 것이 서로 다른 규모의 전문가를 균형 있게 조정하는 데 중요함을 보여줍니다.
  • 라우터 안정성: 라우터는 약 500 스텝 이내에 안정적인 구조 할당으로 빠르게 수렴하여, 특정 모듈이 진동하기보다는 FFT 또는 LoRA 경로 중 하나로 명확하게 헌신하게 됩니다.

5. 중요성 및 주장

이 논문은 단일 정적 구조에 의존하는 것이 LLM 적응에 구조적으로 제한적이라고 주장합니다. MoLF 는 전방 전달을 업데이트 메커니즘과 분리함으로써 표현적 가소성과 암묵적 정규화 사이의 긴장 관계를 해결합니다.

저자들은 MoLF 가 훈련 체제 간의 "연속적 탐색"을 제공하여, 수동 하이퍼파라미터 튜닝이나 포괄적인 랭크 검색 없이도 지식 주입을 위한 FFT 의 높은 용량과 추론 보존을 위한 LoRA 의 정규화를 모델이 활용할 수 있다고 주장합니다. furthermore, 훈련 후 모델을 축소할 수 있는 능력은 이러한 이득이 추론 지연 패널티를 초래하지 않도록 보장하여 배포에 실용적입니다. 이 연구는 표현 가능한 학습 가능한 아키텍처를 유지하면서 전문가 수준 업데이트만 희소화하는 것이 다양한 전문가 유형의 이점을 포착하는 효과적인 전략임을 시사합니다.