Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

기술 요약: LoRA 간섭의 규명: 강건한 모델 병합을 위한 직교 부공간(Orthogonal Subspaces)

문제 정의
특정 태스크를 위해 대규모 언어 모델(LM)을 미세 조정하는 것은 강력한 성능을 제공하지만, 각 태스크별로 별도의 모델을 유지하는 것은 저장 및 배포 측면에서 비용이 많이 듭니다. 모델 병합(Model merging)은 추가적인 학습 없이 여러 태스크 특화 모델을 하나의 멀티 태스크 모델로 결합하는 해결책을 제시합니다. 그러나 기존의 병합 방법들은 저계수 적응(Low-Rank Adaptation, LoRA)으로 미세 조정된 모델에 적용될 때 심각한 성능 저하를 초래하는 경우가 많습니다.

저자들은 이러한 성능 저하가 모델 파라미터와 데이터 분포 사이의 상호작용에 의한 **파라미터 간섭(parameter interference)**에서 기인한다고 주장합니다. 구체적으로, LoRA 모듈을 병합할 때(예: $W_m = W_0 + B_1A_1 + B_2A_2$), 한 태스크의 업데이트 항($B_2A_2$)이 다른 태스크의 잠재 특징($h_1$)에 의도하지 않은 "섭동(perturbation)"으로 작용하여 출력을 의도한 응답으로부터 벗어나게 만듭니다. 태스크 벡터의 직교성이나 정렬에만 집중하는 기존의 데이터 프리(data-free) 접근 방식들은 이러한 잠재 특징과 파라미터 업데이트 사이의 결정적인 상호작용을 간과하는 경우가 많습니다.

방법론: OSRM
본 논문은 **직교 부공간을 이용한 강건한 모델 병합(Orthogonal Subspaces for Robust model Merging, OSRM)**을 제안하며, 이는 미세 조정 전(prior to fine-tuning)에 LoRA 부공간을 제약하여 타 태스크 데이터 분포와의 간섭을 최소화하는 방법입니다.

1. 핵심 목표: 이 방법은 $\|A_2 H_1^\top\|_F$인 프로베니우스 노름(Frobenius norm)을 최소화함으로써 간섭 항 $\|B_2A_2 h_1\|$을 줄이는 것을 목표로 합니다. 여기서 $H_1$은 다른 태스크($T_1$)에서 추출된 샘플의 잠재 특징 행렬을 나타냅니다.
2. 해석적 해법(Analytical Solution): 자명한 해(예: $A_2=0$)를 피하고 표현력을 유지하기 위해, 저자들은 $A_2$가 직교 행(orthonormal rows, $A_2 A_2^\top = I$)을 가져야 한다는 제약을 부과합니다. 이 제약 하에서, $A_2$의 최적 초기화는 샘플 공분산 행렬 $S = \frac{1}{k-1}H^\top H$의 고윳값 분해(eigendecomposition)를 사용하여 도출됩니다. 구체적으로, $A_2$는 $S$의 가장 작은 고윳값에 대응하는 고유벡터들을 사용하여 초기화됩니다. 이는 LoRA 부공간을 타 태스크 데이터의 분산이 최소인 방향에 배치하는 것입니다.
3. 실질적 확장:
   • 미세 조정 중 완화(Relaxation during Fine-Tuning): 이론적 해법은 $A_2$를 고정할 것을 제안하지만, 저자들은 이것이 단일 태스크 정확도를 저하시킨다는 것을 발견했습니다. 따라서 이들은 해석적 해법을 오직 $A_2$의 초기화 용도로만 사용하며, 미세 조정 과정에서 $A_2$가 업데이트되도록 허용합니다. 실험 결과, 초기 직교 상태로부터의 이탈은 미미한 수준(약 14%)이었으며, 방법의 유효성을 유지했습니다.
   • 확장성 및 프라이버시: $N$개의 태스크를 병합하기 위해, 이 방법은 타겟 태스크 $T_t$를 제외한 모든 태스크의 잠재 특징을 집계합니다. 메모리 사용량을 줄이고 프라이버시 문제를 해결하기 위해, 저자들은 샘플별 잠재 특징을 연결(concatenation)하기 전에 평균화하는 방식을 제안합니다.
   • 사후 적용(Post-Hoc Application): 이 방법은 학습된 가중치를 OSRM 기반의 기저(basis)를 사용하여 분해함으로써 기존 LoRA 모듈에 확장 적용될 수 있으나, 이 경우 약간의 성능 손실이 발생할 수 있습니다.

주요 기여

• 데이터-파라미터 상호작용 식별: 본 논문은 LoRA 병합에서의 파라미터 간섭가 단순히 가중치 충돌의 함수가 아니라, 파라미터가 특정 데이터 분포와 어떻게 상호작용하는지와 깊게 연관되어 있음을 강조합니다.
• 미세 조정 전 제약: 병합 중에 또는 병합 후에 작동하는 기존 연구들과 달리, OSRM은 LoRA 부공간을 무관한 데이터 분포에 직교하도록 초기화함으로써 미세 조정 전에 개입합니다.
• 플러그 앤 플레이(Plug-and-Play) 통합: 이 방식은 병합 로직 자체를 변경할 필요 없이 기존의 병합 알고리즘(예: Task Arithmetic, Fisher Merging, TIES, RegMean, EMR)과 원활하게 통합되도록 설계되었습니다.
• 강건성: 이 방법은 스케일링 계수, 샘플 크기, 태스크 수와 같은 하이퍼파라미터에 대한 민감도가 낮음을 입증했습니다.

실험 결과
저자들은 8개의 GLUE 벤치마크 데이터셋에 대해 3개의 널리 사용되는 LM(RoBERTa-large, T5-large, Llama3.2-1B)과 2개의 더 큰 LM(Llama3.2-3B, Llama3-8B)을 사용하여 OSRM을 평가했습니다.

• 성능 향상: OSRM은 테스트된 모든 모델과 병합 기법에서 기존의 병합 베이스라인들을 일관되게 능가했습니다.
  • RoBERTa-large에서, OSRM은 베이스라인 대비 평균 성능을 크게 향상시켰습니다 (예: Task Arithmetic에서 CoLA 기준 +13%, Fisher Merging에서 MNLI 기준 +21%).
  • T5-large에서, OSRM은 RegMean(+3.76% 평균) 및 Fisher(+7.9% 평균)에서 베이스라인을 실질적으로 앞질렀습니다.
  • Llama3.2-1B 및 3B에서, OSRM은 TA, RegMean, TIES, EMR 상에서 베이스라인을 넘어섰으며, 태스크당 개선 폭은 최대 12.78%에 달했습니다.
• 단일 태스크 보존: 이 방법은 단일 태스크 정확도에 미치는 영향이 매우 적으며(평균 격차 <1%), 종종 베이스라인의 단일 태스크 성능을 상회합니다.
• 강건성:
  • 스케일링 계수: 베이스라인은 더 민감했던 반과 달리, OSRM은 넓은 범위의 스케일링 계수($\lambda \in [0.1, 1.3]$)에서 우수한 성능을 유지했습니다.
  • 샘플 크기: 이 방법은 초기화를 위해 100개의 샘플만 있어도 잘 작동했습니다.
  • 태스크 수: 병합되는 태스크의 수($N > 5$)가 증가할수록 성능 우위가 더욱 뚜렷해졌습니다.

의의 및 주장
본 논문은 OSRM이 데이터와 파라미터 간의 상호작용을 명시적으로 다룸으로써 LoRA 모델을 더 효과적으로 결합하는 일반화 가능한 전략을 제공한다고 주장합니다. 저자들은 자신들의 접근 방식이 단일 태스크 정확도를 유지하면서 병합 성능을 높이는 플러그 앤 플레이 솔루션임을 강조합니다. 또한, 가중치 정렬에만 집중하는 순수 데이터 프리 전략을 넘어, 데이터-파라미터 상호작용을 고려하는 것이 중요하다고 주장합니다. 결과적으로, LoRA 모델 병합을 괴롭히는 의도하지 않은 출력 변화를 완화하기 위해서는 미세 조정 전에 LoRA 부공간을 제약하는 것이 필수적인 단계임을 시사합니다.