Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection

기술 요약: 직교 그래디언트 투영을 통한 멀티태스크 LoRA의 태스크 충돌 해소

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)에 저차원 적응(LoRA)을 적용할 때 발생하는 멀티태스크 학습(MTL)의 부정적 전이(negative transfer) 문제를 다룹로다. LoRA는 저차원 행렬($A$와 $B$)만을 업데이트함으로써 LLM을 효율적으로 미세 조정하는 방법을 제공하지만, 단일 어댑터를 여러 태스크에 공유하면 단일 태스크 미세 조정에 비해 성능 저하가 발생하는 경우가 많습니다.

저자들은 이 문제가 LoRA의 "병목 충돌(bottleneck conflict)" 때문에 더욱 심화된다고 주장합니다. 충분한 자유도를 가진 고차원 공간에서 작동하여 상충하는 목적 함수들에 대해 "파레토 정체(Pareto stationary)" 지점을 찾을 수 있는 풀 파인튜닝(full fine-tuning)과 달리, LoRA는 최적화를 저차원 매니폴드(예: rank $r=8$)로 제한합니다. 이러한 심각한 용량 감소는 태스크별 그래디언트 간의 충돌을 더 빈번하게 유발하며, 결과적으로 한 태스크의 개선이 다른 태스크의 희생을 초래하는 파괴적인 간섭을 일으킵니다.

2. 방법론: Ortho-LoRA

제안된 솔루션인 Ortho-LoRA는 LoRA의 이분적 대수 구조(bipartite algebraic structure)에 특화된 그래디언트 투영 방법입니다.

• 핵심 메커니즘: PCGrad(Projecting Conflicting Gradients)에서 영감을 얻은 Ortho-LoRA는 파라미터 업데이트 전, 충돌하는 태스크 그래디언트를 서로의 직교 보공간(orthogonal complement)으로 동적으로 투영합니다. 두 태스크 그래디언트 사이의 코사인 유사도가 음수이면, 한 태스크의 그래디언트를 다른 태스크의 법평면(normal plane) 위로 투영하여 충돌 성분을 제거합니다.
• 구조 인식 디커플링(Structure-Aware Decoupling): 핵심 혁신은 모든 파라미터를 하나의 벡터로 펼치는 대신, 구성 요소인 LoRA 행렬($A$와 $B$)에 이 투영을 독립적으로 적용한다는 점입니다.
  • $A$는 입력을 잠재 하위 공간(latent subspace)으로 투영합니다 (특징 추출).
  • $B$는 잠재 특징을 다시 출력 공간으로 투영합니다 (상태 재구성).
  • $g^{(A)}$와 $g^{(B)}$에 대해 각각 직교성을 강제함으로써, 이 방법은 출력 요구 사항이 다르더라도 모델이 유용한 입력 표현을 공유할 수 있도록 하여, 전역 투영 시 손실될 수 있는 전이 정보를 보존합니다.
• 훈련 절차: 알고리즘은 각 태스크에 대한 그래디언트를 별도로 계산하고, 충돌을 감지하며, 투영을 적용합니다. 멀티태스크 설정($T > 2$)에서 편향되지 않은 최적화를 보장하기 위해, 매 훈련 단계마다 투영 순서를 무작위로 변경합니다.
• 복잡도: 이 방법은 하나의 백워드 패스 대신 $T$번의 백워드 패스를 요구하지만, 계산 오버헤드는 미미합니다. 투영은 전체 모델 크기의 0.1% 미만을 차지하는 LoRA 파라미터에 대해서만 수행됩니다. 주요 계산 병목은 여전히 동결된 LLM 백본을 통과하는 포워드/백워드 패스에 있습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 문제 식별: 저자들은 저차원 어댑터에 MTL을 적용할 때 내재된 "병목 충돌"을 식별하고 분석하며, 저차원 제약이 풀 파인튜닝에 비해 부정적 전이를 증폭시킨다고 주장합니다.
2. 알고리즘 제안: 구조적 변경 없이 부정적 전이를 완화하기 위해 어댑터 공간(행렬 $A$ 및 $B$) 내에서 그래디언트 직교성을 강제하는 계산 효율적인 알고리즘인 Ortho-LoRA를 제안합니다.
3. 실증적 검증: GLUE 벤치마크를 통한 실험을 통해, Ortho-LoRA가 $1/N$의 파라미터(여기서 $N$은 태스크 수)만을 사용하면서도 멀티태스크와 단일 태스크 베이스라인 사이의 성능 격차를 약 95% 회복함을 입증했습니다.

4. 실험 결과

실험은 RoBERTa-base 백본과 LoRA rank $r=8$을 사용하여 GLUE 벤치마크(MNLI, QQP, SST-2)에서 수행되었습니다.

• 성능: 표준 Joint-LoRA(합산된 손실로 훈련된 공유 어댑터)는 단일 태스크 LoRA에 비해 약 1.5점의 성능 저하를 보였습니다. Ortho-LoRA는 이를 크게 완화하여 평균 89.6점을 달 Achieved 했으며, 이는 단일 태스크 상한선인 89.9점보다 불과 0.3점 낮은 수치입니다.
• 회복률: Ortho-LoRA는 전반적으로 성능 저하의 약 **80%**를 회복했으며, QQP 태스크에서는 단일 태스크(88.1) 대비 87.9점을 기록하며 거의 완벽한 회복을 보였습니다.
• 절제 연구(Ablation Studies):
  • Rank 민감도: 이 방법은 $r \in \{4, 8, 16, 32\}$ 범위의 랭크 전반에서 일관된 이득을 제공했습니다. 개선 효과는 가장 낮은 랭크($r=4$)에서 가장 두드러졌으며, 이는 병목 현상이 가장 심각한 고효율 파라미터 시나리오에서 이 방법의 가치를 확인시켜 줍니다.
  • 수렴성: Ortho-LoRA는 여러 번의 백워드 패스로 인해 실제 실행 시간(wall-clock time)이 1.4배 더 걸렸지만, Joint-LoRA보다 더 적은 에포크 내에 수렴했습니다. 이는 충돌하는 업데이트로 인한 진동하는 손실 곡선을 방지하고 최적화 궤적을 안정화했습니다.

5. 의의 및 주장

본 논문은 Ortho-LoRA가 공동 훈련(joint training)의 효율성과 단일 태스크 미세 조정의 성능 사이에서 견고한 "중간 지점" 솔루션을 제공한다고 주장합니다.

• 효율성 vs 성능: 명시적인 그래디덴트 직교성이 추가적인 파라미터(라우터)나 복잡한 라우팅 로직을 도입하지 않고도 복잡한 구조적 솔루션(Mixture-of-Experts 또는 FlyLoRA 등)에 필적하는 태스크 디탱글먼트(disentanglement)를 달성할 수 있음을 보여줍니다.
• 확장성: 이 방법은 단일 공유 LoRA 모듈의 구조적 단순성을 유지하므로, 최소한의 저장 공간 오버헤드로 여러 다운스트림 태스크를 처리하는 단일 시스템을 구축하는 데 적합합니다.
• 향러 방향: 저자들은 향후 연구에서 이 투영 전략을 다른 PEFT 방법(예: Prefix-Tuning)에 적용하거나 동적 태스크 가중치와 결합하는 것을 탐구할 수 있다고 제안합니다.

요약하자면, Ortho-LoRA는 계산 비용을 거의 들이지 않으면서 LoRA의 저차원 제약에서 발생하는 특정 그래디언트 충돌을 효과적으로 해결하여 고성능 멀티태스크 적응을 가능하게 하는 경량화된 최적화 수준의 개입책을 제공합니다.