Label-Free Cross-Task LoRA Merging with Null-Space Compression

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 기초 모델 (Foundation Models, LLM, VLM 등) 의 시대에서, 특정 태스크에 맞춰 모델을 미세 조정 (Fine-tuning) 할 때 전 파라미터 학습은 비용이 너무 많이 들어 **LoRA (Low-Rank Adaptation)**와 같은 파라미터 효율적 미세 조정 (PEFT) 기법이 표준으로 자리 잡았습니다.
• 문제: 여러 태스크에 대해 독립적으로 학습된 LoRA 어댑터들을 하나의 모델로 통합 (Merging) 하려는 시도가 증가하고 있습니다. 하지만 기존 모델 병합 (Model Merging) 방법들은 다음과 같은 한계가 있습니다.
  1. 동질성 제한: 기존 방법들은 주로 분류 (Classification) 태스크에 최적화되어 있어, 회귀 (Regression) 나 시퀀스 생성 (Sequence Generation) 과 같은 이질적인 태스크가 혼합된 환경에서는 성능이 급격히 저하됩니다.
  2. 레이블 의존성 및 비용: AdaMerging 과 같은 기존 그라디언트 기반 방법은 엔트로피 (Entropy) 를 최소화하는 것을 목적 함수로 사용합니다. 이는 분류 태스크에서는 효과적이지만, 회귀 태스크에는 적용 불가능하며, LLM/VLM 의 긴 토큰 시퀀스를 생성할 때마다 엔트로피를 계산해야 하므로 계산 비용이 매우 비쌉니다.
  3. 태스크 간 간섭: 분류와 회귀가 섞인 이질적인 태스크를 병합할 때, 특정 태스크의 성능이 극도로 떨어지는 (Collapse) 현상이 빈번하게 발생합니다.

2. 제안 방법: Null-Space Compression (NSC) Merging

저자들은 LoRA 미세 조정 과정에서 발생하는 영공간 (Null-Space) 의 압축 현상을 관찰하고, 이를 레이블 없이 (Label-Free) 병합 가중치를 학습하는 신호로 활용하는 새로운 방법을 제안했습니다.

핵심 관찰 (Key Observation)

• LoRA 업데이트는 $\Delta W = BA$ 형태로 표현됩니다. 여기서 $A$는 입력 특징을 저차원 부분 공간으로 투영하는 다운-프로젝션 (Down-projection) 행렬입니다.
• 이 투영 과정에서 입력 특징 중 $A$의 영공간 (Null Space) 에 속하는 성분은 폐기됩니다.
• 관찰: LoRA 미세 조정 (Fine-tuning) 이 진행됨에 따라, **영공간 비율 (Null-Space Ratio)**이 지속적으로 감소합니다. 즉, 모델이 더 많은 정보를 어댑터의 부분 공간 내에서 포착하게 됩니다.
• 상관관계: 이 영공간 비율의 감소는 태스크 성능 향상과 강한 음의 상관관계를 가집니다. (비율이 낮을수록 성능이 좋음)

NSC 알고리즘의 작동 원리

1. 목표 함수: 레이블이 없는 데이터 (Unlabeled Data) 를 사용하여, 병합된 모델의 LoRA 어댑터가 입력 특징을 영공간으로 보내는 비율 (Null-Space Ratio) 을 최소화하는 방향으로 병합 가중치 ($\lambda$) 를 학습합니다.
2. 수식적 접근:
   • null-space ratio $\omega(z)$는 입력 $z$가 $A$의 영공간에 투영된 비율로 정의됩니다.
   • 효율성을 위해 전체 투영 행렬을 계산하는 대신, LoRA 랭크 ($r$) 크기의 작은 행렬인 Gram-Inverse $(AA^T)^{-1}$를 미리 계산하여 (Caching) 효율적으로 $\omega(z)$를 추정합니다.
   • 목적 함수: $\min_{\{\lambda_k\}} \frac{1}{K} \sum_{k=1}^K \mathbb{E}_{x} [\Omega_k(x; \Theta_{merge})]$
3. 장점:
   • 레이블 불필요: 출력 레이블이나 토큰 확률 (Logits) 이 필요하지 않아 분류, 회귀, 생성 태스크 모두에 적용 가능합니다.
   • 확장성: 생성된 토큰 수에 비례하여 비용이 증가하지 않습니다 (입력 프롬프트만으로도 충분). 따라서 긴 시퀀스를 생성하는 LLM/VLM 에도 효율적입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 현상 발견: LoRA 미세 조정 시 다운-프로젝션 행렬 $A$의 영공간이 체계적으로 압축되며, 이 압축 정도가 모델 성능과 밀접하게 연관됨을 발견했습니다.
2. NSC Merging 제안: 엔트로피 기반 방법이 적용되지 않거나 비효율적인 이질적인 태스크 (분류 + 회귀 + 생성) 환경에서도 작동하는, 레이블 없는 그라디언트 기반 병합 알고리즘을 제안했습니다.
3. 광범위한 실험 검증: 20 개의 이질적인 비전 태스크, 6 개의 NLI (자연어 추론) 태스크, 6 개의 VQA 및 이미지 캡셔닝 태스크에서 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 이질적인 비전 태스크 (20 개): NYUD-v2, PASCAL-Context, Taskonomy 데이터셋에서 분류 (세그멘테이션) 와 회귀 (깊이 추정, 법선 벡터) 가 혼합된 환경에서 평가되었습니다.
  • 기존 방법들 (Task Arithmetic, TIES, AdaMerging 등) 은 회귀 태스크나 밀집 예측 (Dense Prediction) 에서 성능이 크게 떨어졌습니다 (예: NYUD-v2 세그멘테이션에서 1~2% 수준).
  • NSC는 모든 태스크에서 균일하게 높은 성능을 유지하며 평균 정규화 점수 **92.0%**를 기록하여 SOTA 를 달성했습니다.
• LLM (NLI 태스크): LLAMA-3 8B 를 사용하여 6 개의 NLI 태스크를 병합했습니다.
  • AdaMerging 은 엔트로피 기반 신호가 LLM 에서는 효과적이지 않아 성능이 낮았으나, **NSC 는 평균 92.3%**의 정규화 정확도를 기록하여 가장 높은 성능을 보였습니다.
• VLM (시각 - 언어 태스크): LLaVA-1.5-7B 를 사용하여 VQA 및 이미지 캡셔닝 태스크를 평가했습니다.
  • 계산 효율성: AdaMerging 은 생성된 모든 토큰에 대해 엔트로피를 계산해야 하므로 시퀀스 길이에 비례해 비용이 증가합니다. 반면 NSC 는 입력 토큰만으로도 충분하여 AdaMerging (Single Token) 과 유사한 비용으로 Full Token 수준의 성능을 달성했습니다.
• 일반화 능력 (Generalization): 학습된 10 개 태스크와 보지 못한 10 개 태스크에 대한 평가에서 NSC 는 보지 못한 태스크에서도 가장 높은 성능 (87.1%) 을 보여주어 강력한 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 범용성 확보: 기존 모델 병합 방법들이 가진 "분류 태스크에 국한됨"이라는 한계를 극복하고, 분류, 회귀, 생성을 아우르는 이질적인 태스크 환경에서도 작동하는 최초의 레이블 없는 그라디언트 기반 LoRA 병합 방법론을 제시했습니다.
• 실용적 효율성: LLM 및 VLM 과 같은 대규모 모델에서 긴 시퀀스 생성 시 발생하는 엔트로피 계산의 병목 현상을 해결하여, 실제 배포 환경에서 확장 가능한 병합 솔루션을 제공합니다.
• 이론적 통찰: LoRA 어댑터의 기하학적 구조 (영공간) 가 모델 성능과 어떻게 연결되는지에 대한 새로운 통찰을 제공하며, 이를 통해 태스크 간 간섭을 줄이고 성능을 보존하는 메커니즘을 제시했습니다.

결론적으로, 이 논문은 Null-Space Compression이라는 새로운 신호를 활용하여, 레이블 없이도 다양한 도메인과 태스크 유형을 아우르는 고품질 모델 병합을 가능하게 함으로써 기초 모델 생태계의 효율성과 유연성을 크게 향상시켰습니다.