AdaRank: Adaptive Rank Pruning for Enhanced Model Merging

이 논문은 여러 작업 간 간섭을 줄이고 모델 병합 성능을 극대화하기 위해 엔트로피 최소화를 통해 테스트 시간에 작업 벡터의 특이 성분을 적응적으로 가지치기하는 새로운 프레임워크인 AdaRank 를 제안합니다.

핵심

🧠 AdaRank: 여러 전문가를 하나로 합치는 '스마트 편집자'

이 논문은 인공지능 (AI) 모델이 여러 가지 일을 동시에 잘하도록 만드는 '모델 병합 (Model Merging)' 기술에 대한 이야기입니다. 기존 방법들의 문제점을 발견하고, 이를 해결하는 새로운 방법 AdaRank를 제안했습니다.

이해하기 쉽게 요리사와 레시피에 비유해서 설명해 드릴게요.

---

1. 배경: 왜 여러 모델을 합쳐야 할까요?

상상해 보세요.

• 모델 A: 이탈리아 요리를 아주 잘하는 요리사.
• 모델 B: 일본 요리를 아주 잘하는 요리사.
• 모델 C: 디저트를 아주 잘하는 요리사.

이 세 명을 모두 고용해서 식당을 운영하려면 인건비가 너무 비싸고 공간도 부족합니다. 그래서 우리는 **"이 세 명의 실력을 하나로 합쳐서, 한 명의 '만능 요리사'를 만들어보자!"**라고 생각합니다. 이것이 바로 모델 병합입니다.

2. 문제점: 기존 방법들은 왜 실패할까?

기존에는 이 세 명의 레시피를 단순히 섞거나, "가장 중요한 부분 (상위 10%) 만 뽑아서 합치는" 방식을 썼습니다. 하지만 여기서 두 가지 큰 문제가 생깁니다.

❌ 문제 1: "가장 큰 소리는 항상 옳은 게 아니다" (Top-k 의 함정)

기존 방법은 "이 요리사가 가장 자신 있는 기술 (큰 숫자/주요 성분) 만 가져오자"라고 생각했습니다.

• 상황: 이탈리아 요리사가 "파스타를 끓이는 것"을 가장 잘하지만, 그 방식이 일본 요리사의 "초밥을 만드는 손기술"과 충돌할 수 있습니다.
• 결과: 가장 잘하는 기술만 가져오려다 보니, 서로의 레시피가 섞이면서 맛이 망가집니다. (논문에서는 이를 '간섭'이라고 부릅니다.)

❌ 문제 2: "모든 일에 똑같은 양의 재료를 쓸 수는 없다" (고정된 순위의 한계)

기존 방법은 모든 요리사에게 똑같은 양의 레시피 (예: 상위 100 개 기술) 를 가져오라고 했습니다.

• 상황: 초보 요리사는 기본 기술 10 개면 충분하지만, 마스터 요리사는 1000 개의 세부 기술이 필요합니다.
• 결과: 필요한 사람은 재료가 부족하고, 필요 없는 사람은 불필요한 재료를 가지고 와서 혼란을 줍니다.

3. 해결책: AdaRank (적응형 순위 가지치기)

저자들은 **"어떤 기술을 가져올지, 누가 결정할까?"**라고 물었습니다. 정답은 **"AI 가 직접 테스트해보고 결정한다"**입니다.

🍳 AdaRank 의 핵심 아이디어: "맛보기 테스트"

AdaRank 는 단순히 레시피를 섞는 게 아니라, 실제 손님 (테스트 데이터) 을 대상으로 맛을 보고 결정합니다.

1. 스마트한 선택 (이진 마스크):

   • 각 요리사 (모델) 의 레시피를 아주 작은 조각 (단일 성분) 으로 쪼갭니다.
   • "이 조각을 넣으면 전체 맛은 좋아질까? 아니면 망칠까?"를 AI 가 판단합니다.
   • 좋으면 남기고 (1), 나쁘면 버립니다 (0).
   • 비유: "이 요리사의 '파스타 끓이기' 기술은 초밥과 안 맞으니 빼고, '소스 만들기' 기술은 잘 어울리니 넣자!"라고 선택합니다.

2. 손님의 반응을 보는 것 (엔트로피 최소화):

   • AI 는 레시피를 섞을 때 정답 (정답 레시피) 을 모릅니다. 대신 **"손님들이 음식을 먹고 얼마나 당황하는지 (불확실성/엔트로피)"**를 봅니다.
   • 손님이 당황하지 않고 맛있게 먹으면 (불확실성이 낮아지면) 그 조합이 좋은 것입니다.
   • 이걸로 레시피 조각들을 자동으로 최적화합니다.

3. 유연한 양 (적응형 순위):

   • 이탈리아 요리사에게는 100 개의 기술을, 초보 요리사에게는 10 개의 기술을 가져옵니다.
   • 각 요리사와 각 요리 단계 (레이어) 에 맞춰 필요한 만큼만 가져옵니다.

4. 왜 이 방법이 대단할까요?

• 비용 절감: 별도의 추가 모델이나 복잡한 장치가 필요 없습니다. 기존 모델 크기와 똑같습니다.
• 압도적인 성능: 여러 가지 실험 (이미지 인식, 언어 이해 등) 에서 기존 방법들보다 훨씬 좋은 결과를 냈습니다.
• 유연성: 어떤 종류의 AI 모델 (비전, 언어) 이든, 어떤 수의 모델을 합치든 잘 작동합니다.

📝 한 줄 요약

AdaRank는 여러 전문가의 능력을 합칠 때, "가장 유명한 기술"만 무작정 가져오는 게 아니라, **"실제 상황에 맞춰 필요한 기술만 골라내고, 불필요한 간섭은 제거하는 스마트한 편집자"**입니다.

이 기술을 통해 우리는 비싼 AI 서버 여러 대를 돌리지 않아도, 하나의 작은 모델로 다양한 일을 척척 해낼 수 있게 됩니다! 🚀

기술 요약

AdaRank: 모델 병합을 위한 적응적 랭크 가지치기 (Adaptive Rank Pruning) 기술 요약

이 논문은 ICLR 2026 에 제출된 것으로, 독립적으로 파인튜닝된 여러 모델을 하나의 통합된 프레임워크로 결합하는 모델 병합 (Model Merging) 기술의 성능을 획기적으로 개선한 AdaRank를 제안합니다.

1. 문제 정의 (Problem)

기존의 모델 병합 방법, 특히 특이값 분해 (SVD) 기반의 접근법들은 다음과 같은 두 가지 주요 한계를 가지고 있습니다.

• 휴리스틱한 랭크 선택의 비효율성: 대부분의 SVD 기반 방법 (예: TSV-M, CART 등) 은 각 태스크 벡터의 상위 $k$개의 특이값 (singular components) 만을 선택하여 병합합니다. 그러나 저자들은 상위 특이값이 반드시 모든 태스크에 유익한 것이 아니라고 지적합니다. 오히려 큰 특이값을 가진 상위 성분들은 특정 태스크에는 도움이 되지만, 다른 태스크와의 간섭 (inter-task interference) 을 심화시켜 전체 다태스크 성능을 저하시킬 수 있습니다.
• 고정된 랭크 할당의 부적합성: 태스크의 복잡도와 모델의 레이어에 따라 필요한 정보의 차원 (내재적 랭크, intrinsic rank) 은 크게 다릅니다. 하지만 기존 방법들은 모든 태스크와 레이어에 대해 동일한 고정된 $k$값을 적용합니다. 이는 중요한 성분을 누락하거나 불필요한 간섭 성분을 포함하게 만들어 최적의 성능을 달성하지 못하게 합니다.

2. 제안 방법: AdaRank (Methodology)

AdaRank 는 휴리스틱한 상위 $k$개 선택을 대체하여, **테스트 시간 적응 (Test-Time Adaptation, TTA)**을 통해 각 태스크 벡터의 유익한 특이 성분을 적응적으로 (Adaptively) 선택하는 프레임워크입니다.

• 이진 마스크 기반 선택 (Binary Mask Selection):

  • 각 레이어와 각 태스크의 모든 특이 성분에 대해 학습 가능한 **이진 마스크 (Binary Mask, $B \in \{0, 1\}$)**를 도입합니다.
  • 마스크 값이 1 이면 해당 성분을 보존하고, 0 이면 가지치기 (prune) 합니다.
  • 이를 통해 고정된 랭크가 아닌, 태스크와 레이어마다 다른 가변적인 랭크 구조를 형성할 수 있습니다.

• 엔트로피 최소화 기반 적응 (Entropy Minimization):

  • 모델 병합 시 레이블이 없는 테스트 데이터를 활용합니다.
  • Shannon 엔트로피 최소화를 목적 함수로 사용하여, 다태스크 손실 (multi-task loss) 을 직접 계산하지 않고도 최적의 마스크 구성을 찾습니다.
  • 엔트로피가 낮을수록 모델의 예측 확신이 높다는 점을 이용해, 간섭을 최소화하고 태스크 성능을 극대화하는 특이 성분 조합을 학습합니다.

• Straight-Through Estimator (STE):

  • 이진 마스크는 미분 불가능하므로, 순전파 (forward pass) 에서는 0 또는 1 로 반올림하고, 역전파 (backward pass) 에서는 시그모이드 함수를 통해 연속적인 값으로 간주하여 그래디언트를 전달합니다.

3. 주요 기여 및 분석 (Key Contributions & Analysis)

• 상위 특이값의 부정적 영향 규명: 실험을 통해 상위 특이값이 특정 태스크의 손실은 줄이지만, 다른 태스크와의 간섭을 유발하여 전체 다태스크 손실을 증가시킬 수 있음을 증명했습니다.
• 내재적 랭크의 다양성 확인: 태스크의 복잡도 (예: SUN397 vs MNIST) 와 모델 레이어 (초기 레이어 vs 후기 레이어) 에 따라 필요한 특이 성분의 수 (내재적 랭크) 가 크게 달라짐을 확인했습니다.
• 하위 특이값의 가치: AdaRank 는 단순히 상위 성분을 제거하는 것을 넘어, 간섭이 적고 태스크에 유익한 **하위 특이 성분 (bottom components)**까지 선택적으로 포함시킴으로써 성능을 향상시킵니다.
• 효율성: 추가 파라미터를 거의 추가하지 않으면서 (총 파라미터의 0.032% 수준), 라우터 기반 (Router-based) 방법들보다 훨씬 적은 메모리 사용량으로 동등하거나 더 나은 성능을 달성합니다.

4. 실험 결과 (Results)

AdaRank 는 다양한 백본 (Vision Transformer, RoBERTa, GPT-2) 과 태스크 수 (8, 14, 20 개) 에서 광범위하게 평가되었습니다.

• 비교 대상: Task Arithmetic, TIES-Merging, TSV-M, CART, AdaMerging, Twin-Merging 등 기존 최첨단 방법들.
• 성능 향상:
  • 비전 모델 (ViT): 8 개 태스크 병합 시, 기존 최상위 정적 방법 (CART) 대비 평균 정확도가 89.2% 로 향상되었으며, 개별 파인튜닝 모델 (Individual) 의 성능 (90.5%) 에 매우 근접했습니다.
  • 언어 모델 (NLP): RoBERTa 와 GPT-2 에서도 모든 베이스라인에 적용 시 일관된 성능 향상을 보였습니다.
  • 적응형 방법 대비 우위: 기존 적응형 방법인 AdaMerging 보다 AdaRank 를 적용했을 때 더 큰 성능 개선을 보여주었습니다.
• 자원 효율성:
  • 라우터 기반 방법 (Twin-Merging, WEMoE) 은 태스크 수가 증가함에 따라 모델 크기가 선형적으로 증가하지만, AdaRank 는 단일 파인튜닝 모델과 동일한 크기를 유지합니다.
  • 20 개 태스크 기준, AdaRank 는 라우터 기반 방법보다 약 3 배 이상 작은 모델 크기로 더 높은 성능을 기록했습니다.

5. 의의 (Significance)

AdaRank 는 모델 병합 분야에서 휴리스틱한 규칙 (고정된 $k$값 선택) 에서 데이터 기반의 적응적 선택으로의 패러다임 전환을 제시합니다.

1. 간섭 최소화: 단순히 정보를 축약하는 것이 아니라, 태스크 간 간섭을 유발하는 요소를 정교하게 제거하고 유익한 정보를 보존합니다.
2. 범용성: 비전 (Vision) 과 언어 (Language) 등 다양한 모달리티와 아키텍처에 적용 가능하며, 기존 병합 전략 (정적/적응형) 과도 호환되어 추가적인 성능 향상을 제공합니다.
3. 실용성: 별도의 라우터 모듈이나 태스크 식별자가 필요 없으며, 메모리 효율성이 뛰어나 실제 다태스크 배포 환경에 매우 적합한 솔루션입니다.

결론적으로, AdaRank 는 모델 병합의 성능 한계를 극복하고, 개별 파인튜닝 모델에 버금가는 성능을 유지하면서 컴퓨팅 자원을 효율적으로 사용하는 강력한 방법론으로 평가받습니다.