SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation

기술 요약: SAFE-Merge

문제 정의
본 논문은 데이터 프리 연속 모델 병합(Data-Free Continual Model Merging, DFCMM) 문제를 다룹니다. 이는 원본 학습 데이터나 이전 체크포인트에 대한 접근 없이, 단일 백본 모델을 일련의 특화된 태스크 모델들로 순차적으로 업데이트해야 하는 시나리오입니다. 기존 방법들은 다운스트림 태스크 간의 간섭을 완화하는 데 집중하지만, 백본에 인코딩된 **사전 학습된 일반 지식(pretrained general knowledge)**의 안전성은 간과하는 경우가 많습니다. 공격적인 태스크 업데이트의 축적은 이러한 기초 지식을 침식시켜, 홀드아웃 분포(held-out distributions)에서의 성능을 저하시키고 미래의 태스크를 습득하는 능력을 약화시킬 수 있습니다. 핵심 과제는 데이터 없이도 새로운 태스크별 정보를 통합하면서, 동시에 이전 학습 태스크와 사전 학습된 모델의 전이 가능한 일반 역량을 모두 보존하는 것입니다.

방법론: SAFE-Merge
저자들은 세 가지 뚜렷한 단계로 작동하는 파라미터 공간 프레임워크인 SAFE-Merge(General-Knowledge Preservation을 위한 Sparse Risk-Aware Masking 및 Low-Rank Recovery)를 제안합니다.

1. 위험 인지 희소 마스킹 (Risk-Aware Sparse Masking):

   • 이 방법은 유입되는 태스크 벡터 $\tau_t = \theta_t - \theta_0$를 사전 학습된 가중치 $\theta_0$에 대한 수정 사항으로 취급합니다.
   • 데이터를 사용하지 않고 각 파라미터 업데이트에 대한 **일반 위험 점수(general-risk score)**를 도출합니다. 이 점수는 사전 학습된 일반 방향( $\theta_0$의 상위 특이 벡터로 근사)의 에너지와 태스크 고유 방향($\theta_0$에 대해 직교화된 $\tau_t$의 상위 특이 벡터로 근사)을 대조함으로써 "덮어쓰기 위험(overwrite risk)"을 추정합니다.
   • 위험 점수가 낮은 파라미터 업데이트(즉, 일반 지식에는 안전하면서 태스크에는 잠재적으로 유용한 업데이트)만을 유지함으로써 이진 마스크 $M_t$를 생성합니다. 위험도가 높은 업데이트는 0으로 처리됩니다.

2. 마스크된 저차원 복구 (Masked Low-Rank Recovery):

   • 마스킹이 잠재적으로 유용한 태스크 정보를 버릴 수 있으므로, 저차원 복구 항($B_t A_t$)이 도입됩니다.
   • 결정적으로, 이 복구는 동일한 마스킹 영역 내로 제한됩니다. 복구 항은 $M_t \odot (B_t A_t)$로 계산되어, 위험 마스크에 의해 거부된 파라미터는 절대 수정되지 않도록 보장합니다.
   • 복구 인자는 데이터를 사용하지 않고 두 가지 목적 함수를 통해 최적화됩니다:
     • 보존 목적 함수 ($L_{old}$): 이전의 누적된 태스크 방향들과 정렬되는 업데이트에 페널티를 부여하여 망각을 제한합니다.
     • 태스크 복구 목적 함수 ($L_{new}$): 병합된 업데이트를 유입된 태스크 벡터의 지배적 부공간(dominant subspace) 내에서 일치시켜 성능을 복구합니다.
   • 이러사항들은 하이퍼파라미터 $\lambda$에 의해 균형이 조절됩니다.

3. 퓨전 (Fusion):

   • 최종 업데이트 $\Delta_t$는 마스킹된 태스크 벡터와 마스킹된 복구 항을 결합합니다.
   • 이 업데이트는 실행 중인 병합된 백본에 퓨전됩니다: $\theta_{merged, t} = \theta_{merged, t-1} + \Delta_t$.
   • 마스크와 저차원 인자는 퓨전 후 폐기되어, 추가적인 추론 비용이나 파라미터 수 증가를 초래하지 않습니다.

주요 기여

1. 위험 인지 기준 (Risk-Aware Criterion): 저자들은 일반 부공간의 중첩과 태스크 고유 에너지를 대조하여 안전한 업데이트의 희소 집합을 선택하는 데이터 프리, 파라미터 단위 메트릭을 개발했습니다.
2. 마스크된 저차원 복구 (Masked Low-Rank Recovery): 마스킹으로 인해 억제된 태스크 효용을 제약된 저차원 업데이트를 통해 복구하는 메커니즘을 도입하여, 고위험 파라미터를 수정하지 않으면서도 가소성(plasticity)을 회복합니다.
3. 실험적 우수성: 본 방법은 비전(CLIP ViT) 및 언어(Flan-T5) 벤치마크를 통해 평가되었으며, 태스크 정확도와 일반 지식 보존 사이의 탁월한 균형을 입증했습니다.

실험 결과

• 비전 벤치마크: CLIP ViT-B/32, ViT-B/16, ViT-L/14에서 8, 14, 20개의 순차적 태스크를 대상으로 수행했을 때, SAFE-Merge는 일관되게 가장 높은 H-score(정확도와 일반 성능의 조화 평균)를 달est합니다.
  • 20개 태스크의 경우, 최상의 베이스라인(NUFILT)보다 H-score를 8.1 포인트 개선했으며, 강력한 일반 성능을 유지하면서 평균 정확도(ACC)에서 1.2 포인트의 이득을 얻었습니다.
  • 일반 지식 보존(ImageNet, ImageNet-R, ObjectNet로 측정) 측면에서 "단순 누적(simple accumulation)" 및 기타 병합 전략(예: Task Arithmetic, Ties-Merging, WUDI-Merging)보다 크게 앞섭니다.
• NLP 벤치마크: 5개의 GLUE 태스크에 대한 Flan-T5-base 실험에서, SAFE-Merge는 NUFILT보다 0.6 포인트 높은 79.4의 최고 H-score를 달성했습니다. 특히, 개별 파인튜닝이 일반 성능을 침식하는 것과 달리, 사전 학습된 참조 모델보다 약간 높은 수준의 일반 성능을 유지합니다.
• 절제 연구 (Ablation Studies):
  • 위험 인지 마스킹과 저차원 복구 구성 요소 모두 필수적입니다. 하나라도 제거하면 정확도나 일반화 성능이 크게 떨어집니다.
  • 본 방법은 태스크 순서에 강건하며, 성능 곡선의 "무릎(knees)" 지점은 최적의 희소성(유지 비율 $\rho$)이 시퀀스 길이가 길어짐에 따라 감소함을 보여줍니다.
  • 계산 오버헤드는 오프라인 병합 중에만 발생하며(8개 태스크에 대해 약 216초), 추론 비용은 제로입니다.

의의 및 주장
본 논문은 SAFE-Merge가 연속 병합의 결정적인 공백, 즉 다운스트림 태스크 정확도를 보존하기 위해 희생되기 쉬운 사전 학습된 백본의 일반 지식을 보호하는 문제를 해결한다고 주장합니다. 저위험 태스크 업데이트와 일반 지식 관련 방향을 명시적으로 구분하고, 제약된 저차원 수정을 통해 손실된 효용을 복구함으로써, SAFE-Merge는 연속 병합 정확도와 홀드아웃 일반화 사이의 더 강력한 균형을 달성합니다. 저자들은 이 방법이 추론 지연 시간이나 모델 크기를 증가시키지 않으면서 더 긴 태스크 시퀀스로 확장 가능한 실용적인 데이터 프리 솔루션을 제공한다고 단언합니다.