Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

기술 요약: 지속적 학습에서 모델 병합을 위한 저장 의존성 회피를 통한 시작점 부활

1. 문제 제기

지속적 학습 (Continual Learning, CL) 은 모델이 파국적 망각 (catastrophic forgetting) 없이 순차적으로 새로운 지식을 습득할 수 있도록 하는 것을 목표로 합니다. 모델 병합 (Model Merging) 은 전문화된 역량을 통합된 다중 작업 모델에 통합하기 위한 학습 없는 패러다임으로 부상했지만, 기존 방법들은 CL 의 엄격한 메모리 제약과 치명적인 충돌을 겪고 있습니다. 대부분의 현재 병합 기법 (예: Model Stock, TIES, MagMax) 은 병합 단계에서 모든 이전 작업 벡터와 초기 모델에 접근해야 합니다. 이는 기능적으로 이전 전문가들의 전체 앙상블을 저장하는 것과 동일하여, 역사적 데이터나 모델의 유지를 금지하는 CL 원칙을 위반합니다.

저자들은 엄격한 CL 제약 하에서—즉, 현재 전문가와 직전 병합된 모델만 이용 가능한 환경에서—기존 방법들이 파국적인 성능 저하 (최대 6%) 를 겪는다는 것을 입증했습니다. 진단 실험을 통해 이 실패의 세 가지 근본 원인을 규명했습니다:

1. 비최적의 지역 수렴: 기존 방법들은 글로벌 정렬을 우선시하여, 병합된 모델이 개별 작업의 최적 분지 (basins) 에서 먼 고손실 영역에 위치하게 하여 작업별 오차의 누적을 초래합니다.
2. 구조적 의미 표현의 교란: 선형 병합은 레이어 간의 미묘한 기능적 의존성을 파괴하여, 특히 작업별 의미가 인코딩된 더 깊은 레이어에서 심각한 의미적 편이 (semantic drift) 를 유발합니다.
3. 최적화 가소성 상실: 병합된 모델은 종종 경사도 각도 편차를 최소화하는 "방향성 경직 (directional stiffening)"을 보입니다. 이는 모델이 손실 지형의 병리적으로 평평한 영역에 갇혀 있음을 나타내며, 결과적으로 경사도 소실과 후속 작업에 대한 적응 불가로 이어집니다.

2. 방법론: 궤적 정규화 병합 (Trajectory Regularized Merging, TRM)

저자들은 역사적 데이터를 저장하지 않고 이러한 한계를 해결하기 위해 **궤적 정규화 병합 (TRM)**을 제안합니다. 이 프레임워크는 병합 단계를 증강된 궤적 부분 공간 (augmented trajectory subspace) 내의 안내된 최적화 문제로 재형식화합니다.

증강 부분 공간 구성:
현재 작업 벡터 ($\tau_t$) 와 이전 작업 벡터 ($\tau_{t-1}$) 의 1 차 선형 스패너 내에서만 해를 탐색하는 대신, TRM 은 이러한 벡터들의 스패너에 직교하는 교란 벡터 $P$를 도입합니다. 이 확장은 저장 제약으로 인해 손실된 정보를 보상하여, 비볼록 매개변수 공간의 더 탄력적인 영역을 탐색할 수 있게 합니다. 병합된 작업 벡터는 다음과 같이 공식화됩니다:
$$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$$
여기서 $\alpha$와 $\beta$는 각각 보간 계수와 확장 계수입니다.

다목적 감독 신호:
최적의 계수 $\{\alpha, \beta\}$를 식별하기 위해 TRM 은 세 가지 시너지 제약으로 구성된 통합 목적 함수를 최적화합니다:

1. 작업 정렬 ($L_{align}$): 현재 작업에서의 경험적 위험 (교차 엔트로피 손실) 을 최소화합니다. 이는 병합된 모델이 최신 역량에 고정되도록 하여 고정밀 지역 분지에서의 이탈을 방지합니다.
2. 예측 일관성 ($L_{pre}$): 병합된 모델의 은닉 표현과 현재 미세 조정 모델 및 이전 통합 모델의 기능적 중심 (centroid) 간의 레이어별 L2 거리를 최소화합니다. 작업별 의미가 존재하는 상위 레이어를 우선시하는 점진적 가중치 부여 방식을 적용하여 구조적 의미 편이를 방지합니다.
3. 경사도 반응성 ($L_{res}$): 현재 작업에 대한 경사도의 제곱 노름을 최대화합니다. 순차적 작업 간 저수준 특징 중첩이 존재한다는 관찰에 기반하여, 현재 작업에 대한 경사도 노름을 최대화함으로써 모델의 운동 반응성을 재활성화하고, 평평한 영역에 갇히지 않으며 향후 작업을 위한 가소성을 유지하도록 보장합니다.

총 손실은 $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}$로 정의됩니다. 또한, 탐색 중 지역 최적점으로의 조기 수렴을 방지하기 위해 초기화는 이전 모델과 현재 모델의 매개변수로부터의 확률적 교차 (stochastic crossover) 를 포함합니다.

3. 주요 기여

이 논문은 네 가지 주요 기여를 제시합니다:

• 한계 식별: 기존 모델 병합 방법들이 CL 원칙을 완전히 준수하지 않으며, 지식 저장이 허용되지 않을 때 성능이 크게 저하됨을 강조합니다.
• 이론적 분석: 이 격차의 원인 (지역 최적성 상실, 의미적 편이, 가소성 상실) 을 분석하고, 직교적으로 증강된 궤적 부분 공간 내의 최적점 탐색 문제로 병합을 재형식화합니다.
• 새로운 프레임워크: 저장된 모델이나 데이터 재생에 의존하지 않고 역사적 안정성과 미래 가소성을 조화시키기 위해 세 가지 제약 (작업 정렬, 예측 일관성, 경사도 반응성) 에 의해 안내되는 TRM 을 제안합니다.
• 실증적 검증: 엄격한 CL 제약 하에서 여러 벤치마크에서 최첨단 (SOTA) 성능을 입증합니다.

4. 실험 결과

저자들은 클래스 증분 학습 (CIL) 을 사용하여 CIFAR100, ImageNet-R, Stanford Cars 세 가지 데이터셋에서 TRM 을 평가했으며, 다양한 수의 작업 (5, 10, 20 개) 을 적용했습니다. 백본으로는 CLIP ViT-B/16 을 사용했습니다.

• 성능: TRM 은 대부분의 설정에서 최첨단 결과를 달성했습니다. ImageNet-R 에서 5, 10, 20 개 작업에 걸쳐 이전 SOTA 방법보다 1.4% 에서 3.4% 까지 우위를 점했습니다. CIFAR100 에서는 5 개 작업 시 3.1%, 10 개 작업 시 1.5% 만큼 이전 SOTA 를 개선했습니다.
• 애블레이션 연구: 세 가지 제약 중 하나를 제거하면 성능이 저하되어, 안정성 (정렬/일관성) 과 가소성 (반응성) 이 상호 강화됨을 확인했습니다.
• 확장성: 대규모 ImageNet1K(100 개 작업) 와 다양한 백본 (ViT-L/14, LAION 사전 학습 ViT-B/16) 에 대한 실험은 이 방법의 견고성과 확장성을 확인했습니다.
• 효율성: TRM 은 일부 베이스라인 (예: ImageNet-R 에서 30 분 대비 33 분) 에 비해 훈련 시간이 약간 증가하지만, 최소한의 오버헤드로 상당한 성능 향상을 달성합니다.
• 최적화 안정성: 헤시안 스펙트럼 노름 분석은 TRM 이 일반화 저하와 관련된 병리적인 날카로움을 피하면서 적절하고 안정적인 손실 지형 곡률을 유지함을 보여주었습니다.

5. 의미 및 주장

이 논문은 TRM 이 모델 병합의 이론적 이점과 지속적 학습의 실용적 제약 사이의 격차를 성공적으로 해소한다고 주장합니다. 역사적 작업 벡터 저장이나 데이터 재생의 필요성을 피함으로써 TRM 은 전문화된 역량을 통합하기 위한 확장 가능하고 프라이버시를 보호하는 솔루션을 제공합니다. 저자들은 그들의 방법이 "다음 훈련 단계의 시작점"을 부활시킴으로써 연속적인 데이터 스트림에서 파국적 망각을 효과적으로 완화한다고 주장합니다. 즉, 병합된 모델이 이전 지식을 유지하는 안정성 (stable) 과 새로운 최적화에 준비된 가소성 (plastic) 을 모두 갖춘 상태에서 시작하도록 보장합니다. 이 연구는 증강된 부분 공간 내의 제약 최적화로서 병합을 재형식화하는 것이 단순한 선형 보간 휴리스틱을 넘어 CL 을 위한 실현 가능한 다음 단계임을 시사합니다.