기술 요약: 지속적 학습을 위한 희소 직교 매개변수 조정 (SoTU)

문제 제기

지속적 학습 (Continual Learning, CL) 은 모델이 "파괴적 망각 (catastrophic forgetting)"을 겪지 않고 일련의 작업들로부터 학습할 수 있도록 하는 것을 목표로 합니다. 여기서 파괴적 망각이란 새로운 작업을 학습할 때 이전에 획득한 지식이 덮어쓰이는 현상을 의미합니다. 고전적인 CL 전략 (재연습, 정규화, 동적 확장) 이 개발되어 왔으나, 이러한 방법들은 종종 처음부터 훈련된 모델에 의존합니다. 최근에는 대규모 데이터셋 (예: ImageNet-21K) 으로 훈련된 비전 트랜스포머 (ViT) 와 같은 사전 훈련된 모델 (PTM) 의 강력한 일반화 능력을 활용하는 PTM 기반 방법들이 등장했습니다. 그러나 기존 PTM 기반 CL 방법들은 일반적으로 다음과 같은 과제에 직면합니다:

1. 복잡한 구조적 설계: 많은 접근 방식이 실제 응용 프로그램에서 구현하기 어려운 정교한 어댑터 모듈, 프롬프트 풀, 또는 앙상블 전략을 요구합니다.
2. 파괴적 망각: 사전 훈련된 가중치를 고정함에도 불구하고, 이러한 방법들은 종종 다양한 하위 작업, 특히 ImageNet-R, ImageNet-A 와 같이 큰 도메인 격차를 가진 작업들 간의 성능 유지에 어려움을 겪습니다.
3. 분류기 의존성: 많은 방법들이 최적의 성능을 달성하기 위해 정교한 분류기 설계나 메모리 집약적인 예시 저장에 의존합니다.

저자들은 여러 미세 조정된 작업들로부터의 매개변수를 병합하는 것이 망각을 완화할 수 있는지 조사하며, 특히 이러한 매개변수 업데이트에서 **희소성 (sparsity)**과 **직교성 (orthogonality)**의 역할을 탐구합니다.

방법론: SoTU (희소 직교 매개변수 조정)

제안된 SoTU 방법은 여러 도메인에서 얻은 지식을 직교 델타 (delta) 매개변수의 융합으로 변환하는 "플러그 앤 플레이 (Plug-and-Play)" 접근법입니다. 이는 세 가지 명확한 단계로 작동합니다:

1. 미세 조정 단계

작업 스트림 $\{D_1, ..., D_T\}$의 각 들어오는 작업 $k$에 대해, 이 방법은 사전 훈련된 ViT($\theta_{pre}$) 를 사용하여 특징 추출기를 초기화합니다. 그런 다음 모델이 작업별 특징 ($\theta_{ft}^k$) 과 분류 헤더 ($W^k$) 를 학습하도록 미세 조정합니다. 중요한 점은 분류 헤더 $W^k$는 특징 표현 학습을 보조하는 데만 사용된 후 폐기되며, 최종 병합 과정에는 참여하지 않는다는 것입니다.

2. 델타 마스킹 단계

이 방법은 작업 $k$에 대해 학습된 지식을 나타내는 델타 매개변수 ($\Delta \theta^k = \theta_{ft}^k - \theta_{pre}$) 를 계산합니다. 희소성과 직교성을 유도하기 위해, 이러한 델타들은 베르누이 분포에서 생성된 이진 마스크 행렬 $m$을 사용하여 무작위로 마스킹됩니다:
$$\Delta \hat{\theta}^k = \Delta \theta^k \odot m$$
여기서 $m \sim \text{Bernoulli}(p)$입니다. 저자들은 높은 희소성을 보장하기 위해 실험적으로 마스킹 확률 $p = 0.9$(매개변수의 10% 만 유지) 를 설정했습니다. 이 단계는 매우 중요합니다: 저자들은 높은 희소성이 작업 간 매개변수 충돌을 줄여 델타 업데이트를 효과적으로 직교하게 만든다고 가정합니다.

3. 델타 병합 단계

별도의 모델을 유지하거나 복잡한 앙상블을 사용하는 대신, SoTU 는 모든 관찰된 작업으로부터의 희소 델타를 단일 통합 모델로 병합합니다:
$$\theta^k = \theta_{pre} + \sum_{i=1}^{k} \Delta \hat{\theta}^i$$
이 병합된 모델은 모든 작업에 대한 특징 추출기로 사용됩니다. 분류를 위해, 이 방법은 혼합 특징을 선형 분리 가능한 공간으로 변환하는 비선형 무작위 투영 메커니즘 (RanPAC 와 유사) 을 적용한 후, 최근접 클래스 평균 (NCM) 분류기를 사용합니다. 주목할 점은 이 방법이 CL 과정에 특화된 정교한 분류기 설계 없이도 최적의 특징 표현을 달성한다는 것입니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 고희소성 병합의 발견: 저자들은 여러 개의 고희소성 델타 매개변수를 병합하는 것이 개별 미세 조정 모델보다 하위 작업에서 경쟁력 있거나 더 우수한 성능을 달성할 수 있음을 발견했으며, 이는 파괴적 망각에 대응하는 유망한 방향을 제시합니다.
2. 직교성 통찰: 이 병합 전략의 효과성은 여러 작업 간 매개변수의 직교성에서 비롯됨을 입증했습니다. 높은 희소성은 매개변수 충돌을 최소화하여 작업별 지식이 공존할 수 있게 합니다.
3. SoTU 프레임워크: 복잡한 분류기 설계 없이 스트리밍 데이터에 대한 최적의 특징 표현을 달성하는 새로운 CL 방법이 제안되었으며, 이는 플러그 앤 플레이 솔루션으로 작동합니다.
4. 실험적 검증: 여섯 개의 벤치마크에 대한 광범위한 실험을 통해 SoTU 가 기존 최첨단 (SoTA) 방법들, 특히 특징 표현과 큰 도메인 격차를 가진 데이터셋에서 더 우수한 성능을 보임을 확인했습니다.

실험 결과

저자들은 CIFAR100, ImageNet-R, ImageNet-A, CUB200, VTAB, Cars196 의 여섯 가지 벤치마크에서 SoTU 를 평가했습니다. 각 데이터셋은 5 개 또는 10 개의 작업으로 분할되었습니다. 이 방법은 재연습 방법 (iCaRL, DER), 프롬프트 기반 방법 (L2P, DualPrompt), 표현 기반 방법 (SimpleCIL, ADAM, RanPAC), 그리고 모델 혼합 방법 (ESN, HiDe-Prompt) 을 포함한 12 개의 베이스라인과 비교되었습니다.

주요 발견:

• 우수한 성능: SoTU 는 모든 데이터셋에서 평균 정확도 ($\bar{A}$) 와 최종 정확도 ($A_T$) 에서 가장 높은 수치를 달성했습니다. 예를 들어, 까다로운 Cars196 데이터셋에서 SoTU 는 이전 SoTA(RanPAC) 대비 최종 정확도를 +3.7% 향상시켰습니다.
• 도메인 격차에 대한 강건성: 이 방법은 ImageNet(R) 과 큰 도메인 격차를 가진 데이터셋 (ImageNet-R, ImageNet-A, Cars196) 에서 다른 PTM 기반 방법들이 어려움을 겪는 동안 현저한 우위를 보였습니다.
• 특징 공간의 효과성: 작업별 분류기 없이 순수하게 특징 표현 (NCM 사용) 으로 평가했을 때, SoTU 는 RanPAC 를 크게 능가하여 견고하고 망각이 없는 특징을 학습하는 능력을 입증했습니다.
• 희소성 분석: 마스킹 비율을 변화시킨 실험은 다음과 같은 결과를 보여주었습니다:
  • 높은 희소성 (80–90% 마스킹) 은 경쟁력 있는 성능을 유지합니다.
  • 낮은 희소성은 심각한 매개변수 충돌과 성능 저하로 이어집니다.
  • 과도한 희소성 (90% 초과 마스킹) 은 필요한 작업별 지식을 제거합니다.
  • 최적의 델타 - 희소성 비율은 약 $1/T$(여기서 $T$는 작업 수) 로 보입니다.
• 주의도 시각화: 주의도 맵의 시각화는 높은 희소성 델타를 병합하면 개별 작업의 주의도 패턴이 유지되지만, 마스킹 없이 병합할 경우 매개변수 충돌로 인해 심각한 왜곡이 발생함을 확인시켜 주었습니다.

의의 및 주장

본 논문은 SoTU 가 사전 훈련된 매개변수의 희소 직교 특성을 활용함으로써 파괴적 망각 문제에 대한 간단하면서도 효과적인 해결책을 제공한다고 주장합니다.

• 간단함: 정교한 프롬프트 풀이나 동적 아키텍처 확장이 필요한 방법과 달리, SoTU 는 단순한 마스킹 및 병합 메커니즘에 의존합니다.
• 플러그 앤 플레이: 이 방법은 정교한 분류기 설계를 필요로 하지 않으므로 다양한 실제 스트리밍 시나리오에 적용 가능합니다.
• 이론적 기반: 저자들은 델타 매개변수의 무작위 마스킹이 주의도 맵 구조를 유지하여 매개변수가 크게 감소하더라도 모델이 해당 작업에서 잘 수행할 수 있음을 시사하는 이론적 분석을 제공합니다.

저자들은 희소 직교 델타 매개변수를 병합하는 것이 지속적 학습을 위한 강력한 메커니즘이며, 순차적 학습의 과제를 매개변수 직교성 관리 문제로 변환한다고 결론지었습니다. 그들은 향후 연구에서 이 접근법을 자연어 생성과 같은 다른 도메인으로 확장할 계획입니다.