Soft-TransFormers for Continual Learning

하영 강과 Chang D. Yoo 의 논문 "Soft-TransFormer for Continual Learning"에 대한 상세한 기술 요약입니다.

1. 문제 제기

**연속 학습 (Continual Learning, CL)**은 시간이 지남에 따라 일련의 작업에 대해 모델을 훈련하되, 이전에 학습한 지식을 잊지 않도록 하는 것을 목표로 합니다. CL 에서의 주요 과제는 **파괴적 망각 (Catastrophic Forgetting, CF)**으로, 새로운 작업을 위한 업데이트가 이전 작업에 필수적인 매개변수를 덮어써버리는 현상입니다.

프롬프트 기반 연속 학습 (Prompt-based Continual Learning) (예: L2P, DualPrompt) 은 백본을 고정하고 경량 프롬프트를 학습함으로써 매개변수 효율적인 솔루션으로 등장했으나, 다음과 같은 중대한 한계에 직면해 있습니다:

• 제한된 표현력: 프롬프트는 입력 조건부 (input conditioning) 를 통해 표현을 암시적으로만 수정하며, 전체 미세 조정 (full fine-tuning) 의 세밀한 제어력이 부족합니다.
• 확장성 문제: 작업 수가 증가함에 따라 대규모 프롬프트 풀을 관리하는 것이 번거로워집니다.
• 작업 간 간섭: 프롬프트는 매우 이질적이거나 상관관계가 없는 작업 시퀀스의 변동을 포착하는 데 어려움을 겪습니다.

기존의 매개변수 효율적 미세 조정 (PEFT) 방법인 **어댑터 (Adapters)**와 LoRA는 더 나은 적응을 제공하지만, 종종 작업별 모듈이 누적되거나 작업 유사도가 낮을 때 간섭을 겪습니다.

2. 방법론: Soft-TransFormer (Soft-TF)

저자들은 **Well-initialized Lottery Ticket Hypothesis (WLTH)**에 기반하여, 고정된 백본의 안정성과 전체 매개변수 적응의 유연성을 결합한 Soft-TransFormer (Soft-TF) 프레임워크를 제안합니다.

핵심 가설: Well-initialized Lottery Ticket Hypothesis (WLTH)

이 가설은 잘 초기화된 밀집 신경망 (dense neural network) 에 다음이 포함되어 있다고 주장합니다:

1. 이전 작업 지식을 보존하는 전역적으로 안정적인 해 (Globally stable solutions).
2. 고정된 백본의 정보를 덮어쓰지 않고 새로운 작업을 위해 선택적으로 적응할 수 있는 국부적 부분 공간 (Local subspaces) (소프트, 실수 값 서브네트워크).

아키텍처 및 메커니즘

Soft-TF 는 고정된 사전 학습된 Transformer(예: ViT) 를 기반으로 작동하며 두 가지 주요 구성 요소를 도입합니다:

1. 소프트 곱셈 마스크 (Soft Multiplicative Masks, Soft-Subnetworks):

   • 어댑터와 같은 새로운 레이어나 LoRA 와 같은 저랭크 행렬을 추가하는 대신, Soft-TF 는 자기 주의 (self-attention) 레이어 내의 키 ($K$), 쿼리 ($Q$), 값 ($V$), 그리고 출력 ($O$) 투영에 직접 적용되는 **실수 값 곱셈 마스크 ($m_t$)**를 학습합니다.
   • 초기화: 마스크는 1.0으로 초기화됩니다. 이는 학습 시작 시 계산이 사전 학습된 모델과 동일하여 전역 구조를 보존하도록 보장합니다.
   • 작동: 작업 $t$에 대해 유효한 가중치는 $\theta \odot m_t$가 됩니다. 이를 통해 모델은 고정된 가중치 내의 특정 경로를 "소프트하게" 게이트하거나 조절하여 백본을 고정하면서 작업별 적응을 가능하게 합니다.

2. 듀얼 프롬프트 메커니즘 (Dual-Prompt Mechanism):

   • Soft-TF 는 경량 듀얼 프롬프트 시스템을 통합합니다:
     • 일반 프롬프트 (G-Prompts): 전역 컨텍스트를 유지하기 위해 모든 작업 간에 공유됩니다.
     • 전문가 프롬프트 (E-Prompts): 특정 레이어에 삽입되는 작업별 프롬프트입니다.
   • 이 조합은 추론 중 명시적인 작업 ID 가 필요하지 않도록 (작업 추론 메커니즘을 통해) 강력한 작업 분리 및 안정성을 보장합니다.

최적화 및 추론

• 훈련: 프롬프트, 소프트 마스크, 작업 키 (task keys), 그리고 경량 분류기만 업데이트됩니다. 백본은 고정된 상태로 유지됩니다.
• 작업 추론: 테스트 시, 모델은 다음 중 하나를 사용하여 작업 정체성을 추론합니다:
  • 프롬프트 ID: 학습된 작업 키와 입력 쿼리를 코사인 유사도를 통해 매칭합니다.
  • 그래디언트 ID: 서브네트워크에 가중치를 할당하고 엔트로피를 최소화하는 작업을 선택하는 원샷 (one-shot) 추론 방법입니다.

3. 주요 기여

1. 새로운 프레임워크: WLTH 에서 영감을 받아 고정된 Transformer 내부에서 컴팩트한 작업별 소프트 서브네트워크 (마스크) 를 학습하는 매개변수 효율적 CL 패러다임인 Soft-TF를 도입했습니다.
2. 이론적 기반: 마스크를 1.0 으로 초기화하고 저차원 소프트 매개변수 공간에서 최적화함으로써 매개변수 이동을 제한하여 수렴과 안정성을 보장한다는 이론적 분석을 제공합니다.
3. 최첨단 성능: Soft-TF 가 여러 벤치마크에서 프롬프트 기반 (L2P, DualPrompt, NoRGa), 어댑터 기반, LoRA 기반 베이스라인을 능가함을 입증했습니다.
4. 연합 학습 (Joint Training) 에 대한 우위: 놀랍게도 Soft-TF 는 모든 작업을 동시에 공유 솔루션으로 학습하는 "연합 상한선 (Joint Upper Bound)"을 능가하는 성능을 달성하여, 각 작업에 대해 별도의 부분 공간을 격리하고 최적화할 수 있는 능력을 입증했습니다.

4. 실험 결과

이 방법은 Vision Transformers (ViT) 를 사용한 클래스 증분 학습 (Class-Incremental Learning, CIL) 벤치마크에서 평가되었습니다.

• 데이터셋: 10/20-Split-CIFAR100, 10-Split-TinyImageNet, 10-Split-ImageNet-R, 5-Split-CUB200.
• 성능 지표:
  • 정확도: Soft-TF 는 일관되게 가장 높은 정확도를 달성했습니다. 예를 들어, 10-Split-CIFAR100에서 Soft-TF 는 **92.35%**의 정확도를 기록했습니다 (DualPrompt 의 86.50% 및 NoRGa 의 94.48% 대비, 하지만 훨씬 낮은 망각률).
  • 망각: 파괴적 망각을 극적으로 감소시켰습니다. 10-Split-CIFAR100 에서 망각률은 **2.98%**로 감소했습니다 (DualPrompt 의 5.77% 및 NoRGa 의 1.44% 대비, 하지만 훨씬 높은 절대 정확도).
  • 효율성: 약 6.93M 개의 학습 가능 매개변수를 사용함에도 (LoRA/어댑터와 비교 가능) 낮은 추론 지연 시간을 유지했습니다.
• 절대 실험 (Ablation Studies):
  • 초기화: 균일 초기화 (마스크를 1.0 으로 설정) 가 가장 좋은 결과를 얻어 WLTH 를 검증했습니다.
  • 백본: 모델 크기 (ViT-Ti 에서 ViT-L 까지) 에 따라 성능이 확장되었으며, ViT-L/16 은 ImageNet-R 에서 78.86% 정확도를 달성하면서 최소한의 망각을 보였습니다.
  • 레이어 선택: DualPrompt 설정에서 더 높은 레이어 (예: 10-12) 에 Soft-TF 를 적용하면 최적의 결과가 도출되었습니다.

5. 의의

이 논문은 프롬프트-only 조건부 (conditioning) 의 한계를 넘어선 연속 학습의 중요한 격차를 해소합니다.

• 격차 해소: 고정된 백본의 안정성과 전체 미세 조정의 표현력 사이의 격차를 성공적으로 연결합니다.
• 메커니즘 전환: 매개변수 "추가" (어댑터/LoRA) 나 입력 "조건부" (프롬프트) 에서 **소프트 마스크를 통한 기존 가중치 "조절"**로 전환함으로써, 사전 학습된 모델을 적응시키는 더 직접적이고 효율적인 방법을 제시합니다.
• 실용적 영향: Soft-TF 는 모델이 잊지 않고 다양한 데이터 스트림에서 지속적으로 학습해야 하는 실제 시나리오에 대한 강력한 솔루션을 제공하며, 각 작업에 대한 거의 최적의 전문화를 달성하면서도 단일 컴팩트 모델 구조를 유지합니다.

요약하자면, Soft-TransFormer는 연속 학습을 위한 PEFT 에서 중요한 발전을 나타내며, 잘 초기화된 소프트 서브네트워크가 영구 학습을 위한 고정된 Transformer 의 잠재력을 완전히 unlocking 할 수 있음을 보여줍니다.