Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning

이 논문은 사전 학습된 모델을 기반으로 한 클래스 증분 학습에서 매개변수 공간의 경직된 제약을 피하고, 유사 클래스는 공유된 활성화 부분 공간을, 비유사 클래스는 겹치지 않는 부분 공간을 할당하여 간섭을 완화하고 지식 전이를 촉진하는 '의미 기반 동적 희소화 (SGDS)' 방법을 제안합니다.

핵심

🧠 핵심 문제: "새로운 것을 배우면 예전 것을 잊어버리는 AI"

인간도 새로운 것을 배우면 가끔 예전에 배운 게 기억나지 않을 수 있죠. AI 도 마찬가지입니다. 이를 **'파괴적 망각 (Catastrophic Forgetting)'**이라고 합니다.

기존의 해결책은 다음과 같았습니다:

"새로운 일을 맡을 때, 예전 일을 방해하지 않도록 AI 의 '머리 (매개변수)'를 딱딱하게 고정해버리자."

하지만 이 방법은 큰 단점이 있습니다. 머리를 너무 꽉 묶어두면, 새로운 것을 배우는 능력 (유연성) 이 떨어지게 됩니다. 마치 발을 묶고 달리기를 시키는 것과 비슷하죠.

---

💡 이 논문의 해결책: SGDS (의미 기반 동적 희소화)

저자들은 "머리 (매개변수) 를 묶지 말고, AI 가 정보를 처리하는 '공간 (활성화 영역)'을 잘 정리하자"고 제안합니다. 이를 SGDS라고 부르는데, 두 가지 핵심 전략을 사용합니다.

1. "비슷한 것은 같은 방에, 다른 것은 다른 방에" (의미 탐색)

• 비유: AI 의 머릿속을 거대한 도서관이라고 상상해 보세요.
• 기존 방식: 모든 책을 (새로운 정보든 예전 정보든) 무작위로 꽂아두거나, 책장을 아예 고정해 둡니다.
• SGDS 방식:
  • 비슷한 책 (유사한 클래스): 예를 들어 '고래'와 '돌고래'는 서로 매우 비슷하니까, **같은 책장 (공간)**에 꽂아두어 서로의 지식을 공유하게 합니다. (지식 전이)
  • 다른 책 (서로 다른 클래스): '고래'와 '자동차'는 완전히 다르니까, **완전히 다른 책장 (공간)**에 꽂아두어 서로 섞이지 않게 합니다. (간섭 방지)
  • 핵심: 책장 (매개변수) 자체를 고정하지 않고, 책을 어디에 꽂을지 (활성화 공간) 지시하는 것입니다.

2. "책꽂이를 좁게 정리하자" (활성화 압축)

• 비유: 도서관의 책장이 너무 넓게 퍼져 있으면, 새로운 책을 꽂을 공간이 부족해집니다.
• SGDS 방식:
  • 각 주제 (클래스) 에 해당하는 책들을 가장 필요한 부분만 남기고 나머지는 치워버립니다 (희소화).
  • 이렇게 하면 책장 하나가 차지하는 공간이 줄어들고, 그 빈 공간에 **앞으로 들어올 새로운 책 (새로운 클래스)**을 꽂을 여유 공간이 생깁니다.
  • 즉, 작은 공간에 핵심 정보만 꽉 채워두어, 나중에 들어올 새로운 정보를 위한 '비상 공간'을 확보하는 것입니다.

---

🚀 왜 이 방법이 더 좋은가요?

이 논문의 실험 결과는 놀라웠습니다.

1. 기존 방법 (머리 고정): 새로운 것을 배우기 힘들고, 유연성이 떨어집니다.
2. SGDS (공간 정리):
   • 새로운 것을 잘 배웁니다: 책장 (공간) 을 잘 정리했으니 새로운 책을 넣기 쉽습니다.
   • 예전 것도 잘 기억합니다: 서로 다른 책은 서로 다른 공간에 깔끔하게 정리되어 있어서 섞이지 않습니다.
   • 결과: 여러 테스트에서 기존 최고의 방법들보다 더 높은 점수를 받았습니다.

📝 한 줄 요약

**"AI 의 머리를 딱딱하게 묶어서 새로운 것을 배우지 못하게 하는 대신, 머릿속의 정보 공간 (책장) 을 똑똑하게 정리해서 새 정보와 예전 정보가 서로 방해하지 않도록 만드는 방법"**입니다.

이 방법은 특히 개인정보 보호가 중요한 환경 (예: 의료 기기, 개인 스마트폰) 에서 매우 유용합니다. 이전의 학습 데이터를 저장해두지 않아도 (예시 없이) 새로운 것을 계속 배울 수 있기 때문입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**클래스 증분 학습 (Class-Incremental Learning, CIL)**은 모델이 새로운 클래스를 순차적으로 학습하면서도 이전에 학습한 클래스를 망각하지 않도록 하는 과제입니다. 최근에는 대규모 사전 학습 모델 (PTM) 을 기반으로 한 접근법이 주류를 이루고 있으며, 이는 PTM 의 백본을 고정하고 경량 어댑터 (Adapter) 나 프롬프트와 같은 매개변수 효율적 미세 조정 (PEFT) 기법을 사용하는 방식입니다.

하지만 기존 PTM 기반 CIL 방법론들은 **상호 작업 간 간섭 (Inter-task interference)**을 방지하기 위해 어댑터의 **매개변수 공간 (Parameter Space)**에 엄격한 제약을 가하는 경향이 있습니다. 대표적으로 어댑터 파라미터가 서로 직교 (Orthogonal) 하도록 강제하는 방식이 사용됩니다.

• 핵심 문제: 이러한 매개변수 제약은 안정성 (Stability) 을 높이는 대신, 모델이 새로운 작업을 학습할 수 있는 **가소성 (Plasticity)**을 저해합니다. 어댑터 자체가 저랭크 (Low-rank) 구조인데, 이를 추가로 제약하면 새로운 지식 흡수 능력이 크게 떨어집니다.

2. 제안 방법: SGDS (Methodology)

저자들은 매개변수 공간이 아닌 **활성화 공간 (Activation Space)**을 직접 제어하여 간섭을 해결하는 새로운 방법인 **SGDS (Semantic-Guided Dynamic Sparsification)**를 제안했습니다. 이 방법은 활성화 하위 공간의 **방향 (Orientation)**과 **랭크 (Rank)**를 타겟팅된 희소화 (Sparsification) 를 통해 능동적으로 유도합니다.

SGDS 는 크게 두 단계의 전략적 프로세스로 구성됩니다.

A. 시맨틱 전략 수립 (Semantic Strategy Formulation)

새로운 클래스가 들어왔을 때, 기존 클래스들과의 시맨틱 유사성을 분석하여 학습 전략을 결정합니다.

• 유사도 측정: 사전 학습된 PTM 백본에서 추출한 클래스 프로토타입 (Prototype) 간의 코사인 유사도를 계산합니다.
• 전략 결정:
  • 지식 재사용 (Knowledge Reuse): 기존 클래스와 유사도가 높으면, 기존에 학습된 활성화 하위 공간을 공유합니다.
  • 새로운 공간 할당 (New Subspace Allocation): 유사도가 낮으면, 기존 작업의 영공간 (Null Space) 에 위치하도록 새로운 직교 하위 공간을 할당합니다.

B. 두 단계 실행 메커니즘

1. 시맨틱 탐색 (Semantic Exploration - 방향 제어):

   • 활성화 하위 공간의 방향을 제어합니다.
   • 유사한 클래스는 기존 하위 공간과 정렬되게 하고, 다른 클래스는 직교하는 하위 공간으로 유도하여 간섭을 방지합니다.
   • 확률적 샘플링과 결정적 선택을 통해 특정 뉴런의 활성화를 제어합니다.

2. 활성화 압축 (Activation Compaction - 랭크 제어):

   • 활성화 하위 공간의 **랭크 (크기)**를 줄입니다.
   • 특정 클래스에 대해 역사적으로 중요한 뉴런들의 활성화를 유지하고, 나머지는 희소화 (Sparsify) 합니다.
   • 이를 통해 각 클래스의 활성화 하위 공간을 컴팩트하게 만들고, 결과적으로 **더 넓은 영공간 (Null Space)**을 확보하여 미래의 작업이 간섭 없이 학습될 수 있는 공간을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: PTM 기반 CIL 에서 매개변수 공간의 제약을 완화하고, 활성화 공간의 지향성 (Orientation) 과 랭크를 제어하여 간섭을 해결하는 SGDS 를 제안했습니다.
2. 가소성과 안정성의 균형: 매개변수를 고정하지 않고 활성화만 제어함으로써, 모델의 가소성을 유지하면서도 간섭을 효과적으로 줄여 안정성 - 가소성 트레이드오프를 최적화했습니다.
3. SOTA 성능 달성: 주요 CIL 벤치마크 (CIFAR-100, ImageNet-R, ImageNet-A, ObjectNet) 에서 기존 최첨단 (SOTA) 방법론들을 일관되게 상회하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 성능: 4 개의 주요 벤치마크에서 SGDS 는 모든 SOTA 방법 (L2P, TUNA, MOS 등) 보다 우수한 평균 정확도 (Average Accuracy) 와 최종 정확도 (Final Accuracy) 를 기록했습니다.
  • 특히 ImageNet-R에서 기존 1 위 방법인 TUNA 대비 평균 정확도 1.19%p 향상 (85.41% vs 84.22%) 을 보였습니다.
• 재현 (Rehearsal) 기반 방법 대비 우위: 메모리를 사용하여 과거 데이터를 재현하는 방법 (iCaRL, FOSTER 등) 보다 Exemplar-free(과거 데이터 저장 없음) 설정에서도 더 높은 성능을 보였습니다. 이는 잘 구조화된 활성화 하위 공간이 데이터 재현보다 확장성이 있음을 시사합니다.
• 분석 (Ablation Study):
  • **시맨틱 탐색 (SE)**과 활성화 압축 (AC) 두 구성 요소 모두 필수적이며, 상호 보완적으로 작용할 때 최적의 성능을 냅니다.
  • 매개변수 vs 활성화: 파라미터에 직교성 제약을 가하는 것보다 활성화 공간을 유도하는 것이 간섭 해결에 훨씬 효과적이었으며, 특히 ViT 의 후반부 레이어에서 적용 시 효과가 극대화되었습니다.
• 시각화: t-SNE 시각화 결과, SGDS 를 적용한 모델은 클래스별로 활성화 공간이 명확하게 분리되고 컴팩트한 군집을 형성하는 반면, 기존 방법은 활성화가 뒤섞여 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 CIL 분야에서 매개변수 중심의 제약에서 활성화 중심의 유도로 패러다임을 전환했습니다.

• 기술적 의의: 모델의 가소성을 해치지 않으면서 간섭을 해결할 수 있는 유연하고 강력한 메커니즘을 제공했습니다. 이는 제한된 리소스 환경 (에지 디바이스 등) 에서 PTM 을 지속적으로 학습해야 하는 현대 AI 응용에 매우 중요합니다.
• 실용적 의의: 과거 데이터를 저장하지 않는 Exemplar-free 방식을 준수하여, 의료나 금융과 같은 개인정보 보호가 중요한 분야에서의 적용 가능성을 높였습니다.

결론적으로 SGDS 는 사전 학습 모델의 잠재력을 최대한 활용하면서도 지속적인 학습을 가능하게 하는 차세대 CIL 솔루션으로 평가됩니다.