Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Mamba-FSCIL 기술 요약: 선택적 상태 공간 모델을 통한 동적 적응형 소량 클래스 증분 학습(Few-Shot Class Incremental Learning)

문제 정의
소량 클래스 증분 학습(FSCIL)은 모델이 제한된 사례로부터 새로운 클래스를 지속적으로 학습하는 동시에, 이전에 학습한 기저(base) 클래스의 지식을 유지할 수 있도록 하는 것을 목표로 한다. 기존의 접근 방식들은 안정성-가소성(stability-plasticity) 트레이드오프에 관한 결정적인 딜레마에 직면해 있다. 정적 적응(Static adaptation) 방법은 모든 세션에 공유되는 고정 용량의 프로젝터를 사용하지만, 새로운 클래스를 위해 이러한 공유 가중치를 업데이트하면 기저 지식을 인코딩하는 파라미터가 덮어씌워져 치명적 망각(catastrophic forgetting)이 발생한다. 반대로, 세션마다 새로운 파라미터를 할당하는 동적 적응(Dynamic adaptation) 방식은 기존 지식을 보존하기 위해 아키텍처를 확장하지만, 이는 모델의 무제한적인 성장을 초래하여 계산 비용을 증가시키고 확장성을 제한한다. 핵심 과제는 세션별 파라미터 확장 없이 새로운 클래스에 대한 동적 적응을 달고 기존 지식을 보존하는 것이다.

방법론
저자들은 입력 의존적인 동적 연산을 고정 용량 아키텍처 내에서 구현하기 위해 선택적 상태 공간 모델(Selective State Space Models, SSM), 특히 Mamba를 활용하는 Mamba-FSCIL 프레임워크를 제안한다. 모델 크기를 확장하는 대신, 이 방법은 입력 콘텐츠에 기반하여 핵심 파라미터($B_i, C_i, \Delta_i$)를 즉석에서 생성하는 Mamba의 능력을 활용한다. 프레임워크는 세 가지 주요 구성 요소로 이루어져 있다:

1. 이중 선택적 SSM 프로젝터 (Dual Selective SSM Projector):
   안정성과 가소성을 구조적으로 분리하기 위해 프로젝터를 두 개의 병렬 브랜치로 나눈다:

   • 기저 선택적 SSM 브랜치 ($g_{base}$): 이 브랜치는 "안정성 앵커(stability anchor)" 역할을 한다. 이는 기저 세션 동안에만 독점적으로 학습된 후 동결된다. 전통적인 정적 동결 모듈과 달리, $g_{base}$는 계산적으로는 여전히 동적이다. 즉, 동결된 상태에서도 입력 조건부 파라미터를 계속 생성하여, 기초적인 기저 클래스 표현을 보존하는 안정적이고 문맥 인식적인 변환을 제공한다.
   • 증분 선택적 SSM 브랜치 ($g_{inc}$): 이 브랜치는 "가소성 인에이블러(plasticity enabler)" 역할을 한다. 이는 모든 증분 세션에서 재사용되는 단일 고정 용량 Mamba 모듈이다. 이 브랜치는 Mamba의 입력 의존적 메커니즘을 활용하여 새로운 클래스에 필요한 잔차 특징 변화(residual feature shifts)를 포착한다. 입력 문맥에 따라 구별되는 동적 파라미터를 생성함으로써, $g_{inc}$는 새로운 파라미터 브랜치를 추가하지 않고도 새로운 클래스에 적응한다.

2. 클래스 민감형 선택적 스캔 메커니즘 (Class-Sensitive Selective Scan Mechanism):
   $g_{inc}$의 동적 적응이 단순히 콘텐츠 인식(content-aware)을 넘어 클래스 민감형(class-sensitive)이 되도록 하기 위해, 저자들은 두 가지 정규화 손실을 도입한다:

   • 억제 손실 ($\mathcal{L}_{supp}$): 이 손실은 기저 클래스 입력에 대한 게이팅 스트림($Z_{inc}$)의 활성화 크기를 최소화한다. 기저 클래스에 대한 증분 브랜치의 기여도를 억제함으로써 동결된 안정성 앵커와의 간섭을 방지한다. 반대로, 새로운 클래스 입력에 대해서는 더 큰 노름(norm)을 갖도록 유도하여 적응을 촉진한다.
   • 분리 손실 ($\mathcal{L}_{sep}$): 이 손실은 기저 클래스와 새로운 클래스를 위해 생성된 평균 상태 공간 파라미터($B, C, \Delta$) 사이의 절대 코사인 유사도를 최소화한다. 이는 모델이 새로운 개념에 대해 구별된 변환 경로를 형성하도록 유도하여, 표현의 중첩을 줄이고 가소성을 높인다.

3. 최적화 전략:
   프레임워크는 고정된 심플렉스 등각 팽창 격자(Simplex Equiangular Tight Frame, ETF) 분류기를 사용한다. 기저 세션 동안에는 백본, 아이덴티티 브랜치, 그리고 $g_{base}$가 공동으로 최적화된다. 증분 세션에서는 백본과 $g_{base}$가 동결되며, $g_{inc}$만이 점 도트 회귀(Dot Regression, DR) 손실, 억제 손실, 분리 손실의 조합을 사용하여 최적화된다. 시스템은 이전 세션의 원본 이미지를 저장하거나 재생하지 않고, 클래스 평균 프로토타입의 압축된 특징 수준 메모리에 의존하여 작동한다.

주요 기여

• Mamba-FSCIL 프레임워크: 고정 용량 모델 내에서 클래스 민감형 적응을 달성하기 위해 Mamba의 입력 의존적 동적 연산을 FSCIL에 적용한 최초의 프레임워크이다.
• 이중 선택적 SSM 프로젝터: 동결되었으나 계산적으로는 동적인 기저 브랜치와 재사용 가능한 증분 브랜치를 통해 기저 클래스와 새로운 클래스 처리를 분리함으로써, 파라미터 확장 없이 안정성과 가소성의 균형을 맞추는 구조적 혁신을 이루었다.
• 클래스 민감형 선택적 스캔 메커니즘: 억제 및 분리 손실을 사용하는 새로운 정규화 전략을 통해 증분 브랜치의 동적 파라미터 생성을 명시적으로 유도하며, 이를 통해 기저 클래스와 새로운 클래스 간의 구별된 처리 패턴을 보장한다.
• 최첨단 성능 (State-of-the-Art Performance): 광범적인 실험을 통해 Mamba-FSCIL이 miniImageNet, CIFAR-100, CUB-200 벤치마크에서 기존의 정적 및 동적 방법들을 능가함을 입증하였다.

실험 결과
논문은 세 가지 벤치마크 데이터셋에 대한 광범한 평가 결과를 보고한다:

• miniImageNet: ResNet-12 백본을 사용하여, Mamba-FSCIL은 평균 정확도(AVG) 69.74%와 최종 세션 정확도 59.29%를 달성하였으며, 이는 기존의 최첨단 모델인 NC-FSCIL보다 각각 1.92, 0.98 포인트 높은 수치이다.
• CIFAR-100: ResNet-12를 사용하여, 이 방법은 AVG 68.19%와 최종 정확도 57.52%를 달성하여 NC-FSCIL 및 FeSSSS를 상당한 차이로 앞질렀다.
• CUB-200: 이 미세 조정(fine-grained) 데이터셋에서 Mamba-FSCIL은 AVG 68.11%와 최종 정확도 61.52%를 달성했다. 트랜스포머 백본(예: Swin-T, ViT-B/16)을 사용할 때도 이 방법은 일관되게 가장 높거나 매우 경쟁력 있는 성능을 보였으며, 특히 DSN과 같은 확장 기반 방법들에 비해 성능 저하(PD)를 현저히 줄였다.
• 절제 연구 (Ablation Studies): 실험을 통해 이중 브랜치 설계와 클래스 민감형 손실이 핵심적임을 확인하였다. 전체 모델은 정적 프로젝터, 단일 SSM 브랜치 또는 정규화가 결여된 변형 모델들보다 우수한 성능을 보였다. 활성화 맵과 t-SNE 시각화를 통한 정성적 분석은 기저 클래스의 안정적인 표현을 유지하면서 새로운 클래스에 동적으로 적응하는 모델의 능력을 검증한다.

의의
본 논문은 Mamba-FSCIL이 파라미터 공유 및 파라미터 확장 패러다임 모두에 대한 실용적이고 확장 가능한 대안을 제공한다고 주장한다. 입력 의 dependent 동적 연산을 활용함으로써, 모델 아키텍처를 지속적으로 확장하는 계산적 오버헤드 없이 안정성-가소성 딜레마를 해결한다. 이 연구는 선택적 상태 공간 모델이 새로운 데이터에 대해 구별되고 클래스 민감적인 처리 패턴을 생성하는 동시에 기존 지식의 무결성을 보존함으로써, 소량 샘플 증분 설정에서 치명적 망각을 효과적으로 완화할 수 있음을 보여준다.