기술 요약: Mamba-CL

문제 정의

지속 학습(Continual Learning, CL)은 AI 모델이 이전에 습득한 지식을 잊지 않고 시간이 흐름에 따라 일련의 태스크를 학습할 수 있도록 하여 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것을 목표로 합니다. 상태 공간 모델(State Space Models, SSMs), 특히 Mamba 아키텍처는 컴퓨터 비전 및 시퀀스 모델링 분야에서 주목할 만한 성공을 거두었으나, 이를 CL에 적용하는 데에는 독특한 과제가 따릅니다. 직교 부분 공간 투영(orthogonal subspace projection)과 같은 기존의 CL 방법들은 주로 합성곱 신경망(CNN) 및 비전 트랜스포머(ViT)를 위해 개발되었습니다. Mamba에 이러한 방법들을 직접 적용하는 것은 높은 차수의 재귀적 상태 공간 구조와 비선형 이산화 메커니즘으로 인해 어렵습니다. 구체적으로, 선택적 SSM에서의 망각은 이전 태스크의 입력에 의해 활성화되는 상태 업데이트 및 출력 생성 프로세스의 변화로 이해될 수 있습니다. 핵심 문제는 어떻게 하면 사전 학습된 Mamba 파운데이션 모델을 새로운 태스크에 대해 미세 조정(fine-tuning)하면서도, 이전 태스크에 대한 출력이 수학적으로 일관되게 유지되도록 보장할 것인가 하는 점입니다.

방법론

저자들은 망각을 완화하기 위해 영공간(null space) 내에서 선택적 SSM을 최적화하는 프레임워크인 Mamba-CL을 제안합니다. 이 방법은 사전 학습된 Mamba 백본(구체적으로 De-focus Mamba) 내의 핵심 SSM 블록을 미세 조정하는 데 집중하며, 그 외의 구성 요소들은 동결(frozen) 상태로 유지합니다.

이론적 유도

Mamba-CL의 핵심은 SSM 블록의 파라미터에 대한 **네 가지 충분한 일관성 조건(sufficient consistency conditions)**을 유도하는 것입니다. 목표는 새로운 태스크를 학습한 후에도 이전 태스크의 입력($X_t$)에 대한 SSM의 출력이 변하지 않도록 하는 것입니다. 입력 불변 파라미터 $A$와 입력 조건부 파라미터 $B, C, \delta$(이산화 단계)를 포함하는 SSM의 순방향 과정을 분석함으로써, 저자들은 일관성 요구 사항을 파라미터 업데이트($\Delta$)에 대한 제약 조건으로 분해합니다:

1. 이산화 단계($\delta$) 및 입력 투영($W_\delta$): 업데이트 $\Delta W_\delta$는 입력 특징 공간 $X_t$와 직교해야 합니다 ($X_t \Delta W_\delta = 0$).
2. 상태 전이($A$): 업데이트 $\Delta A$는 이산화 단계 파라미터 $\delta_t$와 직교해야 합니다 ($\delta_t \Delta A = 0$).
3. 입력 주입($W_B$): 업데이트 $\Delta W_B$는 이산화 단계와 입력 특징의 곱과 직교해야 합니다 ($\delta_t X_t \Delta W_B = 0$).
4. 출력 판독($W_C$): 업데이트 $\Delta W_C$는 입력 특징 공간 $X_t$와 직교해야 합니다 ($X_t \Delta W_C = 0$).

이러한 조건들은 이전 태스크의 입력에 의해 활성화되는 상태 업데이트 및 출력 생성 프로세스가 보존되도록 보장합니다.

최적화 전략

이러한 제약 조건을 효율적으로 구현하기 위해, Mamba-CL은 **영공간 투영(null-space projection)**을 채택합니다:

• 투영 행렬(Projection Matrices): 저자들은 이전 태스크로부터 추출한 특징 공간($X_t, \delta_t, \delta_t X_t$)에 대한 비중심 공분산 행렬을 계산합니다. 특이값 분해(SVD)를 사용하여, 새로운 태스크의 그래디언트를 이러한 특징 부분 공간의 영공간으로 투영하는 투영 행렬($H_1, H_2, H_3$)을 도출합니다.
• 균형 계수(Balance Factor): 직교 제약을 완화하기 위해 $\eta \in [0, 1]$인 하이퍼파라미터가 도입됩니다. 이를 통해 안정성(이전 지식 유지)과 가소성(새로운 태스크 학습) 사이의 트레이드오프를 조절할 수 있습니다. $\eta=1$일 때는 엄격한 영공간 투영이 적용되며, 값이 낮아질수록 더 높은 가소성을 허용합니다.
• 구현: 훈련 과정 중, SSM 파라미터($A, W_B, W_C, W_\delta$) 및 후속 선형 투영 레이어에 대한 그래디언트는 파라미터 업데이트 단계 이전에 이 행렬들을 사용하여 투영됩니다.

주요 기여

1. 출력 보존 관점: 본 논문은 선택적 스캔 메커니즘과 직교 부분 공간 제약을 연결하여, 선택적 SSM의 지속적 적응을 출력 보존 관점에서 정식화합니다.
2. 이론적 유도: 저자들은 Mamba 모델 내의 SSM 블록에 대한 네 가지 충분한 일관성 조건을 이론적으로 유도하여, 재귀적 구조와 비선형 이산화의 복잡성을 해결했습니다.
3. 영공간 근사: 이러한 조건들을 바탕으로, 대규모 Mamba 파운데이션 모델을 이전 샘플을 저장하지 않고도(exemplar-free) 효율적으로 지속 적응할 수 있도록 하는 영공간 기반 근사법을 도입했습니다.
4. 실험적 검증: 다양한 벤치마크를 통해 제안된 방식의 효과를 입증했습니다.

실험 결과

저자들은 네 가지 클래스 증분(class-incremental) 벤치마크에서 Mamba-CL을 평가했습니다:

• 데이터셋: 10-split 및 20-split ImageNet-R, 10-split CIFAR-100, 10-split DomainNet.
• 베이스라인: 제안 방법은 최신 CL 방법들(예: L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASE) 및 직교 투영이 없는 Mamba 베이스라인(Mamba-Seq)과 비교되었습니다.
• 성능:
  • Mamba-CL은 기존 방법들보다 우수한 성능을 보였습니다. 10-split ImageNet-R에서 81.67%의 정확도와 4.07%의 망각률을 달 기록하며, 차순위 방법인 CL-LoRA(정확도 78.48%)를 상당한 차이로 앞질렀습니다.
  • Mamba-Seq 베이스라인 대비 상당한 개선을 보여주었으며, 벤치마크 전반에 걸쳐 정확도는 18%45% 향상되었고 망각은 24%61% 감소했습니다.
  • 긴 시퀀스 CL 시나리오(50 및 100개 태스크)에서도 견고함을 입증하며 타 방법들보다 우위를 유지했습니다.
  • 어블레이션 연구(Ablation studies)를 통해 이산화 단계($\delta$)의 투영이 망각 방지에 가장 결정적인 요소임을 확인했습니다.
  • 다양한 Mamba 변형(MambaVision, Vim, VMamba) 및 "처음부터 학습(training from scratch)" 시나리오에서도 검증되어 일반화 가능성을 확인했습니다.

의의 및 주장

본 논문은 Mamba-CL이 이전에 습득한 지식과의 간섭을 완화하면서 대규모 파운데이션 모델의 핵심 선택적 SSM 모듈을 지속적으로 적응시키는 효과적인 방법을 제공한다고 주장합니다. 에피소드 기반의 메타 학습(episodic meta-training), 태스크별 백본 확장, 또는 예시 데이터(exemplars)의 보존을 요구하는 기존 접근 방식과 달리, Mamba-CL은 예시 데이터가 필요 없는(exemplar-free) 환경에서 작동하며 추론 시 추가적인 연산을 수행하지 않습니다.

저자들은 자신들의 방법이 단순히 기존 투영 기술을 직접 적용한 것이 아니라, SSM의 수학적 구조에 맞춘 필수적인 적응임을 강조합니다. Mamba 모델의 시간 불변 파라미터에 대한 특정 일관성 조건을 유도함으로써, 지속 학습의 이론적 요구 사항과 상태 공간 모델의 실제 구현 사이의 간극을 메웠습니다. 실험 결과는 이산화, 상태 전이, 입력 주입 및 출력 판독 프로세스를 영공간 투영을 통해 명시적으로 보호하는 것이 Mamba 기반 아키텍처에서 강력한 지속 학습 성능을 달하는 데 매우 중요하다는 것을 시사합니다.