기술 요약: 신경 서브스페이스 재할당 (Neural Subspace Reallocation, NSR)

1. 문제 정의

지속 학습(Continual Learning, CL)은 새로운 태스크를 위한 그래디언트 업데이트가 이전 지식을 인코딩하는 파라미터를 덮어쓰는 **파괴적 망각(catastrophic forgetting)**이라는 구조적 문제에 직면해 있다. 기존 솔루션들은 다음과 같은 구체적인 한계를 가진다:

• 정규화 방법(예: EWC, SI)은 제약 조건이 누적되어 결국 포화 상태에 이른다.
• 리플레이 방법은 가공되지 않은 데이터의 메모리 버퍼를 계속 키워야 한다.
• 아키텍처 방법은 용량이 무한히 커지거나 혹은 용량이 영구적으로 고정된다.
• 최근의 LoRA 기반 접근 방식(예: O-LoRA, PEARL, PLAN)은 태스크당 저차원 서브스페이스를 할당하지만, 일반적으로 **기억력이 없는 할당 규칙(memoryless allocation rules)**을 사용한다. 이러한 규칙은 태스크가 재발했을 때 이를 인식하지 못하며, 이전에 성공했던 구성을 재사용할 수 없어 모델이 처음부터 다시 "재탐색(re-explore)"하게 만든다.

핵리적인 문제는 고정된 파라미터 예산을 단일한 자원이 아닌, 쿼리가 가능한 메모리로 관리하는 **이력 인식 메커니나즘(history-aware mechanism)**의 부재이다.

2. 방법론: 신경 서브스페이스 재할당 (NSR)

NSR은 지속 학습을 고정된 백본(backbone) 위에서 작동하는 검색 기반의 서브스페이스 메모리 관리로 재정의한다. 학습 가능한 구성 요소는 그룹화된 저차원 적응(LoRA) 모듈이다. 이 방법은 반복되는 4단계 주기에 따라 작동한다:

1. 압축 (시냅스 통합 - Synaptic Consolidation): 태스크 학습 후, 활성화된 LoRA 모듈($\Delta W = BA$)은 특이값 분해(SVD)를 통해 압축된다. 주요 특이 방향(singular directions)을 보존하면서 용량을 확보하기 위해 랭크(rank)를 $\lceil \rho r \rceil$로 줄인다. 이는 시냅스 가지치기(synaptic pruning)를 모사한다.
2. 예약 (선택적 휴면 - Selective Dormancy): 압축된 LoRA, 할당 마스크, 태스크 임베딩, 분류기 헤드 및 소프트 타겟(soft targets)은 TaskKnowledgeBank에 저장된다.
3. 회상 (재활성화 및 전이 - Recall: Reactivation & Transfer): 새로운 또는 돌아온 태스크에 대해, 시스템은 태스크 임베딩을 계산하고 코사인 유사도를 통해 뱅크(Bank)에서 가장 유사한 상위 $K$개의 과거 태스크를 검색한다.
   • 정확한 복구 (Exact Restore): 특정 태스크가 재발하는 경우, 저장된 특정 LoRA와 마스크를 검색한다.
   • 가중치 전이 (Weighted Transfer): 태스크가 관련은 있지만 새로운 경우, 유사도 가중 평균을 통해 LoRA를 웜 스타트(warm-start)한다.
4. 재할당 (서브스페이스 선택 - Reallocate: Subspace Selection): 활성 서브스페이스 마스크는 검색된 정보에 따라 설정된다. 본 시스템은 **컨트롤러 불가지론적(controller-agnostic)**이다. 즉, 단순한 유사도 기반 규칙(가장 유사한 태스크의 마스크를 복사)을 사용하거나 학습된 강화 학습(RL) 컨트롤러를 사용할 수 있다. 권장되는 기본값은 파라미터가 필요 없는 유사도 규칙이다.

증류(Distillation): 학습 중에는 소프트 타겟($L_{KD}$)을 사용하여 뱅크로부터 지식을 증류함으로써 이전 태스크들을 보호한다.

3. 이론적 분석

본 논문은 순환적 태스크 환경(태스크가 $M$번의 사이클 동안 반복되는 환경)에 관한 이론적 증명(정리 1)을 제공한다.

• 주장: 모든 기억력이 없는 정책($\pi_{mem}$)은 뱅크에 의해 뒷받침되는 이력을 인식하는 정책($\pi_{hist}$)에 비해 $\Omega(T(M-1)\Delta_{switch})$의 누적 후회(cumulative regret)를 발생시킨다.
• 메커니즘: 기억력이 없는 정책은 돌아온 태스크를 식별할 수 없어 콜드 스타트(cold-start)를 해야 하며($\Omega(1/\epsilon^2)$ 단계 필요), 이력을 인식하는 정책은 검색을 통해 태스크를 식별하고 웜 스타트($O(1)$ 단계 필요)를 수행한다.
• 함의: 성능 격차는 사이클과 태스크의 수에 따라 선형적으로 증가하며, 이는 효율적인 환경에서 메모리(Bank)가 구조적으로 필수적임을 증명한다.

4. 주요 기여

1. 재정의: LoRA 모듈을 일회용 어댑터가 아닌, 압축 가능하고 검색 가능한 단위로 간주하여 지속 학습을 메모리 관리로 재구성하였다.
2. TaskKnowledgeBank: SVD로 압축된 LoRA 저장 및 유사도 기반 검색 메커즘을 통해, 재발하는 태스크에 대한 정확한 복구와 관련 태스크에 대한 가중치 전이를 가능하게 하였다.
3. 컨트롤러 불가지론적 설계: 할당 단계는 어떤 규칙(휴리스틱, 그래디언트 기반, 또는 학습된 규칙)도 수용한다. 결정적으로, 본 논문은 단순한 유사도 기반 규칙이 학습된 RL 컨트롤러와 대등하거나 더 나은 성능을 보임을 입증하였다.
4. 이론적 후회 경계(Regret Bound): 순환 환경에서 기억력이 없는 정책이 하위 호환적임을 증명하였다.
5. 메커니즘 격리: 성능 향상의 원인을 격리하는 통제된 연구를 통해, 성능의 주요 동력이 복잡한 할당 정책이 아니라 메모리 메커니즘(압축 + 검색)임을 확인하였다.

5. 실험 결과

실험은 Split-CIFAR-100(순차적 및 순환적 설정)과 5-Datasets 벤치마크(CIFAR-10, MNIST, SVHN, FashionMNIST, KMNIST를 포함한 이질적 도메인)에서 수행되었다.

• Split-CIFAR-100 성능:
  • NSR은 학습 기반 정책들 중 가장 낮은 망각률(Backward Transfer, BWT = $-0.068$)을 달성했다.
  • 순환 회복(Cyclic Recovery): NSR은 재발하는 태스크를 3.33 단계 만에 회복한 반면, 기억력이 없는 베이스라인(Gradient, EWC, PEARL)은 14단계 이상이 소요되었다.
  • Bank 절제 실험(Ablation): 뱅크를 제거하면 회복 시간이 1.27 단계에서 13.33 단계로 증가(10배의 저하)하였으며, 이는 뱅크가 지배적인 요인임을 확인시켜 준다.
• 할당 규칙 비교:
  • 뱅크를 고정한 상태에서, **파라미터가 필요 없는 유사도 규칙(NSR-Sim)**은 망각 없이 0 단계 만에 재발 태스크를 회복했다.
  • 학습된 RL 컨트롤러는 1.8 단계가 소요되었으며 음의 BWT($-0.056$)를 보였다.
  • NSR-Sim은 RL 컨트롤러(0.393)보다 높은 평균 정확도(0.437)를 달al성했다.
• 이질적 도메인 (5-Datasets):
  • NSR은 가장 높은 정확도(0.665)와 가장 적은 망각(BWT = $-0.024$)을 달성하였으며, 이는 Gradient 및 EWC 휴리스틱보다 9배 더 0에 가까운 수치이다.
• 메모리 점유량:
  • 압축된 뱅크는 태스크당 단 0.29 MB의 파라미터 메모리만을 요구한다(선택적 증류 엑셈플러 제외).
  • 상위 $K$개 유지 제한(retention cap)을 통해 전체 점유량을 선형적으로 제한하면서도, 유지된 태스크에 대한 빠른 회복을 보존한다.

6. 의의 및 주장

본 논문의 핵심적이고 "정직한" 발견은 고정된 용량 하에서의 지속 학습 성능을 드라이브하는 것은 정교하게 학습된 할당 정책이 아니라 메모리 메커니즘이라는 점이다.

• 겸손한 주장: 저자들은 백본(ViT-B/16 등)이 이미 태스크를 쉽게 해결할 만큼 강력하다면 NSR의 이점이 줄어든다고 명시한다(재학습 비용이 낮기 때문).
• 단순성: 권장되는 방식인 NSR-Sim은 컨트롤러 학습이 필요하지 않아, RL 기반 접근 방식보다 더 단순하고 빠르며 재현성이 높다.
• 일반화: 이 접근 방식은 특정 데이터셋 구조에 국한되지 않으며, 파괴적 망각이 가장 심각한 이질적 도메인 변화를 효과적으로 처리한다.
• 한계점: 현재 프레임워크가 비전 태스크에 집중되어 있으며, (데이터를 삭제하는 대신) 유사한 태스크를 병합하는 것이 향후 개선 과제임을 인정한다. 또한, 부분적인 태스크 유사성만 있는 설정(정확한 뱅크 매칭이 없는 경우)에서 학습된 컨트롤러의 효용성은 여전히 열린 문제로 남아 있다.

요약하자면, NSR은 **검색을 통한 이력 인식(history-awareness via retrieval)**이 효율적인 지속 학습을 위한 핵심 요소이며, 견고한 압축 서브스페이스 메모리 뱅크를 유지할 수 있다면 복잡한 정책 학습은 불필요함을 보여준다.