기술 요약: 포인트별 신경 붕괴를 넘어선 접근

1. 문제 제기

클래스 증분 학습 (CIL) 은 모델이 이전에 습득한 지식을 파괴적으로 망각하지 않고 새로운 카테고리를 순차적으로 학습할 수 있도록 하는 것을 목표로 합니다. Nearest Class Mean(NCM) 분류기는 망각에 대한 강건성으로 인해 CIL 의 사실상의 표준이 되었지만, 그 최적성은 Neural Collapse(NC) 이론에 크게 의존합니다. NC 이론은 훈련의 말기 단계에서 클래스 내 특징이 단일 점 (클래스 평균) 으로 붕괴되어 NCM 분류기가 최적의 선형 분류기와 동등해진다고 주장합니다.

그러나 저자들은 실제 CIL 환경에서는 다음 세 가지 요인으로 인해 이러한 이상적인 상태가 자주 위반된다고 주장합니다:

1. 불충분한 수렴: 과적합을 피하기 위해 모델이 종종 붕괴 지점까지 훈련되지 않습니다.
2. 제약된 훈련: 증분 단계에서는 종종 정규화나 증류가 사용되어 새로운 클래스에 대한 완전한 수렴을 방해합니다.
3. 특징 드리프트: 새로운 작업을 위해 백본이 업데이트됨에 따라 이전 클래스의 표현이 이동합니다.

본 논문은 프로크루스테스 거리 분석을 통해 이러한 특징 드리프트가 단순한 강체 변환이 아니라 상당한 비선형 변형(정규화된 거리가 0.3~0.4 에 달함) 을 수반함을 입증합니다. 결과적으로 클래스 특징은 붕괴된 점이 아닌 복잡한 고차원 매니폴드 (예: "덤벨" 또는 "초승달" 구조) 위에 존재하게 됩니다. 이는 이러한 복잡한 기하학을 표현하지 못하므로 단일 프로토타입 NCM 을 비최적화하게 만들고, 성능 저하로 이어집니다.

2. 방법론

제안된 프레임워크는 토폴로지 인식 분류기 (HC-SOINN) 와 드리프트 적응 메커니즘 (STAR) 으로 구성된 두 가지 주요 요소로 이루어집니다.

2.1. HC-SOINN (Hierarchical-Cluster SOINN)

클래스 매니폴드의 고유한 구조를 포착하기 위해 저자들은 단일 프로토타입 가정을 "로컬에서 글로벌"로 이어지는 토폴로지 표현으로 대체하는 HC-SOINN 을 제안합니다.

• 계층적 초기화: 노이즈와 순서에 민감한 원시 스트림에 직접 증분 클러스터링을 적용하는 대신, 먼저 버퍼에 특징을 축적한 후 Agglomerative Hierarchical Clustering(UPGMA 및 코사인 거리 사용) 을 수행하여 안정적인 매니폴드 골격을 초기화합니다.
• 구형 SOINN 정제: 초기 노드는 단위 초구 (unit hypersphere) 에 맞게 단순화된 Self-Organizing Incremental Neural Network(SOINN) 를 사용하여 정제됩니다.
  • 토폴로지 학습: 경쟁 헤비안 학습 (CHL) 을 기반으로 승자 노드와 준승자 노드 간에 엣지가 생성됩니다.
  • 구형 업데이트: 노드 위치는 **구형 선형 보간 (SLERP)**을 사용하여 업데이트되므로, 서브 프로토타입이 초구의 내부로 드리프트하는 대신 매니폴드 표면을 따라 진화하도록 보장합니다.
• 이중 뷰 추론: 최종 결정 점수는 글로벌 뷰(클래스 평균 $\mu_c$에 대한 코사인 유사도) 와 로컬 뷰(임의의 로컬 서브 프로토타입 $v \in V_c$에 대한 최대 코사인 유사도) 를 결합합니다. 점수는 가중 합으로 계산됩니다:
  $$S(x, c) = \alpha \cdot \cos\langle \tilde{f}_\theta(x), \mu_c \rangle + (1-\alpha) \cdot \max_{v \in V_c} \cos\langle \tilde{f}_\theta(x), v \rangle$$

2.2. STAR (Structure-Topology Alignment via Residuals)

정적 토폴로지 방법이 완전히 견딜 수 없는 비선형 특징 드리프트를 해결하기 위해 STAR 는 "드리프트 적응" 패러다임을 도입합니다.

• 포인트별 궤적 추적: STAR 는 토폴로지 노드와 앵커 샘플 간의 일대일 매핑을 설정합니다. 저장된 참조 특징과 현재 특징을 비교하여 각 노드의 드리프트를 개별적으로 추적합니다.
• 잔차 정렬: 지수 이동 평균 (EMA) 이 드리프트 벡터 ($\delta_i$) 를 부드럽게 만듭니다. 이러한 잔차는 현재 특징 공간에서 서브 프로토타입을 이동시키는 데 적용되어, 백본을 재훈련하지 않고도 매니폴드 구조가 능동적으로 변형되어 진화하는 특징 분포와 정렬되도록 합니다.
• 글로벌 동기화: 모든 노드의 평균 드리프트를 사용하여 글로벌 클래스 평균이 동기화되도록 업데이트됩니다.

3. 주요 기여

1. NCM 최적성 재검토: 저자들은 프로크루스테스 분석을 통해 CIL 의 특징 드리프트가 상당한 비선형 구조 변형을 유발함을 경험적으로 입증하여, 실제 시나리오에서 단일 프로토타입 방법의 한계를 노출시켰습니다.
2. HC-SOINN 분류기: 로컬 중심과 글로벌 중심의 계층적 구조를 사용하여 클래스 매니폴드를 표현하는 새로운 토폴로지 인식 분류기로, 단일 프로토타입보다 정확한 기하학적 표현을 제공합니다.
3. STAR 메커니즘: "드리프트 저항"에서 "드리프트 적응"으로의 전환입니다. 포인트별 궤적 추적을 활용함으로써 STAR 는 학습된 토폴로지가 복잡한 비선형 특징 진화에 맞춰 능동적으로 변형되도록 합니다.
4. 광범위한 검증: 제안된 접근법은 프롬프트 기반, 어댑터 기반, 표현 기반 패러다임을 포함한 7 가지 최신 CIL 방법에 통합되어 3 개의 벤치마크에서 일관된 개선을 입증했습니다.

4. 실험 결과

본 방법은 Split CIFAR-100, Split CUB-200, Split ImageNet-R에서 평가되었습니다.

• 성능 향상: HC-SOINN(STAR 유무 상관없이) 을 SimpleCIL, DualPrompt, CODA-Prompt, SEMA, CL-LoRA 등 7 가지 베이스라인에 통합한 결과, 평균 정확도 (AAvg) 와 마지막 작업 정확도 (ALast) 모두에서 일관된 개선이 이루어졌습니다.
  • 주목할 만한 개선 사항으로는 SEMA + HC-SOINN이 Split CUB-200 에서 **ALast 기준 +21.00%**의 향상을 달성했고, CODA-Prompt + HC-SOINN이 Split CUB-200 에서 다른 최첨단 (SOTA) 방법들을 능가했습니다.
• 분류기 분석: 백본을 고정하여 분류기 기여도를 분리했을 때, 제안된 HC-SOINN + STAR는 파라메트릭 FC 레이어, 표준 NCM, 그리고 비선형 Kolmogorov-Arnold 분류기 (KAC) 를 일관되게 능가했으며, 특히 긴 시퀀스 및 분포 외 (out-of-distribution) 작업에서 두드러졌습니다.
• 효율성:
  • 훈련: 클래스별 병렬화를 통해 달성된 전체 방법은 베이스라인 대비 약 3.96% 의 오버헤드만 추가합니다.
  • 추론: 백본이 계산 시간의 99.7% 를 차지하고 토폴로지 거리 계산이 GPU 에서 벡터화되므로, 이 방법은 실질적으로 0 지연 오버헤드 (+0.01%) 를 도입합니다.
• 저장: 적응형 토폴로지는 클래스당 평균 약 18~21 개의 노드를 저장해야 하며, 이는 기존 재연습 기반 방법에서 사용하는 20 개 예시 버퍼와 비슷하거나 더 낮지만, 경량 기반 재훈련이 필요하지 않습니다.

5. 의미 및 주장

본 논문은 신경 붕괴가 불완전한 상황에서 CIL 에 단일 프로토타입 분류기에 의존하는 것이 이론적으로 타당하지 않다고 주장합니다. 클래스를 점 대신 복잡한 매니폴드로 모델링함으로써 제안된 프레임워크는 이론적 최적성과 실제 CIL 제약 조건 간의 간극을 메웁니다.

• 패러다임 전환: 이 작업은 특징 이동을 방지하려는 "드리프트 저항"에서 이동에 맞춰 결정 경계를 능동적으로 변형시키는 "드리프트 적응"으로의 전환을 옹호합니다.
• 강건성: 이 방법은 "튜닝 불필요 (tuning-free)"로 제시되며, 단일 통합된 하이퍼파라미터 세트로 다양한 데이터셋과 백본에서 높은 성능을 유지합니다.
• 한계: 저자들은 성능 향상이 토폴로지 유지를 위한 중간 정도의 계산 오버헤드와 앵커 버퍼를 위한 추가 저장 공간이 필요하다는 점을 인정합니다. 또한, 현재 점수 산출 메커니즘은 노드 거리에만 의존하므로 학습된 그래프의 풍부한 엣지 연결성을 분류 시 활용하지 못하고 있습니다.

저자들은 기존 선형 또는 고정된 비선형 경계보다 복잡한 증분 이동에 대해 더 신뢰할 수 있는 솔루션을 제공하는 토폴로지 프레임워크를 제시하며, 평가된 데이터셋 전반에 걸쳐 새로운 최첨단 성능을 확립했다고 결론지었습니다.