When Classes Evolve: A Benchmark and Framework for Stage-Aware Class-Incremental Learning

기술 요약: 클래스가 진화할 때: 단계 인지형 클래스 점진적 학습을 위한 벤치마크 및 프레임워크

문제 정의: 단계 인지형 클래스 점진적 학습 (Stage-Aware Class-Incremental Learning, Stage-CIL)
전통적인 클래스 점진적 학습(Class-Incremental Learning, CIL)은 의미론적 클래스가 형태적으로 정적이라는 암묵적인 가정을 전제로 작동합니다. 즉, 새로운 클래스가 도입될 때 이전에 학습된 카테고리에 대한 파괴적 망각(catastrophic forgetting)을 완화하는 것이 주요 과제입니다. 그러나 현실 세계의 많은 시나리오에서는 동일한 의미론적 클래스의 인스턴스가 시간이 지남에 따라 상당한 형태적 진화를 겪습니다 (예: 애벌레가 나비로 변하거나, 차량이 손상을 입는 경우).

본 논문은 이러한 시나리오에 표준 CIL을 적용할 때 발생하는 근본적인 딜레마를 식별합니다:

1. 모든 단계를 단일 라벨 아래로 그룹화하는 것은 진화적 구조를 평면화하여 심각한 클래스 내 특징 간섭(intra-class feature interference)을 유발합니다.
2. 단계를 별개의 의사 클래스(pseudo-classes)로 분리하는 것은 기저에 있는 정체성 연결을 끊어버려 의미론적 일관성을 유지하지 못하게 합니다.

이는 새로운 형태의 **클래스 내 망각(intra-class forgetting)**으로 이어집니다. 즉, 모델이 확장되는 라벨 공간 내에서 서로 다른 클래스를 성공적으로 구별하더라도, 동일한 의미론적 클래스의 서로 다른 형태적 단계 간의 인식 일관성을 유지하는 데 실패하게 됩니다. 표준 도메인 시프트 프로토콜은 확장되는 라벨 공간 내에서 이러한 클래스 조건부 정체성 보존을 명시적으로 평가하지 않습니다.

방법론: STAGE 프레임워크
Stage-CIL을 해결하기 위해 저자들은 안정적인 의미론적 정체성과 단계별 역동성을 분리하도록 설계된 진화 인지형 참조 베이스라인인 STAGE를 제안합니다. 이 프레임워크는 "예측 후 분류(predict-then-classify)" 파이프라인에 따라 작동합니다:

1. 정체성 앵커 구축 (Phase 0):

   • 모델은 백본(사전 학습된 모델, 구체적으로 CLIP ViT-B/16)을 동결하고 태스크별 이미지 및 텍스트 투영 헤드(projection heads)를 학습합니다.
   • 각 새로운 클래스에 대해, 초기 형태적 단계(Stage-0)를 기반으로 안정적인 정체성 프로토타입($p^y_0$)을 구축합니다. 이 프로토타입은 고정된 벡터로 저장되며 의미론적 앵커 역할을 합니다.

2. 메모리 풀을 통한 예측적 진화 (Phase 1):

   • 혼합된 단계의 특징들로 앵커를 교체하는 대신, STAGE는 Stage-0 앵커를 사용하여 이후 단계(Stage-1)의 진화된 클래스 프로토타입($\hat{p}^y_1$)을 예측합니다.
   • 이는 재사용 가능한 변환 패턴을 포함하는 고정 크기의 학습 가능한 메모리인 **진화 인지형 메모리 풀(Evolution-aware Memory Pool)**을 통해 수행됩니다.
   • 모델은 어텐션 메커니즘을 사용하여 현재 클래스 앵커와 가장 잘 일치하는 상위-$k$개의 패턴을 풀에서 선택합니다.
   • 진화 네트워크($E$)는 현재 앵커에 잔차 업데이트(residual update)를 적용하여 Stage-1 프로토타입을 예측합니다: $\hat{p}^y_1 = p^y_0 + E(p^y_0, c^y)$.

3. 분류 및 학습 목적 함수:

   • 단계 불가지론적 분류 (Stage-Agnostic Classification): 추론 시에는 단계 라벨을 사용할 수 없습니다. 모델은 사용 가능한 모든 단계(원래의 앵커 또는 예측된 진화 프로토타입) 중 가장 잘 일치하는 프로토타입에 대해 로짓(logits)을 계산하여 입력을 분류합니다.
   • 손실 함수: 학습 목적 함수는 표준 교차 엔트로피와 특정 항들을 결합합니다:
     • 진화 손실 ($L_{evo}$): 예측된 Stage-1 프로토타입과 실제 Stage-1 프로토타입 사이의 거리를 최소화하여, 예측된 변위 방향을 실제 값과 정렬합니다.
     • 패턴 리허설 ($L_{pattern}$): 메모리 풀 내의 이전에 학습된 패턴들에 대해 진화 예측기가 일관성을 유지하도록 하여, 변환 연산자가 임의로 변경되는 것을 방지합니다.
     • 프로토타입 리허설 ($L_{proto}$): 고정된 앵커 공간과의 정렬을 유지하여 클래스 간 변별력을 보존합니다.

벤치마크: Stage-Bench
저자들은 Stage-CIL에 특화된 최초의 멀티 도메인 벤치마크인 Stage-Bench를 소개합니다.

• 범위: 10개의 다양한 의미론적 도메인(동물, 식물, 인공물)을 포괄하며, 도메인당 20개의 클래스로 구성되어 총 400개의 형태적 단계를 다룹니다.
• 프로토콜: 2단계 체제(Stage-0: 초기 형태; Stage-1: 진화된 형태)를 사용하며, 통제된 점진적 학습 프로토콜을 따릅니다.
• 지표: 표준 평균 정확도 외에도, 벤치마크는 두 가지 진단 지표를 도입합니다:
  • 클래스 간 망각 (Inter-class Forgetting, Inter-F): 이전에 학습된 클래스들의 정확도 하락을 측정합니다.
  • 클래스 내 망각 (Intra-class Forgetting, Intra-F): 모델이 이후 단계의 데이터로 업데이트된 후, 클래스의 가장 이른 형태적 단계에 대한 성능 저하를 구체적으로 측정합니다. 이는 단계 간의 정체성 일관성 저하를 격리하여 측정합니다.

주요 결과
Stage-Bench에서의 광범한 실험은 다음을 입증합니다:

• 기존 방법의 한계: 최신 CIL 및 도메인 점진적 학습(DIL) 방법들(예: iCaRL, L2P, DualPrompt, MOS, SimpleCIL)은 Stage-CIL 환경에서 현저히 낮은 성능을 보입니다. 이들은 높은 Intra-F 점수를 나타내며, 이는 진화하는 형태 간의 정체성 일관성을 유지하는 데 실패함을 의미합니다.
• STAGE의 성능: STAGE는 모든 경쟁 모델을 일관되게 능가합니다. 주요 2단계 벤치마크에서 STAGE는 **75.11%**의 평균 정확도와 **56.44%**의 최종 정확도를 달eric하며, 이는 차순위 방법인 MOS(평균 정확도 59.74%)를 크게 상회하는 수치입니다.
• 망각 감소: STAGE는 망각을 획기적으로 줄여, 타 방법들이 24.44%~58.61%의 Intra-F를 기록할 때 **7.48%**의 Intra-F를 달성했습니다.
• 일반화 능력: 재구성된 3단계 설정(Object 도메인) 테스트에서도 STAGE는 **0.31%**라는 낮은 Intra-F를 기록하며 명확한 우위를 유지하였으며, 이는 이 접근 방식이 더 복잡한 진화 체제로 확장 가능함을 시사합니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장합니다:

1. Stage-CIL의 공식화: 표준 CIL 및 DIL과 구별되는, 클래스 내 형태적 진화에 따른 의미론적 정체성 보존 문제를 명시적으로 다루는 새로운 지속 학습 설정을 확립했습니다.
2. 벤치마킹: 이전 벤치마크들이 포착하지 못했던 클래스 내 망각을 엄격하게 평가하고 격리할 수 있는 Stage-Bench와 관련 진단 지표(Inter-F 및 Intra-F)를 제공합니다.
3. 개념 증명: STAGE를 통해 저자들은 단계적 변환의 명시적 모델링이 클래스 내 망각 문제를 해결하기 위한 유망하고 실행 가능한 방향임을 입증했습니다. 안정적인 정체성 앵커와 동적인 변환 패턴을 분리함으로써, 이 프레임워크는 초기 표현으로부터 이후의 형태적 모습을 예측할 수 있게 하여 "클래스 내 망각" 문제를 효과적으로 완화합니다.

저자들은 기존의 CIL 방식(단계 구조를 무시하는 방식)은 진화하는 클래스에 부적절하며, 미래의 지속 학습 시스템은 반드시 의미론적 범주 내의 시간적, 단계별 진화를 고려해야 한다고 결론짓습니다.