기술 요약: 클래스 점진적 학습을 위한 HERMAN

문제 정의

클래스 점진적 학습(Class-Incremental Learning, CIL)은 이전 단계에서 학습한 범주에 대한 지식을 보존하면서 새로운 클래스를 지속적으로 습득하는 것을 목표로 한다. 이 환경의 주요 과제는 새로운 정보를 학습할 때 기존 정보에 대한 성능이 저하되는 **파괴적 망각(catastrophic forgetting)**이다. 최근의 접근 방식들은 강력한 교차 모달 정렬(cross-modal alignment)과 사전 지식을 제공하기 위해 CLIP과 같은 사전 학습된 모델을 활용하지만, 기존의 CLIP 기반 CIL 방법들은 두 가지 결정적인 한계를 갖는다:

1. 취약한 지식 표현(Brittle Knowledge Representation): 대부분의 방법은 최종 시각 레이어와 고정된 텍스트 템플릿(예: "a photo of a [CLASS]") 사이의 단일 수준의 조립한(coarse-grained) 정렬에 의존한다. 이는 미세한 차이(예: "늑대"와 "개"를 구분하는 것)를 위한 정밀한 업데이트를 거친 개념(예: "개과" 대 "고양이과")에 사용되는 것과 동일한 의미 공간으로 강제한다. 결과적으로, 새로운 세부 사항에 대한 업데이트가 의도치 않게 결정 경계를 이동시켜 기존 클래스의 성능을 저하시킬 수 있다.
2. 계층적 의미론의 활용 미흡(Underutilization of Hierarchical Semantics): CLIP의 시각 및 텍나 인코더는 거친 개념부터 미세한 속성에 이르기까지 다층적인 특징과 기술자(descriptor)를 본질적으로 포착한다. 그러나 기존 방법들은 주로 최종 레이어에만 집중하며 이러한 중간 표현들을 무시한다.

방법론: HERMAN

저자들은 CLIP 기반 CIL 내에서 계층적 의미론을 구조화, 정렬 및 적응적으로 라우팅하도록 설계된 프레임워크인 HERMAN(HiErarchical Representation MAtchiNg)을 제안한다. 이 방법은 세 가지 핵심 구성 요소로 이루어진다:

1. 계층적 표현 매칭 (Hierarchical Representation Matching)

단일 고정 프롬프트를 사용하는 대신, HERMAN은 **대규모 언어 모델(LLM)**을 활용하여 각 클래스에 대해 거친 식별 단서부터 미세한 시각적 세부 사항에 이르는 $M$개의 텍스트 기술자 세트를 생성한다.

• 텍스트 생성: 클래스 $i$에 대해, LLM은 $T_i = \{t_{i,1}, \dots, t_{i,M}\}$ 형태의 기술자를 재귀적으로 생성한다. 예를 들어, "Aston Martin Virage"의 경우, 기술자는 "스포츠카"(거친 수준)에서 "조각된 측면 패널"(미세한 수준)까지 다양하다.
• 다층 정렬: 이 기술자들은 CLIP 텍스트 인코더를 통해 인코딩되어 계층적 텍스트 공간을 형성한다. 모델은 이러한 텍스트 임베딩을 (최종 레이어뿐만 아니라) CLIP 시각 인코더의 중간 시각 레이어들과 명시적으로 정렬한다.
• Top-K 집계: 노이즈를 줄이기 위해, 모델은 각 시각 레이어에 대해 가장 잘 정렬된 상위 $K$개의 기술자를 선택하고 이를 압축된 텍스트 임베딩 $h_i^b$로 집계한다.

2. 적응형 계층 라우팅 (Adaptive Hierarchy Routing)

다양한 계층적 수준의 중요성이 입력과 작업에 따라 달라진다는 점을 인식하여, HERMAN은 입력 조건부 적응형 라우터를 도입한다.

• 동적 가중치 부여: 경량 선형 레이어가 최종 시각 표현을 기반으로 비음수 가중치 $\beta_i$를 생성한다. 이 가중치는 서로 다른 레이어에서 온 통합 계층적 텍스트 임베딩의 기여도를 동적으로 조절하여 최종 표현 $\tilde{h}_i$를 형성한다.
• 투영 기반 업데이트 (망각 방지): 라우터가 이전 작업에서 학습한 정책을 잊지 않도록 하기 위해, 라우터 가중치는 투영 기반 전략을 사용하여 업데이트된다.
  • 가중치 행렬 $W_r$은 특이값 분해(SVD)를 통해 분해된다.
  • 이전 작업의 라우팅 패턴이 포함된 부분 공간을 보존하기 위해 투영 행렬 $P_{old}$가 구축된다.
  • 새로운 업데이트는 보존된 부분 공간 내의 성분(안정성)과 직교하는 방향(가소성)으로 분해된다. 최종 업데이트는 이를 결합하여 기존 지식을 방해하지 않으면서 새로운 작업에 적응한다.

3. 교차 모달 매칭 및 학습 (Cross-Modal Matching and Training)

프레임워크는 경량 시각 어댑터와 대조 학습 목적 함수를 사용한다.

• 혼합 임베딩: 최종 예측은 혼합 계수 $\lambda$에 의해 제어되는, 집계된 계층적 임베딩 $\tilde{h}_i$와 표준 템플릿 임베딩 $e_i$의 볼록 보간(convex interpolation)을 활용한다.
• 생성적 재생 (Generative Replay): 원본 이미지를 저장하지 않고 망각을 더욱 완화하기 위해, 이 방법은 특징 수준의 생성적 재생을 사용한다. 각 클래스의 최종 시각 토큰($x_{cls}^B$) 분포를 가우시안 분포로 모델링하여, 점진적 학습 중에 의사 특징(pseudo-features)을 샘플링함으로써 과거의 지식을 안정화한다.

주요 기여

1. 계층적 의미 구조화: 본 논문은 단일 레이어 정렬을 넘어, 다층 텍스트 기술자를 생성하고 이를 중간 시각 특징과 정렬하여 구조화된 의미 공간을 만드는 방법을 소개한다.
2. 적응형 라우팅 메커니즘: 새로운 인스턴스에 따라 계층적 기여도를 동적으로 조절하는 새로운 라우터를 도입하여, 필요에 따라 거친 단서 또는 미세한 단서를 우선시할 수 있게 한다.
3. 투영 기반 지속 적응: 라우터에 대한 투영 기반 업데이트 전략은 새로운 작업을 학습하는 것이 이전 작업에 필수적인 라우팅 정책을 덮어쓰지 않도록 보장하여 파괴적 망각을 효과적으로 완화한다.
4. 최첨단 성능: 이러한 구성 요소들의 통합은 지속 학습 시나리오에서 변별력과 견고함을 향상시켜 최첨단 성능을 달 수 있게 한다.

실험 결과

저자들은 다양한 점진적 설정(예: Base0 Inc10, Base50 Inc10) 하에서 9개의 벤치마크 데이터셋(CIFAR100, ImageNet-R, CUB200, StanfordCars, SUN397 포함)에 대해 HERMAN을 평가했다.

• 성능: HERMAN은 평균 정확도($\bar{A}$)와 최종 정확도($A_B$) 측면에서 기존의 최첨단 방법들(L2P, DualPrompt, CODA-Prompt, RAPF, PROOF 포함)보다 1%에서 5% 더 높은 성능을 일관되게 보여주었다.
• 견고성: 이 방법은 클래스 분할에 따른 다양한 랜덤 시드에 대해 안정성을 보여주며, 하이퍼파라미터(예: Top-K 기술자, 혼합 계수 $\lambda$, 투영 파라미터 $\delta, \rho$)의 변화에도 견고함을 유지한다.
• 효율성: HERMAN은 경쟁 방법들보다 적은 학습 시간을 요구하면서도 우수한 성능을 유지하여 계산 효율성이 높다.
• 절제 연구 (Ablation Studies): 실험을 통해 LLM 기술자, 적응형 라우터, 투영 업데이트 등 각 구성 요소가 최종 성능에 긍정적으로 기여함을 확인했다. 특히 투영 메커니즘은 투영이 없는 방법들이 급격한 성능 저하를 겪는 것과 달리, 시간이 지나도 이전 클래스의 시각 및 텍스트 임베딩 간의 코사인 유사도를 높게 유지함을 입증했다.

의의 및 주장

본 논문은 HERMAN이 의미론적 입도(semantic granularities)에 따른 학습을 분리함으로써 기존 CLIP 기반 CIL 방법들의 근본적인 취약성을 해결한다고 주장한다. 미세한 업데이트를 특정 계층 수준으로 격리하고 거친 구분을 고정함으로써, 이 방법은 파괴적인 경계 이동을 방지한다. 저자들은 이 접근 방식이 사전 학습된 모델의 내재된 계층적 능력을 효과적으로 활용하여, 이전 지식을 잊지 않고 새로운 범주에 적응할 수 있는 더 견고한 지속 학습 모델로 변모시킨다고 단언한다. 이 연구는 LLM이 생성한 풍부한 의미론과 시각-언어 모델의 구조적이고 적응적인 정렬을 결적으로 결합하는 잠재력을 강조한다.