기술 요약: 이계 라우팅 혼합 전문가 (CaRE) 를 통한 300 개 이상의 작업으로의 지속적 학습 확장

1. 문제 제기

지속적 학습, 특히 클래스 증분 학습 (CIL) 은 모델이 이전 지식을 망각하지 않고 새로운 작업을 순차적으로 학습할 수 있도록 하는 것을 목표로 합니다. 최근 사전 훈련 모델 (PTM) 과 매개변수 효율적 미세 조정 (PEFT) 을 활용한 접근법들은 유망한 결과를 보여주었으나, 매우 긴 작업 시퀀스 (예: 수백 개의 작업) 로 확장할 때는 상당한 도전에 직면합니다.

식별된 핵심 어려움은 다음과 같습니다:

• 판별적 표현과 포괄적 표현의 균형: 기존 방법들은 특정 클래스에 대해 매우 판별력이 있으면서도, 의미적으로 관련된 과거 작업들로부터 보완적 지식을 활용할 수 있을 정도로 포괄적인 표현을 생성하는 데 종종 어려움을 겪습니다. 거시적 전략 (예: 전역 프롬프트) 은 미세한 보완적 단서를 효과적으로 활용하지 못합니다.
• 다중 수준 국부적 결정: 비전 모델은 네트워크 깊이에 따라 다양한 수준의 추상화를 갖습니다. 정적 라우팅 전략은 각 중간 계층에서 최적의 국부적 결정을 내려 과거 지식을 선택적으로 통합하지 못합니다.
• 확장 가능한 벤치마크의 부재: 대부분의 기존 CIL 벤치마크 (예: CIFAR-100, 표준 ImageNet 하위 집합) 는 소수의 클래스 (종종 100 미만) 로 제한되어 있어, 긴 시퀀스 (100~300 개 이상의 작업) 에 대한 성능 평가에는 적합하지 않습니다. 이로 인해 실제 세계의 무제한 작업 스트림에 대한 기존 방법들의 확장성은 largely 미탐구 상태로 남아 있습니다.

2. 방법론: CaRE 및 BR-MoE

저자들은 동결된 비전 트랜스포머 (ViT) 백본을 기반으로 구축된 CaRE(효율적 이계 라우팅 혼합 전문가를 갖춘 지속적 학습자) 를 제안합니다. 핵심 혁신은 모든 ViT 구성 블록에 통합된 이계 라우팅 혼합 전문가 (BR-MoE) 모듈입니다.

2.1 아키텍처 개요

각 증분 작업 $t$에 대해 CaRE 는 모든 BR-MoE 모듈 내에서 매개변수 효율적 구성 요소의 삼중체를 학습합니다:

1. 클래스 퍼셉트론 ($C_t$): 클래스 수준의 판별 정보를 추출합니다.
2. 라우터 네트워크 ($R_t$): 전문가 선택을 위한 게이팅 계수를 생성합니다.
3. 전문가/어댑터 ($E_t$): 특징 변환을 위한 작업별 어댑터입니다.
   또한, 모든 작업에 걸쳐 지수 이동 평균 (EMA) 으로 업데이트되어 통합된 교차 작업 지식을 인코딩하는 공유 전문가 ($\bar{E}$) 가 유지됩니다.

2.2 이계 라우팅 메커니즘

각 계층의 모든 입력 특징 $z_a$에 대해 라우팅 과정은 두 단계의 동적 단계로 수행됩니다:

1 단계: 동적 라우터 선택

• 입력 특징의 [CLS] 토큰이 모든 학습된 클래스 퍼셉트론 $\{C_t\}$로 입력됩니다.
• 각 퍼셉트론은 해당 작업의 클래스에 대한 확률 분포를 생성합니다.
• 이러한 분포들의 엔트로피가 계산됩니다. 낮은 엔트로피는 입력이 해당 작업에 속할 확신이 높음을 나타냅니다.
• 시스템은 가장 낮은 엔트로피 값 (가장 가능성 높은 작업) 과 관련된 Top-M 라우터 네트워크를 선택합니다. 이를 통해 모델은 의미적으로 가장 관련 있는 과거 작업들로부터 지식을 검색합니다.

2 단계: 동적 전문가 라우팅

• 선택된 $M$개의 라우터 각각은 해당 작업별 전문가 (어댑터) 집합에 대한 게이팅 점수를 생성합니다.
• 각 라우터에 대해, 가장 높은 게이팅 점수를 가진 Top-K 전문가들이 활성화되어 집계됩니다.
• 공유 전문가 ($\bar{E}$) 는 항상 활성화되어 일반 교차 작업 지식으로 표현을 풍부하게 합니다.
• 최종 출력은 집계된 작업별 특징과 공유 전문가의 출력의 합입니다.

2.3 학습 목적

• 분류 손실: 최종 계층에서 표준 각도 패널티 손실이 적용됩니다.
• 클래스 퍼셉트론 감독: 중간 계층에서 견고한 의미적 안내를 보장하기 위해, 각 계층 $\ell$의 클래스 퍼셉트론은 자체 분류 손실뿐만 아니라 최종 계층 소프트맥스 확률에 대한 KL-발산 손실로도 감독됩니다. 이는 중간 계층이 고수준 의미적 추상화를 모방하도록 강제하여 효과적인 국부적 결정을 가능하게 합니다.

3. 주요 기여

3.1 CaRE 프레임워크

CaRE 는 매우 긴 작업 시퀀스 (100~300 개 이상의 비겹침 작업) 로 효과적으로 확장되도록 설계된 최초의 지속적 학습자입니다. 이계 라우팅 메커니즘을 활용하여 판별적 및 포괄적 표현을 모든 중간 네트워크 계층에 동적으로 주입함으로써, 다양한 추상화 수준에서 맞춤형 지식 검색을 가능하게 합니다.

3.2 OmniBenchmark-1K

긴 시퀀스에 적합한 평가 프로토콜의 부재를 해결하기 위해, 저자들은 OmniBenchmark-1K를 도입합니다. OmniBenchmark-V2 에서 선별된 이 데이터셋은 21 개의 비전 영역에 걸쳐 1,000 개의 클래스와 약 190,000 개의 이미지를 포함합니다. 이는 CIFAR-100 과 같은 기존 벤치마크의 한계를 극복하고 수백 개의 작업으로 확장 가능한 CIL 평가를 용이하게 하도록 특별히 설계되었습니다.

3.3 실증적 검증

광범위한 실험은 CaRE 가 다양한 설정에서 최첨단 PTM 기반 CIL 방법 (예: L2P, DualPrompt, TUNA, MOS, MIN) 보다 우수함을 입증합니다:

• 긴 시퀀스: OmniBenchmark-1K 에서 CaRE 는 100, 151, 200, 301 작업 설정 전반에 걸쳐 베이스라인 대비 마지막 정확도 ($A_B$) 에서 상당한 개선을 달성합니다. 예를 들어, 100 작업 및 151 작업에서 각각 $A_B$ 기준으로 TUNA 보다 8.23%, MIN 보다 8.68% 더 우수한 성능을 보입니다.
• 짧은 시퀀스: CaRE 는 또한 5~20 개의 작업을 가진 고전적 벤치마크 (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) 에서도 우수한 성능을 유지하여 시퀀스 길이 전반에 걸친 견고성을 입증합니다.
• 효율성: CaRE 는 MOS 및 TUNA 와 같은 방법에 비해 훨씬 적은 학습 가능 매개변수와 낮은 추론 지연 시간을 사용하면서도 더 높은 정확도를 제공하여 성능과 계산 비용 간의 유리한 균형을 달성합니다.

4. 중요성 및 주장

본 논문은 CaRE 가 데이터 스트림이 비정상적이고 작업 시퀀스가 잠재적으로 무제한일 수 있는 실제 세계 시나리오에서 지속적 학습을 실용화하는 데 중요한 진전을 이루었다고 주장합니다.

• 확장성: 이 연구는 명확한 성능 우위를 유지하면서 CIL 을 300 개 이상의 비겹침 작업으로 성공적으로 확장한 최초의 작업으로 제시됩니다.
• 메커니즘 유효성: 저자들은 이계 라우팅 메커니즘이 (라우터 선택을 통한) 관련 과거 지식의 동적 검색과 (전문가 라우팅을 통한) 보완적 특징의 집적을 모든 계층에서 가능하게 함으로써 "안정성 - 가소성" 딜레마를 효과적으로 해결한다고 주장합니다.
• 커뮤니티 영향: CaRE 코드와 OmniBenchmark-1K 데이터셋을 모두 공개함으로써, 저자들은 이전에 적절한 벤치마크와 확장 가능한 방법의 부재로 인해 저해되었던 극도로 긴 작업 시퀀스에 대한 추가 연구를 고무하고자 합니다.

논문은 CaRE 가 300 개 이상의 작업으로 확장되지만, 모델 복잡도가 여전히 작업 수에 따라 선형적으로 증가한다는 점 (새로운 모듈을 추가하기 때문) 을 겸손하게 인정하며, 향후 작업은 아키텍처 단순화를 더 진행하고 이러한 프로토콜을 비전 - 언어 모델로 확장하는 데 초점을 맞출 수 있다고 결론지습니다.