From Isolation to Integration: Building an Adaptive Expert Forest for Pre-Trained Model-based Class-Incremental Learning

이 논문은 사전 학습된 모델을 기반으로 클래스 증분 학습을 수행할 때, 작업 간 의미론적 관계를 활용하여 어댑터를 계층적으로 조직화하고 통합하는 'SAEF(Semantic-guided Adaptive Expert Forest)'를 제안하여 기존 방법의 한계를 극복하고 최첨단 성능을 달성함을 보여줍니다.

핵심

🧠 문제: "모든 것을 다 기억하는 게 답일까?"

기존의 인공지능 (CIL) 은 새로운 과목 (예: 고양이, 자동차) 을 배울 때마다 **새로운 비서 (Adapter)**를 고용합니다.

• 기존 방식의 문제점: 비서들이 각자 따로따로 일합니다. "고양이"를 아는 비서와 "강아지"를 아는 비서가 서로 대화도 안 하고, "동물"이라는 공통된 개념을 공유하지도 않습니다.
• 결과: 새로운 질문이 들어오면, 모든 비서를 불러모아 "누가 답을 알까?"라고 물어봐야 합니다. 비서 수가 100 명이면 100 명을 다 불러야 하니까 시간이 너무 오래 걸리고, 비서들끼리 서로 헷갈려서 정답을 못 찾을 수도 있습니다.

✨ 해결책: "SAEF(지능형 전문가 숲)"

이 논문은 이 비서들을 무질서한 방에 두는 대신, **똑똑한 조직도 (나무와 숲)**로 정리해 주자는 아이디어를 제안합니다. 이를 **SAEF(Semantic-guided Adaptive Expert Forest)**라고 부릅니다.

1. 단계 1: "비서들을 부서에 배치하라" (개념 군집화)

새로운 비서 (지식) 가 들어오면, 그냥 무작정 넣지 않습니다.

• 비유: "고양이"와 "강아지"를 아는 비서는 **'동물부서'**로, "트럭"과 "버스"를 아는 비서는 **'차량부서'**로 모으는 것입니다.
• 효과: 이제 질문이 들어오면, 모든 비서를 다 부를 필요 없이 "동물부서"만 먼저 확인하면 됩니다.

2. 단계 2: "팀장들을 만들어라" (계층적 나무 구조)

각 부서 (예: 동물부서) 안에서도 비서들을 더 세분화합니다.

• 비유:
  • "고양이" 비서와 "호랑이" 비서를 묶어 **"고양이과 팀장"**을 만듭니다.
  • "개" 비서와 "늑대" 비서를 묶어 **"개과 팀장"**을 만듭니다.
  • 그리고 이 두 팀장을 묶어 **"동물부서 총괄"**을 만듭니다.
• 효과: 이렇게 하면 나무 (Tree) 구조가 생깁니다. 질문이 들어오면, 가장 아래 (세부 지식) 까지 내려갈 필요 없이, 중간에 있는 팀장이 "아, 이건 고양이과 문제구나"라고 판단해서 빠르게 답을 줄 수 있습니다.

3. 단계 3: "가장 유능한 전문가만 불러라" (적응형 추론)

이제 실제 질문 (예: "이건 뭐야?") 이 들어오면 어떻게 할까요?

• 기존 방식: 모든 비서 (100 명) 가 답을 내서 투표합니다. (느리고 혼란스러움)
• SAEF 방식:
  1. 숲 (Forest) 전체를 훑어봅니다. "동물부서"와 "차량부서" 중 어느 쪽이 더 관련 있어 보일지 판단합니다.
  2. 가장 관련 있는 부서 (나무) 로만 들어갑니다.
  3. 나무를 타고 내려가면서, "내가 이거 잘 알겠는데?"라고 자신감 (Entropy) 이 높은 비서만 골라냅니다.
  4. 최종 답안: 그 소수의 '확신 있는 전문가들'의 의견을 합쳐서 최종 답을 냅니다.

🚀 왜 이것이 대단한가요?

1. 잊지 않습니다 (기억 유지): 새로운 것을 배울 때 예전 비서들의 일을 건드리지 않고, 새로운 팀을 만들어서 정리하므로 예전 지식이 사라지지 않습니다.
2. 상호작용을 합니다 (지식 공유): "고양이"와 "호랑이"를 아는 비서들이 팀을 이루면서 서로의 지식을 공유합니다. 그래서 "호랑이"를 처음 배울 때도 "고양이" 지식을 활용해 더 빨리 배울 수 있습니다.
3. 엄청나게 빠릅니다 (효율성): 100 명을 다 부르는 게 아니라, 가장 관련 있는 34 명만 불러서 답을 내므로 속도가 **56 배** 빨라집니다.

📝 한 줄 요약

"새로운 것을 배울 때, 모든 비서를 무작정 불러모으지 말고, '동물', '차량'처럼 분야별로 팀을 짜고 팀장까지 만들어서, 질문이 들어오면 가장 관련 있는 팀의 전문가들만 빠르게 골라 답을 내게 하세요."

이 방법은 인공지능이 인간의 학습 방식 (개념을 묶고 계층적으로 이해하는 방식) 에 더 가까워지게 만들어, 더 똑똑하고 빠른 AI 를 만드는 데 큰 기여를 합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 클래스 증분 학습 (Class-Incremental Learning, CIL): 모델이 새로운 클래스를 순차적으로 학습하면서도 이전에 학습한 클래스의 성능을 유지 (망각 방지) 해야 하는 과제입니다.
• 기존 방법의 한계:
  • 최근 CIL 연구는 대규모 사전 학습 모델 (PTM) 의 백본을 고정하고, 각 태스크마다 경량 어댑터 (Adapter) 나 프롬프트를 학습하는 방식이 주류를 이루고 있습니다.
  • 기존 접근법 (예: EASE, MOS 등) 은 각 태스크별 어댑터를 구조화되지 않은 단순한 풀 (Unstructured Pool) 로 취급합니다.
  • 문제점:
    1. 비효율적인 추론: 모든 어댑터의 예측을 앙상블하거나 전체를 검색해야 하므로 추론 비용이 높습니다.
    2. 지식 공유의 부재: '개'와 '고양이'처럼 의미적으로 유사한 태스크 간의 관계를 활용하지 못합니다. 모든 태스크를 동등하게 취급하여 불필요한 간섭 (Negative Interference) 이 발생하거나, 지식 전이가 비효율적으로 이루어집니다.
    3. 전역적 공유의 비효율성: 모든 태스크에 걸쳐 단일 전역 모듈을 공유하는 방식은 너무 포괄적이며, 태스크 간의 계층적/맥락적 관계를 반영하지 못합니다.

2. 제안 방법: SAEF (Semantic-guided Adaptive Expert Forest)

저자들은 의미 기반 적응형 전문가 숲 (SAEF) 을 제안하여, 분리된 어댑터들을 구조화된 계층적 지식 베이스로 재구성합니다. 이 과정은 크게 세 단계로 이루어집니다.

2.1. 개념 클러스터링 (Conceptual Clustering)

• 목표: 학습된 태스크들을 의미적 유사성에 따라 고수준의 개념 군집 (Conceptual Clusters) 으로 그룹화합니다. (예: '동물' 군집, '차량' 군집)
• 구현:
  • 시맨틱 프로토타입: CLIP 의 텍스트 인코더를 사용하여 각 클래스 이름 (예: "a photo of a [CLASS]") 의 임베딩 평균을 계산합니다.
  • 시각적 프로토타입: PTM 의 특징 추출기와 첫 번째 태스크 어댑터를 사용하여 학습 데이터의 특징 벡터 평균을 계산합니다.
  • 클러스터링: 시맨틱 프로토타입을 기반으로 K-Means 알고리즘을 적용하여 태스크를 $K$개의 군집으로 나눕니다. 최적의 $K$값은 실루엣 점수 (Silhouette Score) 를 최대화하는 값으로 자동 결정됩니다.

2.2. 계층적 구성 (Hierarchical Construction)

• 목표: 각 개념 군집 내에서 이진 트리 형태의 '전문가 숲 (Expert Forest)'을 구축합니다.
• 구현:
  • 하향식 병합 (Bottom-up Merging): 각 군집 내에서 시각적 프로토타입이 가장 유사한 두 어댑터 (리프 노드) 를 찾습니다.
  • 새로운 어댑터 생성: 두 자식 어댑터의 파라미터를 병합하여 부모 어댑터를 생성합니다.
    • 파라미터 병합 공식: $\theta_p \leftarrow \text{sign}(\theta_i + \theta_j) \odot \max(|\theta_i|, |\theta_j|)$
    • 이 연산은 두 신호의 우세한 성분을 보존하면서 방향을 일치시킵니다.
  • 글로벌 전문가: 각 군집의 트리 루트를 다시 병합하여 단일 '글로벌 전문가 (Global Expert)'를 생성합니다. 이를 통해 전체 숲의 진입점을 제공합니다.

2.3. 적응형 추론 (Adaptive Inference)

• 목표: 입력 데이터에 대해 가장 관련성 높은 전문가들만 동적으로 활성화하여 예측합니다.
• 구현:
  • 병렬 탐색: $K$개의 트리 각각에서 루트 노드부터 시작하여, 입력 데이터에 대해 예측 엔트로피 (Predictive Entropy) 가 낮은 쪽 (더 확신 있는 쪽) 으로 재귀적으로 이동합니다.
  • 활성화 집합: 글로벌 전문가와 각 트리에서 찾은 최적 경로상의 모든 전문가를 활성화 집합 ($E$) 에 포함시킵니다.
  • 엔트로피 기반 퓨전: 각 활성화된 전문가의 예측을 그 신뢰도 (엔트로피의 역수) 에 비례하는 가중치로 가중 평균하여 최종 예측을 도출합니다.
    • 가중치 공식: $w_n \propto \exp(-H(z_n)/\tau)$

3. 주요 기여 (Key Contributions)

1. 구조화된 지식 재사용: 분리된 태스크 어댑터들을 의미적 계층 구조 (Expert Forest) 로 자동 구성하여, 태스크 간 관계를 활용한 체계적인 지식 공유를 가능하게 했습니다.
2. 동적 추론 전략: 계층 구조를 탐색하여 관련 전문가만 활성화하는 다중 경로 탐색 및 엔트로피 기반 퓨전 메커니즘을 설계하여, 강건한 예측과 효율적인 추론을 동시에 달성했습니다.
3. SOTA 성능 달성: 다양한 CIL 벤치마크 (CIFAR-100, ImageNet-R, ImageNet-A, ObjectNet) 에서 기존 최첨단 (SOTA) 방법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능:
  • CIFAR-100: 평균 정확도 94.53% (기존 SOTA 대비 향상).
  • ImageNet-R: 평균 정확도 84.54% (강력한 경쟁자 SSIAT 대비 1.34% 향상).
  • ObjectNet: 10 태스크 장기 학습 시 76.38% 의 정확도로, 리허설 (Rehearsal) 기반 방법 (FOSTER 등) 을 크게 상회했습니다.
• 효율성:
  • 추론 속도: 전체 어댑터를 검색하는 'Flat Structure' 대비 약 5.9 배 빠른 추론 속도를 달성했습니다 (엔트로피 임계값 $\tau_e$ 조절을 통해 가속화 가능).
  • 학습 효율성: PTM 기반 어댑터 학습의 이점을 유지하며, 오프라인 계층 구성 비용은 매우 낮습니다.
• 분석:
  • 구성 요소 분석: 계층 구성, 적응형 추론, 개념 클러스터링 각 단계가 순차적으로 성능을 향상시키는 것을 확인했습니다.
  • 구조적 분석: 단일 트리 ($K=1$) 나 평면 구조 ($K=T$) 보다 자동 결정된 균형 잡힌 숲 구조 ($K=2$) 가 최적의 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 클래스 증분 학습에서 지식의 구조화가 단순한 파라미터 분리보다 훨씬 효과적임을 증명했습니다.

• 이론적 의의: 태스크 간의 의미적 관계를 계층적 트리 구조로 매핑함으로써, 관련 없는 태스크 간의 간섭을 방지하고 관련 태스크 간의 지식 전이를 극대화하는 메커니즘을 제시했습니다.
• 실용적 의의:
  • 리소스 효율성: 리허설 (과거 데이터 저장) 이 없이도 강력한 성능을 발휘하며, 추론 시 필요한 계산량을 획기적으로 줄여 에지 디바이스나 로봇 시스템과 같은 리소스 제약 환경에 적합합니다.
  • 확장성: 학습되는 태스크의 수가 증가할수록 성능 격차가 벌어지는 것을 통해, 제안된 방법이 장기적인 CIL 시나리오에서 우수한 확장성을 가짐을 보여줍니다.

결론적으로, SAEF 는 기존 어댑터 기반 CIL 의 '분리된 풀' 패러다임을 '통합된 계층적 숲' 패러다임으로 전환하여, 정확도와 효율성 모두에서 새로운 기준을 제시한 연구입니다.