Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning

1. 연구 배경 및 문제 정의 (Problem)

클래스 증분 학습 (Class-Incremental Learning, CIL) 은 새로운 클래스가 순차적으로 유입되는 환경에서 단일 분류기를 구축하고, 이전에 학습한 지식을 유지하면서 새로운 지식을 습득하는 것을 목표로 합니다. 최근 대규모 사전 학습 모델 (PTM, Pre-trained Models) 을 기반으로 한 CIL 이 주목받고 있으며, 주로 프롬프트 (Prompt) 나 어댑터 (Adapter) 와 같은 경량 모듈을 사용하여 파라미터 효율성을 높입니다.

그러나 기존 PTM 기반 CIL 방법론은 다음과 같은 근본적인 한계를 겪고 있습니다:

• 작업 공간의 얽힘 (Subspace Entanglement): 서로 다른 작업 (Task) 의 특징 공간이 중첩되거나 겹칠 때, 모델이 각 작업 간의 상관관계를 명시적으로 학습하지 못합니다.
• 경직된 라우팅: 프롬프트 기반 방법은 단순한 유사도 계산에 의존하여 작업 공간이 겹칠 경우 잘못된 프롬프트를 선택하거나, 어댑터 기반 방법은 각 어댑터를 독립적으로 취급하여 작업 간 지식 전파를 방해합니다.
• 기억 상실 (Catastrophic Forgetting): 작업 식별 정보 (Task Identity) 가 없는 테스트 시나리오에서, 새로운 작업 학습이 기존 지식을 덮어쓰거나 편향된 예측을 초래합니다.

이러한 문제들을 해결하기 위해, 샘플과 각 작업 모듈 간의 관련성 (Relevance) 을 정량화하고, 이를 학습 단계의 지식 전이와 추론 단계의 적응형 라우팅에 일관되게 적용할 수 있는 통일된 메커니즘이 필요합니다.

2. 제안 방법론: QKD (Quantum-Gated Task-interaction Knowledge Distillation)

저자들은 양자 게이트 (Quantum Gating) 를 활용하여 작업 간 상호작용을 모델링하는 새로운 프레임워크 QKD 를 제안합니다. 이 프레임워크는 사전 학습된 백본 (ViT) 을 고정하고, 각 작업마다 경량 어댑터를 할당하는 구조를 기반으로 합니다.

2.1. 양자 게이트 작업 변조 (Quantum-Gated Task Modulation, QGTM)

샘플과 과거 작업 간의 복잡한 기하학적 상호 정보를 정량화하기 위해 양자 회로를 도입합니다.

1. 작업 임베딩 생성: 각 과거 작업의 어댑터 파라미터를 스택하고, SVD(특이값 분해) 를 통해 주요 성분을 추출하여 작업 임베딩 벡터를 생성합니다.
2. 양자 인코딩: 현재 샘플의 특징과 과거 작업 임베딩을 고차원 힐베르트 공간 (Hilbert Space) 으로 매핑합니다.
   • 단일 큐비트 회전 ($R_y$) 을 통해 데이터를 인코딩합니다.
   • 학습 가능한 변이 파라미터 ($\theta$) 를 적용하여 적응력을 높입니다.
   • CNOT 게이트를 사용하여 인접한 큐비트 간의 얽힘 (Entanglement) 을 생성하고, 작업 간 복잡한 다중 의존성을 포착합니다.
3. 상관관계 점수 산출: 양자 상태의 충실도 (Fidelity) 를 측정하여 현재 샘플과 각 과거 작업 간의 관련성 점수 ($p_i$) 를 도출합니다.
4. 스파스 정규화: 노이즈가 많은 관련성이 낮은 작업의 간섭을 줄이기 위해 L1 정규화를 적용하여 중요한 작업에 집중하도록 유도합니다.
5. 가중치 생성: Softmax 를 통해 정규화된 샘플 - 작업 관련성 계수 ($\alpha_i$) 를 생성합니다. 이는 추론 시 어댑터 선택/융합의 가중치로 사용됩니다.

2.2. 작업 상호작용 지식 증류 (Task-Interaction Knowledge Distillation, TIKD)

양자 게이트에서 도출된 관련성 계수 ($\alpha_i$) 를 활용하여 지식 증류 과정을 안내합니다.

• 기존 증류 방식 (Logits 기반) 과 달리, 양자 기반 관련성 점수를 가중치로 사용하여 과거 어댑터의 특징 (Feature) 을 현재 어댑터로 전이합니다.
• 손실 함수: $L_{QKD} = \sum \alpha_i \cdot KL(\sigma(z^{(i)}_t) || \sigma(z^{(new)}_t))$
• 이 방식은 관련성이 높은 작업의 지식은 선택적으로 흡수하고, 관련성이 낮은 작업의 간섭은 억제하여 작업 공간의 분리를 촉진합니다.

2.3. 전체 최적화

분류 손실 ($L_{CE}$), 양자 게이트 지식 증류 손실 ($L_{QKD}$), 그리고 희소성 정규화 ($L_s$) 를 통합한 목적 함수로 학습합니다.

• 학습 시: 현재 작업의 어댑터와 양자 게이트 네트워크만 업데이트하며, 과거 어댑터는 고정합니다.
• 추론 시: 양자 게이트가 입력 샘플에 대해 각 작업의 관련성 계수를 계산하고, 이를 가중치로 사용하여 여러 어댑터의 출력을 적응적으로 융합하거나 선택합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 양자 컴퓨팅 기반 CIL 라우팅 프레임워크: 작업 공간의 중첩과 간섭을 양자 얽힘과 간섭 현상을 통해 고차원 힐베르트 공간에서 압축적으로 인코딩하여, 샘플 - 작업 관련성을 동적으로 정량화합니다.
2. 관련성 기반 증류 전략: 작업 간 상관관계를 학습된 양자 게이트를 통해 정량화하고, 이를 증류 가중치로 사용하여 관련 있는 작업의 지식만 선택적으로 전이하는 메커니즘을 설계했습니다.
3. SOTA 성능 달성: 5 개의 벤치마크 (CIFAR-100, CUB-200, ImageNet-A/R, VTAB) 에서 기존 최첨단 방법론 (Prompt 기반, Adapter 기반) 을 능가하는 성능을 기록했습니다. 특히, 예시 (Exemplar) 를 전혀 사용하지 않는 환경에서도 뛰어난 성능을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: 5 개의 데이터셋에서 평균 증분 정확도 (Average Accuracy) 와 최종 정확도 (Final Accuracy) 모두에서 기존 SOTA 방법 (L2P, DualPrompt, MoTE 등) 보다 우월한 성능을 보였습니다.
  • 예: CIFAR-100 에서 평균 정확도 94.08% (2 위인 MoTE 대비 +1.02%p 향상).
• 예시 없는 설정 (Exemplar-free): 메모리 제한이 없는 기존 CIL 방법 (iCaRL, DER 등) 이 20 개의 예시를 저장하는 조건에서도, QKD 는 예시를 전혀 저장하지 않고도 더 높은 정확도를 달성했습니다.
• Ablation Study:
  • 양자 게이트 (QGTM), 지식 증류 (TIKD), 희소성 정규화 (Sparsity) 중 하나라도 제거하면 성능이 크게 저하됨을 확인했습니다.
  • 양자 회로를 코사인 유사도나 MLP 로 대체할 경우 성능이 감소하여, 양자 게이트가 복잡한 작업 상호작용을 모델링하는 데 필수적임을 입증했습니다.
• 계산 효율성: 양자 게이트 모듈은 파라미터 수가 적고 메모리 사용량이 기존 방법과 비슷하며, 추론 지연 (Latency) 이 약간 증가하더라도 성능 향상을 고려할 때 수용 가능한 수준입니다.

5. 의의 및 결론 (Significance)

이 논문은 양자 머신러닝 (QML) 과 사전 학습 모델 기반 증분 학습 을 융합하여, 작업 간 공간의 얽힘 문제를 해결하는 새로운 패러다임을 제시했습니다.

• 이론적 의의: 고전적인 유사도 기반 라우팅의 한계를 넘어, 양자 상태의 중첩과 간섭을 활용하여 비선형적이고 복잡한 작업 간 의존성을 모델링할 수 있음을 증명했습니다.
• 실용적 의의: 메모리 제약이 엄격한 환경 (예시 없는 학습) 에서도 강력한 일반화 능력을 가지며, 다양한 도메인 (자연 이미지, 생물학적 이미지 등) 에서 일관된 성능을 보여 실제 적용 가능성을 높였습니다.

결론적으로 QKD 는 증분 학습 과정에서 발생하는 '기억 상실'과 '작업 간 혼란'을 양자 게이트 메커니즘을 통해 효과적으로 완화하며, 차세대 증분 학습 시스템의 중요한 방향성을 제시합니다.