🤖 AI

Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

이 논문은 외부의 무레이블 데이터를 활용하여 클래스 증분 반복 (CIR) 환경에서 모델의 안정성과 가소성을 동시에 향상시키기 위해 다단계 지식 증류와 동적 자기지도 학습을 제안하며, 이를 통해 CVPR 5th CLVISION 챌린지에서 2 위를 달성했다고 요약할 수 있습니다.

원저자: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎓 배경: AI 의 '기억력' 문제

일반적으로 AI 는 새로운 과목 (새로운 사물) 을 배울 때, 예전에 배운 과목 (이전에 본 사물) 을 잊어버리는 **'재앙적 망각 (Catastrophic Forgetting)'**이라는 병에 걸리기 쉽습니다.

이 논문에서 다루는 상황은 조금 더 현실적입니다.

전통적인 방식: 매번 완전히 새로운 사물만 등장한다. (예: 1 단계는 고양이, 2 단계는 개, 3 단계는 말...)
이 논문의 상황 (CIR): 새로운 사물이 나오기도 하지만, 이전에 본 사물들이 다시 섞여 나오기도 한다. (예: 1 단계는 고양이, 2 단계는 고양이와 개, 3 단계는 고양이, 개, 말...)

여기서 핵심은 **"라벨이 붙지 않은 엄청난 양의 인터넷 사진 (데이터)"**을 활용할 수 있다는 점입니다. 하지만 이 사진들은 정답 (라벨) 이 없어서 AI 가 직접 공부해야 합니다.

🚀 이 논문이 제안한 두 가지 핵심 기술

이 팀은 AI 가 새로운 것을 배우면서도 (유연성), 예전 지식을 잊지 않게 (안정성) 하기 위해 두 가지 비법을 개발했습니다.

1. 다단계 지식 증류 (MLKD): "선배들의 노트를 모두 참고하라"

비유: 대학생이 시험을 볼 때, 단순히 '지금 배우는 교재'만 보는 게 아니라, **과거에 공부했던 선배들의 노트 (이전 모델)**를 여러 권 빌려서 비교하며 공부하는 상황입니다.
어떻게 작동하나요?
- AI 는 과거에 학습했던 여러 버전의 모델을 기억해 둡니다.
- 새로운 데이터를 볼 때, 단순히 정답만 맞추는 게 아니라, 과거의 모델들이 어떻게 생각했는지 (특징과 예측 값) 를 모두 참고합니다.
- 특히, 인터넷에서 가져온 사진들은 정답이 없기 때문에 AI 가 혼란스러울 수 있습니다. 이때 과거 모델들의 '생각 패턴 (상관관계)'을 분석해서 "아, 이 사진은 저런 특징을 가진 것 같구나"라고 교정해 줍니다.
- 효과: 새로운 것을 배우면서도 예전 지식이 흐트러지지 않게 단단하게 잡아줍니다.

2. 동적 자기지도 학습 (Dynamic SSL): "초보 때는 놀고, 숙련되면 집중하라"

비유: 새로운 직장에 들어온 신입사원 (AI) 이라고 상상해 보세요.
- 초기: 회사 업무 (주요 과제) 를 배우는 동시에, **회사 내의 잡다한 물건들을 분류하는 게임 (자기지도 학습)**을 통해 눈과 손의 감각을 익히는 것이 좋습니다. 이때는 게임에 많은 시간을 투자해도 됩니다.
- 후기: 직장에 적응하고 나면, 이제는 잡다한 게임보다는 **실제 업무 (주요 과제)**에 집중해야 합니다. 게임에 시간을 너무 쓰면 본업이 늦어지니까요.
어떻게 작동하나요?
- 라벨이 없는 인터넷 사진들을 이용해 AI 가 스스로 특징을 찾아내는 훈련 (자기지도 학습) 을 시킵니다.
- 하지만 이 훈련의 비중을 시간이 지날수록 자연스럽게 줄여갑니다.
- 처음에는 새로운 것을 빠르게 배우기 위해 이 훈련을 많이 시키고, 나중에는 기존 지식을 유지하며 본업 (이미지 분류) 에 집중하도록 조절합니다.
- 효과: 새로운 것을 빠르게 익히면서도, 본래 해야 할 일을 망각하지 않게 해줍니다.

🏆 결과: 왜 이 방법이 좋을까요?

이 두 가지 방법을 합치니 AI 는 다음과 같은 능력을 갖게 되었습니다.

안정성: 예전에 배운 '고양이'를 잊지 않고 계속 잘 기억합니다. (지식 증류의 힘)
유연성: 새로운 '새로운 동물'이 나오면, 인터넷의 수많은 사진들을 통해 빠르게 특징을 파악하고 적응합니다. (동적 자기지도 학습의 힘)

실험 결과:

아무런 기술 없이 그냥 학습하면 (Fine-tuning): 5.82% (완전 망각)
기본 기술만 쓴 경우: 19.54%
이 논문의 기술 (MLKD + Dynamic SSL) 적용: 42.00% (압도적인 2 위 달성!)

💡 한 줄 요약

"AI 에게 **과거의 선배 노트 (다단계 지식 증류)**를 참고하게 하고, 초보 때는 잡다한 놀이 (자기지도 학습) 로 감각을 익히다가 나중에는 본업에 집중하도록 조절하니, 새로운 것을 배우면서도 예전 지식을 잊지 않는 완벽한 학생이 되었습니다."

이 기술은 데이터 저장 비용이나 개인정보 문제 때문에 과거 데이터를 저장할 수 없는 현실적인 상황에서도, AI 가 계속 배우고 성장할 수 있는 길을 열어주었습니다.

기술 요약: CVPR 2024 5th CLVISION 챌린지 (Multi-Level Knowledge Distillation & Dynamic SSL)

1. 문제 정의 (Problem Statement)

이 논문은 기존 **클래스 증분 학습 (Class-Incremental Learning, CIL)**의 한계를 극복하기 위해 **반복적 클래스 증분 학습 (Class-Incremental Learning with Repetition, CIR)**이라는 더 현실적인 시나리오를 다룹니다.

기존 CIL의 한계: 새로운 작업 (Task) 이 도입될 때마다 완전히 새로운 클래스만 등장한다고 가정합니다.
CIR 시나리오: 과거에 학습된 클래스가 미래 작업에서 다시 등장할 수 있으며, 새로운 클래스와 기존 클래스가 혼합되어 나타납니다. 이는 연방 학습의 비-IID 가정이나 온라인 지속 학습의 모호한 작업 경계와 유사합니다.
핵심 제약: 기존 재현 (Rehearsal) 기반 방법은 과거 데이터의 일부를 메모리에 저장하여 재학습하지만, 데이터 프라이버시 및 저장 공간의 제약으로 인해 현실적으로 적용하기 어렵습니다.
해결 방안 제안: 저장된 레이블 데이터를 사용하지 않고, 외부 소스 (인터넷 등) 에서 쉽게 접근 가능한 **레이블 없는 데이터 (Unlabeled Data)**를 활용하여 모델의 **안정성 (Stability, 기존 지식 유지)**과 **가소성 (Plasticity, 새로운 지식 학습)**을 동시에 확보하는 전략을 제안합니다.

2. 방법론 (Methodology)

저자들은 외부 레이블 없는 데이터를 효율적으로 활용하기 위해 두 가지 핵심 컴포넌트를 제안했습니다.

2.1. 다단계 지식 증류 (Multi-Level Knowledge Distillation, MLKD)

기존 지식 증류 (KD) 를 확장하여, 과거의 여러 모델로부터 다양한 관점 (Feature, Logit) 에서 지식을 추출하여 데이터 분포의 변화를 보상합니다.

Feature-Level KD: 이전 모델들의 특징 (Feature) 에서 L2 손실을 통해 지식을 증류합니다. 초기 단계의 특징은 유용한 정보가 적을 수 있으므로, 작업 (Task) 이 진행됨에 따라 Feature KD 손실의 가중치를 선형적으로 증가시킵니다.
Logit-Level KD (Correlation-based): 단순한 인스턴스별 비교는 외부 데이터와 학습 데이터 간의 분포 차이로 인해 해로울 수 있습니다. 이를 해결하기 위해 Gram 행렬을 사용하여 배치 내 인스턴스 간의 상관관계와 클래스 간의 상관관계를 증류합니다.
- $L_{LogitKD}$ 는 현재 배치의 상관관계 ( $G$ ) 와 클래스 상관관계 ( $M$ ) 를 이전 모델과 비교합니다.
Multiple Previous Models & EMA: 단일 모델이 아닌 여러 개의 과거 모델을 유지하고, 현재 모델과 지수 이동 평균 (EMA) 을 통해 점진적으로 업데이트하여 지식 전달의 강건성을 높입니다.

2.2. 동적 자기 지도 학습 (Dynamic Self-Supervised Learning, SSL)

레이블 없는 데이터를 활용하여 모델이 새로운 개념에 적응하는 능력 (가소성) 을 향상시킵니다.

목적: 입력에서 일반화된 특징을 추출하여 미지의 클래스를 식별하고 분류하는 능력을 돕습니다.
동적 가중치 (Dynamic Weighting): SSL 손실이 주 작업 (이미지 분류) 의 성능을 저하시킬 수 있으므로, 작업 번호 $t$ $t$ 에 따라 SSL 손실의 가중치 $\alpha$ $α$ 를 동적으로 조절합니다.
- $\alpha = c \cdot \omega^t$ ( $\omega < 1$ )
- 초기에는 SSL 의 영향을 크게 주어 일반화 능력을 키우고, 시간이 지남에 따라 가중치를 줄여 주 작업 (분류) 에 집중하도록 유도합니다.

2.3. 최종 손실 함수 (Final Loss)

기존의 비동기 교차 엔트로피 (ACE), 로짓 제약 (Logit Constraint), 메모리 버퍼 재현 (Feature/Logit Replay) 을 기반으로 MLKD 와 Dynamic SSL 을 결합한 최종 손실 함수를 구성합니다.

3. 주요 기여 (Key Contributions)

CIR 환경에서의 새로운 접근법: 레이블 없는 외부 데이터를 활용하여 프라이버시 문제 없이 지속 학습을 수행하는 프레임워크를 제시했습니다.
MLKD 제안: 여러 과거 모델의 특징과 로짓 상관관계를 다단계로 증류하여 데이터 분포 변화 (Distribution Shift) 를 극복하고 지식 유지력을 극대화했습니다.
Dynamic SSL 전략: SSL 의 일반화 이점을 취하면서도 주 작업의 성능 저하를 막기 위한 동적 가중치 조정 메커니즘을 도입했습니다.
성능 입증: ImageNet-1K 서브셋을 기반으로 한 CVPR 5th CLVISION 챌린지에서 2 위를 차지하며 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

데이터셋: ImageNet-1K 의 130 개 클래스 (새, 해양 생물, 벌레) 로 구성된 50 개의 작업 (Experience) 스트림.
제약 조건: GPU 메모리 8GB, 시간 제한 600 분, 메모리 버퍼 200 개 예시 (각 1,024 float 미만).
성능 비교 (최종 정확도):
- Fine-tuning: 5.82% (기억 상실 심각)
- Baseline (Local CE + Feature Replay): 19.54%
- Baseline + Dynamic SSL: 23.82%
- Baseline + MLKD: 39.82%
- Ours (Baseline + Dynamic SSL + MLKD): 42.00%
Ablation Study:
- MLKD 구성 요소 (Feature KD, EMA, Correlation Logit KD, Multiple Models) 를 모두 결합했을 때 최적의 성능을 보였습니다.
- 과거 모델 수는 3 개일 때 최적 (42.00%) 이었으며, 4 개 이상은 중복성으로 인해 성능이 약간 하락했습니다.
- SSL 방식으로는 회전 예측 (Rotation Prediction) 이 SimCLR, SimSiam 등 다른 최신 방법보다 더 좋은 성능을 보였습니다 (대형 배치 및 긴 학습 시간 제약 때문).
- SSL 에 동적 가중치를 적용하지 않을 경우 (40.76%) 보다 적용 시 (42.00%) 성능이 향상되어 동적 조절의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 데이터 프라이버시와 저장 공간의 제약이 있는 현실적인 환경에서, 레이블 없는 외부 데이터를 효과적으로 활용하여 지속 학습의 안정성과 가소성을 동시에 해결할 수 있음을 증명했습니다.

MLKD는 과거 지식의 손실을 방지하고 분포 변화를 보정하는 강력한 도구로 작용했습니다.
Dynamic SSL은 새로운 클래스 학습을 가속화하면서도 주 작업의 성능을 유지하는 균형을 잡았습니다.
이 두 가지 기법의 결합은 기존 지속 학습 베이스라인을 크게 개선하여, CVPR 2024 CLVISION 챌린지 2 위라는 성과를 거두었습니다. 이는 외부 데이터를 활용한 재현 없는 (Rehearsal-free) 지속 학습의 가능성을 크게 확장한 의미 있는 결과입니다.