💻 computer science

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning

이 논문은 학습 가능한 모듈을 분리하고 메트릭 학습을 활용한 확장 가능한 부공간을 사용하여 성능과 계산 비용 사이의 균형을 효과적으로 맞추는 동시에 파괴적 망각을 완화함으로써, 사전 학습된 모델을 활용하는 클래스 증분 학습 방법인 Miles를 제안한다.

원저자: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 개나 고양이에 대해 이미 알고 있는 것을 잊어버리지 않으면서도, 새로운 종류의 새나 희귀한 꽃 같은 새로운 것들을 인식하도록 가르치려 한다고 상상해 보세요. 이것이 바로 **클래스 점진적 학습(Class Incremental Learning, CIL)**의 세계입니다. 과거에는 로봇에게 새로운 개념을 가르치고 싶다면, 로봇의 전체 뇌를 처음부터 다시 훈련시켜야 하는 경우가 많았습니다. 이는 시간이 오래 걸릴 뿐만 아니라, 로봇이 새로운 꽃을 배우는 바람에 갑자기 개를 인식하는 법을 잊어버리는 "파괴적 망각(catastrophic forgetting)" 현상을 일으키기 쉬웠습니다.

이를 해결하기 위해 과학자들은 **사전 학습된 모델(Pre-Trained Models, PTMs)**을 사용하기 시작했습니다. 이것들은 이미 도서관의 모든 책을 읽고 모든 자연 다큐멘터리를 시청하며 수년간 시간을 보낸 로봇과 같습니다. 이들은 세상의 기초적인 것들을 이미 알고 있습니다. 이제 과제는 이 "전문가" 로봇들에게 기존 지식을 망가뜨리거나 기존 지식을 너무 무겁고 느리게 만들지 않으면서, 어떻게 하면 새롭고 구체적인 기술을 가르칠 수 있는가 하는 것입니다. 큰 질문은 이것입니다: 예전 사진들을 대량으로 다시 검토할 필요 없이, 어떻게 하면 전문가의 뇌에 새로운 기술을 효율적으로 추가하면서도 기존의 기술을 날카롭게 유지할 수 있을까요?

여기에 카이 장(Kai Jiang)과 그의 팀이 제안한 새로운 방법인 MILES(Metric Learning with Expandable Subspace)가 등장했습니다. 그들은 이러한 사전 학습된 로봇들이 매우 똑똑함에도 불구하고, 새로운 범주를 배우려고 할 때 아이디어를 저장하는 "정신적 공간"이 혼잡해져서 가끔 혼란을 겪는다는 점에 주목했습니다. 오래된 아이디어와 새로운 아이디어가 서로 겹치기 시작하는 것이죠, 마치 이미 오래된 차들로 가득 찬 차고에 새 차를 주차하려고 하는 것과 같습니다.

이를 해결하기 위해 MILES는 영리한 두 단계 전략을 사용합니다. 첫째, **부공간 프로토타입 투영(Subspace Prototype Projection, SPP)**을 생성합니다. 로봇에게 거대하고 지저치 않은 차고(특징 공간)가 있다고 상상해 보세요. MILES는 각 새로운 태스크를 위한 일련의 작고 전문화된 "미니 차고" 또는 부공간을 구축합니다. 새로운 범주가 도착하면, 로봇은 자신의 특징을 이 새로운 미니 차고로 투영하여, 새로운 항목들을 해당 항목의 "프로토타입"(완벽한 예시) 옆에 깔끔하게 정리함으로써 기존의 관련 없는 항목들과 멀리 떨어뜨려 놓을 수 있습니다. 이것은 당신의 새로운 우표 수집품을 기존의 동전 수집품과 섞이지 않도록 전용 선반을 만드는 것과 같습니다.

하지만 단순히 선반을 만드는 것만으로는 충분하지 않습니다. 로봇의 눈(사전 학습된 모델)이 새로운 태스크의 세부 사항을 충분히 명확하게 보고 있지 않다면 말이죠. 그래서 MILES는 **부공간 표현 확장(Subspace Representation Extension, SRE)**을 추가합니다. 이것은 로봇에게 각 새로운 태스크를 위한 특화되고 가벼운 안경을 씌워주는 것과 같습니다. 이 안경은 로봇의 주 시력을 대체하는 것이 아니라, 보는 과정의 중간 단계에서 약간의 추가 줌과 선명도를 더해줌으로써, 로봇이 전체 뇌를 재구축할 필요 없이 새로운 태스크를 훨씬 더 잘 배울 수 있게 해줍니다.

마지막으로, 연구진은 때때로 로봇이 새로운 태스크에 너무 몰두한 나머지 기존의 것들을 무시하거나, 항목 간의 "거리"가 이상하게 불일치해지는 문제를 발견했습니다. 이를 막기 위해 그들은 **거리 정규화(Distance Regularization, DR)**를 도입했습니다. 이것은 도서관의 어떤 구역에 있든 상관없이, 선반 위의 어떤 두 권의 책 사이의 거리도 항상 공정하고 일관되도록 보장하는 엄격한 사서와 같습니다. 이는 로봇이 새로운 것에 너무 집착하여 전체 도서관의 균형을 잊어버리는 것을 방지합니다.

연구팀은 CIFAR-100과 같은 단순한 이미지부터 ImageNet-R와 같은 복잡한 실제 사진에 이르기까지 6개의 데이터셋을 통해 MILES를 테스트했습니다. 결과는 인상적이었습니다: MILES는 대부분의 설정에서 가장 높은 정확도를 달-성하며 다른 최고 방법들을 능가했습니다. 예를 들어, 10개의 태스크가 있는 CIFAR-100 데이터셋에서 93.93%의 정확도에 도달했는데, 이는 두 번째로 좋은 방법보다 거의 1% 더 높았으며, 이전에 배웠던 것을 거의 잊지 않았습니다. 또한 이 방법은 다른 접근 방식들에 비해 매우 적은 컴퓨터 자원과 메모리를 사용하여 매우 효율적이라는 것을 입증했습니다.

요약하자면, MILES는 사전 학습된 지식의 힘과 새로운 정보를 전용 공간에 정리하고 모든 균형을 유지하는 스마트하고 가벼운 추가 기능을 결다면, AI가 잊어버리지 않고 지속적으로 학습할 수 있다는 것을 시사합니다. 이것은 AI가 과거를 잃지 않으면서 매일 새로운 것을 배우며 인간처럼 성장하고 적응할 수 있도록 만드는 한 걸음입니다.

기술 요약: MILES (Expandable Subspace를 활용한 메트릭 학습)

문제 정의
클래스 점진적 학습(Class-Incremental Learning, CIL)은 이전 단계에서 학습한 범주를 망각하지 않으면서 데이터 스트림으로부터 새로운 개념을 순차적으로 학습하는 것을 목표로 한다. 기존의 CIL 방식은 모델을 처음부터 학습시키는 경우가 많아 학습 시간이 길고 일반화 성능이 떨어지는 반면, 사전 학습된 모델(Pre-trained Model, PTM) 기반 접근 방식은 사전 지식을 활용함으로써 유망한 대안을 제시한다. 그러나 기존의 PTM 기반 CIL 방식들은 성능과 계산 효율성 사이에서 결정적인 트레이드오프(trade-off) 문제에 직면해 있다. 동일한 파라미터 공간을 공유하는 방식은 치명적 망각(catastrophic forgetting) 문제를 겪으며, 각 태스크를 위해 새로운 브랜치를 확장하는 방식은 여러 번의 순전파(forward propagation)로 인해 계산 비용이 증가하거나 태스크 수에 따라 추론 시간이 선형적으로 증가하는 문제를 야기한다. 또한, PTM을 여러 다운스트림 태스크에 걸쳐 직접 미세 조정(fine-tuning)하는 것은 여전히 심각한 망각 현상을 초래하며, 기존 방식들은 고정된 백본(backbone)을 수정하거나 새로운 태스크에 과적합되지 않으면서 모델의 가소성(plasticity, 새로운 태스크 학습 능력)과 안정성(stability, 기존 지식 유지 능력) 사이의 균형을 맞추는 데 어려움을 겪는다.

방법론
제안된 방법인 MILES(Metric Learning with Expandable Subspace)는 학습 가능한 모듈을 사전 학습된 백본으로부터 분리하고, 유도된 최적화(guided optimization)를 통해 파라미터 공간의 효율적인 확장을 조율함으로써 이러한 과제들을 해결한다. 이 아키텍처는 고정된 사전 학습 백본(예: Vision Transformer)과 세 가지 핵심 구성 요소로 이루어져 있다:

서브스페이스 프로토타입 투영 (Subspace Prototype Projection, SPP):
- 동기: 관찰 결과, PTM 특징 공간 내에서 보지 못한 범주들은 분산되기보다 클러스터링되는 경향을 보인다. MILES는 이를 활용하여 학습 없이도 새로운 범주에 대한 클래스 프로토타입을 계산한다.
- 메커니즘: 각 새로운 태스크 $t$ 에 대해, 백본 뒤에 경량화된 학습 가능 어댑터( $A_t$ )가 연결된다. 이 어댑터는 원래의 특징을 태스크 특화 서브스페이스로 투영한다.
- 구조: 어댑터는 풀 디멘션(full-dimensional) MLP 브랜치와 점진적인 다운/업 프로젝션 브랜치(채널 차원에서 작동하는 1D U-Net과 유사)로 구성된 잔차 설계(residual design)를 활용한다. 이 구조는 특징을 저차원 병목(bottleneck)으로 압축한 후 다시 복원함으로써, 고정된 백본과의 호환성을 유지하면서도 태스크 특화된 특징 재매개변수화(re-parameterization)를 가능하게 한다.
- 최적화: 센터 로스(center loss)는 태스크 내 특징들과 그에 대응하는 프로토타입 간의 거리를 최소화한다. 새로운 태스크에 대한 과적합을 방지하기 위해, 안정성 로스(stability loss)가 도입되어 기존 범주의 의사 특징(pseudo-features, 가우시안 분포로 모델링됨)과 새로운 태스크 프로토타입 사이의 거리를 최대화한다.
서브스페이스 표현 확장 (Subspace Representation Extension, SRE):
- 동기: 고정된 백본에만 의존하면 백본이 새로운 태스크 분포에 적응할 수 없기 때문에, 새로운 데이터로부터 고차원적인 의미론적 정보를 학습하는 능력이 제한된다.
- 메커니즘: 사전 학습된 모델로부터 중간 특징을 학습하기 위해 각 태스크를 위한 저차수(low-rank) 서브 네트워크( $S_t$ )가 확장된다.
- 구조: SRE 서브 네트워크는 백본의 트랜스포머 블록 구조를 모방하며, 각 블록당 두 개의 저차수 MLP 모듈을 사용한다. 하나는 어텐션(attention) 모듈을 근사하고, 다른 하나는 피드 포워드 네트워크(FFN)를 근사한다.
- 통합: SRE 서브 네트워크의 출력은 백본의 원래 특징과 결합되어 SPP 어댑터로 전달된다. 이는 사전 학습된 가중치를 수정하거나 추론 시 여러 번의 순전파를 요구하지 않으면서도(백본을 통한 단 한 번의 순전파와 SRE 브랜치의 병렬 처리만 필요) 모델의 표현 능력을 향상시킨다.
거리 정규화 (Distance Regularization, DR):
- 동기: 통합된 제약 조건이 없다면 모델이 특정 태스크 서브스페이스에 과적합되어, 이전 태스크들에 비해 새로운 태스크의 거리가 현저히 작아지는 편향(bias)이 발생할 수 있다.
- 메커니즘: 손실 함수에 두 가지 정규화 항이 추가된다:
  - 태스크 평균 거리 제약: 특징 벡터와 무관한 태스크 프로토타입 사이의 평균 거리가 태스크 전반에 걸쳐 일관되게 유지되도록 한다.
  - 클래스 평균 거리 제약: 모든 태스크 서브스페이스에서 태스크 내 특징과 프로토타입 사이의 평균 거리를 일정하게 유지한다.
- 목표: 이 항들은 메트릭 평형(metric equilibrium)을 조절하여 과적합을 완화하고 일관된 분류 기준을 보장한다.

주요 기여

메트릭 학습과 PTM의 통합: 본 논문은 CIL 환경에서 메트릭 학습을 사전 학습된 모델과 통합하여, 새로운 태스크 서브스페이스 내에서 현재 태스크 특징과 그에 대응하는 프로토타입 사이의 거리를 최적화하는 SPP를 제안한다.
서브스페이스 표현 확장 (SRE): 사전 학습된 네트워크를 최소한으로 수정하면서 중간 특징을 학습하기 위한 새로운 저차수 서브 네트워크를 도입하였다. 이는 다중 브랜치 아키텍처와 관련된 추론 시간의 선형적 증가를 피하면서 모델의 표현 능력을 강화한다.
거리 정규화 (DR): 각 태스크에 대한 평균 거리를 일정하게 유지하는 정규화 전략을 제안하여, 새로운 태스크 서브스페이스에서 흔히 관찰되는 과적합 문제를 효과적으로 해결한다.

실험 결과
CIFAR-100, CUB-200, Omnibenchmark, ImageNet-A, ImageNet-R, FOOD-101 등 6개의 벤치마크 데이터셋에 대해 광범한 실험을 수행하였다. 평가는 짧은( $T=10$ ) 시퀀스와 긴( $T=50$ ) 시퀀스 모두를 포함한다.

성능: MILES는 다양한 CIL 설정에서 최첨단(SOTA) 성능을 달 been 했다. 예를 들어, CIFAR-100 ( $T=10$ )에서 평균 정확도 93.93%, 망각률 3.12%를 달성하여, 차점자인 DGR보다 정확도는 0.88%, 망각률은 1.73% 더 우수한 성능을 보였다. CUB, Omnibenchark 및 ImageNet 변형 모델에서도 유사한 우수한 결과가 관찰되었다.
효율성: 이 방법은 낮은 계산 오버헤드를 유지한다. 추론 시 고정된 백본을 통한 단 한 번의 순전파만을 요구한다. 학습 가능한 파라미터 수는 가장 작은 경쟁 방법(예: FeCAM)과 유사하며, 여러 번의 순전파를 요구하는 방법(예: EASE)이나 광범한 파라미터 업데이트가 필요한 방법에 비해 연산량(MACs)이 매우 적다.
절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소의 효과를 확인하였다. SPP를 추가하면 베이스라인보다 성능이 향러졌고, SRE를 추가하면 표현 능력이 더욱 강화되었으며, DR을 추가하면 망각률이 지속적으로 감소하고 다양한 하이퍼파라미터 설정에서 성능이 안정화되었다.
강건성: 이 방법은 다양한 학습 순서와 하이퍼파라미터 조합에 대해 강건함을 입증하였다.

의의 및 주장
본 논문은 MILES가 사전 학습된 지식 내의 사전 정보를 활용함으로써 파라미터 공간의 효율적인 확장을 성공적으로 조율한다고 주장한다. 학습 가능한 모듈을 분리하고 메트릭 학습을 통한 유도된 최적화를 채택함으로써, MILES는 기존 PTM 기반 CIL 방법들과 비교하여 성능과 계산 비용 사이에서 탁월한 트레이드오프를 달성한다. 본 연구는 PTM 공간 내 특징들의 클러스터링 특성을 활용하고, 경량화된 서브스페이스 확장 및 거리 정규화를 결과적으로 결합함으로써, 치명적 망각이나 과도한 계산 비용 없이 효과적인 지속 학습이 가능하다는 것을 입증한다.

한계점 및 향후 과제
저자들은 현재 연구가 사전 학습된 백본이 전이 가능한 표현을 제공하고 다운스트림 데이터가 타겟 의미론적 범위 내에 머무는 표준적인 클래스 점진적 설정에 집중하고 있음을 인정한다. 스타일, 획득 조건 또는 의미론적 내용의 변화와 같은 분포 외(Out-of-Distribution, OOD) 변화에 대한 모델의 강건성은 아직 체계적으로 조사되지 않았다. 향후 연구는 불확실성 인지 모델링(uncertainty-aware modeling)과 테스트 타임 시프트 교정(test-time shift correction)을 통합하여 OOD 인지형 CIL으로 MILES를 확장하는 것을 목표로 한다.

기술 요약: MILES (Expandable Subspace를 활용한 메트릭 학습)

유사한 논문