SEAL: Searching Expandable Architectures for Incremental Learning

기술 요약: SEAL (Incremental Learning을 위한 Searching Expandable Architectures)

문제 정의
점진적 학습(Incremental Learning, IL)은 모델이 순차적인 태스크 스트림으로부터 학습하는 동시에 가소성(새로운 정보를 학습하는 능력)과 안정성(과거 지식의 보존) 사이의 균형을 맞출 것을 요구한다. 이 분야의 주요 과제는 새로운 학습이 이전의 표현을 덮어쓰는 **파괴적 망각(catastrophic forgetting)**이다. 신경망 구조 탐색(Neural Architecture Search, NAS)은 정적 환경에서 성공을 거두었으나, 기존의 NAS 기반 IL 방식들은 매 태스크마다 탐색 과정을 반복함으로써 발생하는 높은 계산 비용과 무제한적인 모델 확장으로 인한 비현실적인 자원 소비 문제에 시달린다. 또한, 많은 현재 방법론들은 데이터가 순차적으로 도착하고 미래의 데이터에 접근할 수 없는 데이터-점진적(data-incremental) 시나리오에 잘 적응하지 못하는 리플레이 버퍼(replay buffer)나 고정된 확장 임계값에 의존한다.

방법론
저자들은 데이터-점진적 학습을 위해 특별히 설계된 NAS 프레임워크인 SEAL을 제안한다. 아키텍처 설계와 확장 정책을 별개 또는 순차적인 프로세스로 취급하는 기존 방식들과 달리, SEAL은 단일 탐색 단계 내에서 신경망 아키텍처와 그 확장 정책을 공동으로 최적화한다.

SEAL 프레임워크의 핵심 구성 요소는 다음과 같다:

1. 통합 탐색 공간(Unified Search Space): SEAL은 MobileNetV3를 기반으로 하는 OFA(Once-For-All) 슈퍼넷을 사용하여 탐색 공간을 정의한다. 이를 통해 처음부터 학습하는 대신 사전 학습된 가중치를 미세 조정(fine-tuning)함으로써 후보 아키텍처를 빠르게 평가할 수 있다. 탐색 공간은 확장이 발생하더라도 유효한 OFA 서브 네트워크가 되도록 제한된다.
2. 동적 확장 정책(Dynamic Expansion Policy): 모든 태스크에서 모델을 확장하는 대신, SEAL은 용량 추정 지표를 사용하여 확장이 필요한 시점을 결정한다. 현재 데이터에 대한 교차 엔트로피 손실(cross-entropy loss)이 이전 반복(iteration)과 비교하여 상대적 임계값을 초과할 경우에만 모델을 확장한다(식 10). 이는 불필요한 성장을 방지하고 모델 복잡도를 유지한다.
3. 다목적 최적화(Multi-Objective Optimization): 이 프레임워크는 NSGA-II 유전 알고리즘을 통해 해결되는 이중 목적 최적화 작업으로 문제를 정식화한다. 두 가지 목적 함수는 다음과 같다:
   • 점진적 정확도(Incremental Accuracy): 최종 태스크 세트에 대한 평균 정확도와 파라미터 수 사이의 균형을 맞추는 함수이다(식 12).
   • 강건성(평탄도, Robustness/Flatness): 곱셈 노이즈 섭동(multiplicative noise perturbations) 하에서 손실 지형(loss landscape)의 안정성을 측정하는 재스케일링 불변(rescaling-invariant) 평탄도 지표이다(식 14). 이는 탐색이 분포 변화에 더 강건한 평탄한 극소점(flatter minima)을 향하도록 유도하는 것을 목표로 한다.
4. 학습 전략(Training Strategy): 확장 과정 중 파괴적 망각을 완화하기 위해, SEAL은 교차 증류(cross-distillation) 학습을 채택한다. 확장 단계 이후, 모델은 표준 교차 엔트로피 손실과 확장 전 모델의 소프트 타겟에 대한 KL 발산 손실(Kullback-Leibler divergence loss)로 구성된 결합 손실 함수를 사용하여 학습된다(식 11).
5. 대리 모델링(Surrogate Modeling): 탐색을 가속화하기 위해, SEAL은 성능 지표를 예측하기 위해 가장 정확한 대리 모델(Gaussian Process 또는 Radial Basis Function 중 선택)을 선택하는 적응형 전환(adaptive-switching) 메커니즘(MSuNAS와 유사)을 사용하며, 이를 통해 모든 후보를 전체 재학습할 필요를 방지한다.

주요 기여

• 공동 최적화(Joint Optimization): SEAL은 단일 단계에서 최적의 아키텍처와 확장 정책을 공동으로 탐색하는 최초의 NAS 프레임워크로 제시되며, 이는 태스크별 탐색 방법론에 비해 계산 오버헤드를 크게 줄여준다.
• 자원 효율성(Resource Efficiency): OFA 서브 네트워크와 조건부 확장을 통합함으로써, SEAL은 필요할 때만 추가 용량을 할당하여 IoT 및 TinyML과 같은 자원 제한적 환경에 적합하게 만든다.
• 평탄도 통합(Flatness Integration): 본 연구는 IL을 위한 설계 목표로 평탄도 기반의 강건성 지표를 직접 통합하였으며, 평탄한 극소점을 최적화하는 것이 순차적 학습 시나리오에서 안정성과 일반화 성능을 향상시킨다는 점을 입증하였다.
• 데이터-점진적 집중(Data-Incremental Focus): 이 프레임워크는 명시적인 데이터 저장이나 리플레이 버퍼에 의존하지 않고 데이터-점진적 설정(분리된 데이터, 동일한 레이블 공간)을 구체적으로 타겟팅한다.

실험 결과
SEAL은 세 가지 벤치마크 데이터셋인 CIFAR-10, CIFAR-100, ImageNet16-120에서 평가되었다. 실험에서는 SEAL을 표준 IL 베이스라인(Naive, EWC, SI, LwF) 및 결합 학습(Joint Training) 상한선과 비교하였다.

• 성능(Performance): SEAL은 베이스라인 대비 경쟁력 있거나 우수한 평균 정확도(Average Accuracy, AA)를 달s성했다. 예를 들어, CIFAR-10에서 SEAL은 95.35%의 정확도를 달성하여 EWC(93.87%)와 SI(94.31%)를 능가했다. CIFAR-100에서는 83.94%에 도달하여 LwF(83.21%)를 앞질렀다.
• 망각 및 전이(Forgetting and Transfer): 프레임워크는 여러 베이스라인에 비해 감소된 평균 망각(Average Forgetting)을 보여주었다(예: CIFAR-100에서 LwF의 5.50% 대비 SEAL은 4.81%). 그러나 CIFAR-10의 경우, 순방향 전이(Forward Transfer, FWT)가 일부 베이스라인보다 낮았는데, 저자들은 이를 태스크들이 매우 유사할 때 최신 태스크에 과적합될 가능성 때문이라고 설명했다.
• 다목적 vs 단일 목적(Multi-Objective vs. Single-Objective): 결과는 다목적 최적화 방식(정확도와 평탄도를 모두 최적화)이 단일 목적 최적화보다 더 나은 트레이드오프를 제공한다는 것을 나타냈다. 구체적으로, 평탄도에 최적화된 모델은 높은 정확도를 유지하면서도 더 적은 파라미터를 갖는 경향이 있었다.
• 절제 연구(Ablation Studies): 실험을 통해 확장된 가중치를 (무작위 가중치가 아닌) OFA 슈퍼넷으로부터 초기화하는 것이 정확도를 크게 향하고 망각을 줄인다는 것을 확인했다. 마찬가지로, 교차 증류 손실의 사용이 확장 후 성능을 유지하고 망각을 줄이는 데 결정적이라는 것이 입증되었다.
• 통계적 유의성(Statistical Significance): 프리드만 검정(Friedman tests)을 통해 모든 데이터셋과 지표에서 SEAL과 베이스라인 간의 성능 차이가 통계적으로 유의미함을 확인했다.

의의 및 주장
본 논문은 SEAL이 IL을 위한 NAS의 핵심 요구사항인 효율성, 확장성, 적응성에 부합함으로써 실제 배포를 위한 더 실용적인 솔루션을 제공한다고 주장한다. 불필요한 재학습과 무제한적인 모델 성장을 피함으로써, SEAL은 현재의 NAS 기반 IL 접근 방식의 함정을 해결한다. 저자들은 평탄도를 설계 목표로 통합하는 것이 새로운 태스크에 의해 도입되는 섭동에 강건한 모델을 만드는 데 도움이 된다고 강조한다. 본 연구는 데이터-점진적 학습에 초점을 맞추고 있지만, 저자들은 이 프레임워크가 다른 IL 설정으로도 확장될 수 있다고 제안한다. 다만, 도메인 또는 클래스-점진적 시나리오의 경우 아키텍처 일반화에 대한 가정이 조정될 필요가 있음을 언급하였다. 이 연구는 NAS와 선택적 확장의 결មាន이 효율적이고 적응적인 학습을 위한 유망한 방향임을 보여준다.