Robust MAE-Driven NAS: From Mask Reconstruction to Architecture Innovation

기술 요약: 강건한 MAE 기반 NAS

문제 정의
신경망 구조 탐색(Neural Architecture Search, NAS)은 우수한 네트워크 구조를 자율적으로 발견하기 위한 핵심적인 도구가 되었으나, 전통적인 방법들은 헤비하게 지도 학습 프레임워크에 의존한다. 이러한 의존성은 방대한 양의 노동 집약적인 레이블 데이터셋을 필요로 하며, 이는 자원이 제한된 시나리오에서 중요한 병목 현상을 야려한다. 또한, DARTS와 같은 기존의 미분 가능한 구조 탐색 방식은 비지도 학습 환경에서 '성능 붕괴(performance collapse)' 문제를 겪는다. 즉, 탐색 과정이 강건한 구조를 식별하는 데 실패하고, 과도한 스킵 연결(skip connections)과 같은 차선책으로 수렴하는 현상이다. 최근 연구들이 레이블 의존도를 줄이기 위해 비지도 NAS를 탐색해 왔으나, DARTS를 자기 지도 학습 패러다임에 적응시킬 때 발생하는 안정성 문제를 완전히 해결하지는 못했다.

방법론
저자들은 지도 학습 목적 함수를 이미지 재구성 작업으로 대체하기 위해 **Masked Autoencoders (MAE)**를 활용하는 새로운 비지도 NAS 프레임워크인 MAE-NAS를 제안한다. 이 방법은 다음과 같은 메커니즘을 통해 MAE 패러다임을 DARTS 탐색 공간에 통합한다:

1. 비지도 최적화 목적 함수: MAE-NAS는 분류 손실을 최소화하는 대신 이미지 재구성을 최적화한다. 이 프레임워크는 두 단계의 최적화 문제를 채택하는데, 구조 파라미터($\alpha$)는 검증 재구성 손실을 최소화하도록 업데이트되며, 네트워크 가중치($w$)는 훈련 재구성 손실을 최소화하도록 업데이트된다. 입력값은 DARTS 탐색 공간을 기반으로 구축된 인코더에 입력되는 무작위로 마스킹된 이미지와, 원본 이미지를 재구성하는 디코더로 구성된다.
2. 계층적 디코더 (Hierarchical Decoder): 비지도 태스크에 적용된 DARTS에서 관찰되는 성능 붕괴를 해결하기 위해, 저자들은 계층적 디코더를 도입한다. 실험 결과, 성능 붕괴와 마스킹 비율(masking ratio) 사이에 강력한 상관관계가 있음이 밝혀졌다. 구체적으로, 낮은 마스킹 비율(0.5 미만)은 붕괴를 유도하는 반면, 높은 비율은 이를 완화한다. 그러나 높은 마스킹 비율에만 의존하는 것은 임계값 민감성으로 인해 유망한 구조를 배제할 위험이 있다. 제안된 계층적 디코더는 인코더로부터 추출된 다중 해상도 특징($F_1, F_2, F_3$)을 병렬 경로를 통해 처리하며, 미세(fine) 및 조립(coarse) 정보를 통합한다. 이 설계는 그래디언트 흐름을 가속화하고 다중 스케일 학습을 강제함으로써 탐색 과정을 안정화하며, 결과적으로 붕괴를 초래하는 스킵 연결의 지배 현상을 효과적으로 방지한다.
3. 플러그 앤 플레이 통합: 이 방법은 다양한 DARTS 변형 모델들과 호환되도록 설계되었으며, 수동으로 제작된 지표(handcrafted indicators)나 추가적인 오버헤드를 요구하지 않고 기존 NAS 파이프라인의 지도 학습 목적 함수를 직접 대체한다.

주요 기여

• MAE를 통한 레이블 프리(Label-Free) NAS: 본 논문은 완전한 비지도 NAS를 위해 Masked Autoencoders를 사용하는 첫 번째 탐색을 소개하며, 구조적 적응성을 유지하면서 레이블 데이터 없이 효율적인 구조 발견을 가능하게 한다.
• 성능 붕괴 해결: 저자들은 마스킹 비율과 비지도 환경에서의 DARTS 붕괴 사이의 연결 고리를 식별하였으며, 탐색 과정을 안정화하고 강건한 구조 선택을 보장하기 위한 근본적인 해결책으로 계층적 디코더를 제안한다.
• 효율성 및 강건성: 이 접근 방식은 수동 지표 없이도 기존의 지도 학습 NAS 방법들과 원활하게 통합되는 플러그 앤 플레이 솔루션을 제공하며, 다양한 하이퍼파라미터 설정에서도 탁월한 강건성을 입증한다.

실험 결과
DARTS 탐색 공간을 사용하여 CIFAR-10 및 ImageNet 데이터셋에 대해 광범위한 실험을 수행하였다:

• 성능: MAE-NAS는 CIFAR-10에서 97.8%, ImageNet에서 **76.5%**의 Top-1 정확도를 달성하였다. 이 결과는 기존의 지도 학습 대응 모델(예: DARTS, PC-DARTS) 및 기타 비지도 방법(예: UnNAS, RLNAS)을 능가한다.
• 효율성: 이 방법은 상당한 탐색 비용 절감을 보여주었으며, CIFAR-10에는 0.2 GPU day, ImageNet에는 2.3 GPU days만을 소요하였다. 이는 데이터 주석(annotation) 비용을 피하면서도 지도 학습 방법과 비슷하거나 더 낮은 수준이다.
• 어블레이션 연구 (Ablation Studies):
  • 마스킹 비율 민감도: 방법론은 다양한 마스킹 비율(0.1 ~ 0.7)에 걸쳐 강건함을 보였으며, 최종 구조 성능에 미치는 영향은 미미했다.
  • 계층적 디코더의 영향: 계층적 디코더를 제거했을 때 낮은 마스킹 비율(예: 마스킹 비율 0.2에서 Top-1 에러가 약 2.67%에서 5.87%로 급증)에서 심각한 성능 붕괴가 발생하였고, 스킵 연결의 수가 크게 증가(1개에서 8개로)하여 디코더가 탐색을 안정화하는 역할을 한다는 점을 확인시켜 주었다.
  • 재구성 품질: 시각화를 통해 계층적 디코더를 사용하여 발견된 구조들이 더 높은 품질의 이미지 재구성을 생성함을 확인하였으며, 이는 더 나은 구조적 성능과 상관관계가 있었다.

의의 및 주장
본 논문은 MAE-NAS가 비지도 시나리오에서 DARTS의 성능 붕괴 문제를 해결하는 새로운 관점을 제공한다고 주장한다. 감독된 목적 함수를 재구성 태스크로 대체함으로써, 이 방법은 일반화 능력을 저해하지 않으면서도 자원 집약적인 레이블 데이터를 제거한다. 저자들은 자신들의 계층적 디코더가 비지도 DARTS와 관련된 불안정성 문제를 근본적으로 해결하며, 레이블이 필요 없는 구조 탐색을 위한 강건하고 효율적이며 보편적으로 적용 가능한 프레임워크를 제공한다고 단언한다. 이 연구는 Masked Autoencoders를 효과적인 NAS 대리(proxy) 모델로 확립하며, 데이터셋 의존성이 높거나 비매개변수적 연산자와의 호환성이 떨어지는 기존의 비지도 지표들을 능가한다.