기술 요약: 신경망 구조 탐색을 위한 이중 레벨 최적화 (Bilevel Optimization for Neural Architecture Search)

1. 문제 정의

본 논문은 하이퍼파라미터 최적화(HPO) 및 자동 머신러닝(AutoML)의 하위 분야인 **신경망 구조 탐색(Neural Architecture Search, NAS)**의 과제를 다룹다. 핵심 문제는 방대하고 고차원적이며 종종 이산적인(discrete) 탐색 공간으로부터 최적의 신경망 구조를 자동으로 발견하는 것이다.

저자들은 NAS를 다음과 같은 계층적 구조를 가진 **이중 레벨 최적화 문제(Bilevel Optimization Problem, BOP)**로 정의한다:

• 상위 레벨 (Leader): 일반화를 목적으로 검증 손실($L_v$)을 최소화하기 위해 아키텍처 파라미터($A$)를 최적화한다.
• 하위 레벨 (Follower): 주어진 아키텍처 $A$에 대해 훈련 손실($L_t$)을 최소화하도록 모델 가중치($W$)를 최적화한다.

수식으로는 다음과 같이 표현된다:
$$\min_{A} L_v(A, \hat{W}) \quad \text{s.t.} \quad \hat{W} \in \arg\min_{W} L_t(A, W)$$

본 논문은 기존의 단일 레벨 접근 방식이 아키텍처와 가중치 사이의 상호 의존성을 충분히 고려하지 못해 과적합이나 차선의 일반화 성능을 초래한다는 점을 강조한다. 또한, 여러 개의 하위 레벨 최적해(예: 동일한 훈련 손실을 생성하는 서로 다른 가중치 초기화)가 존재할 수 있다는 점은 리더의 목적 함수를 정의하기 위해 특정 정식화(낙관적 vs 비관적)를 요구하는 모호성을 유발한다.

2. 방법론 및 프레임워크

본 논문은 기존의 NAS 접근 방식을 두 가지 주요 범주로 분류하고 특정 이론적 발전을 소개한다.

A. 샘플링 기반 방법 (Sampling-Based Methods)

이 방법들은 탐색 공간을 블랙박스로 취급하며, 후보 아키텍처를 평가하기 위해 휴리스틱 또는 확률적 메커니즘을 사용한다. 여기에는 다음이 포함된다:

• 그리드 및 랜덤 탐색 (Grid and Random Search): 이산적 하이퍼파라미터의 전수 조사 또는 확률적 샘플링.
• 베이지안 최적화 (Bayesian Optimization): 대리 모델(예: 가우시안 프로세스, TPE)을 사용하여 탐색을 유도함.
• 진화 연산 (Evolutionary Computation, EC): 변이(mutation)와 교차(crossover)를 통해 아키텍처의 집단을 진화시킴.
• 강화 학습 (Reinforcement Learning, RL): 컨트롤러(예: RNN)를 사용하여 보상 신호(검증 성능)를 기반으로 아키텍처를 샘플링함.
• 한계: 이러한 방법들은 종종 수천 GPU-일(GPU-days)의 계산 비용이 발생하며, 그래디언트 기반 업데이트의 이론적 엄밀성이 부족하다.

B. 이중 레벨 이론 기반 방법 (Bilevel Theory-Based Methods)

이 방법들은 중첩된 최적화 문제를 명시적으로 해결하며, 주로 미분 가능성을 활용한다.

• KKT 재정식화 (KKT Reformulation): 하위 레벨 문제를 KKT 조건(예: $\nabla_W L_t = 0$)으로 대체하여, BOP를 제약 조건이 있는 단일 레벨 문제로 변환한다.
• 대리 근사 (Surrogate Approximation): 학습된 모델을 사용하여 하위 레벨 반응 집합(reaction set) 또는 최적 가치 함수를 근사함으로써, 내부 루프 훈련의 반복 필요성을 줄인다.
• 하이퍼그래디언트 기반 방법 (예: DARTS): 이산적인 아키텍처 공간을 연속적인 도메인으로 완화한다. 이들은 암시적 미분(implicit differentiation) 또는 언롤링 최적화(unrolled optimization)를 사용하여 "하이퍼그래디언트"(아키텍처 파라미터에 대한 검증 손실의 그래디언트)를 계산한다. 이를 통해 효율적인 그래디언트 기반 업데이트가 가능하다.
  • 메커니즘: DARTS는 방향성 비순환 그래프(DAG)의 엣지를 후보 연산들의 가중 합으로 표현한다. 이 방식은 가중치 업데이트(훈련 손실 최소화)와 아키텍처 파라미터 업데이트(검증 손실 최소화)를 번갈아 수행한다.

C. 제안된 기여: 보조 수학적 프로그래밍 프레임워크 (Auxiliary Mathematical Programming Framework)

본 논문은 이중 레벨 NAS 정식화가 보조 수학적 프로그래밍 프레임워크를 통해 해결되는 특정 연구 방향을 강조한다.

• 핵심 아이디어: 아키텍처 파라미터를 독립적으로 업데이트하는 대신(이는 모델 가중치의 최적성을 해칠 수 있음), 아키십와 가중치 모두에 대한 공동 하강 방향을 결정하기 위해 보조 최적화 문제를 해결한다.
• 수학적 정식화: 이 방법은 검증 손실을 최소화하면서 하위 레벨 최적성 조건($\nabla_W L_t = 0$)을 엄격하게 유지하는 가장 가파른 하강 방향 $(dA, dW)$을 찾는다.
  • 이는 이차 원뿔 계획법(Second-Order Cone Program, SOCP) 또는 완화된 경우 **선형 계획법(Linear Program, LP)**으로 정식화된다.
  • $H_{21}dA + H_{22}dW = 0$ 제약 조건(하위 레벨 최적성 조건을 미분하여 도출됨)은 가중치 업데이트가 아키텍처 변화를 보상하도록 하여, 모델이 훈련 손실의 국소 최적점에 머물도록 보장한다.
• 구현: 헤시안 행렬(Hessian matrix)의 계산 비용을 처리하기 위해, 이 프레임워크는 근사법(예: L-BFGS, 축소 헤시안 부분 집합)과 LP-DARTS(결정론적 파라미터 선택) 및 SOCP-DARTS(확률적 파라미터 선택)와 같은 전략을 채택한다.
• 확장: 동일한 보조 프로그램이 **하이퍼로컬 서치(Hyperlocal Search)**에 적용되어, 트랜스포머 미세 조정(fine-tuning)과 같은 작업에서 일반화 성능을 높이기 위해 하이퍼파라미터와 모델 파라미터를 동시에 미세 조정한다.

3. 주요 결과

본 논문은 표준 벤치마크(CIFAR-10, ImageNet) 및 특정 실험 설정에 걸친 NAS 방법들의 비교 분석을 제시한다.

• 효율성 vs 정확도: 샘플링 기반 방법(RL, EC)은 높은 정확도를 달나지만 막대한 계산 비용(수백에서 수천 GPU-일)이 든다. 미분 가능한 방법(DARTS, PC-DARTS)은 경쟁력 있는 정확도를 유지하면서 이 비용을 몇 배의 차수로 줄인다(1~10 GPU-일).
• 보조 프로그램 방법의 성능:
  • CIFAR-10 및 ImageNet에 대한 시간 제한 실험에서, 보조 프레임워크를 기반으로 한 LP-DARTS와 SOCP-DARTS는 표준 DARTS 및 기타 변형들(P-DARTS, PC-DARTS, STO-DARTS)에 비해 더 높은 Top-1 정확도와 더 나은 파라미터 효율성을 달성했다.
  • 예를 들어, CIF_10에서 LP-DARTS는 1.66M 파라미터만으로 92.56%의 정확도를 달성하여, 유사한 계산 예산 하의 DARTS(82.57%, 3.38M 파라미터)를 능가했다.
• 하이퍼로컬 서치: 하이퍼파라미터 튜닝에 보조 프레임워크를 적용한 결과(예: GPT-2), 표준 샘플링 기반 튜닝에 비해 테스트 퍼플렉시티(perplexity)와 일반화 성능에서 일관된 개선을 보였으며, 과적합을 효과적으로 제어했다.

4. 의의 및 주장

본 논문은 이중 레벨 최적화가 자동화된 아키텍처 설계와 엄격한 수학적 최적화 사이의 간극을 메우는 통합적 이론 프레임워크를 제공한다고 주장한다.

• 이론적 일관성: 탐색을 블랙박스로 취급하는 샘플링 방법과 달리, 보조 프로그램을 사용하는 이중 레벨 이론 기반 접근 방식은 아키텍처 업데이트가 훈련된 모델의 최적성과 수학적으로 일치하도록 보장한다. 이는 더욱 원칙적인 결과를 도출한다.
• 이중 레벨 접근 방식의 우월성: 저자들은 이중 레벨 이론 기반 접근 방식이 정확도와 효율성 모두에서 샘플링 기반 방법보다 일반적으로 우수하다고 단언한다. 보조 프로그램을 통한 이차 정보(second-order information)의 통합은 모델의 최적성을 보존하는 체계적인 업데이트를 가능하게 하며, 이는 표준 하이퍼그래디언트 방법에서 흔히 결여되는 특징이다.
• 향후 방향: 본 논문은 이중 레벨 최적화를 차세대 NAS의 토대로 자리매김한다. 향후 연구는 확장 가능한 구조적 헤시안 근사(scalable structured Hessian approximations), 미분 가능한 방법과 보조 프로그래밍을 결합하는 하이브리드 체계, 그리고 이러한 원칙을 대규모 언어 모델(LLM) 및 멀티모달 시스템과 같은 더 넓은 영역으로 확장하는 데 집중해야 한다고 제안한다.

결론적으로, 본 논문은 휴리스틱 샘플링에서 원칙적인 이중 레벨 최적화—특히 보조 수학적 프로그래밍을 통한 최적화—로 전환하는 것이 효율적이고 일반화 가능하며 자동화된 신경망 구조 설계를 향한 견고한 경로를 제공한다고 주장한다.