기술 요약: 회귀에서 추론으로: 신경 아키텍처 탐색을 위한 메타러닝 예측기

문제 정의

신경 아키텍처 탐색 (NAS) 은 모델 성능이 아키텍처 선택에 크게 의존한다는 필요성에 따라 딥러닝 아키텍처 설계를 자동화하는 것을 목표로 합니다. 그러나 현대적인 탐색 공간의 광활함으로 인해 포괄적인 평가는 계산적으로 불가능합니다. 예측 기반 NAS 는 완전한 학습 없이 후보 아키텍처의 성능을 추정하기 위해 학습된 예측기를 활용하는 해결책으로 등장했습니다.

그러나 기존 예측기들은 일반적으로 아키텍처 표현에서 성능 지표로의 고정된 매핑을 학습하기 위해 지도 회귀에 의존합니다. 이 접근법은 NAS 맥락에서 다음과 같은 치명적인 한계에 직면합니다:

1. 데이터 부족: NAS 는 탐색 공간의 극히 일부만 관찰 가능한 영역에서 작동합니다.
2. 과적합 및 일반화: 제한된 샘플로 학습된 고정된 매핑은 종종 보이지 않는 아키텍처로 일반화되지 못하여 분포 외 (out-of-distribution) 성능이 저하됩니다.
3. 배포 시나리오와의 불일치: 기존의 회귀는 탐색 공간의 부분적 관찰에 조건부로 예측해야 하는 배포 시나리오를 명시적으로 반영하지 못하며, 이는 전역 고정 함수가 아닌 조건부 예측을 요구합니다.

방법론

저자들은 NAS 성능 예측을 결정론적 회귀에서 메타러닝 프레임워크 내의 조건부 함수 추론으로 근본적으로 재정의합니다.

핵심 프레임워크: 합성곱 신경 프로세스 (ConvNP)

정적 함수 $y = f(x)$를 학습하는 대신, 예측기는 관찰된 아키텍처 - 성능 쌍 (컨텍스트 집합) 이 주어졌을 때 목표 출력의 조건부 분포를 모델링합니다. 저자들은 합성곱 신경 프로세스 (ConvNP) 를 사용하며, 이는 다음으로 구성됩니다:

• 인코더: 컨텍스트 집합의 정보를 잠재 표현으로 집계합니다.
• 디코더: 이러한 잠재 표현에 조건부로 목표 출력을 예측합니다.
• 메커니즘: 이 모델은 함수에 대한 분포를 학습하여, 불확실성을 고려하면서 부분적 관찰로부터 보이지 않는 출력을 추론할 수 있게 합니다. 이는 관찰된 입력의 지지 범위를 넘어 외삽할 수 있도록 합성곱 구조의 번역 등변성 (translation equivariance) 을 활용합니다.

합성 작업 구성

메타러닝 패러다임 하에서 ConvNP 를 학습시키기 위해 저자들은 단일 사용 가능한 데이터셋 ($D$) 에서 다음과 같은 작업을 통해 작업 분포를 생성합니다:

1. 재샘플링: 관찰된 데이터를 복원하여 재샘플링함으로써 합성 작업을 생성합니다.
2. 셔플링: 데이터 포인트를 무작위로 순서대로 배치하여 치환 불변성을 장려합니다.
3. 컨텍스트 - 목표 분할: 각 합성 작업은 컨텍스트 집합 ($C$) 과 목표 집합 ($T$) 으로만 분할됩니다. 이는 모델이 관찰된 아키텍처의 부분 집합에 기반하여 성능을 예측해야 하는 NAS 추론 시나리오를 시뮬레이션합니다.

메타 특징 추출

저자들은 셀 기반 아키텍처를 위한 간단하면서도 효과적인 메타 특징 집합을 설계하며, 다음 세 가지 측면에 초점을 맞춥니다:

• 통계 정보: 특정 연산 (예: $3\times3$ Conv, $1\times1$ Conv) 과 노드의 수.
• 아키텍처 복잡도: 복잡도에 기반하여 연산에 할당된 경로 기반 가중치 (예: $3\times3$ Conv = 3, Max-pooling = 1) 를 최대/최소 경로 가중치 및 총 파라미터와 같은 측정치로 집계합니다.
• 구조 정보: 인접 행렬에서 파생된 지표로, 엣지 수, 엣지 - 노드 비율, 최대 진입/진출 차수가 포함됩니다.
  이러한 특징들은 $[0, 1]$ 범위로 정규화됩니다.

학습 목적

NAS 가 완벽한 분포 예측보다는 고성능 아키텍처를 식별하는 것을 우선시한다는 점을 인식하여, 저자들은 두 가지 목적을 결합합니다:

1. 회귀 손실 ($L_{MSE}$): 검증 정확도의 정확한 예측을 장려합니다.
2. 순위 손실 ($L_{rank}$): 목표 집합 내 후보 아키텍처의 올바른 상대적 순서를 강제하는 쌍별 마진 기반 손실입니다.
   전체 목적 함수는 $L_{total} = L_{MSE} + \lambda L_{rank}$입니다. 저자들은 아키텍처 선택을 위해 순위 감독이 포함된 직접적인 평균 예측이 신경 프로세스 (NPs) 의 표준인 가능도 기반 목적 함수보다 경험적으로 더 효과적이고 효율적임을 지적합니다.

주요 기여

1. 새로운 공식화: 이 논문은 ConvNP 를 사용하여 NAS 예측을 조건부 함수 추론 문제로 재정의하며, 부분적 관찰에 조건부인 모델로 고정된 매핑을 탈피합니다.
2. 메타러닝 전략: 재샘플링과 셔플링을 통한 합성 작업 생성 전략을 도입하여 극심한 데이터 부족 하에서도 예측기가 일반화되도록 합니다.
3. 평가 관점: 저자들은 강력한 전역 순위 지표 (예: 켄달의 타우) 가 반드시 더 나은 아키텍처 선택으로 이어지는 것은 아니라고 주장합니다. Top-K 성능과 같은 선택 지향적 지표를 옹호합니다.
4. 실증적 검증: NAS-Bench-101 및 NAS-Bench-201 에 대한 포괄적인 실험을 통해 방법의 유효성을 입증했습니다.

실험 결과

이 방법은 회귀 모델 (LR, RF, MLP, XGB), 그래프 신경망 기반 예측기 (NP, CAP, CARL), 그리고 탐색 알고리즘 (RS, RE) 을 포함한 다양한 베이스라인에 대해 NAS-Bench-101(CIFAR-10) 및 NAS-Bench-201(CIFAR-10, CIFAR-100, ImageNet16-120) 에서 평가되었습니다.

• 예측 정확도: ConvNP 는 경쟁력 있거나 우수한 검증 및 테스트 정확도를 달성했습니다. NAS-Bench-101 에서 94.76% 의 검증 정확도와 94.09% 의 테스트 정확도를 기록하여 대부분의 회귀 베이스라인 및 탐색 알고리즘을 능가했습니다.
• Top-K 성능: ConvNP 는 CARL 과 같은 전문 순위 방법과 비교하여 항상 가장 높은 전역 순위 상관관계 (켄달의 타우) 를 달성한 것은 아니지만, 일관되게 우수한 Recall@k를 보여주었습니다. $k$가 증가함에 따라 특히 저데이터 영역에서 고성능 아키텍처를 더 효과적으로 식별했습니다.
• 데이터 효율성: 학습 세트 크기 (50 개에서 860 개 샘플) 를 변화시킨 실험은 ConvNP 가 저데이터 영역에서 데이터 증가로 인해 상당한 혜택을 받으며, 데이터 양이 증가함에 따라 성능 향상이 포화됨을 보여주었습니다.
• 절대 연구: 컨텍스트 - 목표 분할이나 합성 작업 생성을 제거하면 성능이 크게 저하되어 메타러닝 공식의 필요성을 확인시켰습니다. 회귀 손실과 순위 손실을 결합하는 것이 각각 단독으로 사용하는 것보다 우수함이 입증되었습니다.

중요성 및 주장

이 논문은 NAS 예측기의 학습 절차를 실제 배포 시나리오와 정렬시키는 데 그 주요 중요성이 있다고 주장합니다. 부분적 관찰로부터의 추론으로서 예측을 모델링함으로써, 이 방법은 전통적인 지도 회귀보다 NAS 의 고유한 데이터 부족 문제를 더 효과적으로 해결합니다.

주요 통찰력은 전역 순위 지표가 항상 NAS 의 실질적 목표와 정렬되는 것은 아니다는 점입니다. 저자들은 전역 순위 상관관계가 전문 순위 모델보다 약간 낮더라도 선택 지향적 지표 (Top-K) 를 최적화하는 것이 더 효과적인 아키텍처 선택을 산출함을 입증했습니다. 이 연구는 미래의 NAS 예측기가 탐색 과정의 조건부 성격을 더 잘 반영하는 확률론적 및 메타러닝 접근법을 우선시해야 함을 시사합니다.

저자들은 전문 순위 예측기에 비해 전역 순위 성능이 약간 낮다는 점, 합성 작업 설계에 대한 민감도, 그리고 단순한 회귀기에 비해 추가적인 계산 오버헤드와 같은 한계를 인정합니다. 또한 현재 평가가 특정 벤치마크 탐색 공간으로 제한되어 있음을 지적합니다.