SEval-NAS: A Search-Agnostic Evaluation for Neural Architecture Search

이 논문은 하드웨어 인식 신경 아키텍처 탐색 (NAS) 에서 새로운 평가 지표를 유연하게 도입할 수 있도록 아키텍처를 벡터로 변환하여 성능을 예측하는 'SEval-NAS'를 제안하고, 이를 통해 지연 시간 및 메모리 예측의 정확성을 입증하고 기존 탐색 알고리즘에 통합하여 확장성을 검증했습니다.

핵심

📱 SEval-NAS: "AI 설계도"를 한눈에 보는 마법 거울

이 논문은 인공지능 (AI) 을 만드는 과정에서 가장 귀찮고 비싼 단계인 **'성능 테스트'**를 획기적으로 간편하게 만드는 새로운 방법을 소개합니다.

이해하기 쉽게 요리사와 요리책에 비유해서 설명해 드릴게요.

---

1. 문제점: 왜 지금의 AI 개발은 비쌀까요? 🤔

지금까지 AI(신경망) 를 개발할 때는 마치 새로운 요리를 개발하는 요리사와 같았습니다.

• 기존 방식: 요리사 (개발자) 가 새로운 레시피 (AI 구조) 를 생각해 내면, 실제로 재료를 사서 (데이터를 준비하고) 불을 켜고 (컴퓨터를 가동하고) 요리를 해봐야 (학습을 시켜봐야) 이 요리가 맛있는지 (정확도가 높은지), 그리고 얼마나 빨리 만들어지는지 (속도), 얼마나 많은 재료를 쓰는지 (메모리 사용량) 알 수 있었습니다.
• 문제점: 이 과정은 시간과 돈이 엄청나게 많이 듭니다. 특히 스마트폰이나 사물인터넷 (IoT) 기기 같은 작은 장치에 AI 를 넣으려면 "이 요리가 얼마나 빨리 만들어질까?" (지연 시간) 와 "재료가 얼마나 많이 필요할까?" (메모리) 를 미리 알 수 있어야 하는데, 실제 요리를 해보기 전까지는 알 수 없었습니다.

2. 해결책: SEval-NAS (마법 거울) 🪄

저자들은 이 문제를 해결하기 위해 SEval-NAS라는 새로운 도구를 만들었습니다. 이 도구는 **"요리책의 글자만 보고 요리의 맛과 속도를 예측하는 마법 거울"**이라고 생각하시면 됩니다.

🔄 어떻게 작동할까요?

1. 레시피를 문자로 바꾸기 (Network-to-String):
   복잡한 AI 구조 (컴퓨터 회로도 같은 것) 를 먼저 **문자열 (레시피)**로 변환합니다. 예를 들어, " conv(3x3) -> relu -> maxpool" 같은 구조를 "1_Convolution, 2_Relu, 3_Pooling" 같은 텍스트로 바꿉니다.

   • 비유: 복잡한 요리 과정을 "계란 2 개, 소금 약간, 3 분 볶기" 같은 간단한 문장으로 요약하는 거죠.

2. 마법 거울로 비추기 (Evaluator):
   이 텍스트를 AI 모델 (T5 라는 언어 모델) 에 넣습니다. 이 모델은 과거에 수천 가지 요리 (AI 구조) 와 그 결과 (맛, 속도, 재료) 를 학습했습니다.

   • 비유: 마법 거울이 "아, 이 레시피는 '계란'과 '소금'이 많이 들어갔네? 그럼 이 요리는 맛은 90 점, 만드는 시간은 5 분, 재료비는 1 만 원이겠구나!"라고 예측합니다.

3. 실제 요리 없이 선택하기:
   이제 개발자는 수천 가지 레시피를 실제로 요리해 볼 필요 없이, 마법 거울의 예측만 보고 "이 레시피는 속도가 빠르고 재료도 적게 쓰네? 이걸로 결정하자!"라고 바로 고르면 됩니다.

3. 이 방법의 놀라운 점 ✨

이 논문에서는 이 방법이 얼마나 잘 작동하는지 실험해 보았습니다.

• 🎯 하드웨어 비용 예측의 정확도:

  • 맛 (정확도) 예측: 요리의 맛을 예측하는 것은 조금 어렵습니다. (재료만 보고 맛이 100% 결정되지 않으니까요.) 그래서 정확도 예측은 그다지 완벽하지 않았습니다.
  • 속도와 재료비 (지연 시간/메모리) 예측: 하지만 요리하는 시간과 재료비는 레시피의 구조와 직접적인 연관이 있습니다. "팬을 10 번 더 섞으면 시간이 10 배 더 걸리겠지?"처럼 말이죠. 실험 결과, 속도와 메모리 사용량을 예측하는 데는 매우 탁월한 성능을 보였습니다.
  • 결론: "이 AI 는 스마트폰에서 얼마나 빨리 돌아갈까?"를 묻는 질문에는 이 마법 거울이 정답을 거의 완벽하게 알려줍니다.

• 🧩 어떤 AI 개발 방법에도 끼워 넣을 수 있음 (Plug-and-Play):
  기존에 쓰이던 어떤 AI 개발 방법 (FreeREA 같은 것) 이라도, 이 마법 거울을 하나만 추가하면 됩니다. 개발 방법을 완전히 뜯어고칠 필요 없이, "이제 이 AI 는 맛뿐만 아니라 속도와 재료비도 고려해서 골라줘"라고 명령만 내리면 됩니다.

4. 요약: 왜 이것이 중요한가요? 🚀

지금까지 AI 개발자들은 "이 AI 가 스마트폰에서 잘 돌아갈지" 알기 위해 수백 번의 실패와 시간 낭비를 감수해야 했습니다.

하지만 SEval-NAS는 문자만 보고도 "이 AI 는 배터리도 적게 먹고, 속도도 빠르다"라고 미리 알려줍니다.

• 개발 시간 단축: 불필요한 실험을 줄여줍니다.
• 유연성: 새로운 평가 기준 (예: 배터리 소모량) 이 생기더라도 마법 거울만 다시 학습시키면 됩니다.
• 실용성: 스마트폰, 자율주행차, 스마트 시계 등 자원이 부족한 기기에서 작동할 최적의 AI 를 빠르게 찾아줍니다.

한 줄 요약:

**"복잡한 AI 구조를 간단한 '문자'로 바꿔, 마법 거울처럼 그 성능과 하드웨어 비용을 미리 예측해 주는 똑똑한 도구"**입니다.

기술 요약

1. 문제 정의 (Problem Statement)

신경망 구조 탐색 (Neural Architecture Search, NAS) 은 수동 설계의 지식 격차를 해소하고 최적의 신경망을 자동화하여 발견하는 기술입니다. 그러나 기존 NAS 의 평가 프로세스에는 다음과 같은 주요 한계가 존재합니다.

• 하드코딩된 평가 절차: 기존 NAS 방법론은 평가 지표 (메트릭) 가 알고리즘에 하드코딩되어 있어, 새로운 평가 기준 (예: 새로운 하드웨어 비용 지표) 을 도입하려면 알고리즘 자체를 재설계해야 하는 번거로움이 있습니다.
• 높은 계산 비용: 후보 아키텍처의 성능을 평가하기 위해 완전한 훈련 (Full Training) 을 수행하는 경우, 수만 개의 GPU 시간이 소요될 수 있습니다.
• 하드웨어 인식 NAS (HW-NAS) 의 유연성 부재: 엣지 디바이스 등 특정 하드웨어 환경에 적합한 아키텍처를 찾기 위해 지연 시간 (Latency) 이나 메모리 사용량과 같은 하드웨어 비용 지표를 고려해야 하지만, 기존 방법들은 주로 정확도 (Accuracy) 에만 초점을 맞추거나 단일 목적 함수에 국한되어 있어 다중 목적 최적화가 어렵습니다.

2. 제안 방법론: SEval-NAS (Methodology)

이러한 한계를 극복하기 위해 저자들은 검색 알고리즘과 무관한 (Search-Agnostic) 평가 메커니즘인 SEval-NAS를 제안합니다. 이는 아키텍처를 문자열로 변환하고 이를 벡터에 임베딩하여 성능 지표를 예측하는 방식으로 작동합니다.

핵심 구성 요소

1. 네트워크 - 투 - 문자열 변환 (Network-to-String Conversion):

   • 임의의 신경망 (NN) 의 순전파 (Forward Pass) 중 생성된 Autograd 그래프를 순회 (Breadth-first traversal) 합니다.
   • 연산 (Convolution, ReLU 등) 과 데이터 흐름을 추출하여 표준화된 문자열 표현으로 변환합니다.
   • 이 문자열은 토큰화 (Tokenization) 되어 시퀀스 데이터로 처리됩니다. 이 과정은 아키텍처의 구조적 의존성 (연산 유형, 필터 수, 활성화 함수 등) 을 포착합니다.

2. 평가기 (Evaluator):

   • 인코더 (Encoder): 변환된 문자열 토큰 시퀀스를 고차원 벡터 임베딩으로 변환합니다. 논문에서는 T5 Transformer 기반의 인코더를 사용했습니다.
   • 예측기 (Predictor): 임베딩된 벡터를 입력받아 목표 성능 지표 (정확도, 지연 시간, 메모리 등) 를 예측하는 회귀 모델 (Fully Connected Layer) 입니다.
   • 이 모듈은 훈련 데이터셋 (아키텍처와 실제 성능 지표 쌍) 을 기반으로 학습되며, 손실 함수 (MSE 등) 를 최소화합니다.

3. NAS 파이프라인 통합:

   • SEval-NAS 는 기존 NAS 파이프라인의 '평가 단계'에 플러그 - 앤 - 플레이 (Plug-and-play) 방식으로 통합됩니다.
   • 컨트롤러가 생성한 후보 아키텍처를 실제 훈련 없이 SEval-NAS 를 통해 예측된 지표로 평가하고, 이를 기반으로 최적 아키텍처를 선택합니다.

3. 주요 기여 (Key Contributions)

• 범용 아키텍처 표현: Autograd 그래프를 순회하여 모든 유형의 신경망을 텍스트 문자열로 변환하는 메커니즘을 제안했습니다.
• 유연한 평가기 설계: 인코더 - 예측기 네트워크를 통해 정확도뿐만 아니라 지연 시간, 메모리 등 다양한 하드웨어 비용 지표를 예측할 수 있으며, 평가 목표의 수 (단일/다중) 에 따라 유연하게 적용 가능합니다.
• 검색 알고리즘 독립성: NAS 알고리즘 (예: FreeREA) 을 변경하지 않고도 SEval-NAS 를 통합하여 새로운 평가 기준을 도입할 수 있음을 입증했습니다.
• 모델 크기 비교 연구: T5-small, T5-base, T5-large 등 다양한 크기의 인코더/디코더 모델에 대한 애벌레이션 (Ablation) 연구를 수행했습니다.

4. 실험 결과 (Results)

저자들은 NATS-Bench와 HW-NAS-Bench 두 가지 벤치마크를 사용하여 SEval-NAS 를 평가했습니다.

• 예측 정확도 (Kendall's $\tau$ 상관관계):

  • 하드웨어 지표 (지연 시간, 메모리): 예측값과 실제값 간의 상관관계가 매우 높았습니다. 특히 NATS-Bench 와 HW-NAS-Bench 에서 지연 시간과 메모리 예측이 높은 정확도를 보였습니다. 이는 하드웨어 비용이 아키텍처의 구조적 특성 (예: 필터 수, 레이어 깊이) 과 직접적인 연관이 있기 때문입니다.
  • 정확도 (Accuracy): 하드웨어 지표에 비해 정확도 예측의 상관관계는 상대적으로 낮았습니다. 이는 정확도가 아키텍처 구조뿐만 아니라 데이터 분포, 학습 과정 등 다른 요인에 크게 의존하기 때문입니다.
  • 하드웨어 다양성: HW-NAS-Bench 를 통해 6 가지 엣지 디바이스 (Edge GPU, TPU, FPGA, Raspberry Pi 4 등) 에 대한 지연 시간 예측을 수행했으며, 대부분의 디바이스에서 높은 상관관계를 보였습니다 (단, Edge TPU 의 경우 데이터의 음수 값 문제로 인해 상관관계가 다소 낮았습니다).

• 모델 크기 영향 (Ablation Study):

  • NATS-Bench TSS(토폴로지 검색 공간) 에서는 모델 크기 (T5-small/base/large) 가 예측 성능에 큰 영향을 미치지 않았습니다.
  • NATS-Bench SSS(크기 검색 공간) 에서는 T5-large 가 오히려 T5-small 보다 낮은 상관관계를 보였습니다.
  • HW-NAS-Bench 지연 시간 예측에서는 T5-large 가 Edge GPU 에서 가장 높은 상관관계를 보였으나, 추론 지연 시간 자체는 증가했습니다.

• FreeREA 통합 실험:

  • SEval-NAS 를 훈련 없는 NAS 알고리즘인 FreeREA에 통합하여 지연 시간과 메모리 제약 조건을 추가했습니다.
  • 결과: 알고리즘 변경은 최소화하면서 (평가기 추론 시간만 추가), 하드웨어 제약 조건을 만족하는 아키텍처를 성공적으로 탐색했습니다. 지연 시간 제약 시 FreeREA 의 검색 시간이 약 2 배 증가했으나, 이는 여전히 다른 NAS 알고리즘에 비해 매우 효율적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 하드웨어 비용 예측 도구로서의 유용성: SEval-NAS 는 정확도 예측보다는 하드웨어 비용 (지연 시간, 메모리) 예측 도구로서 매우 효과적임을 입증했습니다. 이는 엣지 컴퓨팅 환경과 같은 리소스 제약이 있는 시나리오에서 아키텍처를 선별하는 데 필수적입니다.
• 유연성과 확장성: 기존 NAS 파이프라인을 재설계하지 않고도 새로운 평가 지표 (하드웨어 비용 등) 를 쉽게 도입할 수 있어, NAS 연구의 유연성을 크게 향상시킵니다.
• 미래 전망: 현재는 벤치마크 데이터에 의존하고 있으나, 향후 실제 디바이스에서의 온디바이스 (On-device) NAS 설정으로 경량화하여 배포하는 것을 목표로 합니다.

요약하자면, SEval-NAS는 신경망 구조를 텍스트로 변환하고 AI 모델로 성능을 예측함으로써, 하드웨어 제약 조건을 고려한 효율적이고 유연한 신경망 구조 탐색을 가능하게 하는 혁신적인 프레임워크입니다.