기술 요약: 지속 가능한 딥러닝을 위한 AutoML 활용을 향하여

문제 정의

딥러닝(DL) 모델은 복잡한 패턴을 추출하는 데 효과적이지만, 특히 에너지 소비와 탄소 배출 측면에서 상당한 계산 및 환경적 비용을 초래합니다. 이러한 과제는 IoT 및 에지 디바이스와 같은 자원이 제한된 환경에서 더욱 두드러집니다. 딥 시프트 신경망(Deep Shift Neural Networks, DSNN)은 비용이 많이 드는 부동 소수점 곱셈 연산을 비트 단위 시프트(bit-wise shift) 연산과 부호 반전(sign flipping)으로 대체함으로써 계산 복잡도와 지연 시간을 줄이는 잠재적인 해결책을 제공합니다. 그러나 DSNN의 구성, 특히 시프트 연산의 정밀도와 시프트 레이어의 깊이는 성능과 효율성에 큰 영향을 미칩니다. 이러한 하이퍼파라미터를 수동으로 튜닝하는 것은 비효율적이며, 높은 정확도와 최소한의 에너지 소비라는 두 가지 목표를 위해 DSNN을 최적화하기 위한 체계적인 접근 방식이 부족한 실정입니다.

방법론

저자들은 DSNN의 구성을 자동화하기 위해 다중 충실도(Multi-Fidelity, MF) 및 다중 목적(Multi-Objective, MO) 최적화를 통합한 Green AutoML 프레임워크를 제 제안합니다. 이 접근 방식은 하이퍼파라미터 최적화(HPO)를 위해 SMAC3 프레임워크를 활용합니다.

핵심 구성 요소:

1. 다중 충실도 최적화 (Multi-Fidelity Optimization, MF):

   • 전체 DSNN 구성을 훈련하는 데 드는 높은 계산 비용 문제를 해결하기 위해, 저자들은 다중 충실도 전략을 채택합니다.
   • 충실도 정의: 충실도 수준은 모델의 시프트 레이어 수로 정의됩니다. 훈련은 시프트 레이어가 적은 모델(낮은 충실도, 낮은 계산 비용, 높은 내재적 불확실성)에서 시작하여 점진적으로 레이어 수를 늘려가는 방식으로 진행됩니다.
   • 알리즘: MF를 구현하기 위해 HyperBand 알고리즘이 사용됩니다. 이는 여러 브래킷(bracket)에 걸쳐 "연속적 절반 나누기(Successive Halving)"를 실행하며, 많은 구성($n_c$)에 작은 초기 예산($b_I$)을 할당하고, 가장 성능이 좋은 구성들을 더 큰 예산으로 반복적으로 훈련합니다. 이를 통해 가능성이 낮은 구성을 조기에 배제하고 유망한 구성에 자원을 집중할 수 있습니다.

2. 다중 목적 최적화 (Multi-Objective Optimization, MO):

   • 최적화는 두 가지 상충하는 목표를 동시에 타겟팅합니다:
     • 정확도: 예측 성능을 극대화하기 위해 손실 함수($f_{loss}$)를 최소화합니다.
     • 지속 가능성: 훈련 및 추론 과정에서의 에너지 소비와 탄소 배출($f_{emission}$)을 최소화합니다.
   • 알리즘: 다중 목적의 특성을 처리하기 위해 ParEGO 알고리즘이 사용됩니다. 이 알고리즘은 각 반복마다 목적들에 대한 다양한 가중치 파라미터를 도입함으로써 MO 문제를 일련의 단일 목적 문제로 변환합니다. 이를 통해 프레임워크는 **파레토 프런트(Pareto front)**를 근사하여 정확도와 배출량 사이의 최적의 절충안을 제공하는 구성을 식별할 수 있게 합니다.

3. 측정:

   • 실시간 에너지 소비를 추적하고 지역 에너지 믹스에 기반하여 탄소 배출량(gCO2eq)을 계산하기 위해 CodeCarbon이 워크플로우에 통합되었습니다.

실험 설정

• 데이터셋: CIFAR-10.
• 기본 아키텍처: DSNN으로 변형된 사전 훈련된 ResNet20.
• 하드웨어: NVIDIA A100 GPU.
• 탐색 공간: 배치 크기, 옵티마이저, 학습률, 모멘텀, 에포크, 가중치 비트, 활성화 정수/소수 비트, 시프트 깊이, 시프트 유형(양자화 vs. 2의 거듭제곱/부호), 반올림 방법, 가중치 감쇠(weight decay) 등의 하이퍼파라미터를 포함합니다.
• 베이스라인: 기본 구성(Elhoushi et al., 2021에 의해 정의됨) 및 최적화되지 않은 모델과 비교합니다.

주요 결과

본 연구는 MFMO 접근 방식을 통해 33개의 구성을 평가했습니다. 주요 결과는 다음과 같습니다:

• 성능 향상: MF 알고리즘은 기본 DSNN 구성보다 Top-1 테스트 정확도에서 최소 3% 더 우수한 최적의 구성을 성공적으로 찾아냈습니다.
• 파레토 최적 솔루션: 두 가지 뚜렷한 파레토 최적 솔루션이 식별되었습니다:
  • 솔루션 1: 83.50% 정확도와 0.1661 gCO2eq 배출량. 이 구성은 더 적은 시프트 레이어(5개)와 더 적은 표현 비트(representation bits)를 사용했습니다.
  • 솔루션 2: 84.67% 정확도와 0.1673 gCO2eq 배출량. 이 구성은 가중치/활성화에 대해 훨씬 더 많은 시프트 레이어(16개)를 사용했지만, 표현 비트는 더 적게 사용했습니다.
• 절충 관계 통찰: 결과는 시프트 레이어 수와 표현 비트 사이의 절충 관계를 시사합니다. 솔루션 1은 레이어 수가 적음에도 불구하고 비트 폭을 줄임으로써 솔루션 2와 유사한 배출량을 달로는 달성했습니다. 반대로, 솔루션 2는 시프트 깊이를 늘림으로써 더 높은 정확도를 달성했지만, 더 많은 표현 비트를 필요로 했습니다.
• MF 검증: 실험을 통해 낮은 모델 내재적 불확실성(적은 시프트 레이어) 하에서 모델을 평가하는 것이, 전체 시프트 레이어로 인스턴스화되었을 때 고성능 네트워크를 찾는 데 효과적으로 가이드가 된다는 것을 확인했습니다.

기여 및 의의

본 논문은 지속 가능한 AI 분야에 다음과 같은 기여를 한다고 주장합니다:

1. DSNN 전용 구성 공간: 딥 시프트 신경망에 특화된 맞춤형 하이퍼파라미터 탐색 공간의 정의.
2. Green AutoML 프레임워크: 효율 중심의 모델을 구축하기 위해 SMAC3 내에서 다중 충실도 및 다중 목적 최적화를 결합한 새로운 접근 방식.
3. 설계 통찰력: 시프트 깊이, 표현 비트, 정확도 및 에너지 소비 간의 절충 관계에 대한 경험적 증거를 제공하여 향후 DSNN 설계에 대한 가이드를 제시함.
4. 방법론적 통합: 성능과 환경적 영향 모두를 최적화하기 위해 ParEGO와 HyperBand을 결합하는 방법의 시연.

저자들은 본 방법론이 효율적인 모델 개발을 가속화하고 지속 가능한 AI 애플리케이션을 가능하게 한다고 결론짓습니다. 또한, 더 넓은 벤치마크와 아키텍처로 이 접근 방식을 확장하고, 파레토 프런트를 생성하는 계산 부하를 줄이기 위해 ParEGO와 HyperBand의 통합을 정교화하는 후속 연구가 필요함을 인정합니다.