🤖 machine learning

Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices

본 논문은 자원이 제한된 임베디드 GPU에서 소형 언어 모델(Small Language Model)의 에너지 효율적인 미세 조정을 위해 DVFS(Dynamic Voltage Frequency Scaling) 설정을 최적화하는 머신러닝 기반의 모델 선택 접근 방식을 제안하며, 이를 통해 NVIDIA Jetson AGX Orin 장치에서 표준 MAXN 모드 대비 평균 13.11%의 에너지 절감을 달성하였다.

원저자: Jurn-Gyu Park, Sanzhar Zholdybayev, Aidar Amangeldi, Ademi Zhanuzakova

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jurn-Gyu Park, Sanzhar Zholdybayev, Aidar Amangeldi, Ademi Zhanuzakova

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 주머니 속에 강력하고 휴대 가능한 슈퍼컴퓨터(NVIDIA Jetson 장치와 같은)가 있고, 이를 사용하여 데이터를 클라우드로 보내지 않고도 그 자리에서 작고 똑똑한 AI 비서에게 새로운 기술을 가르치고 싶다고 상상해 보세요. 이 과정을 "파인튜닝(Fine-tuning)"이라고 부릅니다.

문제는 이 AI를 가르치는 것이 무거운 배낭을 메고 마라톤을 하는 것과 같다는 점입니다. 이는 많은 배터리 전력을 소모합니다. 너무 빨리 달리면 연료를 빠르게 써버리고, 너무 느리게 달리면 그 자리에 머무는 시간 동안 에너지를 계속 소모하게 되어 결국 많은 에너지를 쓰게 됩니다.

이 논문이 하는 일을 쉽게 설명하면 다음과 같습니다:

문제점: "골디락스(Goldilocks)"의 딜레마

연구진은 이러한 장치들이 작은 AI 모델을 학습시킬 때 어떻게 작동하는지 조사했습니다. 그들은 장치의 "속도"(GPU 주파수)가 자동차의 가속 페달처럼 작동한다는 것을 발견했습니다:

너무 빠를 때 (고속): 엔진이 굉음을 내며 연료를 들이붓습니다 (높은 전력 소모). 비록 일을 빨리 끝내더라도 말입니다.
너무 느릴 때 (저속): 엔진이 헐떡거리며 끝내는 데 한참이 걸립니다. 시간이 오래 걸리기 때문에, 엔진이 한 번에 큰 힘을 쓰지 않더라도 총 사용되는 연료량은 늘어나게 됩니다.

연구진은 가장 에너지 효율적인 속도가 가장 빠른 설정(장치가 보통 기본값으로 설정하는 방식)도 아니고, 가장 느린 설정도 아니라는 것을 발견했습니다. 그것은 중간에 있는 "스위트 스팟(Sweet spot, 최적의 지점)"입니다. 하지만 이 스위트 스팟은 특정 AI 모델과 작업의 유형에 따라 달라집니다. 마치 서킷 위의 스포츠카와 고속도로 위의 트럭에게 적합한 운전 속도가 서로 다른 것과 같습니다.

해결책: 똑똑한 교통 경찰

연구진은 장치를 기본 "최대 성능" 모드로 두는 대신(에너지를 낭비하게 됨), 단순하고 똑똑한 규칙(머신러닝 모델)을 만들어 교통 경찰 역할을 하게 했습니다.

이 "교통 경찰"은 AI가 작업을 시작하기 전에 두 가지 주요 요소를 살펴봅니다:

AI의 뇌가 얼마나 깊은가? (모델의 레이어 수).
읽고 있는 문장의 길이는 얼마인가? (평균 시퀀스 길이).

이 두 가지 단서를 바탕으로, 교통 경찰은 장치에 딱 맞는 속도를 선택합니다.

비유: 스마트 온도 조절기를 생각해보세요. 하루 종일 에어컨을 풀 파워로 틀어놓는 대신, 방의 크기와 외부 온도를 확인하여 최소한의 전기로 실내를 시원하게 유지할 수 있는 정확한 설정을 찾는 것과 같습니다.

결과: 배터리 절약

연구진은 이 방법을 NVIDIA Jetson AGX Orin이라는 장치에서 테스트했습니다. 그들은 자신들의 똑똑한 속도 선택 방식과 장치의 표준 "최대 성능" 모드를 비교했습니다.

결과: 똑똑한 방식을 사용함으로써 평균 13%의 에너지를 절약했습니다.
최상의 경우: 특정 시나리오에서는 거의 27%의 에너지를 절약하기도 했습니다.

이는 장치가 한 번의 배터리 충전으로 더 오래 작동하거나, AI의 학습 정확도를 전혀 떨어뜨리지 않으면서도 훨씬 적은 전력을 사용하여 동일한 작업을 완료할 수 있음을 의미합니다.

주의할 점

논문은 이 "똑똑한 교통 경찰"이 더 크고 복잡한 AI 모델에 가장 잘 작동한다고 언급합니다. 매우 작은 모델의 경우, 그 동작이 다소 "들쑥날쑥"하기 때문에 에너지 절감 효과가 다소 예측 불가능했습니다. 연구진은 향후 더 많은 데이터와 더 똑똑한 규칙을 통해 모든 유형의 모델에 대해 이 시스템을 더욱 개선할 수 있다고 제안합니다.

요약하자면: 이 논문은 휴대용 장치에서 작은 AI 모델을 다룰 때 "느린 것이 항상 좋은 것도 아니고, 빠른 것이 항상 최선도 아니다"라는 것을 가르쳐 줍니다. 특정 작업에 맞춰 '딱 적당한' 속도를 찾는 것이 상당한 배터리 수명을 아낄 수 있습니다.

기술 요약: 자원 제한적인 임베디드 기기에서의 SLM 미세 조정을 위한 에너지 효율적 GPU DVFS

문제 정의

개인정보 보호가 중요하고 지연 시간에 민큼 민감한 영역(예: 의료, 금융, 자율 주행 시스템)에서 온디바이스(on-device) 소형 언어 모델(SLM) 적응에 대한 수요가 증가함에 따라, 클라우드 오프로딩 대신 로컬 미세 조정(fine-tuning)이 필수적으로 요구되고 있습니다. 그러나 미세 조정은 많은 미니 배치(mini-batch)에 대해 반복적인 순전파-역전파 최optimization을 수행하기 때문에 단일 패스 추론보다 훨씬 더 많은 에너지와 시간이 소모됩니다.

NVIDIA Jetson AGX Orin과 같은 임베디드 플랫폼을 위한 기존의 동적 전압 및 주파수 스케일링(DVFS) 솔루션은 정적인 전력 모드(예: 15W, 30W, 50W, MAXN)에 의존합니다. 이러한 모드들은 총 에너지 소비가 전력 소모량과 실행 시간의 함수이기 때문에 에너지 효율성을 보장하지 못합니다. 정적 모드는 종종 에너지 최소화 지점에서 벗어나 작동하여 불필요한 에너지 소비를 초래합니다. 또한, LLM 추론 및 데이터 센터 학습을 위한 DVFS는 연구된 바 있으나, 자원이 제한된 임베디드 플랫폼에서 미세 조정 워크로드를 특성화하여 최적의 주파수 설정을 결정하는 연구는 부족한 실정입니다.

방법론

저자들은 미세 조정 동작을 특성화하고 에너지 효율적인 GPU 주파수 선택 정책을 개발하기 위해 5단계 방법론을 제안합니다:

실험 설정 및 데이터 수집:
- 플랫폼: Ampere 아키텍처 GPU와 12코어 ARM Cortex-A78AE CPU를 탑재한 NVIDIA Jetson AGX Orin (64GB).
- 워크로드: 인코더 전용 BERT 변체(Small부터 xLarge까지) 및 디코더 전용 Pythia 변체(31M에서 1B 파라미터).
- 벤치마크: GLUE 태스크(특성화를 위한 SST-2, QNLI, MRPC; 평가를 위한 QQP, RTE, CoLA, STS-B, MNLI, WNLI).
- 절차: GPU 주파수를 11개의 이산 레벨(306 MHz ~ 1300 MHz)에 걸쳐 스윕(sweep)하는 동안 CPU 거버너는 기본값으로 유지했습니다. 실행 시간, 전력 소비량(CPU + GPU), 사용률에 대한 데이터를 수집했습니다.
워크로드 특성화:
- 지연 시간(Latency): GPU 주파수가 증가함에 따라 실행 시간은 거의 지수적으로 감소합니다.
- 전력(Power): 총 전력 소비량은 주파수에 비례( $P \propto f$ )하며, 높은 주파수는 종종 기본 MAXN 모드의 전력 소모량을 초과합니다.
- 에너지(Energy): 주파수와 총 에너지 사이의 관계는 뚜렷한 U자형 곡선을 나타냅니다. 낮은 주파수는 연장된 실행 시간으로 인해 에너지를 증가시키고, 높은 주파수는 높아진 전력 소모로 인해 에너지를 증가시킵니다. 에너지 효율성을 위한 최적의 "스위트 스팟(sweet spot)"은 최대 1300 MHz보다 현저히 낮은 510–816 MHz 범위에서 발견되었습니다.
ML 모델 선택:
- 최적의 GPU 주파수를 선택하는 문제를 다중 클래스 분류 작업으로 정식화했습니다.
- 특성(Features): 모델 유형, GPU 사용률, 레이어 수, 은닉 크기(hidden size), 평균 시퀀스 길이.
- 타겟(Target): 최적의 GPU 주수 레벨(1–6에 해당하는 510–1122 MHz로 인코딩됨).
- 알고리즘: 해석 가능성을 위해 의사결정 나무(Decision Tree, DT) 분류기를 선택했습니다. 제한된 데이터셋 크기(27개의 모델-태스크 구성)로 인해 하이퍼파라미터는 LOOCV(Leave-One-Out Cross-Validation)를 사용하여 최적화되었습니다.
거버너 정책 설계:
- 구조적 특성(Transformer 깊이 및 시퀀스 길이)을 특정 주파수 설정으로 매핑하는 해석 가능한 DT 기반 정책(MLG)을 도출했습니다.
- 로직:
  - 얕은 모델(Layers $\le$ 7): 짧은 시퀀스( $\le$ 32.5)는 510 MHz로 매핑; 긴 시퀀스는 612 MHz로 매핑.
  - 깊은 모델(Layers > 7): 짧은 시퀀스( $\le$ 53.0)는 714 MHz로 매핑; 긴 시퀀스는 816 MHz로 매핑.
  - 보조 조건은 GPU 사용률( $\le$ 22.0 $\rightarrow$ 1020 MHz)에 따라 주파수를 조정합니다.
평가:
- 제안된 ML 기반 정책(MLG)과 고정 주파수 정책(FFG)을 본 적 없는 워크로드에 대해 제약 없는 MAXN 모드(Mode 0)와 비교 테스트했습니다.

주요 기여

포괄적 특성화: 본 연구는 임베디드 플랫폼에서 인코더 전용 및 디코더 전용 SLM 미세 조정에 대해 GPU 주파수 스케일링이 지연 시간, 전력 및 총 에너지에 어떻게 영향을 미치는지에 대한 첫 번째 상세한 특성화를 제공합니다.
에너지 스위트 스팟 식별: 저자들은 최소 에너지 지점이 워크로드에 따라 달라지며 U자형 패턴을 따르며, 종로 종종 플랫폼의 최대 성능보다 현저히 낮은 주파수에서 발생함을 입증합니다.
경량 ML 기반 정책: 복잡한 런타임 프로파일링 없이도 에너지 최적의 GPU DVFS 설정을 선택할 수 있는 해석 가능한 의사결정 나무 기반 거버너 정책을 제안합니다.
실증적 검증: 제안된 방식은 여러 SLM 아키텍처 및 GLUE 벤치마크에 대해 NVIDIA Jetson AGX Orin에서 검증되었습니다.

실험 결과

평가는 여섯 가지 미학습 워크로드에 대해 제안된 정책(MLG)과 고정 주파수 거버너(FFG)를 표준 MAXN 모드(Mode 0)와 비교했습니다:

전체 에너지 절감: ML 기반 거버너(MLG)는 모든 모델과 태스크에 대해 평균 13.11%의 에너지 절감을 달축성했으며, 최대 절감량은 26.73%(BERT-base의 MNLI 태스크에서 관찰됨)였습니다.
모델 크기 영향:
- 대형 모델 (>70M 파라미터): 안정적이고 유의미한 개선을 보였습니다. 평균 절감량이 22%를 초과했습니다. 이 모델들은 더 명확한 U자형 에너지 곡선을 보여 최적의 주파수 선택이 더 예측 가능했습니다.
- 소형 모델 ( $\le$ 70M 파라미터): 결과가 더 가변적이었습니다. 평균적인 개선은 양수였으나, U자형 패턴의 변동이나 에너지-주파수 곡선의 급증으로 인해 특정 태스크-모델 조합에서는 음의 절감(에너지 증가)이 나타나기도 했습니다.
정책 비교: MLG 정책은 FFG보다 평균 0.9% 더 높은 성능을 보였습니다. MLG는 특히 긴 시퀀스 워크로드(예: RTE 태스크)를 처리하는 데 효과적이었던 반면, FFG는 작은 모델의 가변성을 처리하는 데 어려움을 겪었습니다.

의의 및 주장

본 논문은 임베디드 장치의 정적 전력 모드가 SLM 미세 조정에 있어 최적이 아니며, 종종 최대 25%의 피할 수 있는 에너지 소비를 초래한다고 주장합니다. 워크로드 인식형 ML 기반 주파수 선택 정책을 도입함으로써, 저자들은 모델 정확도(검증 정확도가 모든 구성에서 동일하게 유지됨)를 저하시키지 않으면서 상당한 에너지 절감을 달성할 수 있음을 입증했습니다.

저자들은 현재 ML 모델의 정확도가 보통 수준(검증 정확도 0.62)이며, 매우 작은 모델에 대한 결과가 불안정할 수 있다는 점을 언급하며 한계를 인정했습니다. 이들은 향-후 과제로 더 다양한 SLM 및 벤치마크로 데이터셋을 확장하고, 거버너 정책의 안정성과 에너지 절감을 더욱 향상시키기 위해 더 정교한 ML 모델을 사용하는 것을 꼽았습니다.