🤖 machine learning

Energy Scaling Laws for Diffusion Models: Quantifying Compute in Image Generation

본 논문은 추론을 텍스트 인코딩, 노이즈 제거, 디코딩 구성 요소로 분해하여 확산 모델의 GPU 에너지 소비를 정확하게 예측하는 적응형 카플란 스케일링 법칙을 제안하며, 노이즈 제거가 에너지 사용량을 지배함을 입증하고 지속 가능한 AI 계획을 위한 신뢰할 수 있는 아키텍처 간 추정을 가능하게 합니다.

원저자: Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 여러분은 매우 비싸고 고성능인 주방 로봇 (GPU) 을 가지고 있으며, 이 로봇은 지저분한 재료 더미를 완벽한 사진처럼 사실적인 케이크 (이미지) 로 변신시킬 수 있습니다. 이 로봇은 케이크를 한 번에 굽는 것이 아니라, 식감이 딱 맞게 하기 위해 수십 번씩 반죽을 하고, 맛을 보고, 조절하고, 다시 반죽하는 과정을 반복해야 합니다. 이것이 **확산 모델 (Diffusion Models)**이 이미지를 생성하는 방식입니다.

문제는 이 로봇이 전기를 많이 소비한다는 것입니다. 케이크가 더 복잡할수록 (해상도가 높을수록) 그리고 반죽을 반복하는 횟수가 더 많을수록 (단계가 더 많을수록) 전기 요금이 더 비싸집니다.

이 논문은 이러한 이미지 생성 로봇을 위한 스마트 에너지 계산기와 같습니다. 저자들은 다음과 같은 간단한 질문을 던지고자 했습니다. "케이크의 크기, 로봇의 종류, 또는 반죽 횟수를 변경하면, 로봇을 실제로 가동하지 않고도 정확히 얼마나 전기를 사용할지 예측할 수 있을까?"

다음은 일상적인 비유를 통해 정리한 그들의 연구 결과입니다:

1. 에너지의 "레시피" (스케일링 법칙)

저자들은 언어 모델 세계에서 유명한 규칙 ( 카플란 스케일링 법칙, Kaplan Scaling Laws라고 함) 을 가져와 이미지 생성에 맞게 적용했습니다. 이 규칙은 다음과 같은 보편적인 레시피와 같습니다: "로봇이 하는 일이 많을수록, 소비하는 에너지도 많아진다."

그들은 이미지 생성 로봇들에게 있어 이 관계가 거의 완벽하게 직선적임을 발견했습니다. 로봇이 수행해야 하는 수학 연산량 ( FLOPs라고 함) 을 두 배로 늘리면, 사용하는 에너지도 대략 두 배가 됩니다. 이는 자동차를 운전하는 것과 같습니다: 두 배 더 멀리 운전하면 두 배 더 많은 가스를 소비하는 것과 마찬가지입니다.

2. "반죽"이 가장 많은 에너지를 소모합니다

로봇이 케이크를 만들 때 세 가지 단계가 있습니다:

주문 읽기 (텍스트 인코딩): 어떤 케이크를 원하는지 읽는 과정.
반죽하기 (반복적 노이즈 제거): 실제 베이킹 과정으로, 노이즈를 제거하는 작업.
케이크 장식하기 (디코딩): 최종 이미지를 완성하는 과정.

이 논문은 **2 단계 (반죽하기)**가 가장 많은 에너지를 소모한다는 사실을 발견했습니다. 전체 사용 에너지의 90% 이상을 차지합니다. 로봇은 주문을 읽거나 케이크를 장식하는 데 시간을 보내는 것이 아니라, 반복적인 반죽 과정에 거의 모든 시간과 전력을 쏟습니다. 이것이 에너지 요금이 매우 높은 이유입니다. 로봇은 단일 이미지를 생성하기 위해 반죽을 10 회에서 50 회까지 반복해야 하기 때문입니다.

3. "로봇 모델"은 생각만큼 중요하지 않습니다

연구자들은 네 가지 다른 유형의 로봇 (Stable Diffusion 2, Stable Diffusion 3.5, Flux, Qwen) 과 세 가지 다른 유형의 주방 (NVIDIA A100, A4000, A6000 GPU) 에서 이 규칙을 테스트했습니다.

여기가 놀라운 부분입니다: 이 규칙은 모두에게 적용됩니다.

"Flux" 로봇이 사용하는 에너지 양을 안다면, "Qwen" 로봇이 사용할 에너지 양도 같은 수학을 통해 예측할 수 있습니다. 비록 두 로봇의 구조가 다르더라도 말입니다.
전문 데이터 센터용 로봇 (A100) 을 사용하든 고급 워크스테이션용 로봇 (A6000) 을 사용하든 상관없습니다. "수행된 작업"과 "사용된 에너지" 사이의 관계는 일관되게 유지됩니다.

이는 토요타를 운전하든 포드를 운전하든, 같은 거리를 같은 속도로 운전한다면 대략 같은 양의 연료를 소비한다는 사실을 발견한 것과 같습니다. 연료 비용을 알기 위해 도로 위의 모든 차를 테스트할 필요는 없습니다. 거리와 속도만 알면 됩니다.

4. 요금을 변화시키는 "조절 나사"들

이 논문은 로봇의 조절 나사를 돌렸을 때 어떤 일이 일어나는지도 살펴보았습니다:

해상도 (크기): 이미지를 256x256 에서 1024x1024 로 크게 만드는 것은 로봇에게 컵케이크 대신 거대한 웨딩 케이크를 굽도록 요청하는 것과 같습니다. 에너지 비용이 급격히 증가합니다.
정밀도 (정확도): "float32"(초정밀) 를 사용하는 것과 "float16"(표준 정밀도) 을 사용하는 것은 로봇에게 주방 저울 대신 미세한 저울로 재료를 측정하도록 요청하는 것과 같습니다. 초정밀 모드는 훨씬 더 많은 에너지를 소비합니다 (경우에 따라 약 7 배까지).
단계 (반죽 횟수): 로봇에게 10 회 대신 50 회 반죽하도록 요청하는 것은 10 분 대신 1 시간 동안 반죽을 저어달라고 요청하는 것과 같습니다. 에너지 비용은 선형적으로 증가합니다.

5. 이것이 중요한 이유 ("그래서 뭐?"라는 질문)

이 논문이 나오기 전까지, 한 회사가 백만 명의 사용자를 위한 이미지 생성기를 가동하는 데 얼마나 비용이 들지 알고 싶다면, 실제로 시스템을 가동하고 전력계를 측정해야 했습니다. 이는 동전을 던져 전기 요금을 추측하는 것과 같았습니다.

이제 그들은 예측 도구를 갖게 되었습니다.

기획자를 위해: 회사는 "우리가 이 새로운 로봇으로 전환하고 4K 이미지를 요청한다면, 로봇을 먼저 구매하지 않고도 정확히 얼마만큼의 전기가 필요한지"를 알 수 있습니다.
환경을 위해: 이는 AI 의 "탄소 발자국"을 이해하는 데 도움이 됩니다. 논문은 고품질 이미지 하나를 생성하는 데 드는 에너지가 일반적인 텍스트 기반 AI 채팅 (예: 챗봇에 질문하기) 10 회분과 같을 수 있다고 지적합니다.

요약

이 논문은 이미지 생성에서의 에너지 소비가 예측 가능하다는 것을 증명합니다. 이는 간단한 수학 규칙을 따릅니다: 더 많은 수학 연산 = 더 많은 에너지. 이 규칙을 이해함으로써 우리는 더 잘 계획하고, 적절한 장비를 선택하며, 디지털 아트를 생성하는 환경적 비용을 파악할 수 있습니다. 이를 위해 단 하나의 테스트도 실행할 필요가 없습니다.

기술 요약: 확산 모델의 에너지 스케일링 법칙

문제 제기

고품질 이미지 합성을 위한 확산 모델의 급속한 배포는 상당한 계산 비용을 초래하여 에너지 소비 및 환경적 영향에 관한 중대한 우려를 불러일으켰습니다. 단일 패스 모델과 달리, 확산 모델은 각 단계에서 전체 네트워크 평가를 수반하는 반복적 노이즈 제거 단계 (일반적으로 10~50 회) 를 필요로 하므로 에너지 사용량이 누적됩니다. 기존 에너지 최적화 전략은 아키텍처 개선이나 하드웨어 가속화에 초점을 맞추고 있으나, 다양한 모델 구성과 하드웨어 설정에 걸친 에너지 소비를 예측할 수 있는 원칙적이고 예측 가능한 방법론은 부족합니다. 현재 접근 방식은 종종 사후 경험적 측정이나 특수 벤치마크에 의존하는데, 이는 기준이 되는 진실값을 제공하지만 아키텍처 복잡성 (FLOPs) 을 에너지 발자국에 직접 연결하는 일반화 가능한 예측 프레임워크를 제공하지는 못합니다.

방법론

저자들은 트랜스포머 기반 언어 모델 학습을 위해 원래 개발된**카플란 스케일링 법칙 (Kaplan scaling laws)**을 확산 모델 추론에 대한 GPU 에너지 소비 예측에 적용할 것을 제안합니다. 핵심 가설은 에너지 사용량이 하드웨어 및 구성 요인에 의해 조절되며, 계산 복잡성 (FLOPs) 과 멱법칙 관계를 따른다는 것입니다.

이론적 프레임워크

총 에너지 소비 ( $E$ ) 는 계산 복잡성, 정밀도, 하드웨어 아키텍처, 그리고 해상도의 함수로 모델링됩니다. 저자들은 다음과 같은 로그 - 선형 회귀 모델을 수립합니다:
$\log(E) = \log(A) + \alpha \log(\text{FLOPs} \times 2^{I_{cfg}}) + \beta_{dtype} I_{dtype} + \beta_{gpu} I_{gpu} + \beta_{res} \log\left(\frac{H \times W}{256}\right)$
여기서:

FLOPs: 주요 예측 변수로, 텍스트 인코딩, 반복적 노이즈 제거, 이미지 디코딩으로 분해됩니다. 저자들은반복적 노이즈 제거가 에너지 소비를 지배한다고 주장하며 (FLOPs 의 90% 이상을 차지), 이를 통해 총 연산을 $N \times T \times \text{FLOPs}_{denoise}$ 로 근사할 수 있습니다.
$I_{cfg}$ : 분류기 없는 안내 (Classifier-Free Guidance) 에 대한 지표로, 이는 계산 비용을 효과적으로 두 배로 증가시킵니다.
$I_{dtype}$ 및 $I_{gpu}$ : 부동 소수점 정밀도 (fp16 대 fp32) 와 GPU 아키텍처 (A100, A4000, A6000) 를 위한 원 - 핫 인코딩 변수입니다.
$\beta_{res}$ : FLOPs 만으로는 포착되지 않는 해상도 의존적 효율성 변동 (예: 메모리 대역폭 활용도) 을 고려한 편향 항입니다.

실험 설계

이 연구는 다음과 같은 포괄적인 실험을 통해 이 프레임워크를 검증합니다:

모델: 서로 다른 아키텍처를 아우르는 네 가지 최첨단 확산 모델: Stable Diffusion 2(U-Net), Stable Diffusion 3.5(MMDiT), Flux(Flow-matching 을 갖춘 MMDiT), 그리고 Qwen(MMDiT).
하드웨어: 세 가지 NVIDIA GPU 아키텍처 (A100, RTX A4000, RTX A6000).
구성: 해상도 ( $256^2$ 에서 $1024^2$ 까지), 정밀도 (fp16/fp32), 단계 수 (10~50), 그리고 안내 설정의 변형.
측정: 에너지 소비는 NVML 을 통한 CodeCarbon 의 EmissionsTracker 를 사용하여 1Hz 샘플링 속도로 측정되었으며, 유휴 기준선을 차감하여 동적 GPU 전력을 분리했습니다.

주요 기여

스케일링 법칙의 적용: 확산 모델 추론 에너지를 예측하기 위한 카플란 스타일 스케일링 법칙의 첫 번째 적용으로, FLOPs 와 에너지 발자국 사이의 이론적 연결을 확립했습니다.
FLOP 분해: 확산 추론 비용에 대한 상세한 분석적 분해를 통해 반복적 노이즈 제거가 지배적인 계산 구성 요소임을 확인했습니다.
교차 아키텍처 일반화: 특정 모델 - 하드웨어 조합에서 학습된 에너지 스케일링 법칙이 보지 못한 모델 (예: Flux/SD3.5 데이터로부터 Qwen 에너지 예측) 과 보지 못한 하드웨어 플랫폼으로 효과적으로 일반화됨을 입증했습니다.
하드웨어 인식 모델링: 정밀도와 GPU 아키텍처 효과를 통합된 예측 프레임워크에 통합하여, 연산자별 프로파일링 없이 에너지 추정을 가능하게 했습니다.
배포 프레임워크: 대규모 확산 배포의 에너지 영향을 추정하기 위한 실용적인 방법론으로, 지속 가능한 AI 계획을 지원합니다.

결과

높은 예측 정확도: 제안된 에너지 스케일링 법칙은 개별 아키텍처 내에서 높은 정확도를 달성하며, A100 에서 Flux, SD3.5, Qwen 과 같은 모델의 경우 $R^2 > 0.9$ (종종 0.99 초과) 를 기록했습니다.
연산 제한적 성격: 스케일링 지수 ( $\alpha$ ) 가 1.0 에 근접합니다 (예: Flux 의 경우 0.989). 이는 확산 추론이 메모리 제한적이기보다는 주로 연산 제한적임을 가설을 검증합니다.
교차 모델 전이: 모델 부분집합 (예: Flux + SD3.5) 에서 학습된 스케일링 법칙은 보류된 모델 (예: Qwen) 의 에너지 소비를 성공적으로 예측하며, 강한 순위 상관관계 ( $R, R_s > 0.9$ ) 를 보입니다.
교차 아키텍처 전이: 이 프레임워크는 아키텍처 패러다임을 성공적으로 연결하여, MMDiT 모델에서 유도된 법칙을 사용하여 U-Net 모델 (SD2) 의 에너지를 예측하고 그 반대로도 예측합니다.
에너지 규모: 이 연구는 단일 고해상도 확산 이미지가 일반적인 대규모 언어 모델 쿼리보다 최대 10 배의 에너지를 소비할 수 있음을 정량화했습니다 (예: 고품질 Qwen 이미지는 최대 3.58 Wh, ChatGPT 쿼리는 약 0.34 Wh). 에너지 소비는 구성에 따라 세 자릿수 (orders of magnitude) 에 걸쳐 분포합니다.

중요성과 주장

이 논문은 지속 가능한 AI 배포 계획에 필수적인 기반으로서 에너지 소비 추정을 확립한다고 주장합니다. FLOP 기반 모델이 배포에 대한 실용적인 지침을 제공할 수 있음을 검증함으로써, 이 연구는 다음을 가능하게 합니다:

배포 전 계획: 조직은 광범위한 경험적 테스트 없이 다양한 GPU 플랫폼에 걸친 에너지 비용을 예측할 수 있습니다.
탄소 인식 최적화: 시스템은 그리드 탄소 강도에 따라 하이퍼파라미터 (정밀도, 해상도, 단계) 를 동적으로 조정할 수 있습니다.
표준화: 이 방법론은 에너지 소비 보고를 위한 표준화된 접근 방식을 제공하여 규제 준수 및 재현 가능한 에너지 계정을 지원합니다.

저자들은 시스템 전체 범위 (CPU/RAM/냉각 제외) 와 특정 하드웨어 유형 (NVIDIA 중심) 에 관한 한계가 존재하지만, 이 프레임워크가 확산 모델의 에너지 - 복잡성 관계에 대한 근본적이고 아키텍처 중립적인 원칙을 성공적으로 포착한다고 결론지었습니다. 이는 생성형 AI 의 환경적 영향을 평가하고 완화하기 위한 확장 가능한 도구를 제공합니다.