🤖 machine learning

Energy Scaling Laws for Diffusion Models: Quantifying Compute in Image Generation

本論文は、推論をテキストエンコーディング、ノイズ除去、デコーディングの各構成要素に分解することで拡散モデルのGPUエネルギー消費を正確に予測する適応型カプランの法則を提案し、ノイズ除去がエネルギー消費を支配することを示すとともに、持続可能なAI計画のための信頼性の高いアーキテクチャ横断的な推定を可能にするものである。

原著者： Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aniketh Iyengar, Jiaqi Han, Boris Ruf, Vincent Grari, Marcin Detyniecki, Stefano Ermon

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に高価で高性能なキッチンロボット（GPU）を想像してください。このロボットは、散らかった材料の山を完璧で写実的なケーキ（画像）に変えることができます。このロボットは一度でケーキを焼き上げるわけではありません。テクスチャーを完璧にするために、数十回も混ぜ、味見し、調整し、再び混ぜる必要があります。これが画像を生成する拡散モデルの仕組みです。

問題は、このロボットが大量の電力を消費するということです。ケーキが複雑になるほど（解像度が高くなるほど）、そして混ぜる回数が増えるほど（ステップ数が増えるほど）、電気代は高くなります。

この論文は、これらの画像生成ロボットのための賢いエネルギー計算機のようなものです。著者たちは、単純な問いに答えようとしていました。「ケーキのサイズ、ロボットのタイプ、または混ぜる回数を変えれば、ロボットを実際に動かさずに、正確にどれだけの電力を消費するか予測できますか？」

以下に、彼らの発見を日常的な比喩を用いて解説します。

1. エネルギーの「レシピ」（スケーリング則）

著者たちは、言語モデルの世界で有名なルール（カプランのスケーリング則と呼ばれるもの）を画像生成用に適応させました。このルールは、以下のような普遍的なレシピと考えることができます。「ロボットがする仕事が増えれば、消費するエネルギーも増える」というものです。

彼らは、これらの画像ロボットにおいて、この関係がほぼ完全に直線的であることを発見しました。ロボットが処理しなければならない数学的な計算量（FLOPs）を倍にすれば、消費エネルギーもほぼ倍になります。車を運転するのと同じです。走行距離を倍にすれば、ガソリンの消費量も倍になります。

2. 「混ぜる」工程が最も重労働

ロボットがケーキを作る際、3 つのパートがあります。

注文を読む（テキストエンコーディング）：どのようなケーキが欲しいかを読み取る。
生地を混ぜる（反復的なノイズ除去）：ノイズを除去する実際の焼き工程。
ケーキを盛り付ける（デコーディング）：最終的な画像を完成させる。

この論文によると、ステップ 2（混ぜる工程）が最も重労働です。消費エネルギーの90% 以上を占めています。ロボットは注文を読んだりケーキを盛り付けたりするのではなく、ほぼすべての時間と電力を、反復的な混ぜ作業に費やしています。これが電気代が高くなる理由です。1 枚の画像を作るために、ロボットは生地を 10 回から 50 回も混ぜなければならないからです。

3. 「ロボットモデル」は思っているほど重要ではない

研究者たちは、このルールを 4 種類の異なるロボット（Stable Diffusion 2、Stable Diffusion 3.5、Flux、Qwen）と、3 種類の異なるキッチン（NVIDIA A100、A4000、A6000 GPU）でテストしました。

ここが驚きです：このルールはすべてに通用します。

「Flux」ロボットが消費するエネルギーがわかれば、同じ数学を使って「Qwen」ロボットが消費するエネルギーを予測できます。たとえそれらが異なる構造で作られていたとしてもです。
プロフェッショナルなデータセンター用のロボット（A100）を使おうが、ハイエンドなワークステーション用のロボット（A6000）を使おうが、「行われた仕事」と「消費されたエネルギー」の関係は一貫しています。

これは、トヨタかフォードかに関わらず、同じ距離を同じ速度で運転すれば、おおよそ同じ量の燃料を消費するという発見に似ています。燃料コストを知るために道路のすべての車をテストする必要はありません。距離と速度さえわかればよいのです。

4. 電気代を変える「つまみ」

この論文は、ロボットのつまみを回したときに何が起こるかも検討しました。

解像度（サイズ）：画像を大きくする（256x256 から 1024x1024 へ）ことは、ロボットにカップケーキではなく巨大なウェディングケーキを焼くように頼むようなものです。エネルギーコストは劇的に跳ね上がります。
精度（正確さ）：「float32」（超高精度）を使うか「float16」（標準精度）を使うかは、ロボットに台所用の秤ではなく、顕微鏡レベルの精密秤で材料を測るように頼むようなものです。超高精度モードは、はるかに多くのエネルギーを消費します（場合によっては約 7 倍）。
ステップ数（混ぜる回数）：ロボットに 10 回ではなく 50 回混ぜるように頼むことは、10 分ではなく 1 時間生地を混ぜるように頼むようなものです。エネルギーコストは線形的に増加します。

5. なぜこれが重要なのか（「だから何？」）

この論文以前は、企業が 100 万人のユーザー向けに画像生成システムを動かすのにどれだけのコストがかかるかを知りたい場合、実際にシステムを稼働させて電力メーターを測定する必要がありました。それは、コインを投げて電気代を当てるようなものでした。

現在、彼らは予測ツールを持っています。

計画担当者にとって：企業は、「この新しいロボットに切り替え、4K 画像を要求すれば、ロボットを先に購入しなくても、正確にどれだけの電力が必要か」を言うことができます。
環境にとって：AI の「炭素フットプリント」を理解するのに役立ちます。この論文は、1 枚の高品質な画像を生成するエネルギーは、チャットボットに質問するなど、10 回分の一般的なテキストベースの AI チャットと同じくらい多いと指摘しています。

まとめ

この論文は、画像生成におけるエネルギー消費は予測可能であることを証明しています。それは単純な数学のルールに従います。計算量が増えれば、エネルギーも増える。このルールを理解することで、単一のテストを実行する必要なく、より良い計画を立て、適切な機器を選択し、デジタルアートを創作する際の環境コストを理解することができます。

技術サマリー：拡散モデルのエネルギースケーリング則

問題定義

高品質な画像合成のための拡散モデルの急速な展開は、莫大な計算コストをもたらしており、エネルギー消費と環境への影響に関する重大な懸念を提起している。単回パスモデルとは異なり、拡散モデルは通常10〜50回の反復的なノイズ除去ステップを必要とし、各ステップで完全なネットワーク評価が行われるため、エネルギー使用量が累積する。既存のエネルギー最適化戦略は、アーキテクチャの改善やハードウェアの加速に焦点を当てているが、多様なモデル構成やハードウェア設定にわたるエネルギー消費を推定するための、原理に基づいた予測手法は欠けている。現在の手法は、往々にして事後の実証測定や専門的なベンチマークに依存しており、これらは真値を提供するものの、アーキテクチャの複雑さ（FLOPs）を直接的にエネルギーフットプリントに結びつける汎用性の高い予測フレームワークを提供するには至っていない。

手法

著者らは、Transformerベースの言語モデルの学習のために元々開発されたカプランのスケーリング則を拡散モデルの推論におけるGPUエネルギー消費の予測に適用することを提案する。中核的な仮説は、エネルギー使用量が、ハードウェアおよび構成要因によって調整されつつ、計算複雑さ（FLOPs）とべき乗則の関係に従うというものである。

理論的枠組み

総エネルギー消費量（ $E$ ）は、計算複雑さ、精度、ハードウェアアーキテクチャ、および解像度の関数としてモデル化される。著者らは、対数線形回帰モデルを定式化する：
$\log(E) = \log(A) + \alpha \log(\text{FLOPs} \times 2^{I_{cfg}}) + \beta_{dtype} I_{dtype} + \beta_{gpu} I_{gpu} + \beta_{res} \log\left(\frac{H \times W}{256}\right)$
ここで：

FLOPs：主要な予測変数であり、テキストエンコーディング、反復的ノイズ除去、画像デコーディングに分解される。著者らは、反復的ノイズ除去がエネルギー消費を支配しており（FLOPsの90%超を占める）、モデルが総計算量を $N \times T \times \text{FLOPs}_{denoise}$ として近似できると主張する。
$I_{cfg}$ ：クラスターフリーガイダンスのインジケータであり、これにより計算コストが実質的に倍増する。
$I_{dtype}$ および $I_{gpu}$ ：浮動小数点精度（fp16対fp32）およびGPUアーキテクチャ（A100、A4000、A6000）のためのワンホットエンコード変数。
$\beta_{res}$ ：FLOPs単独では捉えられない解像度依存の効率変動（例えば、メモリ帯域幅の利用率など）を考慮するバイアス項。

実験設計

本研究は、以下の広範な実験を通じてこの枠組みを検証する：

モデル：異なるアーキテクチャにまたがる4つの最先端拡散モデル：Stable Diffusion 2（U-Net）、Stable Diffusion 3.5（MMDiT）、Flux（フローマッチングを備えたMMDiT）、およびQwen（MMDiT）。
ハードウェア：3種類のNVIDIA GPUアーキテクチャ（A100、RTX A4000、RTX A6000）。
構成：解像度（ $256^2$ から $1024^2$ ）、精度（fp16/fp32）、ステップ数（10〜50）、およびガイダンス設定のバリエーション。
測定：エネルギー消費は、NVMLを介したCodeCarbonのEmissionsTrackerを使用して1Hzのサンプリングレートで測定され、アイドル時のベースラインを差し引くことで動的なGPU電力を分離した。

主要な貢献

スケーリング則の適用：拡散モデルの推論エネルギーを予測するためのカプランスタイルのスケーリング則の初適用。FLOPsとエネルギーフットプリントの間の理論的リンクを確立した。
FLOPの分解：拡散推論コストの詳細な分析的分解を行い、反復的ノイズ除去が支配的な計算コンポーネントであることを確認した。
アーキテクチャ横断的な汎化：特定のモデル・ハードウェアの組み合わせで学習されたエネルギースケーリング則が、未見のモデル（例えば、Flux/SD3.5のデータからQwenのエネルギーを予測）および未見のハードウェアプラットフォームに対して効果的に汎化することを示した。
ハードウェアを考慮したモデリング：精度およびGPUアーキテクチャの影響を統合された予測フレームワークに組み込み、オペレータごとのプロファイリングなしでエネルギー推定を可能にした。
展開フレームワーク：大規模な拡散展開のエネルギー影響を推定するための実用的な手法を提供し、持続可能なAI計画を支援する。

結果

高い予測精度：提案されたエネルギースケーリング則は、個々のアーキテクチャ内で高い精度を達成し、A100上のFlux、SD3.5、Qwenなどのモデルでは $R^2 > 0.9$ （多くの場合0.99を超す）であった。
計算束縛性：スケーリング指数（ $\alpha$ ）は1.0に近づき（例えばFluxでは0.989）、拡散推論がメモリ束縛ではなく、主に計算束縛であることを仮説が裏付けた。
モデル間転移：モデルのサブセット（例えばFlux + SD3.5）で学習されたスケーリング則は、保持されたモデル（例えばQwen）のエネルギー消費を成功裡に予測し、強いランク相関（ $R, R_s > 0.9$ ）を示した。
アーキテクチャ間転移：このフレームワークはアーキテクチャのパラダイムを橋渡しすることに成功し、MMDiTモデルから導出された法則を用いてU-Netモデル（SD2）のエネルギーを予測し、その逆も可能にした。
エネルギー量：本研究は、単一の高分解能拡散画像が、典型的な大規模言語モデルのクエリと比較して最大10倍のエネルギーを消費し得ることを定量化した（例えば、高品質なQwen画像で最大3.58 Whに対し、ChatGPTのクエリでは約0.34 Wh）。エネルギー消費は構成に応じて3桁の範囲にわたる。

意義と主張

本論文は、持続可能なAI展開計画にとって不可欠な基盤としてエネルギー消費推定を確立すると主張する。FLOPsベースのモデルが展開の実用的な指針を提供し得ることを検証することで、この研究は以下を可能にする：

展開前計画：組織は、広範な実証テストなしに異なるGPUプラットフォームにおけるエネルギーコストを予測できる。
カーボン意識型最適化：システムは、グリッドの炭素強度に基づいてハイパーパラメータ（精度、解像度、ステップ数）を動的に調整できる。
標準化：この手法は、エネルギー消費報告のための標準化されたアプローチを提供し、規制遵守および再現可能なエネルギー会計を支援する。

著者らは、システム全体の範囲（CPU/RAM/冷却の除外）および特定のハードウェアタイプ（NVIDIA中心）に関する限界は存在するものの、このフレームワークが拡散モデルにおけるエネルギーと複雑さの関係の根本的かつアーキテクチャに依存しない原理を成功裡に捉えていると結論づけている。これは、生成AIの環境への影響を評価し軽減するためのスケーラブルなツールを提供する。