🤖 machine learning

Sparse-to-Sparse Training of Diffusion Models

本論文は、拡散モデルにおけるスパース・トゥ・スパース（sparse-to-sparse）学習という新たなパラダイムを導入し、スパース版をゼロから学習させることで、計算コストを大幅に削減しながら、高密度なモデルと同等またはそれ以上の性能を実現できることを実証する。

原著者： Inês Cardoso Oliveira, Decebal Constantin Mocanu, Luis A. Leiva

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Inês Cardoso Oliveira, Decebal Constantin Mocanu, Luis A. Leiva

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットの画家に絵の描き方を教えようとしていると想像してください。人工知能の世界では、このロボットは**拡散モデル（Diffusion Model）**と呼ばれています。これは、ノイズに満ちた混沌とした粘土の塊から、少しずつノイズを削り取っていくことで、美しい彫像を浮かび上がらせる彫刻家のようなものです。

長い間、これらのロボット芸術家たちは驚くほど才能豊かで、見事な画像やスケッチを生み出してきました。しかし、一つ問題があります。彼らは大食漢なのです。絵を描く方法を学ぶために、彼らは膨大な、高密度のニューラルネットワーク（数百万もの小さな、相互に接続されたニューロンがすべて同時に発火している状態）を必要とします。そのため、学習には時間がかかり、コストも高く、エネルギーを大量に消費します。まるで、一つの過負荷になった発電機だけで都市全体に電力を供給しようとしているかのようです。

ビッグアイデア：「Sparse-to-Sparse」トレーニング

この論文は、これらの芸術家に「Sparse-to-Sparse（疎から疎へ）」トレーニングと呼ばれる新しい学習方法を紹介しています。

比喩：
あなたが膨大な知識の図書館を建設していると想像してください。

従来の方法（Dense Training / 密な学習）： 数百万人の司書を雇います。すべての司書が他のすべての司書と絶えず会話をしています。それは混沌としており、コストがかかり、時間がかかります。
新しい方法（Sparse-to-Sparse）： 全員が全員と話す必要はないことに気づきます。特定の司書が特定の相手とだけ話すような、より小さくスマートなチームを雇います。巨大なチームをまず雇ってから後で人を解雇するのではなく、最初からこのスリムなチームを構築するのです。

この論文の著者たちは、拡散モデルに対してこの「スリムなチーム」のアプローチを試みた初めての研究者です。彼らは単に大きなモデルを削減したのではなく、最初から小さく効率的なモデルを訓練したのです。

彼らの手法

研究者たちは、これらの「スリムなチーム（スパースモデル）」を作るために、3つの異なる戦略をテストしました。

Static-DM（固定プラン）： 学習の開始時にニューロン間の接続を設定し、そのまま放置します。これは、図書館の地図を描き、それに固執するようなものです。
RigL-DM & MagRan-DM（ダイナミック・チーム）： これらのモデルは、より生きている生態系に似ています。学習中に、最も弱い接続を絶えず剪定（カット）し、別の場所に新しい接続を再生させます。
- RigL-DM は、植物の最も弱い枝を切り落とし、最も必要とされる場所に新しい枝を育てる庭師のようなものです（勾配に基づいて行われます）。
- MagRan-DM はもう少しランダムで、最も弱い部分を切り落とし、ランダムな場所に新しい接続を再生させます。

彼らはこれらを2種類の「芸術家」でテストしました。

潜在拡散モデル（Latent Diffusion）： 写実的な写真（顔や寝室など）を作成する達人。
ChiroDiff： スケッチや筆跡を作成する達人。

彼らが発見したこと

結果は驚くほど良好でした。以下に、平易な言葉でその内訳を説明します。

小さなチームでも同等（あるいはそれ以上）の能力を持つ： 多くの場合、スパースモデルは、巨大な密なモデルと同等の高品質な画像やスケッチを生み出しました。実際、いくつかのデータセットでは、「スリムな」モデルの方が「太った」モデルよりも優れた芸術を生み出していました。
莫大な節約： 接続の最大75%または90%を削除することで、計算量を劇的に削減しました。
- 比喩： これは、しばしば空車状態になる10車線の高速道路から、最適化された単車線へと切り替えるようなものです。目的地には同じ速さで到着できますが、燃料と道路スペースをはるかに少なく済みます。
「ゴルディロックス（適温）」ゾーン： あまりにスパースにしすぎると（接続の90%を削除すると）、モデルが絵の描き方を忘れてしまうことがあることが分かりました。しかし、接続の**25%から50%**を削除するのが、しばしば最適なバランス（スイートスポット）でした。
秘訣（剪定率）： 接続を「どのくらいの頻度で」「どの程度」剪定するかが重要であることを見出しました。保守的なアプローチ（一度にわずか5%の接続を切り取り、再生させる）は、攻撃的なアプローチ（一度に50%を切り取る）よりもはるかに優れた結果をもたらしました。盆栽を一度に半分切り落とすよりも、時間をかけて優しく整える方が良いのです。

結論

この論文は、高品質な芸術を生み出すために、巨大で肥大化したニューラルネットワークは必要ないということを証明しています。最初から「スパース（疎）」なネットワーク（必要なときだけニューロンが接続される仕組み）を訓練することで、より少ないコンピュータパワーとメモリを使用しながら、同等（あるいはそれ以上）の結果を得ることができます。

これは、「大きいことは良いことだ」から「効率的なことが良いことだ」への転換であり、これらのAI芸術家が、より小さく集中したチームであっても、十分に才能を発揮できることを示しています。

技術要約：拡散モデルにおけるSparse-to-Sparse学習

問題提起
拡散モデル（Diffusion Models: DMs）は、画像合成、自然言語処理、時系列データモデリングを含む生成タスクにおいて最先端の性能を達成している。しかし、その普及は、学習および推論の両段階における膨大な計算コストによって阻まれている。先行研究の多くは、蒸留や高速サンプリングなどの推論段階の加速に主眼を置いてきたが、学習プロセス自体は依然として大規模かつリソース集約的である。さらに、既存のネットワーク圧縮技術（事後的な量子化や学習済み密なモデルのプルーニングなど）は、依然としてフルスケールの密なネットワークに対する高価な初期学習を必要とする。したがって、学習プロセスの当初から計算コストとメモリフットプリントを削減する手法が求められている。

手法
本論文では、事前学習された密なモデルを圧縮するのではなく、疎なネットワークをゼロから学習させることを目的とした、拡散モデルへのsparse-to-sparse学習というパラダイムを導入する。本研究は非構造化スパース性に焦点を当て、2つの最先端のDMアーキテクチャ、すなわちLatent Diffusion（連続的な画像データ用）およびChiroDiff（離散的な時空間スケッチデータ用）に適用される3つの具体的な学習戦略を評価する。

提案される3つの手法は以下の通りである：

Static-DM (Static Sparse Training): ネットワークの接続性は、スパース性比率に基づいて初期化時に固定される。著者らは、Erdős–Rényi (ER) および ERK 戦略を用いて非ゼロ重みを割り当て、大きなレイヤーほど高いスパース性を持つようにしている。接続パターンは学習を通じて変化しない。
RigL-DM (Dynamic Sparse Training): この手法は、動的なプルーニングおよび再成長（prune-and-grow）スキームを利用する。重みはその大きさに基づいてプルーニングされ、新しい接続は勾配の大きさ（勾配成長）に基づいて再成長される。
MagRan-DM (Dynamic Sparse Training): プルーニングに関してはRigL-DMと同様（大きさに基づく）であるが、再成長は勾配ではなくランダムに決定される。

実験は、6つのデータセット（LSUN-Bedrooms, CelebA-HQ, Imagenette, QuickDraw, KanjiVG, VMNIST）を対象とし、様々なスパースレベル（ $S \in \{0.1, 0.25, 0.5, 0.75, 0.9\}$ ）にわたって実施された。著者らはまた、プルーニングおよび再成長率（ $p$ ）と、探索頻度（ $\Delta T_e$ ）の影響についても調査している。

主な貢献

拡散モデルへのSparse-to-Sparse学習の初適用: 本論文は、静的および動的な戦略の両方をカバーし、疎な接続性を用いて無条件拡散モデルをゼロから学習させることの実現可能性を確立した。
包括的な実証的評価: 本研究は、2つの異なるモデルアーキテクチャと6つのデータセットにわたり、3つのスパース学習手法を密なベースラインと比較検証しており、スパース性がDMの性能に与える影響を広範に示している。
最適ハイパーパラメータの特定: 動的なスパース学習（DST）は一般に良好な性能を示すが、プルーニングおよび再成長率の選択が極めて重要であることを明らかにした。他の文脈でよく用いられるアグレッシブな率（ $p=0.5$ ）と比較して、保守的な率（ $p=0.05$ ）の方が高いスパース性領域において優れた結果をもたらす。
性能と効率のトレードオフ: 本研究は、疎なDMが、学習パラメータ数と浮動小数点演算数（FLOPs）を大幅に削減しながら、密なモデルと同等またはそれを上回る性能を実現できることを示している。

実験結果

性能: ほとんどの場合、少なくとも一つのスパース構成が密な対応物（dense counterpart）を上回った。例えば、CelebA-HQデータセットにおいて、25%のスパース性を持つRigL-DMは、パラメータを25%削減しFLOPsを10%削減しながら、密なモデル（FID 32.74）よりも低いFIDスコア（32.12）を達成した。QuickDrawでは、90%のスパース性を持つMagRan-DMが、FLOPsを88%削減しながら密なモデルと同等の性能を維持した。
スパースレベル: 中程度のスパースレベル（25%～50%）が、一般に性能と効率の最適なバランスをもたらした。極端に高いスパース性（例：90%）は、データセットやモデルアーキテクチャによって異なるものの、しばしば性能低下を招いた。
動的 vs 静的: 動的なスパース学習（DST）手法（RigL-DM, MagRan-DM）は、中程度のスパース領域ではStatic-DMよりも優れた性能を示すことが多いが、アグレッシブな $p=0.5$ 率を使用した場合、非常に高いスパース設定（ $S > 0.5$ ）ではStatic-DMが競争力のある、あるいは優れた結果を示した。しかし、保守的な $p=0.05$ 率を使用した場合、DST手法は高いスパース領域においても優位性を回復した。
学習ダイナミクス: 疎なモデルは密なモデルと同様に安定した学習ダイナミクスを示しており、これはsparse-to-sparseパラダイムが拡散学習のプロセスを不安定化させないことを示唆している。
条件付き生成: クラス条件付きモデル（ImageNetおよびQuickDraw）に関する予備的な実験は、sparse-to-sparse学習が条件付きの設定においても有効であることを示したが、ImageNetにおいては密なモデルがわずかに優位であった。

意義と主張
本論文は、生成品質を損なうことなく拡散モデルの効率を向上させるための有望な経路として、sparse-to-sparse学習が提供されると主張している。ゼロから疎なネットワークを学習することで、このアプローチは学習と推論の両方のコストに対処し、拡散モデルに関連するカーボンフットプリントとメモリ要件を低減できる可能性がある。著者らは、適切な手法（静的か動的か）、スパースレベル、およびハイパーパラメータ（特にプルーニング/再成長率）を選択することが成功の鍵であると強調している。本研究は、適切な構成を用いれば、疎なDMが密なモデルの実行可能な代替手段となり、生成AI研究におけるより広範な実装と迅速なイテレーションを可能にすることを示唆している。著者らは、現在のハードウェアが非構造化スパース性の実用的な高速化を制限する場合が多いものの、パラメータ数とFLOPsの削減は、ハードウェアによる疎演算のサポートが進展するにつれ、重要な理論的および実用的な利点であり続けると述べている。

ビッグアイデア：「Sparse-to-Sparse」トレーニング

彼らの手法

彼らが発見したこと

結論

関連論文