Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling
本論文では、クロネッカー分解と離散コサイン変換を活用して自然画像の相関を効率的に捉える新しい非対角共分散近似モデルであるKronecker-DCT（K-DCT）を提案しており、これにより、計算オーバーヘッドをほとんど増やすことなく、デノイジング拡散確率モデル（DDPM）のサンプリングステップ数を減らしつつ、品質と尤度を大幅に向上させる。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ゼロから絵を描くのではなく、静止画（スタティック）で覆われたキャンバスから始まり、ノイズをゆっくりと丁寧に除去していくことで、鮮明な画像が浮かび上がるように学習する機械を想像してみてください。これは、デノイジング拡散モデル（denoising diffusion models）として知られる人工知能モデルのファミリーの核心となるアイデアです。これらのモデルは、リアルな顔から風景まで、高品質な画像を生成するための標準的なツールとなっており、その理由は、生成される結果がシャープかつ多様であるためです。しかし、一つ問題があります。ノイズを取り除くプロセスは、本質的に時間がかかるということです。優れた画像を得るためには、コンピュータは、静止画を少しずつ剥ぎ取っていくように、何千もの小さく慎重なステップを踏まなければなりません。もしスピードを上げるために大きなステップを踏もうとすると、機械が画像の異なる部分同士の関係性を見失ってしまうため、画像はしばしばぼやけたり、歪んだりしてしまいます。
長い間、研究者たちは、ある単純化された仮定を用いることで、この速度の問題を解決しようとしてきました。彼らは、ある瞬間における画像の不確実性は、各ピクセルを独立して観察することで記述できると仮定したのです。これは、ある特定の場所の気温だけを見て、その場所の風が隣の場所の雨にどのように影響するかを無視して天気を説明しようとするようなものです。このアプローチは、小さなステップを踏む場合には十分に機能しますが、実用的な使用に必要な、より大きく速いステップを踏もうとすると破綻してしまいます。自然界の画像の現実はもっと複雑です。あるピクセルの色は、その隣接するピクセルと深く結びついており、画像の赤、緑、青の各チャンネルは、複雑な方法で互いに影響し合っています。Transactions on Machine Learning Researchに掲載された新しい研究は、これらの複雑なつながりを認めることで、品質を損なうことなく、画像生成を大幅に高速化できることを示唆しています。
ケンブリッジ大学やキングス・カレッジ・ロンドンを含む機関の研究チームは、これらのつながりのより優れた地図を作ることに着手しました。彼らは「事後共分散（posterior covariance）」、つまり、ある画像の不確実性が別の部分の不確らさ性にどのように依存するかを記述する技術的な用語に焦点を当てました。古い、より単純なモデルでは、この地図は対角線のみが重要となるグリッドとして描かれており、あるピクセルの未来は隣接するピクセルとは独立していることを暗示していました。新しいチームは、これが自然界の画像の真の構造を無視した、極端な単純化であると主張しました。自然界の画像は、ピクセル間およびカラーチャンネル間に強い非対角的な相関関係を示します。彼らはまた、これらの画像には特定の周波数パターンがあり、音楽のコードが特定の音の構造を持っているように、詳細は予測可能な方法で減衰していくことも指摘しました。
この複雑さを捉えつつ、コンピュータの処理速度を落とさないために、チームはK-DCTと呼ばれる新しい数学的モデルを開発しました。その名前は、二つの主要なアイデアを組み合わせたことに由来します。第一に、彼らは色の関係（赤、緑、青など）と空間的な位置関係（左、右、上、下）の関係がおよそ互いに分離していることを認識しました。これにより、この巨大で複雑な問題を、二つの小さく管理可能な断片に分解することができました。第二に、彼らは画像の空間的な関係は、ピクセルを直接見るのではなく、画像を「波」の集合体として捉えることで最もよく理解できることに気づきました。これには、離散コサイン変換（Discrete Cosine Transform）と呼ばれる手法を用います。これは、プリズムが白い光を虹色の光に分解するように、画像を基本となる周波数へと分解する手法です。この周波数領域で作業することで、研究者たちはピクセル間の複雑なつながりの網を、非常にコンパクトな数値のセットを用いて記述することができました。
その結果、K-DCTモデルは、極めて表現力豊かでありながら、驚異的に効率的なものとなりました。高解像度画像の接続を完全に記述しようとすれば、膨大なメモリと計算能力が必要になりますが、K-DCTモデルは、画像自体のサイズとほとんど変わらないフットプリントで同じ仕事をこなします。研究チームは、日常的な物体を含む小さな画像を集めたCIFAR-10や、有名人の肖像を扱うCelebAを含む、いくつかの有名な画像データセットを用いてこのアプローチをテストしました。また、ImageNetやLSUNのような、より大規模で複雑なデータセットでもテストを行いました。あらゆるケースにおいて、彼らは、より単純な対角線の仮定に依存する既存の最良の技術と比較を行いました。
結果は明確かつ一貫していました。研究者が、スピードが極めて重要となるシナリオを想定して、モデルに少ないステップで画像を生成させたとき、新しいK-DCTモデルは著しく優れた結果を出しました。画像はよりシャープで詳細であり、訓練された実データに統計的に近くなっていました。技術的な観点では、モデルはより低いエラー率とより高い尤度（likelihood）スコアを達成しました。これは、コンピュータが自身の創造物に対してより高い確信を持っていることを意味します。おそらく最も重要なことは、画像の生成プロセスにおける速度が損なわれなかったことです。新モデルによる追加の計算は非常に効率的であったため、高解像度画像においても、プロセスに与える時間はほとんどありませんでした。このことは、画像生成のボトルネックはコンピュータの生の計算能力ではなく、不確実性がどのようにモデル化されているかにあることを示唆しています。
チームはまた、なぜこのアプローチがこれほど上手くいくのかについても調査しました。彼らは、デノイジング画像におけるピクセル間の接続は急速に消え去るのではなく、多くの桁数にわたって広がる、ゆっくりとした予測可能な減衰に従うことを発見しました。これらの長距離の接続を無視したり、いくつかの基本的なパターンで近似しようとしたりする単純なモデルは、このニュアンスを捉えることができません。対照的に、K-DCTモデルは、この構造を自然に受け入れることができます。興味深いことに、このモデルは、数学的理論が想定する完璧な対称性や並進不変性を備えていないCelebAのようなデータセットに対しても、非常に優れた性能を発揮しました。これは、モデルが現実世界の不完全さに対処できるほど堅牢であり、基礎となるパターンが完全に規則的でない場合でも、データの本質的な「完全な」構造を捉えられることを示唆しています。
この研究は、人工知能のあらゆる問題を解決したと主張しているわけではありませんが、画像生成における「速度と品質のトレードオフ」という、具体的かつ持続的な障害に対する説得力のある解決策を提示しています。ピクセルが単独で行動するという仮定から離れ、それらが深く相互に関連しているという現実を受け入れることで、研究者たちはこれらの機械の創造プロセスを加速できることを示しました。この研究は、効率的な画像生成の未来が、より大きなコンピュータを構築することではなく、作ろうとしている画像の真の複雑な性質を理解する、よりスマートなモデルを構築することにあることを示唆しています。K-DCTモデルは、統計的構造をより正確に理解することが、ハードウェアの能力向上を必要とせずに、高品質な画像生成をより速く、より身近なものにするという、目に見える成果につながることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。