High Quality Image Generation using Improved Generative Adversarial Networks and Optimized Stable Diffusion Models

デジタル時代において、コンピュータは学習によって「見る」こと、そして「創り出す」ことを学び、単なる計算の領域を遥かに超えて、芸術的な合成の領域へと足を踏み入れました。この能力の中核にあるのは、見たこともない風景を人間が描いたり撮影したりするように、ゼロから画像を生成するために設計されたシステムです。長年、このタスクにおける主要な手法は、「敵対的生成ネットワーク（Generative Adversarial Network）」として知られる概念に依存してきました。同じスタジオで働く二人の芸術家を想像してみてください。一人は説得力のある偽造品を作ろうとし、もう一人は厳格な批評家として、偽物を見破ろうとします。彼らは継続的なゲームを行い、偽造者はトリックを隠すのが上手くなり、批評家はそれを見つけるのが鋭くなります。時間が経つにつれ、この競争によって、偽造者は専門の批評家でさえ本物と区別がつかないほどリアルな画像を生成せざるを得なくなります。しかし、このプロセスは管理が非常に難しいことで知られています。芸術家たちはしばしば同じ数枚の画像を何度も繰り返し生成するというマンネリに陥ったり、あるいは役に立つものが何も作られる前にゲーム自体が崩壊してしまったりすることがあります。

より最近では、競争的なゲームに頼るのではなく、段階的な洗練のプロセスに依拠する異なるアプローチが登場しました。これは、古いテレビ画面の砂嵐のように、キャンバスがノイズで覆われている状態から始まり、ノイズをゆっくりと取り除いていくことで、その下に隠れている鮮明な絵を明らかにしていく過程だと考えてください。「拡散モデル（diffusion model）」として知られるこの手法は、高品質で安定し、かつ多様な画像を生成する驚異的な能力を示してきました。このテクノロジーの特定のバージョンである「Stable Diffusion」は、記述された文章を視覚的なシーンへと変える力で注目を集めています。研究者たちは、この二つの異なる手法――競争的なゲームと段階的な洗練――が限界まで押し込まれたときにどのように比較されるのか、そして両者の強みを組み合わせることが、長年画像生成を阻んできた永続的な問題を解決できるのかどうかを、かねてより疑問に思ってきました。

インドのムンバイにある大学の研究チームは、この問いを探求するために、両方のシステムを並行して構築し、テストすることでこの問題に挑みました。彼らの研究は、利用可能なデータが限られている状況、つまり法医学や医療用画像などの分野で頻繁に起こる、現実の例が乏しい状況において、高品質な画像を生成するという特定の課題に焦点を当てました。彼らは、3,000枚の高画質な人間の顔のポートレート、インターネットからのより大規模な6,000枚の一般的な画像、そして100枚のセレブリティの写真という、3つの異なる画像コレクションを用いてシステムを訓練しました。目的は、どちらのシステムが最も生命力のある結果を生み出せるか、そして、わずかな例に基づいて特定の人物（例えば俳優）の新しい画像を生成できるかどうかを確認することでした。

彼らの実験結果は、これら二つの技術の間の明確な違いを明らかにしました。伝統的な競争的システムである「敵対的生成ネットワーク」は、訓練後に認識可能な顔を学習し生成することはできましたが、一貫性に苦戦しました。研究者がインターネットの画像コレクションでテストした際、このシステムは実画像と自らの生成物を約91パーセントの確率で正しく識別し、ポートレート・コレクションでは81パーセントの精度に達しました。これらの数値はシステムが学習していることを示してはいるものの、生成された画像は実生活に見られるような微細なディテールや自然な多様性に欠けることがよくありました。研究者たちは、システムが時としてデータの全範囲の可能性を捉えきれず、その結果、画像がやや反復的であったり、鮮明さに欠けたりすることを観察しました。

対照的に、段階的な洗練プロセスに基づくシステムである「Stable Diffusionモデル」は、現実的で多様な画像を生成する優れた能力を示しました。研究者がこのモデルを特定の主題を理解するように微調整（ファインチューニング）した際、その改善は目覚ましいものでした。例えば、俳優のブラッド・ピットの画像でこのモデルを訓練したとき、モデルは見た写真を単にコピーしただけではありませんでした。微調整されたモデルは、訓練データに子供時代の写真が含まれていなかったにもかかわらず、その俳優の初期の外見を効果的に推論（エクストラポレート）したのです。被写体の異なる人生の段階を想像できるこの能力は、彼が子供だった頃の説得力のある画像を生成できる可能性を示唆しています。研究者たちは、画像が提供された記述にどれだけ一致するかをチェックするスコアリングシステムを用いてこの成功を測定しました。最適化されたモデルは、インターネット画像データセットにおいて31.98というスコアを獲得しましたが、これは高いレベルの視覚的な一貫性と詳細さを示していました。

また、この研究では、ラジオのつまみを調整して最もクリアな信号を見つけるように、内部設定を調整することでシステムをより良く機能させる方法についても探求しました。彼らは、コンピュータが一度に処理する画像のグループのサイズが、出力の品質に大きく影響することを発見しました。異なるグループサイズをテストすることで、彼らの特定のセットアップにおいては、一度に5枚の画像を処理することが最良の結果をもたらすことを突き止めました。さらに、洗練テクノロジーの異なるバージョンを比較したところ、ポートレートを作成するのに最適なモデルは、必ずしも一般的なシーンに最適であるモデルと同じではないことが分かりました。これは、あらゆる仕事に対して唯一の完璧なツールが存在するわけではないことを強調しています。つまり、システムの選択は、作成される画像のタイプに合わせてカスタマイズされなければならないということです。

最終的に、研究者たちは、競争的な手法にも使い道はあるものの、段階的な洗練のアプローチの方が、特に少量のデータから主題の現実的なバリエーションを作成することを目的とする場合に、より信頼性の高い道を提供すると結論付けました。洗練されたモデルは、ぼやけたエッジや奇妙な歪みといったエラーが少なく、もう一方のシステムが苦戦した照明や色の整合性を維持した画像を生成しました。この研究は、法的ケースのための視覚的証拠の作成、医療スキャンの強化、あるいは芸術の生成など、高い忠実度が求められるアプリケーションにおいて、新しい洗練ベースのテクノロジーがより強力なツールであることを示唆しています。研究者たちは、これらの知見が、以前には存在しなかった現実的な視覚データを生成する方法を提供することで、農業から法医学に至るまで、多様な分野に貢献できる可能性があると述べています。この研究は、現代のシステムを最適化することで、単に画像を作るだけでなく、信憑性のある現実を作り出すマシンへと私たちが近づいていることを示す、実践的なデモンストレーションとなっています。