Adversarial Learning of Classifier-Free Guidance Schedules

あなたは、ロボットにあなたの言葉による説明に基づいて絵を描く方法を教えようとしていると想像してください。あなたは「黒い犬が地図の上で眠っている様子を描いて」と伝えます。すると、ロボットはテレビの砂嵐のような真っ白なキャンバスから描き始めます。その後、ロボットはゆっくりとそのノイズを整理していき、その砂嵐を鮮明な画像へと変えていきます。これが、現代の「拡散（ディフュージョン）」モデルの仕組みです。しかし、ここにはトリッキーな点があります。ロボットがあなたの言葉に耳を傾け、ただランダムな犬やランダムな地図を描くだけにならないようにするために、少し「押し」を与える必要があります。この押しは「ガイダンス」と呼ばれます。これは、ツアーガイドがリード（紐）を握っているようなものだと考えてください。もしガイドが引きが弱すぎると、ロボットは道に迷い、あなたの指示を無視してしまいます。もしガイドが強く引きすぎると、ロボットは混乱し、画像が彩度過剰で奇妙になったり、現実のカートゥーン版（漫画風）のようになってしまったりします。

長い間、科学者たちは「ワンサイズ・フィッツ・オール（万能型）」のアプローチを使用してきました。つまり、絵を描くプロセス全体を通して、ガイドの引く力を単一の固定された数値に設定していたのです。それは、ツアーガイドに対して、散歩の最初の一秒から最後の一秒まで、全く同じ力で引くように命じるようなものでした。これはそれなりに機能しましたが、絵を描く工程によって必要な助け方が異なるため、しばしば乱れた結果を招きました。画像の certain 部分には優しい後押しが必要な一方で、他の部分には強い手助けが必要なこともあります。この分野における大きな疑問は、「ガイドが、その特定の瞬間にロボットが何をしているかに応じて、動的に引く強さを変えるように教えることはできるのか？」ということでした。

本論文は、ロボットのガイドにどのように引くべきかを教える、巧妙で新しい方法を提案しています。人間が、いつ強く引き、いつ弱く引くかというスケジュールを手動で設計する代わりに、著者たちはロボットが「本物と推測するゲーム」を通じてそれを学習できるようにしました。彼らは、「判別器（ディスクリミネーター）」（賢い審判）が、実物の写真とロボットが現在描いているものの違いを見分けようとするシステムを構築しました。すると、ロボットのガイドは、あなたの言葉に従って、ランダムな犬やランダムな地図を描いてしまうのではなく、あなたの言葉にしっかり耳を傾けるように、自身の引く力を調整することを学びます。このゲームをプレイすることで、ガイドは、画像が描かれている特定のステップごとに、そしてあなたが与えた特定の言葉ごとに、どのように引くべきかを正確に学習します。その結果は、従来の固定された手法よりも、画像がより写実的であるだけでなく、あなたの元の説明により密接に従っていることを示唆しています。

「ワンサイズ・フィッツ・オール」のリードが抱える問題

公園で犬の散歩をしているところを想像してみてください。時には犬は穏やかで、緩いリードで歩くことができます。しかしまた別の時には、犬がリスを見つけ、走り去らないようにしっかりと握っておく必要があります。もし、ずっとリードの張り具合を全く同じにしていたら、犬を交通の中に飛び出させてしまうか（緩すぎる）、あるいは犬を窒息させてしまう（きつすぎる）かのどちらかになります。

AI画像生成の世界において、この「リード」はガイダンス・ウェイト（しばしば $\omega$ と呼ばれる）です。長年、研究者たちは、画像を作成する全工程を通じて、通常は7.5前後という一定の値を使用してきました。これは機能しますが、完璧ではありません。時としてAIが興奮しすぎて、色がネオンのように鮮やかになりすぎたり、逆に、あなたのプロンプトの詳細を無視してしまうこともあります。

科学者たちは、これらを修正するために「スケジュール」を作成することで対処しようとしました。つまり、「最初は強く引き、次に真ん中で弱く引く」といった手動のルールを作ることです。しかし、これらのルールは一般的な地図のようなものです。それらは、あなたの特定の犬がチワワなのかグレート・デーンなのかを知りません。プロンプトがいかに複雑であるか、あるいは画像が現在どのような状態であるかにかかわらず、あらゆる画像に対して同じルールを適用してしまうのです。

新しい戦略：「本物 vs 偽物」のゲーム

本論文の著者たちは、ルールを推測することをやめ、代わりにAIがゲームを通じてそれらを学習するようにすることに決めました。彼らは**敵対的学習（アドバーサリアル・ラーニング）**という概念を用いました。これは、2つのネットワークによる「猫と鼠のゲーム」のようなものです。

1. ジェネレーター（アーティスト／生成器）： これは画像を作成し、各ステップでどれくらい強くリードを引くかを決定する部分です。
2. ディスクリミネーター（ジャッジ／判別器）： これは、画像を見て「これはデータセットにある実物の写真か、それともAIによる現在の試行作か？」と判断するように訓練された、賢い批評家です。

ここに魔法のトリックがあります。著者たちは、AIの「ガイダンス付き」の画像が、あらゆる瞬間において実物の写真の分布と完全に一致することを望んでいます。彼らはこれを**周辺的一貫性（marginal consistency）**と呼んでいます。

アーティストを教えるために、彼らは以下のループを設定しました。

• ジャッジが実物の写真と、AIの現在の「ガイダンス付き」の写真を見ます。
• ジャッジはそれらの違いを見分けようとします。
• アーティストは、ジャッジを欺くために、自身のガイダンス・ウェイトを調整しようとします。
• もしジャッジがその違いを判別できなくなれば、アーティストはうまくやっていることになります。

このゲームをプレイすることで、アーティストは動的なスケジュールを学習します。例えば、「猫」のような単純なプロンプトに対しては、緩い引きが必要かもしれないと学習します。しかし、「地図の上で眠る黒い犬」のような複雑なプロンプトに対しては、犬の毛並みが形成されているのか、あるいは地図の詳細が形成されているのかに応じて、異なる引き方をする必要があることを学習します。

得られた知見

チームは、異なるサイズのモデルを用いて、標準的なテキスト・トゥ・イメージ（文章から画像生成）のデータセット（MS-COCO）でこの新手法をテストしました。彼らは、この「学習するガイド」を、従来の一定のリードや手動のスケジュールと比較しました。

結果は有望でした。彼らの手法（GAN + MC：周辺的一貫性を伴う敵対的生成ネットワークと呼びます）は、一貫して人間がより好む画像を生成しました。具体的には以下の通りです。

• より優れた整合性（アライメント）： 画像はテキストプロンプトにより良く一致しました。例えば、「地図の本の上に横たわる黒い犬」を描くよう求められた際、彼らの手法を用いたAIは、実際に犬が本と相互作用している様子を描きましたが、他の手法では詳細を見逃したり、犬をありふれたものにしてしまったりすることがありました。
• より高い美的スコア： 人間の評価者にとって、画像はより美しく、自然に見えました。
• トレードオフ： 小さな懸念事項もありました。彼らの手法は、いくつかのベースラインと比較して、FIDスコア（画像統計が実物の写真にどれだけ近いかを測定する指標）がわずかに高くなっていました（つまり、精度が劣っていました）。著者らは、これは敵対的学習と報酬信号を使用することによる既知の副作用であると説明しています。モデルは、データの正確な統計的指紋に一致することよりも、「クールに見えること」や「プロンプトに一致すること」を優先しているのです。しかし、人間が実際に「見たい」と思うものに関しては、彼らの手法が勝利しました。

なぜこれが重要なのか

本論文は、AIがどのように絵を描くべきかというルールを、私たちが手動で設計する必要はないことを示唆しています。代わりに、作成のあらゆる瞬間に対して、AI自身に完璧な「リードの張り具合」を学習させるシステムを構築することができるのです。

著者らは、この手法が非常に効果的である一方で、いくつかの限界があることも指摘しています。訓練された「ガイド」は、それが訓練されたタイプのAIモデルに特化したものであり、全く異なるロボットにこのガイドを持ってきてそのまま使うことはできません（再学習が必要です）。また、訓練プロセスは複雑であり、注意深いバランス調整を必要とします。しかし、現時点では、AIに「本物 vs 偽物」のゲームを通じて独自のガイダンス・スケジュールを学習させることが、AIアートを私たちの言葉により従順にし、より美しいものにする強力な方法であることを示しています。