A Frozen Pixel-Space Diffusion Model Can Guide Itself with Its Own Samples

ロボットに絵を描く方法を教えようとしている場面を想像してみてください。人工知能の世界には、これを行うための主に2つの方法があります。1つ目の方法は、まずロボットに非常に小さくてぼやけたスケッチパッドに描くことを教え、それから別のツールを使ってそのスケッチを高精細な写真へと拡大する方法です。これは速くて人気がありますが、時として「拡大」ツールが細部を失い、最終的な画像が少しソフトになったりプラスチックのような質感になったりすることがあります。2つ目の方法は、最初の一筆目から巨大で高精細なキャンバスに直接描くようにロボットに教える方法です。これは、ロボットが（鼻がどこにあるかといった）全体像と、（肌の質感のような）微細なディテールを、助けを借りずに同時に理解しなければならないため、はるかに困難です。

この論文は、この2番目の、より困難な課題、つまりAIに画像の「生のピクセル（raw pixels）」に対して直接描かせることに取り組んでいます。研究者たちが問い続けてきた大きな疑問は、「もし、すでにこれらの生画像を描くのがかなり上手いロボットが手元にあるなら、その全体を最初から作り直すことなく、さらに性能を向上させることはできるだろうか？」というものです。巨大なAIモデルを再学習させることは、蛇口の修理をするためだけに家全体を建て直すようなものであり、膨大な時間とエネルギーを要します。著者たちは、既存のツールのみを使用して、ロボットにわずかな「後押し」を与えて作品を改善する方法を見つけ出したいと考えました。

南洋理工大学の研究チームは、Synthetic Self-Guidance (SSG) と呼ぶ巧妙なトリックを発見しました。彼らは、学習済みのAIモデルの中には、実は「秘密の声」が潜んでいることを突き止めたのです。モデルが画像を作成するために各層（レイヤー）を進んでいく際、初期の層は大きな形や影だけに集中する「下書きアーティスト」のようです。そして、最終的な層は、微細な質感や鋭いエッジを加える「細部重視のアーティスト」なのです。

通常、モデルは最終的な結果だけを出力します。しかし、著者たちは、この「下書きアーティスト（中間層）」の声を聞き、それを「細部アーティスト（最終層）」と比較できることに気づきました。彼らは、この両者の違いこそが魔法が起きる場所であることを見出したのです。つまり、最終層は、初期の層によって残されたぼやけた部分を修正しようとしているのです。

ここからが魔法の部分です。新しい教師を雇ったり、ロボット全体を再学習させたりする代わりに、彼らは軽量な「アダプター」（小さな眼鏡のようなものと考えてください）を、下書き層に取り付けました。彼らはこのアダプターに対し、モデル自身の過去の描画（合成サンプル）を見て、どのように粗い形状を予測するかを学ぶよう教えました。そして、描画プロセス中、アダプターによる粗い予測をガイドとして使用しました。もし最終的な絵がぼやけすぎたり、鋭さが失われたりし始めた場合、システムは「下書き」と「完成稿」の差をコンパスとして使い、再び鋭いディテールへと引き戻すように促すのです。

最も驚くべき発見は、この小さなアダプターをどのように訓練したかという点でした。このアダプターに「優れた下書き」とはどのようなものかを教えるために、インターネット上の何百万もの本物の写真を見せる必要があると考えるかもしれません。しかし、この論文は、モデルが自分自身の生成した「偽の画像」を使って訓練する方が、むしろより良く学習できることを示しています。それはまるで、ロボットが完璧な写真の教科書を見るのではなく、自分自身の過去の試行錯誤を研究することで、自分の間違いを直す方法を学んだかのようです。この手法は、新しいモデルを訓練するために必要な計算能力の1%未満を使用しながら、一貫して画像をより鮮明でリアルなものにしました。例えば、ImageNetと呼ばれる一般的なテストにおいて、あるモデルのスコアを1.86から1.67へ（数値が低いほど優れています）、また別のモデルでは1.81から1.59へと低下させました。

要約すると、この論文は、学習済みのAIモデルが、自身の内部にある「下書き」の声に耳を傾け、それを使って自身の生成したアートから学ぶことで、より良い絵を描くように自らを導けることを証明しています。これは、システム全体を再構築するという膨大なコストをかけることなく、高精細なAI描画を大幅に鮮明にする、安価でプラグイン可能なアップグレードなのです。