ロボットに猫の絵を描く方法を教えようとしている場面を想像してみてください。単に写真を渡すのではありません。まず、テレビの砂嵐のような、ノイズで覆われたキャンバスから始めます。ロボットの仕事は、そのノイズをピクセルごとに少しずつ拭き取っていき、完璧な猫を出現させることです。これが「拡散モデル（diffusion models）」の仕組みであり、驚くほど美しい画像を作り出すことで有名になった人工知能の一種です。しかし、ここで大きな疑問が生じます。ロボットはどこに指示を保管しているのでしょうか？その乱れたノイズを、特定の猫や犬、あるいは風景へと変える方法を知るために、ロボットはその脳内に膨大な量の「知識」を蓄えておかなければなりません。

これを理解するには、2種類の異なる情報について考える必要があります。第一に、**意味的情報（semantic information）**があります。これは、「これは犬であって猫ではない」とロボットに伝える全体像となるアイデアです。これは「何（what）」にあたります。第二に、**知覚的情報（perceptual information）**があります。これは、犬の毛並みの質感や耳の独特な曲線、光が鼻に当たる様子など、犬をリアルに見せるための微細で乱雑なディテールです。これは「どのように（how）」にあたります。長い間、科学者たちは、ロボットの脳のどれくらいが「何を」描くべきかを知ることに捧げられ、どれくらいが「いかに」鋭い描写にするかに捧げられているのかという疑問を抱いてきました。ロボットは概念について考える哲学者なのか、それとも微細なディテールに執着する超集中型の芸術家なのか？

アキル・プレクマール（Akhil Premkumar）によるこの論文は、この問いに答えるためにロボットの脳を深く掘り下げています。著者は、情報の量を測る巧妙な方法（イメージとしては、ノイズを画像に変えるためにロボットがどれだけの労力を費やすべきかを数えること）を用いて、ロボットの注意がどこに集中しているかを見ています。その結果は少し驚くべきものでした。ロボットは、ほとんどすべてのエネルギーを微細で退屈なディテールに費やしており、大きなアイデアのためのスペースはほとんど残されていなかったのです。猫と犬の違いを知ることは、リアルな絵を描くために必要な作業と比較すると、実はごくわずかな部分であることが分かりました。この発見は、これらのロボットに指示を聞き入れさせるためのトリック（「ガイダンス」と呼ばれます）がなぜ機能するのかを説明し、ロボットの脳が非常に特定の、層状の構造を持っていることを示唆しています。

大いなる隔たり：大きなアイデア vs 微細なディテール

論文は、これらのモデルがどのように訓練されるかという点から始まります。ロボットが「多様体（manifold）」の形を学ぼうとしていると考えてみてください。平易な言葉で言えば、多様体とは、巨大で空っぽの部屋の中に浮かぶ、折りたたまれた一枚の紙のようなものです。猫のあり得るすべての姿は、その折りたたまれたシートのどこかに存在しています。ロボットの仕事は、そのシートを見つけ出し、その上に留まり続けることです。

著者は、ロボットが成功するために2つの非常に異なることを行う必要があると主張しています。

1. シートを見つける： その画像が、犬のシートやランダムなノイズのシートではなく、特定の「猫らしさ」のシートに属していることを理解しなければなりません。これが**意味的（semantic）**な部分です。
2. シートの上に留まる： 一度シートの上に乗ったら、毛の質感や目の色を正確に表現するために、シートの微細なシワや折り目を進んでいかなければなりません。これが**知覚的（perceptual）**な部分です。

論文の主要な発見は、ロボットが圧倒的に二番目のタスクに執着しているということです。画像生成の世界では、「情報予算（モデルが使用する総脳力）」のほとんどすべてが、微細なディテールを正しく表現する必要性によって消費されてしまいます。数学的な計算によれば、猫と犬を区別するために必要な情報（意味的な部分）は、毛並みをリアルに見せるために必要な情報（知覚的な部分）に比べれば極めて小さいのです。

これを証明するために、著者は単純な図形を用いたトイモデルを使用し、その後、手書き数字（MNIST）や小さな物体の写真（CIFAR-10）といった実際の画像へと移行しました。その結果、これらの画像モデルにおいて「ニューラル・エントロピー（ネットワークがどれだけの情報を保持しているかを測る高度な指標）」は非常に大きいことが分かりました。しかし、「相互情報量（画像とラベル、例えば「猫」との具体的な結びつき）」は驚くほど小さいものでした。実際、CIFAR-10のようなデータセットでは、蓄えられた総情報は、単にクラスラベルを知るために必要な情報の数千倍にも達します。

情報の「直交性」

論文では、これを説明するためにクールな視覚的メタファーを用いています。イメージとしての「猫」の多様体は、部屋の中に浮かぶ長く細いリボンだと考えてください。

• 意味的情報は、自分が「どの」リボンに乗っているかを知ることです。それは、犬のリボンではなく猫のリボンに留まるために、左右どちらに動くべきかを教えてくれます。
• 知覚的情報は、そのリボンの「沿って」正確にどこにいるかを知ることです。それは、ヒゲを正しく描くために、どのようにねじれ、曲がるべきかを教えてくれます。

著者は、これら2種類の情報が「直交（orthogonal）」している、つまり全く異なる方向に作用していることを示しています。ロボットは、リボンに沿ってどのようにねじれ、曲がるか（ディテール）を理解することにほとんどの時間とエネルギーを費やし、一方で「猫」のリボンへと向かう方向を見つけることは、はるかに小さな別のタスクなのです。

これは、AI画像がテキストプロンプトにより良く一致するようにするために使われる一般的なテクニックである「分類器フリー・ガイダンス（Classifier-Free Guidance: CFG）」という現象を説明しています。CFGを使用するとき、あなたは本質的にロボットに対して、「ノイズを無視して、ラベルに集中せよ！」と言っています。論文は、ガイダンス・ベクトル（指示）がプロセス初期に意味的な信号を増幅させることで、このテクニックが機能することを示唆しています。これにより、ロボットは正しいリボンを素早く見つけることができます。しかし、ロボットがプロセスの終盤に近づくと、ラベルの指示を聞くのをやめ、ディテールの描写に完全に集中しなければなりません。もし最後までラベルに強く聞き入っていたら、質感（テクスチャ）が台無しになってしまうからです。論文は、ガイダンスの効果がディテールを埋めていくにつれて自然に「減衰」していくことを示しており、それがなぜうまく機能するのかを説明しています。

「拡散オートエンコーダ」の実験

この分離を実際に確認するために、著者は「拡散オートエンコーダ（Diffusion Autoencoder）」と呼ばれる特別な実験を構築しました。これは、単に絵を描くだけでなく、まず画像を秘密のコード（潜在変数）へと圧縮し、その後、それを再び描き出すロボットを想像してください。著者はこのコードを2つの部分に分割しました。

• Z_sem（意味的コード）： この部分は、画像がまだ非常にノイズが多い状態（プロセスの初期）のときだけ、画像を見ることが許されます。
• Z_per（知覚的コード）： この部分は、画像がほぼ完成に近い状態（プロセスの終盤）のときだけ、画像を見ることができます。

これらのコードが何を学習したかを調べたところ、結果は明白でした。Z_sem（初期のコード）は、画像をクラスごとにグループ化することを学習しました。ある犬の画像の「Z_sem」コードを見ると、それは猫のコードとは非常によく異なるものでした。それは大きなアイデアを理解していたのです。

しかし、Z_per（終盤のコード）は話が別でした。それは画像が猫か犬かにはほとんど関心がありませんでした。代わりに、質感に執着していました。「Z_per」のコードは、猫でも犬でも非常に似通っていました。なぜなら、微細なディテール（ピクセルがどのように集まっているかなど）は、画像が何であるかにかかわらず、ほとんど共通しているからです。論文によると、Z_perコードにはクラスラベルに関する情報はほとんど含まれていませんでした。それは純粋に画像の「粒度」に関するものだったのです。

これは、ロボットが「何を（意味）」を、画像がまだぼやけていて大きな形が見えている初期段階で学び、「どのように（知覚）」を、画像がリアルに見えるための微細な高周波ディテールを解決しなければならない最終段階で学ぶ、という論文の中心的なテーゼを裏付けています。

なぜこれが重要なのか

この論文は、ロボットがどのように考えるかを教えてくれるだけでなく、なぜあることは機能し、他のことは機能しないのかを説明しています。例えば、ステップ数を削ることでロボットを高速化しようとするプロセス（蒸留と呼ばれるプロセス）を行うと、微細なディテールを失ってしまう可能性があることを示唆しています。なぜでしょうか？それは、ロボットが多様体の小さなシワを解決するために、それらの高負荷な最終ステップを必要としているからです。それらをスキップしてしまうと、ロボットが知覚的なディテールのための重労働を行わなかったため、画像はぼやけてしまいます。

また、これは「ガイダンス」のテクニックに限界がある理由も説明しています。ロボットに指示に従わせるために、ガイダンスのつまみを永遠に上げ続けることはできません。もしそうすれば、ラベルに集中させすぎて、テクスチャを作るという重要な作業を忘れさせてしまったり、あるいはラベル自体が個々のピクセルを記述するのに十分な情報を持っていないために、画像を歪ませてしまったりする可能性があります。論文は、ロボットの脳はこれらのタスクを分離するように自然に構造化されており、それらを一度に行おうとしたり、間違った順序で行おうとしたりすることは、その魔法を壊してしまう可能性があることを示唆しています。

結局のところ、この論文は、拡散モデルが、花びら一枚のために完璧な青色の調合に99％の時間を費やし、その絵が花なのか木なのかを決めることにわずか1％の時間しか費やさない熟練の画家のようなものである、という姿を描き出しています。「何であるか」は容易ですが、「いかに描くか」にこそ、真の仕事があるのです。