ロボットに巨大なパズルを解かせようとしたり、コンピュータに巨大な壁画を描かせようとしたり、あるいは数時間に及ぶ映画の演出をさせようとしている場面を想像してみてください。問題は、これらのタスクがあまりにも巨大すぎて、一度にすべてを学習することができないことです。それは、一晩で百科事典を丸ごと暗記しようとするようなものです。あなたの脳（あるいはコンピュータの脳）には、それをすべて保持することはできません。そこで、科学者たちは賢いトリックを使っています。彼らは大きな仕事を、小さくて扱いやすい塊へと分解するのです。ロボットにブロックを一つ持ち上げる方法を教えたり、壁の正方形一つを塗る方法を教えたり、あるいは5秒間のクリップを撮影する方法を教えたりします。これらが「ローカル（局所的）」な専門家です。

しかし、ここからが厄切なところです。個々の小さなピースを完璧にこなせるといっても、それらを組み合わせて完璧な全体を作り上げられるとは限りません。もし、箱に描かれた絵を見ずにパズルのピースを繋ぎ合わせようとしたら、近くで見れば上手くいっているように見えても、全体としては歪んだり壊れたりした見た目になってしまうかもしれません。AIの世界では、これを「モード平均化（mode averaging）」と呼びます。これは、コンピュータが安全策を取りすぎてあらゆる選択肢を平均化してしまい、その結果、計画がめちゃくちゃで不可能な妥協案になってしまう現象のことです。例えば、ロボットのアームがコップとハンマーを同時に掴もうとしたり、ビデオの中で、文章の途中で猫が突然犬に変わってしまったりするような状態です。

ここで、ジョージア工科大学の研究者による新しい論文が登場します。彼らは、コンピュータが新しい画像、ビデオ、計画を作成できる技術である「生成AI」の分野に取り組んでいます。具体的には、「ロングホライゾン・プランニング（長期的な計画立案）」という難題に取り組んでいます。これは、多くの小さなステップを組み合わせて大きな目標を達成する方法を見つけ出すことです。彼らは、これまでの小さなAIモデルを繋ぎ合わせる手法では、しばしばそのような、めちゃくちゃで不可能な妥協が生じてしまうことに気づきました。そこで、彼らはCompositional Diffusion with Guided Search (CDGS) と呼ばれる新しい手法を考案しました。これは、パズルを組み立てようとしているコンピュータに対して、先を見通し、ピースが実際にフィットするかどうかを確認し、全体図を台無しにする前に悪いアイデアを捨て去ることができるよう、懐中電灯と地図を与えるようなものです。

問題点： 「平均」が敵となる時

著者たちが何を修正したのかを理解するために、まず彼らが見つけた「混乱」を理解する必要があります。ニューヨークからロサンゼルスへのロードトリップを計画していると想像してください。あなたには、ニューヨークからフィラデルフィアへ、あるいはシカゴからデンバーへといった、短いドライブの計画には優れたマップアプリがあります。もし、アプリにあり得るすべての停車地点でのルートを平均化するように頼んだら、シカゴの半分まで行って、突然デンバーに飛び、またシカゴに戻ってくるような経路になってしまうかもしれません。それはすべての経路の「数学的な平均」ではありますが、ひどく不可能なロードトリップです。

AIの世界では、コンピュータが多くの異なる「ローカル」な計画を組み合わせようとする時にこれが起こります。ローカルな計画はしばしば「マルチモーダル（多峰性）」であり、これは、一つのステップに対して多くの有効な方法があることを意味する専門用語です。例えば、ブロックを動かすために、ロボットはそれを押すことも、引くことも、持ち上げることもできます。もしコンピュータがこれらの選択肢を単に平均化してしまうと、これらすべてを同時にやろうとしてしまい、結果としてロボットが無意味に振動することになります。従来の手法は、異なる可能性のスコアを単純に平均化することでこれを解決しようとしましたが、著者たちは、このアプローチが紙の上では滑らかに見えても、現実には物理的に不可能であったり、論理的に破綻したりする計画を生み出すことが多いことを発見しました。

解決策： 霧の中のガイド付き探索

著者たちは、これに対処するための新しい方法を提案しており、それを Compositional Diffusion with Guided Search (CDGS) と呼んでいます。これがどのように機能するかを理解するために、あなたが霧の深い森の中で特定の開けた場所を探している場面を想像してください。あなたにはコンパス（AIモデル）があり、それが一般的な方向を教えてくれますが、霧が非常に濃いため、前方の道は見えません。

従来の手法は、一歩進んで、コンパスを見て、そしてまた一歩進むというものでした。しかし、霧が深いため、気づかないうちに沼地に迷い込んでしまう可能性があります。

CDGSメソッドは異なります。単に一つの道を辿るのではなく、探検隊のチーム（候補となる計画の「集団」）を送り出します。旅のあらゆるステップにおいて、これらの探検家たちは3つのことを行います。

1. 互いに話し合う（反復的な再サンプリング）: 前列の探検家が後列の探検家に、またその逆も然り、ささやき合います。これにより、グループ全体が足並みを揃えることができます。もし前方の探検家が進む道が行き止まりだと気づいたら、グループ全体が迷ってしまう前に、後方の探検家に引き返すよう伝えることができます。これにより、計画が最初と最後で矛盾することなく、最初から最後まで一貫性を保つことができます。
2. 地図をチェックする（枝刈り）: チームには特別なルールがあります。もし道が崖（不可能な遷移）につながりそうであれば、即座に切り捨てます。彼らは、AI自身の「何が良い経路であるか」という記憶を利用した巧妙なトリックを用いて、これらの行き止まりを早期に察知します。彼らは旅の終わりに迷ったことに気づくのではなく、悪い枝が成長する段階でそれを剪定（せんてい）するのです。
3. 最良の経路を選ぶ（選択）: 経路をチェックした後、最も有望な探検家だけを残し、次のステップへと送り出します。これは、ロードトリップにおける「適者生存」のようなものです。

このようにすることで、CDGSは「モード平均化」の罠を回避します。ぐちゃぐちゃで不可能な平均を作る代わりに、最初から最後まで一貫した、具体的な経路を見つけ出します。

彼らが発見したもの： ロボット、パノラマ、そして映画

著者たちは、この新しい手法を3つの全く異なる世界でテストし、非常に有望な結果を得ました。

1. ロボットの遊び場
まず、ロボットを用いたテストを行いました。彼らはロボットに、キューブをある場所から別の場所へ移動させるようなタスクを与えましたが、これにはひねりがありました。ロボットはフックを使ってキューブを引かなければならない、あるいは、最初に他の物体をどけておかなければならないといった条件です。これらは、多くのステップの連続を必要とするため、「ロングホライゾン（長期的）」なタスクです。

• 結果: これらのテストにおいて、CDGSは既存の最高の手法と同等、あるいは場合によってはそれ以上の性能を発揮しました。ロボットが、明示的に手順を教えられなくても、正しい動きの順序を考え出さなければならない複雑なパズルを解くことができました。論文は、CDGSが膨大な量の新しい学習データを必要とせずにこれらのタスクを処理できることを示唆しており、これはロボットのデータ収集が遅く高価であることを考えると、大きな勝利です。

2. パノラマの芸術家
次に、巨大なパノラマ画像を作成するためにCDGSを使用しました。山の連峰の写真を撮る場面を想像してください。ただし、一度に一つのピーク（頂）しか小さな写真として撮ることができません。全体を見るためには、それらを繋ぎ合わせる必要があります。

• 結果: CDGSを使用してこれらの画像を繋ぎ合わせたとき、最終的なパノラマは継ぎ目のないものになりました。山々は完璧に一致し、空には奇妙なグリッチ（不具合）もありませんでした。彼らは、端の部分を単に「平均化」してしまう他の手法と比較しましたが、CDGSは、画像全体を通してスタイルの一貫性を保ちつつ、より自然な見た目の結果を生み出しました。

3. 映画監督
最後に、ビデオ生成でテストを行いました。彼らは約50フレームの短いビデオクリップを取り、それらを繋ぎ合わせて長いビデオ（最大350フレーム）を作ろうとしました。

• 結果: ここでの課題は、キャラクターの一貫性を保つことです。もし最初のクリップでパンダがギターを弾いているなら、二番目のクリップでパンダがクマに変わってはいけません。CDGSは、長いビデオを通じて被写体が同じに見え続け、動きがスムーズであることを維持できました。ビデオの品質自体は、短いクリップに比べるとわずかに低下しましたが（これは長いビデオでは一般的であると著者らが指摘しているトレードオフです）、キャラクターが変形したり変化したりしてしまう他の手法よりも、はるかに一貫していました。

まとめ

著者たちは、これがすべての問題を即座に解決する魔法の杖ではないことを慎重に述べています。彼らの手法は、明確な目標（例：「キューブを緑色の場所に移動させる」）があることに依存しており、また「ローカル」な専門家（小さなAIモデル）がすでにそれぞれの仕事においてかなり優れている場合に最も効果を発揮すると指摘しています。また、多くの経路を同時にチェックする必要があるため、実行に多くのコンピュータパワーを必要とすることも認めています。

しかしながら、論文はCDGSが、AIに長期的な計画立案をより賢くさせるための強力な新しいツールであることを強く示唆しています。生成プロセスの中に直接「探索」プロセスを組み込むことで、従来のメソッドを悩ませてきた、めちゃくちゃな妥協を回避できるのです。ロボットのアームが散らかった机を片付ける方法を考え出すときでも、カメラが広大な風景をパンするときでも、あるいは映画監督が長い物語を繋ぎ合わせるときでも、CDGSは「全体は部分の総和よりも大きい」ことを保証し、最終的な結果が単なる数学的な平均ではなく、一貫した、機能する現実であることを確実にする方法を提供します。