Paris: A Decentralized Trained Open-Weight Diffusion Model

芸術を生み出すことが、単なるスタジオに座る一人の天才によるものではなく、一度も会話を交わすことなく協力し合う、大規模でグローバルなアーティストのチームによるものだとしたら、どのような世界になるでしょうか。これは「拡散モデル（diffusion modeling）」と呼ばれる分野の核心です。これは、混沌とした静止画のノイズの雲から始まり、彫刻家が石を削り取って像を露わにするように、一歩ずつ、一歩ずつ、鮮明な絵へと洗練させていくことで画像を生成することを学習する、一種の人工知能です。長年、この分野における最大の障害は、「中央司令部」の必要性でした。これらの強力なAIアーティストを訓練するために、研究者たちは通常、高価で高速なケーブルで接続された数千台の超高速コンピュータを一つの場所に集め、すべてを完璧に足並みを揃えて動作させる必要がありました。もし一台でもコンピュータが遅れれば、チーム全体が待たされることになったのです。これは、最も裕福で資金力のある機関だけが最高の画像生成器を構築でき、他の人々はゲームから排除されることを意味していました。

ここで、Bagel Labsによる新しいプロジェクト「Paris」が登場し、大胆な問いを投げかけます。「もし、中央司令部が全く必要なかったらどうだろうか？ 世界クラスのAIアーティストを、多くの小さなチームが、それぞれ異なる国で、自分たちのコンピュータ上で、完全に孤立した状態で作業させ、最後に彼らの成果を一つに集めるだけで訓練できるとしたらどうだろうか？」という問いです。この論文は、Parisを、完全にこの方法で訓練された初めての公開された画像生成器として提示しており、美しい絵を作るためにスーパーコンピュータのクラスターは必要ないことを証明しています。その代わりに、AIを専門家のチームに分割し、それぞれが異なるスタイルを学習し、ユーザーが画像のリクエストをした際にどの専門家の声を聞くべきかを決定するスマートな「交通管制官」を使用しています。

大きなアイデア：孤独な天才たちのチーム

通常、大規模なAIを訓練することは、1,000人の歌手による合唱団に完璧にハーモニーを奏でさせようとするようなものです。彼らは皆、同じ部屋に立ち、指揮者の声を聞き、誰かの声が外れた場合には即座に調整しなければなりません。もし部屋が広すぎたり、マイクの反応が遅かったりすると、歌全体が台無しになってしまいます。これが従来のAI訓練で起きていることです。数千枚のグラフィックスカード（GPU）が常に自分たちの進捗を互いに叫び合い、次のステップに進む前に全員が追いつくのを待つのです。これはコストがかかり、特別な高速インターネットを必要とし、新旧混在したコンピュータで行うことは不可能です。

Parisはこのシナリオを覆します。一つの巨大な合唱団の代わりに、それぞれが防音室に閉じ込められた8人のソロ歌手を想像してください。彼らは決して互いに話し合わず、楽譜を共有せず、他の人が終わるのを待つこともありません。

• ソロ奏者（エキスパート）： Parisモデルは、8つの小さなAI「エキスパート」で構成されています。各エキスパートは、インターネットの画像ライブラリの異なる断片に基づいて訓練されます。ある者は夕焼けについてのみ学び、別の者は犬について、また別の者は建築について学ぶかもしれません。彼らは完全に隔離された状態で、利用可能なあらゆるハードウェア上で、独自のペースで訓練を行います。たとえ一方がアメリカの高速サーバーで、もう一方がヨーロッパの低速なマシンであっても関係ありません。
• 交通管制官（ルーター）： これらのエキスパートは訓練中に決して会話しないため、ユーザーが「草原を走るゴールデンレトリバー」と入力したときに、どのエキスパートを使うべきかをどうやって判断するのでしょうか？ そこで「ルーター」が登場します。それはスマートな交通警官のように機能する、軽量で小さなAIです。ユーザーがプロンプトを与えると、ルーターは画像の乱雑でノイズの多い出発点を見て、「おい、エキスパート3は犬が得意だから、彼を使おう！」とか、「いや、実はこのシーンにはエキスパート3とエキスパート5の両方が必要だ」といった具合に、素早く判断を下します。

仕組み： 「会話しない」ことの魔法

Parisの天才的な点は、訓練データの扱い方にあります。研究チームは1,100万枚の膨大なデータセットを取り、スマートなツール（DINOv2と呼ばれます）を使用して、見た目に基づいてそれらを8つの明確なグループに分類しました。そして、それぞれのグループを異なるエキスパートに送りました。

• 同期なし： 通常のAI訓練では、コンピュータは「グラディエント（勾配）」（これは改善のためのヒントのようなものです）を常に同期させるために停止する必要があります。しかし、Parisのエキスパートはこれを行いません。彼らはただ、自分の時間で、自分のスピードで、訓練、訓練、訓練を続けます。一方が10万ステップに達している間に、もう一方がまだ9万ステップしか進んでいなくても、それは問題になりません。
• ルーターの仕事： ルーターは別途訓練されます。ルーターは、ノイズを含んだぼやけた画像を見て、どのエキスパートがその特定のノイズパターンに最適かを推測することを学びます。それは、手に持っている本の微かな匂いから、どの本棚から本を引き出すべきかを正確に知っている司書のようなものです。

分かったこと：より少ないデータ、より少ない電力、同じ品質

チームは、Parisを従来の方法および以前の分散型の手法と比較テストしました。結果は驚くほど効率的でした。

• リソースの節約： Parisは、高品質なモデルを、従来のベストな分散型手法と比較して、14倍少ない訓練データ（1億5,400万枚ではなく1,100万枚）と、16倍少ないGPUデイズ（必要なコンピュータ時間）を使用して訓練することに成功しました。
• 「トップ2」の驚き： エキスパートをどのように組み合わせるかをテストした際、興味深いことが分かりました。単一の「最適な」エキスパート（Top-1）を使用するのは良好でしたが、**上位2人のエキスパート（Top-2）**を使用し、その結果を混ぜ合わせる方が、実際に最高の画像を生み出しました。
• 「フルチーム」の失敗： 興味深いことに、8人全員のエキスパートを同時に使おうとすると（Full Ensemble）、画像はかえって悪化しました。あまりに多くの声が一度に歌おうとすると、ノイズが発生してしまうようです。論文は、選択的であることが鍵であると示唆しています。合唱団全員を必要とするのではなく、適切なソロ奏者だけが必要なのです。

なぜこれが重要なのか

論文は、世界クラスの画像生成器を構築するために、数十億ドル規模のデータセンターは必要ないという結論を下しています。コンピュータを独立して働かせ、最後にだけ連携させることで、Parisは、高品質なAIが「ヘテロジニアス（異種混合）ハードウェア」——つまり、異なる、より安価で、地理的に散在したコンピュータの組み合わせ——の上でも構築できることを証明しました。これにより、これまでこの分野の門番であった大規模で同期されたインフラを必要とせずに、強力なモデルを訓練できる道が、研究者や中小企業に開かれます。

要約すると、Parisは、全員に足並みを揃えるよう強制するのではなく、全員に独自ののリズムを見つけさせ、そしてスマートな指揮者が最後の幕が上がる瞬間に彼らをまとめ上げることで、傑作を作り上げることができるということを示しているのです。