コンピュータが単に画像を「見る」ことや文章を「読む」ことだけでなく、画像、文章、奥行きのマップ、そしてエッジのスケッチがすべて、同じ現実を記述する異なる言語に過ぎないことを理解している世界を想像してみてください。長い間、人工知能は一つの方言しか話せない専門家のようでした。あるモデルは物語を書くのは得意ですが、絵を描くのは苦手だったり、物体の認識には優れていても、それらがどれくらい離れているのかについては無知だったりしました。科学者たちは、これらの異なる種類のデータ（これらを「モダリティ」と呼びます）のための「ユニバーサル翻訳機」を構築しようとしてきました。つまり、単一の脳が、個別の翻訳機を介することなく、これらの言語間を自在に切り替えられるようにすることです。大きな課題は、あらゆる言語のペアごとに別々の翻訳機を用意することなく、一つの脳にこれらすべての言語を流暢に話せるよう教える方法を見つけることでした。

そこで登場したのが、マスター・ポリグロット（多言語話者）のように振る舞う新しい種類のAIモデル、MODUSです。巨大で使いにくい、用途ごとに異なるパーツを持つ機械を作る代わりに、研究者たちは「デコーダーのみ（decoder-only）」の脳を構築しました。これは、物語を聞いて、その物語がどのような言語で語られていても、その続きを語ることができるストーリーテラーを想像してみてください。写真、テキストによる説明、深度マップ（物体の距離を示すもの）、あるいはエッジのスケッチを入力しても、MODUSはそれらすべてを単一の連続したトークン（文章における単語のようなもの）のストリームとして扱います。深度のための特別なツールやテキストのための特別なツールは必要ありません。ただ、シーケンスの次に来るものを予測するだけです。これにより、写真から深度マップを生成したり、深度マップから写真を生成したり、あるいはこれらを連鎖させたり（写真 → エッジ → 深度 → 新しい写真）、一度にすべてを行うことができます。論文では、このアプローチが驚くほどうまく機能し、単一の統一されたアーキテクチャを用いながら、自己検証（self-verification）や複数のステップを通じた一貫性のある画像の作成といった複雑なタスクを実行できることが示されています。

ポリグロットの脳：MODUSの仕組み

物語を伝えるのが非常に得意な友人がいると想像してください。もしあなたが猫の写真を渡せば、彼らはそれを説明できます。もし猫の説明を渡せば、彼らはそれを描くことができます。さて、その同じ友人が、猫がどれくらい離れているかを教えてくれたり、猫の輪郭を描いたり、あるいは猫が何を感じているかを説明したりすることも、性格を変えたり、タスクごとに別の脳を必要としたりすることなくできるとしたらどうでしょう。それが本質的にMODUSが行っていることです。

かつて、AIモデルは多くの別々の道具を備えたスイスアーミーナイフのように構築されることがよくありました。テキスト用の刃、画像用の刃、深度用の刃といった具合です。もし深度マップから画像へ移行したい場合、モデルをバトンタッチしていく一連の異なるモデルが必要になるかもしれません。この論文は、これが非効率的で使いにくいものであると主張しています。代わりに、MODUSは**デコーダーのみ（decoder-only）**のアプローチを採用しています。簡単に言えば、「デコーダー」とは、シーケンスの次の断片を予測することによって学習するタイプのAIです。これは、AIがこれまでのすべてに基づき、次の単語、次のピクセル、あるいは次の深度値を推測しようとする「伝言ゲーム」のようなものです。

MODUSの魔法は、すべてをシーケンスとして扱うことにあります。

• テキストは単語のシーケンスです。
• 画像は小さなパッチに分解され、数字のシーケンスに変換されます。
• 深度マップやサーフェスノーマル（表面がどの方向を向いているかを示すもの）も、シーケンスに変換されます。

すべてが単なるシーケンスであるため、MODUSは異なるジョブのための異なる「ヘッド（特化した部分）」を必要としません。入力シーケンスを見て、出力シーケンスを予測するだけです。もし写真を与えて深度マップを求めれば、それは写真を物語の「始まり」として扱い、深度マップをその「続き」として扱います。もし深度マップを与えて写真を求めれば、その脚本を逆転させます。

「Any-to-Any」のスーパーパワー

論文ではこれをAny-to-Anyモデリングと呼んでいます。これは、あらゆる組み合わせの入力を受け取り、あらゆる組み合わせの出力を生成できる能力のことです。

• 入力： 部屋の写真。 出力： 部屋のテキストによる説明。
• 入力： 部屋のテキストによる説明。 出力： 部屋の写真。
• 入力： 部屋の写真。 出力： 部屋の深度マップ（家具がどれくらい離れているかを示す）。
• 入力： 深度マップ。 出力： 写真。

従来のモデルの多くは、「テキストから画像」や「画像からテキスト」といった特定のペアしか行うことができませんでした。MODUSはそれらの壁を取り払います。例えば、「Cannyエッジ（輪郭のスケッチ）」から直接深度マップに変換したり、写真とテキストプロンプトを組み合わせてサーフェスノーマルマップを作成したりといった、他のモデルには奇妙に見えることも可能です。

秘訣：一様サンプリングと段階的トレーニング

「単に次のトークンを予測するだけなら、なぜこれが難しいのか？」と疑問に思うかもしれません。研究者たちはいくつかの困難な点を発見しました。

第一に、**モダリティの混乱（modality confusion）**という問題がありました。モデルが画像や深度マップを生成することを学習している際、時々混乱が生じることがありました。深度マップを生成するように求められているのに、誤ってエッジマップを生成してしまうといったことです。論文によれば、これはトレーニング中の「タイムステップ」のサンプリング方法に原因がありました。イメージとしては、モデルがぼやけた状態から始めて徐々に鮮明にしていくことで絵を描く練習をしていると考えてください。もしプロセスの中盤（まだぼやけている段階）に時間を費やしすぎ、最初の方（モデルが何を描くかを決定する段階）に十分な時間を割かなかった場合、モデルは何を描くべきかについて混乱してしまいます。

これを解決するために、チームは**一様タイムステップサンプリング（uniform timestep sampling）**を使用しました。中間のステップに焦点を当てるのではなく、モデルが最初のステップ（モダリティの決定）と最後のステップ（詳細の洗練）を等しく練習するようにしました。これにより、モデルは詳細を気にする前に、「よし、私は深度マップを描いているのだ」と判断できるようになりました。

第二に、**段階的トレーニング（staged training）**アプローチを採用しました。すべてを一度にモデルに投げ込むことはしませんでした。

1. ステージ1： テキストやバウンディングボックス（グラウンディング）のような1次元的なものの基礎を教えました。
2. ステージ2： 深度、サーフェスノーマル、エッジのような2次元的な空間情報を追加しました。
3. ステージ3： 複数の入力を同時に扱うこと（マルチコンディション）や、それらを連鎖させることを教えました。

このステップバイステップのアプローチにより、モデルは圧倒されることなく学習を進めることができ、テキストや画像で学習した既存の強力な知識を継承しながら、その知識を新しい種類のデータへと拡張することができました。

連鎖生成と自己検証

MODUSの最もクールな機能の一つは、**連鎖生成（Chained Generation）**です。すべてを単一のシーケンスとして扱うため、モデルは自身の出力を次のステップの入力として使用できます。

• 例えば、テキストによる説明から3Dシーンを生成したいとします。
• MODUSは、「テキスト」から「3Dシーン」へ直接ジャンプしようとする代わりに、テキスト → エッジスケッチ → 深度マップ → 最終的な画像 という経路を辿ることができます。
• エッジスケッチはレイアウトの理解を助け、深度マップはジオメトリ（幾何学的構造）の理解を助け、そして最終的な画像はその強固な基礎の上に構築されます。

論文は、この連鎖が最終的な結果をより一貫性のあるものにすることを示しています。もしテキストから画像へ直接行こうとすると、モデルはレイアウトを間違える可能性があります。しかし、中間ステップ（エッジスケッチなど）を経由することで、モデルは色や詳細を加える前に、構造を「固定」することができるのです。

もう一つの巧みな手法は、**クロスモーダル自己検証（Cross-Modal Self-Verification）**です。MODUSはあらゆるモダリティを生成できるため、自身の仕事をチェックすることができます。

• もしMODUSがテキストプロンプトから画像を生成した場合、即座に「グラウンディング」マップ（物体がどこにあるかを示すもの）を生成したり、画像に関する質問（VQA）に答えたりすることができます。
• もし生成された画像が、この方法でチェックした際にテキストの説明と一致しない場合、モデルはそれを破棄してやり直すことができます。
• 論文では、この自己チェックメソッドを使用することで、外部の評価ツールを必要とせずに、生成される画像の精度を高め、プロンプトへの適合性を向上させられることが示されました。

結果：すべてを統べる単一のモデル

研究者たちは、画像がこれらすべての注釈（深度、エッジ、テキストなど）と対になっている2900万のサンプルを含む、MODUS-DATASETと呼ばれる大規模なデータセットを用いてMODUSをテストしました。彼らはこのデータでモデルを訓練し、幅広い分野で非常に優れた性能を発揮することを確認しました。

• ビジュアルグラウンディング（画像内の物体をテキストに基づいて見つけること）において、特化したモデルと同等の性能を発揮します。
• 高い精度で深度やサーフェスノーマルを推定できます。
• テキストからの画像生成においても、他のトップモデルに匹敵する性能を持っています。
• 極めて重要なのは、これらすべてを単一のモデルで行っている点です。深度用の別のモデル、エッジ用の別のモデル、テキスト用の別のモデルをダウンロードする必要はありません。

論文では、従来のモデルが特化した「シングルタスク」の専門家と性能を競う際に苦戦することが多かったのに対し、MODUSはそれらと競争できる柔軟性を持ちながら、すべてを同時にこなせることを明記しています。これは、デコーダーのみのアプローチが、新しいジョブごとに複雑でカスタムされたアーキテクチャを必要とすることなく、多様なデータ型を扱うことができる、マルチモーダルAIの未来に向けた強力な基盤であることを示唆しています。

要約すれば、MODUSは、より統一されたAIへの一歩です。それは世界を、分離されたデータのカテゴリーとしてではなく、一つの、相互に連結された物語として捉え、望むあらゆる言語で語り、語り直し、翻訳することができるのです。