Lumos-1: On Autoregressive Video Generation with Discrete Diffusion from a Unified Model Perspective

本論文は、LLM 基盤の統一モデルとして、動画データに適した MM-RoPE と効率的な離散拡散手法（Autoregressive Discrete Diffusion Forcing）を導入し、限られたリソースで最先端の動画生成性能を達成する「Lumos-1」を提案するものである。

要約

Lumos-1：動画を作る「魔法の魔法使い」の話

こんにちは！今日は、アリババのダモアカデミーなどが開発した新しい AI、「Lumos-1（ルモス・ワン）」について、難しい専門用語を使わずに、まるでおとぎ話のように解説します。

この AI は、**「言葉（テキスト）を聞いて、動画を作れるようになる」**というすごい能力を持っています。でも、これまでの動画を作る AI にはいくつかの「悩み」がありました。Lumos-1 はその悩みをすべて解決した、画期的な「魔法使い」なんです。

---

🎬 従来の AI の「3 つの悩み」

動画を作る AI には、これまで 3 つの大きな壁がありました。

1. 「言葉と映像が噛み合わない」
   • 従来の AI は、言葉の専門家（LLM）と映像の専門家（拡散モデル）を無理やりつなげていました。まるで、「日本語しか話せない翻訳者」と「絵を描く天才画家」を無理やりチームに組ませたようなもので、意思疎通がうまくいかず、指示通りに動かないことが多かったのです。
2. 「1 秒ずつしか描けない（遅い！）」
   • 従来の方法は、動画の 1 枚目の絵を描き終えてから 2 枚目、3 枚目と順番に描いていく「次々トークン予測」という方式でした。これは**「1 行ずつ手書きで本を書く」**ようなもので、動画を作るにはあまりにも時間がかかりすぎます。
3. 「動きがおかしい」
   • 時間（フレーム）と空間（画素）の関係を正しく理解できておらず、**「時間が経つにつれて、キャラクターが溶けてしまったり、背景がぐちゃぐちゃになったり」**する問題がありました。

---

✨ Lumos-1 の「3 つの魔法」

Lumos-1 は、これらを解決するために 3 つの新しい魔法を編み出しました。

1. 魔法の位置記号「MM-RoPE」

（アナロジー：地図の読み方を変える）

AI が「どこに何があるか」を理解するには、位置を示す「羅針盤（RoPE）」が必要です。

• 従来の魔法： 文字の羅針盤は「1 次元の線」しか読めません。でも、動画は「高さ・幅・時間」の 3 次元の世界です。従来の AI は、3 次元の動画を 1 次元の線に無理やり押し込めようとして、**「北と東が混同されてしまう」**ような混乱を起こしていました。
• Lumos-1 の魔法（MM-RoPE）： Lumos-1 は、**「3 次元の地図を正しく読める新しい羅針盤」**を発明しました。
  • 文字には文字用の羅針盤を、映像には映像用の 3 次元ロジックを、それぞれ最適な形で配置します。
  • これにより、AI は「キャラクターが左から右へ動き、時間が経つにつれて背景が変わる」という複雑な動きを、**「迷路を正しく解く」**ように理解できるようになりました。

2. 魔法の描画術「AR-DF（並列拡散）」

（アナロジー：1 行ずつ書くのではなく、ページ全体を一度に塗りつぶす）

• 従来の魔法： 「1 行書いて、次、次…」と順番に描くので、動画を作るのに何時間もかかりました。
• Lumos-1 の魔法： Lumos-1 は**「マスク（隠し絵）」**の技術を使います。
  • まず、動画の全フレームを「何もない白紙」にします。
  • 次に、**「ここは隠れてるから、ここだけ見て推測して！」**というルールで、複数のフレームを同時に描き直します。
  • これを繰り返すことで、**「1 行ずつ書く」のではなく「ページ全体を一度に塗りつぶす」**ような超高速な描画が可能になりました。これにより、動画生成が劇的に速くなりました。

3. 魔法の学習法「時間管（Temporal Tube）マスク」

（アナロジー：コピーペスト禁止のテスト）

動画を作る際、AI は「前のフレームを見て、次のフレームを予想する」のが得意ですが、**「前のフレームをそのままコピーして、少し動かすだけ」**という楽な方法を覚えてしまい、動きが不自然になることがありました。

• Lumos-1 の魔法： 学習中に**「時間管（Temporal Tube）」**というルールを使います。
  • 例えば、「1 秒目の『左目』を隠すなら、2 秒目、3 秒目、4 秒目の『左目』も全部隠す！」というルールです。
  • これにより、AI は「前のフレームをコピーする」ことができません。「時間が経つにつれてどう動くか」を、ゼロから真剣に考えさせます。
  • その結果、自然で滑らかな動きが生まれます。

---

🏆 結果：どんな魔法が使えるの？

Lumos-1 は、**「たった 48 台の GPU（計算機）」**と、比較的小さなデータ量で訓練されましたが、驚くべき結果を出しました。

• テキストから動画へ： 「赤い服のスキーマンが雪山を滑る」と入力すると、その通りの動画が作れます。
• 画像から動画へ： 静止画を渡すと、その画像が動き出し、生き生きとした動画になります。
• 品質： 既存の有名な AI たち（Show-o2 や OpenSoraPlan など）と比べても、動きの自然さや指示への忠実さで負けていません。むしろ、少ないリソースでこれだけの成果を出している点で、**「効率のいい魔法使い」**として注目されています。

---

🌟 まとめ

Lumos-1 は、**「言葉と映像を同じ言語で話し合い、並列で高速に描き、自然な動きを学べる」**新しい時代の AI です。

これまでの動画生成 AI が抱えていた「遅い」「不自然」「指示通りに作れない」という悩みを、**「3 次元の羅針盤（MM-RoPE）」と「並列描画（AR-DF）」**という 2 つの魔法で解決しました。

これからの未来、私たちはもっと手軽に、もっと高品質な動画を AI に作ってもらえるようになるかもしれません。Lumos-1 は、そのための第一歩となる素晴らしい魔法使いなのです！✨🎥🪄

技術概要

Lumos-1: 離散拡散を用いた autoregressive 動画生成のための統一モデルからのアプローチ

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）のアーキテクチャをそのまま活用しつつ、効率的な離散拡散（Discrete Diffusion）を組み合わせた autoregressive（自己回帰的）動画生成モデル「Lumos-1」を提案するものです。既存の動画生成モデルが抱えるアーキテクチャの非統一性、外部テキストエンコーダへの依存、および次トークン予測による推論遅延といった課題を解決し、LLM 基盤の統一モデルとしての動画生成を実現しています。

1. 背景と課題 (Problem)

autoregressive な動画生成は、言語処理の成功に着想を得て進められていますが、LLM のアーキテクチャをそのまま動画生成に適用するには以下の 2 つの根本的な課題がありました。

1. 位置エンコーディングの不適切さ: 標準的な LLM で用いられる 1 次元の回転位置エンコーディング（1D RoPE）は、テキストのシーケンシャルな性質には適していますが、動画の複雑な「3 次元時空間相関（時間・高さ・幅）」をモデル化するには不十分です。既存の単純な 3D RoPE 導入では、周波数スペクトルの偏り（特に時間軸と空間軸のバランスの悪さ）が生じ、モデル性能が制限されていました。
2. 生成効率と動画の性質の矛盾: 従来の「次トークン予測（Next-token prediction）」はテキストには有効ですが、動画生成には非効率です。さらに、動画は「フレーム内の双方向性（空間的）」と「フレーム間の因果性（時間的）」という相反する性質を持っています。単純なランダムマスクや逐次生成では、この性質を適切に捉えられず、生成の遅延や品質低下を招きます。

2. 提案手法 (Methodology)

Lumos-1 は、LLM アーキテクチャ（Llama ベース）を基盤としつつ、以下の 2 つの主要な技術的革新を導入しています。

A. MM-RoPE (Multi-modal Rotational Position Embedding)

時空間相関を効果的にモデル化するための新しい位置エンコーディング手法です。

• 分散周波数割り当て: 既存の 3D RoPE や M-RoPE では、時間・高さ・幅の各次元に対して周波数帯域の割り当てが偏っていました。MM-RoPE は、メタ MM-RoPE コンポーネントを複数配置し、すべての 3D 情報に対して包括的な周波数スペクトルを分散して割り当てます。これにより、局所的かつ大域的な依存関係をより高精度にモデル化できます。
• スケーリングされた 3D 位置: テキストと視覚データの位置の範囲が異なる問題を解決するため、圧縮率に基づいて 3D 位置をスケーリングします。これにより、視覚トークンとテキストトークンの間のモダリティバランスを改善し、視覚 - 言語の整合性を高めています。
• 互換性: テキストトークンに対する RoPE は既存の LLM と同じまま維持されるため、言語学習能力を損なわずに視覚データを統合できます。

B. Autoregressive Discrete Diffusion Forcing (AR-DF)

動画生成の効率性と品質を両立させるためのトレーニングおよび推論戦略です。

• 問題の特定: 単純なランダムマスクによるトレーニングでは、後続のフレームが先行フレームの情報（空間的冗長性）を「コピペ」することで損失が低くなる「損失の偏り（Loss Imbalance）」が発生し、時間的な学習が阻害されていました。
• トレーニング（Temporal Tube Masking）: 各フレームに対して、時間軸方向に同じマスクパターンを適用する「時間チューブマスク」を導入します。これにより、後続フレームが先行フレームの未マスク部分に依存して予測するショートカットを防止し、真の時間的ダイナミクスを学習させます。
• 推論（Inference-time Masking）: 訓練時と推論時の不一致を防ぐため、生成されたフレームの一部を再度マスクして推論を行う戦略を採用します。これにより、フレームの品質低下やモーションの劣化を防ぎつつ、並列的な離散拡散による高速推論を実現します。

3. 主要な貢献 (Key Contributions)

1. LLM 基盤の統一アーキテクチャ: 外部エンコーダに依存せず、LLM 単体で画像・動画生成を完結させる純粋な統一モデル「Lumos-1」を提案。
2. MM-RoPE の開発: 周波数分配の最適化と位置スケーリングにより、視覚 - 言語モデルにおける時空間依存関係のモデル化を飛躍的に向上。
3. AR-DF の提案: 時間的冗長性による損失偏りを解消し、効率的な並列拡散推論を可能にするトレーニング・推論手法の確立。
4. 高効率な学習: 48 個の GPU でのみ事前学習と微調整を行い、限られたデータ（6000 万画像、1000 万動画）と離散トークナイザを用いて、大規模な競合モデルに匹敵する性能を達成。

4. 実験結果 (Results)

Lumos-1 は、GenEval、VBench-I2V（画像から動画）、VBench-T2V（テキストから動画）などの主要ベンチマークで、既存の最先端モデルを上回る、あるいは同等の性能を示しました。

• GenEval (テキストから画像): Show-o2 や EMU3 などのモデルと比較して、特に位置関係や属性バインディングのタスクで高いスコアを記録。
• VBench-I2V (画像から動画): COSMOS-Video2World（1000 万 H100 相当の計算資源を使用）と同等の性能を、48 個の H20 GPU での学習で達成。
• VBench-T2V (テキストから動画): OpenSoraPlan と同等の性能を達成。
• 推論速度: 従来の次トークン予測に比べ、離散拡散と KV キャッシュの併用により、大幅な推論速度の向上（数倍〜数十倍の高速化）を実現。

5. 意義と将来性 (Significance)

Lumos-1 は、動画生成において「LLM の統一アーキテクチャ」と「効率的な拡散モデル」を融合させるための重要なステップです。

• 計算効率: 大規模な外部エンコーダや複雑なハイブリッド構造を不要とし、限られた計算資源でも高品質な生成が可能であることを実証しました。
• 統一モデルへの道筋: 本論文で提案された MM-RoPE や AR-DF は、将来的に「理解」と「生成」を完全に統合したマルチモーダル基盤モデル（Unified Foundation Model）を構築する際の重要な構成要素となります。
• 実用性: 離散トークン化と並列推論の組み合わせにより、リアルタイムに近い動画生成や、リソース制約のある環境での展開の可能性を開きました。

総じて、Lumos-1 は、autoregressive な動画生成の分野において、アーキテクチャの単純化、学習効率の向上、そして生成品質のバランスを同時に達成した画期的なモデルと言えます。