コンピュータが、まるで夢を見ているかのように、フレームごとに映画を創り出し、「スケートボードに乗った猫」という単純な一文から高精細なビデオへと変えてしまう世界を想像してみてください。この魔法は、「拡散トランスフォーマー（Diffusion Transformer）」と呼ばれる人工知能によって実現しています。これは、純粋な静止ノイズのキャンバスから始まり、ステップ・バイ・ステップで少しずつノイズを取り除いていくことで、鮮明な絵を描き出すデジタルアーティストのようなものです。これらの画像がリアルに見え、滑らかに動くためには、AIは単に画像だけでなく、物事が時間の経過とともにどのように変化するかを理解する必要があります。

しかし、問題があります。AIがより賢く、よりリアルになればなるほど、自分自身の指示を記憶するために、より多くの「脳の力」が必要になります。コンピュータサイエンスの世界では、これを「メモリ（記憶容量）」と呼びます。傑作を描こうとしているのに、新しい筆致を加えるたびに、その絵の全歴史を頭の中に持ち続けなければならない状況を想像してみてください。もし絵が大きくなりすぎたら、あなたの脳にはすべてを保持しきれなくなります。最も高度なビデオ生成AIにとって、一つのビデオを作るために必要な「指示（重み）」と「思考（活性化）」はあまりにも巨大であり、単一のオフィスにある最も強力なスーパーコンピュータでさえ収まりきらないのです。これが、研究者がこれらの巨大なAIに新しい技術を教えようとしても、計算を開始する前にコンピュータの容量が足りなくなってしまうという「壁」を生み出しています。

これは、その壁を打ち破るために設計された巧妙な新システム、「MegaSlide-DiT」の物語です。研究者たちはシンプルな問いを立てました。「もしコンピュータが、一度に絵のすべてを頭の中に保持する必要がないとしたらどうだろうか？」と。1,050億個のパラメータを持つAI全体を単一のグラフィックスカードに詰め込もうとする（これには1テラバイト以上の容量が必要になり、単一のカードが持つ容量を遥かに超えます）代わりに、彼らは、AIが長期的な記憶をコンピュータのメインRAM（ワークステーションの「机」）に保持し、次のステップに必要なごく一部だけをその都度取り出すシステムを構築しました。

これを機能させるために、彼らはAIがビデオを「見る」方法も変更する必要がありました。通常、ビデオを理解するために、AIはビデオ全体のあらゆるピクセルを他のあらゆるピクセルと比較しようとします。これは、一文を理解するために、学生が本の一冊すべてのページを同時に読もうとするようなものです。これは非常に低速で、メモリを大量に消費します。MegaSlide-DiTは、これを「3D Deformable Slide Attention（3D変形スライド・アテンション）」システムに置き換えました。本全体を読む代わりに、AIが物語に沿って目を滑らせ、近くで動いているキャラクターや、その周囲の環境とどのように相互作用しているかにのみ焦点を当てる方法を学ぶのです。AIは、静止した背景を無視して、動きを追うようにフォーカスを「スライド」させることを学びます。

その結果はどうでしょうか？チームは、1.5 TBのRAMを備えた高性能ワークステーション上で、1,050億パラメータの巨大なビデオモデルの適応に成功しました。彼らはモデルを一から作ったのではなく、大規模なスーパーコンピュータ・クラスターを必要とせずに、新しいことを教えることができることを証明したのです。データをジャストインタイムでグラフィックスカードに流し込み、この「スライディング」アテンションのトリックを用いることで、彼らは256フレーム、1080p解像度のビデオを生成することに成功しました。このシステムは完璧ではなく、非常に速いシーンの変化や、離れた場所にある物体に対しては苦戦することもありますが、高品質なビデオAIの未来は、無限の予算を持つテックジャイアントだけのものではなく、優れたワークステーションと巧妙なアイデアを持つ研究者のものにもなり得ることを示しています。

問題点： 「大きすぎて収まらない」壁

研究者たちはまず、一般的なコンピュータがこれらの巨大なビデオモデルを扱うのを阻む、2つの大きな障壁を特定することから始めました。

第一に、「パラメータ・メモリの壁」があります。1,050億個のパラメータを持つモデルを実行するには、さまざまな形式で「重み（学習された知識）」を保存する必要があります。計算を行うための半精度重み、数学的安定性を保つためのフル精度の「マスター」重み、そして効率的に学習するための2組の「モーメンタム」数値が必要です。論文の計算によれば、1,050億パラメータのモデルでは、これらは合計で約1.47 TBの永続的なデータになります。トップクラスのグラフィックスカード（NVIDIA H200など）は、約141 GBの高速メモリしか持っていません。これは、図書館を靴箱に詰め込もうとするようなものです。

第二に、「活性化メモリの壁」があります。AIがビデオを処理するとき、ビデオを「トークン」と呼ばれる小さな塊に分割します。1080p解像度の256フレームのビデオは、200万個以上のトークンを生み出します。標準的なAIのアテンション・メカニズムは、すべてのトークンを他のすべてのトークンと接続しようとします。これに必要なメモリは、トークン数の平方（$O(N^2)$）に比例して増加します。これほど長いビデオの場合、AIの「思考」を保持するためだけに必要となるメモリはグラフィックスカード全体のメモリを圧倒し、コンピュータをクラッシュ（メモリ不足、または「OOM」）させます。

解決策：「ジャストインタイム」配送システム

チームの解決策である MegaSlide-DiT は、システム工学のトリック、すなわち「モデルをグラフィックスカード上に保持しない」という手法に基づいています。

代わりに、グラフィックスカード（GPU）を、AIの現在のレイヤーに必要なものだけを保持する、高速でステートレス（状態を持たない）な作業員として扱います。1.47 TBに及ぶ膨大なモデルデータは、コンピュータのメインシステムRAM（DDR5）に留まります（彼らのセットアップでは1.5 TB）。

このプロセスは、以下のステップで行われます：

1. スケジューラ： コンピュータのメインプロセッサ（CPU）がマネージャーとして機能します。CPUは、AIがレイヤーごとにビデオを処理する必要があることを把握しています。
2. ストリーミング： グラフィックスカードが現在のレイヤーの作業を終える前に、CPUはメインRAMから「次の」レイヤーの重みをグラフィックスカードへ送り始めます。これはバックグラウンドで行われます。
3. スワップ（入れ替え）： グラフィックスカードが現在のレイヤーの処理を終えるとすぐに、古い重みを排出し、今届けられた新しい重みを取り込みます。
4. アップデート： グラフィックスカードが「勾配（グラディエント）」（モデルを改善する方法）の計算を終えると、その数値をCPUに送ります。その後、CPUは標準的な数学命令（AVX-512）を使用して、メインRAM内の巨大なマスター重みを更新します。

この「ストリーミング」アプローチにより、グラフィックスカードはモデル全体を保持する必要がなくなります。グラフィックスカードが保持するのは、現在のレイヤーの重みの小さな断片（約2 GB）と、現在処理しているビデオデータのみです。

「スライディング」アテンション：動きを追う

第二の主要な革新は、3D Deformable Slide Attention (3D-DSA) です。

標準的なビデオモデルでは、コンテキストを理解するために、AIはビデオ全体を一度に見ます。これが $O(N^2)$ の問題です。MegaSlide-DiTは、AIがフォーカスを「スライド」させることで、これを変更します。

• Deformable（変形可能）： 固定されたピクセルのボックス（窓）を見る代わりに、AIは動く物体を追うように「窓」を伸ばしたり、ずらしたりすることを学習します。ボールが画面を転がっている場合、AIのアテンション・ウィンドウはボールと共に移動します。
• 3D： これは、時間（フレーム）、高さ、幅の3次元において同時におこなわれます。
• Local（局所的）： AIはビデオ全体ではなく、小さな近傍のトークン（ローカル・ウィンドウ）のみを見ます。

論文では、これは別個の「オプティカルフロー（動きのマップ）」を作成するものではないことが明記されています。代わりに、AIはどこを見るべきかを「暗黙的に」学習します。それは、ランナーの速度を数学的に計算してからカメラを動かすのではなく、直感的にランナーを追ってパンするカメラマンのようなものです。これにより、メモリと計算の複雑さが二次関数的（Quadracy）から**線形的（Linear, $O(N)$）**へと減少します。つまり、ビデオが長くなっても、メモリの必要量は爆発的に増えるのではなく、緩やかに増加します。

結果：得られた成果

チームは、NVIDIA H200 GPU（141 GB メモリ）と1.5 TB の DDR5 RAMを備えた単一のワークステーションでシステムをテストしました。彼らはこれを、2つのアプローチと比較しました。一つは、すべてをGPU内に保持しようとする「Dense」モデル（即座にクラッシュしました）、もう一つは、固定された動かないウィンドウを使用する「Swin」モデルです。

1. 単一のマシンで動作する：
最も重要な発見は、彼らが単一のマシンで1,050億パラメータのモデルを適応させることに成功したことです。

• メモリ使用量： MegaSlide-DiT システムは、256フレームのビデオに対して約115 GBのGPUメモリを使用しました。「Dense」モデルは、わずか64フレームでメモリ不足（OOM）になりました。
• 速度： 学習の1ステップ（順伝播と逆伝播）には約3.1秒かかりました。データの転送を並行して行う「非同期（async）」ストリーミング・トリックを使用しなかった場合、速度は大幅に低下し、効率（MFU）は**61%から28%**へと落ち込みました。これは、データの転送時間を隠蔽することが極めて重要であることを証明しています。

2. 品質は同等レベル：
彼らは、ビデオがテキストプロンプトにどれだけ一致しているか、およびビデオが時間の経過とともにどれだけ一貫しているかを測定する VBench ベンチマークを使用して、ビデオの品質をテストしました。

• 64フレームにおいて、MegaSlide-DiT は「Dense」モデル（256フレームでは実行できなかったモデル）とほぼ同等の性能を示しました。
• 256フレームにおいて、MegaSlide-DiT は「Swin」モデル（固定ウィンドウ）よりも**時間的一貫性（Temporal Consistency）**において優れた性能を発揮しました。固定ウィンドウは「ブロック状のアーティファクト」を生じさせ、動きをスムーズに追跡できませんでしたが、変形アテンションは自然に動きを追跡しました。

3. 「学習」の重要性：
スライディング・ウィンドウの「学習」をオフにした（AIに固定ウィンドウを使用させた）実験では、ビデオ品質が低下しました。時間的一貫性のスコアは 0.83 から 0.67 に低下しました。これは、どこを見るべきかを「学習する」能力が、長いビデオにおいては不可欠であることを示唆しています。

4. スケーリング（拡張性）：
彼らはまた、原理が通用するかを確認するために、より小さなバージョンのシステムを H100 NVL（メモリ94 GBのやや小型のGPU）でテストしました。

• 「Dense」モデルは256フレームでメモリ制限によりクラッシュしますが、MegaSlide-DiT は正常にスケールできることを確認しました。
• 固定ウィンドウを持つ「Swin」モデルは、構造化された動きのデータに対して実際に**発散（学習に失敗）**しましたが、学習済みのオフセットを持つ MegaSlide-DiT は改善を続けました。
• 非同期ストリーミングによる高速化は、モデルのサイズが大きくなるにつれて顕著になり、280億パラメータのモデルにおいて、順伝播で 2.11倍 の高速化を実現しました。

限界と意味するもの

論文では、このシステムが「できないこと」についても注意深く述べています。

• 帯域幅の制限は解決しない： システムは依然として、CPUとGPUの間でデータが移動する速度（PCIe）に制限されます。モデルが大きすぎる、あるいはビデオが長すぎる場合、転送時間が依然として速度を低下させる可能性があります。
• 大量のRAMを必要とする： 1,050億パラメータのモデルを実行するには、依然として 1.5 TB の RAM が必要です。これは高価であり、ハイエンドのワークステーションには搭載されていますが、一般のノートPCにはありません。
• ローカル vs グローバル： AIはローカルな近傍のみを見るため、時として長期的なつながりを見逃すことがあります。例えば、2つの物体が互いに離れており、相互作用する必要がある場合、ローカル・アテンションはそれを見逃す可能性があります。
• 「ゼロからの」学習ではない： この論文は、事前学習済みモデルの「適応（ファインチューニング）」を実証したものです。単一のGPUで1,050億パラメータのモデルをゼロから学習させることは、より多くのリソースと長い時間を要するため、ここでは行っていません。

まとめ

MegaSlide-DTは、世界最大のビデオAIモデルを扱うために、必ずしも大規模なスーパーコンピュータ・クラスターを必要としないことを証明しました。メモリの「重い作業」をメインのシステムRAMに移し、「スライディング」アテンション機構を用いて動きを追跡することで、研究者は単一のハイエンド・ワークステーション上でこれらの巨大なモデルを微調整することができます。これは、高度なエンジニアリングがあれば、メモリの壁は行き止まりではなく、単に「別の鍵」が必要なドアであることを示す、高解像度ビデオ生成の民主化に向けた実用的な一歩です。