Stream Forcing: Constructing Unified Training Trajectory for Robust Streaming Video Generation

コンピュータがただ動画を視聴するだけでなく、フレームごとに新しい動画をリアルタイムで「夢見る（生成する）」ことができる世界を想像してみてください。これは「ストリーミング・ビデオ生成」という、エキサイティングな領域の最前線です。これは、世界がどのように動き、変化するかを理解する「世界モデル（デジタルな脳）」として機能することを目指す人工知能の一分野であり、次に何が起こるかを予測できるように設計されています。それは、脚本が書き終わるのを待つのではなく、直前に起きたことに基づいて次のシーンを即興で作り上げ、連続した終わりのない視覚的な流れを生み出す、決して撮影を止めない映画監督のようなものです。これを行うために、AIは「拡散（ディフュージョン）」と呼ばれる手法を用います。これは、彫刻に似ています。混沌としたノイズ（静止画のような砂嵐）のバケツから始めて、そのノイズを少しずつ削ぎ落としていくことで、その下にある鮮明で動いている画像を浮かび上がらせる作業です。難しい点は、コンピュータがこれをリアルタイムでスムーズに行うためには、非常に特定かつ秩序ある方法でノイズを削ぎ落とす方法を学ばなければならないことです。しかし、この特定のやり方を教えようとすると、物体の動きに関する一般的なルールを学ぶのが苦手になり、逆に一般的なルールを教えようとすると、特定の詳細な処理でつまずいてしまうのです。これはAIにとって典型的な「キャッチ22（板挟み）」の状態です。誰もが、両方を手に入れることは不可能だと考えていました。

そこで、この綱引きを解決するために設計された、巧妙な学習手法である**「ストリーム・フォーシング（Stream Forcing）」**が登場しました。この論文の研究者たちは、AIに対して「厳格なルールに従う生徒」になるか、「混沌とした自由な芸術家」になるかのどちらかを選ばせるのではなく、両方をこなせるように、両方のスタイルへとゆっくりと移行する「学習の旅」を作ることで解決できることに気づきました。彼らは、ビデオフレーム内のノイズレベルを単なるランダムな推測としてではなく、前のフレームに依存する「つながりのある物語」として扱いました。数学的な「マップ（確率過程）」を用いることで、AIが完全に独立したランダムなフレームから学習を開始し、徐々に、実際の環境で実行される際のように高度に調整されたステップ・バイ・ステップのプロセスへと変貌していく、滑らかな経路を作り出したのです。

この「カリキュラム学習」のアプローチは、驚くべき成果をもたらしました。人間のアクションを含む短いクリップを集めたベンチマークデータセット「UCF-101」でテストしたところ、このAIは従来のトップクラスの手法と比較して、品質（FVDと呼ばれるスコアで測定）が**36.6%向上しました。さらに印象的なのは、このAIは短いクリップの知識を得るだけでなく、見たこともないようなはるかに長い動画を作成するために、その知識を「引き延ばす」ことを学んだ点です。「ゼロショット」テスト（短いシーケンスでのみ学習させた後、128フレームという長いシーケンスを生成させるテスト）において、UCF-101データセットにおける品質を27.9%**向上させました。また、自動運転のシミュレーションのような複雑なタスクにおいても、既存のモデルよりも大幅にエラー率が低い、走行ビデオの生成に成功しました。

彼らの発見の核心は、「どちらかの側を選ぶ必要はない」ということです。連続的な「学習軌道」を構築することで、AIはランダムなサンプリングによる多様で幅広い学習を享受しながら、リアルタイムのストリーミングに必要な厳格で一貫したリズムをマスターすることができるのです。彼らは、優れた結果を得るためには、単一の学習スタイル（純粋なランダム、または純粋な逐次的プロセス）のどちらかに固執しなければならないという考えを否定しました。代わりに、両者の間のスムーズな移行こそが「秘伝のソース（成功の鍵）」であることを証明しました。この論文は、この特定の「強制（フォーシング）」による学習の進化が、高品質でありながらキャラクターを崩さずにエンドレスに動作し続けるビデオ生成器を作るための大きな一歩であることを示唆しています。

ストリーム・フォーシングの物語

問題点： 「足取りの悪い」AI
ロボットにダンスを教えていると想像してください。あなたには2つの教え方があります。

1. 「フリースタイル」方式： ロボットに、それぞれに繋がりを持たないランダムなダンスの動きを一つずつ見せます。ロボットは多くの多様な動きを学びますが（カバー範囲は素晴らしい！）、それらを滑らかにつなげる方法を学びません。本番のショーで踊るよう求められると、リズムがわからないため、動きが止まってしまいます。
2. 「厳格なリハーサル」方式： ロボットに、実際に披露する通りの正確な順番で、ステップ・バイ・ステップで練習させます。ロボットはリズムを完璧に学びますが（一貫性は素晴らしい！）、その特定のルーチンしか学びません。即興を求められたり、新しいスタイルを学ぼうとしたりすると、バラエティ豊かな「無秩序な」動きを見ていなかったために失敗します。

長い間、AIビデオ生成器はこのジレンマに陥っていました。もし「フリースタイル」のダンサーのように学習すれば、動画はガタガタで断片的になります。もし「厳格なリハーサル」のダンサーのように学習すれば、長時間の連続したビデオストリームを生成しようとすると崩壊してしまいます。

解決策： スムーズな学習の旅
この論文の著者であるYueting Zhu氏らのチームは、AIに選択を強いるのをやめることにしました。代わりに、彼らは「フリースタイル」から始まり、「厳格なリハーサル」へと緩やかにカーブしていく長い道のり、すなわち**「学習軌道（トレーニング・トラジェトリー）」**を構築しました。

彼らはこの手法を**「ストリーム・フォーシング（Stream Forcing）」**と呼びました。その仕組みを、簡単な比喩を使って説明します。

AIが、長く連続した壁画を描くことを学んでいる学生だと想像してください。

• フェーズ1： ウォーミングアップ（独立サンプリング）。 学習の初期段階では、学生は壁の各セクションを完全に独立して描くことが許されます。左側は鮮やかな赤、右側は涼しげな青といった具合に、隣同士のつながりを気にせずに描けます。これにより、学生は絵画の基礎を学び、膨大な種類の色彩を手に入れます。
• フェーズ2： 架け橋（カリキュラムの移行）。 ここが魔法の部分です。教師（ストリーム・フォーシング・アルゴリズム）は、徐々にヒントを与え始めます。「ねえ、左側の赤が右側の青に溶け込んでいるのがわかるかな？ そのつながりをもう少し滑らかにしてみよう」 教師はルールを即座に変えるのではなく、フレームごとに学生を促し、隣接する部分に注意を払うように仕向けます。彼らは特別な数学的ツール（「ガウス・コピュラ」）を使用し、ドミノが倒れていく鎖のように、あるフレームのノイズパターンが次のフレームと緩やかにつながるようにします。
• フェーズ3： 本番（推論に適合したサンプリング）。 学習の終わりには、学生は自然に進化しています。もはやバラバラで無関係な塊を描いているのではありません。すべての筆致が「次の一手」を正確に把握している、継ぎ目のない流れるような壁画を描いています。彼らは、スムーズで一貫性があり、高品質なビデオストリームを生成する準備が整ったのです。

「秘伝のソース」： ジョイント・キャリブレーション（共同較正）
この移行が、AIを混乱させるような突然のジャンプにならないようにするために、研究者たちは「ジョイント・キャリブレーション」アルゴリズムを発明しました。これはオーケストラの指揮者を想像してください。バイオリン部門が大きくなりすぎてドラムが小さくなれば、音楽はひどいものになります。指揮者（アルゴリズム）は、音楽が変化する間、すべての楽器（各ビデオフレーム）の音量（「ノイズレベル」）を常にチェックし、すべてがバランスの取れた一貫したレベルで演奏されていることを確認します。これにより、AIがあるタイプのデータに圧倒されて他のデータを無視してしまうことがなくなります。

結果： 新しいスタンダード
ストリーム・フォーシングをテストしたところ、結果は目覚ましいものでした。

• UCF-101 ベンチマークにおいて、彼らの手法は既存の最高の手法と比較して、品質スコアを**36.6%**向上させました。
• また、彼らはAIが「ロングホライゾン（長期間）」のタスク――学習したよりもはるかに長い動画の生成――を扱えるかどうかもテストしました。これは、1分間のルーチンのみを練習してきたダンサーに、10分間のソロを披露させるようなものです。ストリーム・フォーシングはこれに成功し、これらの長い動画の品質を**27.9%**向上させました。
• さらに、自動運転のシミュレーション（nuScenesデータセットを使用）にも挑戦しました。AIは次に車が何を見るかを予測しなければなりません。この手法も同様に機能し、既存のモデルよりも明確で正確な走行ビデオを生成しました。

なぜこれが重要なのか
この論文は、高品質でエンドレスなビデオストリームを生成できるAIを作る鍵は、単一の学習戦略を選ぶことではなく、両方の最良の部分を組み合わせた**「滑らかに進化する道」**を作ることにあると示唆しています。学習プロセスを「目的地」ではなく「旅」として捉えることで、ストリーム・フォーシングはAIが世界の多様性を学びつつ、それをナビゲートするために必要な一貫性をマスターすることを可能にします。これは、時には目的地への最善の到達方法は直線ではなく、よく計画された滑らかな曲線であるということを思い出させてくれます。