ロボットに、フレームごとに映画を夢見るように教えることを想像してみてください。それは永遠に続くものです。これは単に綺麗な絵を描くことではありません。物の動き、変化、そして時間の経過に伴う相互作用を理解する「世界モデル」――デジタルな脳を構築することなのです。科学者たちがこれらのモデルに執着しているのは、それらが将来、自動運転車が交通状況を予測したり、ロボットがキッチンを壊さずに料理を学んだり、ビデオゲームが無限でユニークな物語を即座に生成したりするのを助ける可能性があるからです。これを行うために、ロボットは「自己回帰生成（autoregressive generation）」と呼ばれる手法を用います。これは、直前の数フレームを見て、次に何が来るかを推測し、その推測を物語に付け加え、さらにその新しい推測を使って次のフレームを判断するという、少し凝った言い方です。これは、超スマートなアーティストによる「伝言ゲーム」のようなものです。一つのターンの出力が、次のターンの入力になります。

このゲームの大きな問題は、アーティストが最初の推測でたとえ小さなミスをしたとしても、そのミスが次へと引き継がれてしまうことです。次のターンで、アーティストはそのミスを修正しようとしますが、かえって状況を悪化させてしまい、100フレーム目に達する頃には、映画は静止画のノイズや目がくらむような白い画面へと溶け去ってしまいます。これは「累積誤差（compounding error）」と呼ばれます。長い間、科学界では解決策は単純だと考えられてきました。「もっと訓練データを投入すればいい」という論理です。もしロボットに100万本以上の映画を見せれば、完璧に学習できるはずだ、という考えです。しかし、もしロボットが怠慢な理由が、十分な映画を見ていないからではなく、ゲームが長くなった時に脳を壊してしまうような「思考の近道」を取っているせいだとしたらどうでしょうか？

この論文は、なぜこれらのビデオ生成ロボットがしばらくすると狂ってしまうのかを探求し、通常の手法である「単にデータを増やすこと」が実は状況を悪化させるという事実を発見した、この謎に迫っています。著者らは、ロボットの内部的な「思考」（隠れ表現）が崩壊し、多様性を失い始めていることを発見しました。まるで、混雑した部屋の中で、全員が突然全く同じ文章を囁き始めたかのようです。これを解決するために、彼らは「ビデオ表現正則化（Video Representation Regularization: VRR）」という新しい訓練ルールを導入しました。これは、ロボットの思考を多様で鋭い状態に保つよう強制する、厳しいコーチのような役割を果たします。その結果、ロボットは一貫した長いビデオを生成できるようになり、時には単にデータを増やすことよりも、より少ないデータとより高い規律の方が優れていることを証明しました。

消えゆく映画の物語

ビデオの世界モデルをデジタルなストーリーテラーと考えてみてください。あなたは最初の数秒間のビデオを与え、モデルは残りの映画を、一フレームずつ予測しようとします。それは、最後に描いた筆致だけを見て壁画を完成させなければならない画家のようなものです。もし一箇所でも汚れを作ってしまったら、次の筆致でそれを覆おうとして、結局さらに大きな汚れを作ってしまい、やがて絵全体が台無しになってしまいます。AIの世界では、これを「累積誤差」または「ドリフト」と呼びます。ビデオは最初は素晴らしく見えますが、しばらくするとランダムなノイズや露出オーバーの塊へと変わってしまいます。

長い間、研究者たちはこれに対する答えは明白だと考えてきました。「もっと訓練データが必要だ！」という考えです。もしAIが世界の動きに関する例を十分に目にすれば、二度と間違いを犯さないだろうという理屈です。しかし、この論文の著者たちは、ロボットが長いビデオを生成している間に、その内部で実際に何が起きているのかを見るために、その「蓋（ふた）」を覗き込むことにしました。

秘密：脳の「崩壊」

チームは驚くべき発見をしました。ビデオが崩壊し始める瞬間、モデルの内部でも全く同時に別のことが起きていることを発見したのです。それは、内部的な「表現（representations）」の崩壊です。

モデルの脳を、シーンを説明するために使用できる数千種類の異なる「本（表現）」を備えた図書館だと想像してください。モデルがうまく機能しているとき、モデルは豊かで詳細な絵を作るために、幅広い種類の本を引き出します。しかし、ビデオ生成が進むにつれて、モデルはほとんどの本を忘れていきます。モデルはフルライブラリの使用をやめ、お気に入りの一、二冊の本だけに頼り、同じアイデアを何度も繰り返すようになります。著者らはこれを「次元崩壊（dimensional collapse）」と呼んでいます。

これを測定するために、彼らは「有効ランク（effective rank / erank）」と呼ばれる指標を使用しました。erankを、モデルの脳がどれだけの異なる「方向」を使用しているかのスコアだと考えてください。スコアが高いことは、脳が多くの異なる方法で考えていることを意味し、スコアが低いことは、行き詰まっていることを意味します。彼らは、ビデオの品質がノイズへと墜落するまさにその瞬間に、erankスコアが急落することを発見しました。それは完璧に一致しています。脳が退屈になると、ビデオは壊れるのです。

「もっとデータ」という神話

ここからが、この論文の最も興味深い部分です。著者らは、「より多くのデータがより良い」という古い理論をテストしました。彼らは、18,000本のMinecraftのゲームプレイ動画を含む大規模なデータセットを用いてモデルを訓練しました。彼らは、モデルがこれらのビデオをより多く見るにつれて、間違いを避ける能力が高まると予想していました。

ところが、実際には逆の結果が出ました。この巨大なデータセットでモデルを長く訓練すればするほど、モデルは長いビデオを生成することに対して、実際には「悪化」していたのです。有効ランク（思考の多様性）はさらに低くなりました。モデルに大量のデータを与えると、モデルは「近道」を学習してしまうようです。世界がどのように動くかを真に理解する代わりに、それが訓練中に高いスコアを得るための最も簡単な方法であるため、前のフレームを単にコピーすることを学習してしまうのです。この近道は短いクリップには問題ありませんが、モデルが長時間継続しなければならない場合、この近道は失敗し、ビデオは崩壊します。

したがって、この論文は、単にデータセットをスケールアップすることが解決策であるという考えを明確に否定しています。実際、この特定の問題においては、問題に対してより多くのデータを投げつけることは、事態を悪化させている可能性があるのです。

解決策：厳しいコーチ（VRR）

もしモデルが近道を取り、その脳が崩壊しているとしたら、どうすれば修正できるのでしょうか？著者らは、**ビデオ表現正則化（Video Representation Regularization: VRR）**と呼ばれる新しい手法を提案しています。

あなたが学生に物語を書く訓練をしていると想像してください。もし自由に書かせておけば、学生は怠けて同じフレーズを繰り返すかもしれません。しかし、「すべての文章で新しくユニークな言葉を使わなければならない」というルールを加えると、学生はより深く考え、語彙を多様に保つことを強制されます。VRRは、AIに対してまさにこれを行います。

訓練中、著者らは特別な「ペナルティ」または「正則化」項を追加します。この項は、モデルの内部的な脳の状態（隠れ層）をチェックし、モデルが少数の特定のパターンに頼りすぎている場合に罰を与えます。これにより、モデルが引き続き多様な「本」をライブラリから使い続けるよう、有効ランクを高く保つよう強制します。ビデオが長くなっても、モデルが思考の多様性を維持できるようにするためです。

結果：新記録

チームはこの新しい手法を、「Diffusion Forcing」と呼ばれる人気の高い手法を含む、現在の最高技術と比較してテストしました。彼らは、ビデオがいかに良く見えるかを測定するために、VBenchと呼ばれる標準的なスコアリングシステムを使用しました。具体的には「美的品質（Aesthetic Quality：どれだけ美しいか）」と「画像品質（Imaging Quality：どれだけ鮮明でノイズがないか）」に注目しました。

結果は劇的でした。

• Diffusion Forcing（従来の方法）： 16,000ステップの訓練後、美的品質のスコアは 38.65、画像品質は 44.37 でした。
• VRR（新しい方法）： 同じ訓練量で、美的品質は 55.56 へと跳ね上がり、画像品質は 72.08 へと急上昇しました。

さらに印象的なことに、従来のメソッドが訓練を長く続けるほど悪化していく一方で、VRRメソッドは向上し続け、安定していました。ビデオを再生してみると、従来のメソッドは数分後に静止画のノイズのように見え始めましたが、VRRメソッドはより長い時間、鮮明で一貫したビデオを生成し続けました。

これが意味すること

この論文は単に新しいテクニックを提示しているだけではありません。それは、私たちがこの問題をどう考えるかを変えるものです。ビデオ生成ロボットが長いビデオで失敗する理由は、十分な例を見ていないからではなく、彼らが「怠けること」を学習しているからであることを示唆しています。彼らの内部的な思考の多様性を強制することで、私たちは「伝言ゲーム」が崩壊するのを止めることができるのです。

著者らは、この手法がテストにおいて非常にうまく機能した一方で、まだ疑問が残っていることも慎重に述べています。彼らは、なぜより多くのデータが近道の形成を引き起こすのか、あるいはモデルが具体的にどのような近道をとっているのかを完全には把握していません。しかし、モデルの脳を活動的かつ多様に保つためのシンプルなルールが、ビデオがノイズに変わる問題を解決できることを証明しました。これは、AIの世界において、より良い未来への鍵は単に「より多くのデータ」ではなく、「より優れた規律」であるということを思い出させてくれます。