FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring

文章を入力するだけで、目の前で映画がフレームごとに展開していく様子を即座に目にすることができる世界を想像してみてください。これは「自己回帰型ビデオ生成（autoregressive video generation）」という、人工知能の最先端領域における夢の技術です。ここでは、コンピュータは物語の次の言葉を予測するだけでなく、映画の次の「画像」を予測します。これを行うために、AIは自分が描いた直前の数枚の絵を見て、次に何を描くべきかを決めるストーリーテラーのように振る舞います。これは、画像を使った「伝言ゲーム」のようなものです。コンピュータは前のフレームを取り込み、そこに少し新しい詳細を加え、それを次に渡していきます。問題は、もしコンピュータが最初の絵で小さなミスを犯すと、そのエラーが2枚目、3枚目へと引き継がれてしまうことです。長い映画になると、これらの小さなミスが雪玉が丘を転がり落ちるように積み重なり、最終的には美しいシーンを、ぼやけて色が変色したひどい映像に変えてしまいます。科学者たちは、映像が崩壊することなく、長く安定したビデオを生成できるように、この「エラーの蓄積（error accumulation）」を修正しようと試みてきました。

「FreqForcing」と題されたこの論文は、ビデオ生成を「音波」という異なる視点から見ることで、まさにその問題に取り組んでいます。著者たちは、AIによる映画が狂い始める時、それは単なる視覚的なグリッチ（不具合）ではなく、まるで曲が音程から外れていくように、画像の「周波数（frequency）」が変化していることに気づきました。彼らは、いくつかの「アンカー（錨）」となるフレームをメモリに保持して始まりを思い出させるという、これまでの試みが多少の助けにはなるものの、ドリフト（漂流）を完全に止めることはできないことを発見しました。チームは「Spectral Self-Anchoring（スペクトル自己アンカリング）」と呼ばれる新しいトリックを提案しました。これは、AIの「二重の脳」のようなものです。一方の脳は、素早い動き（キャラクターの素早い動きなど）といった、速くてエキサイティングな詳細に集中し、もう一方の脳は、ビデオのレイアウトや色が流されないように、最初の方の安定した低周波数の「アンカー」を保持します。これら2つの信号を混ぜ合わせることで、彼らはビデオの崩壊を食い止めることに成功しました。この手法は、AIをゼロから再学習させる必要がなく、もともと5秒間の短いクリップ用に訓練されたモデルを使用して、品質を損なうことなく、安定した2分間のビデオを生成することに成功しました。これは、長さにして24倍の増加です。

問題点：ビデオの「伝言ゲーム」

あなたが友人と「伝言ゲーム」をしている場面を想像してください。ただし、言葉をささやく代わりに、絵を描いています。あなたは猫を描き、それを友人に渡し、友人は尻尾を描き足して、またあなたに返します。もし友人が尻尾を少し歪んで描いてしまい、あなたがそれを直そうとして少し大きく描き、次の人がさらに大きくしてしまったら、すぐに可愛い猫ではなく、歪んだ巨大なモンスターになってしまいます。これが、自己回帰型ビデオ生成で起きていることです。AIはビデオを一度に一つの塊（チャンク）として生成し、前の塊を使って次の塊を予測します。ビデオが長くなるにつれ、色、形、動きにおける微細なエラーが蓄積していきます。その結果はどうなるでしょうか？ ビデオは「ドリフト（漂流）」し始めます。色が青から紫へと変化したり、キャラクターの動きが止まったり、あるいはシーン全体が静止画のノイズへと溶けていってしまうのです。

発見：ビデオの「ハミング」を聞く

この論文の著者たちは、このドリフトを、画像を見るのではなく、「聴く」ことによって調査することに決めました。彼らは、音や画像をプリズムに通すような数学的ツールである「フーリエ変換（Fourier Transform）」を使用しました。プリズムが白い光を虹色の色彩に分解するように、このツールは画像を異なる「周波数」に分解します。

• 高周波数は、鋭く鮮明なディテールです（ロウソクの揺らめき、毛並みの質感、あるいは素早い手の動きなど）。
• 低周波数は、深いベース音のようなものです（部屋の全体的な形状、一般的な色調、そしてシーンの大きなレイアウトなど）。

彼らが失敗しているビデオを分析したところ、奇妙なパターンが見つかりました。ビデオ生成が進むにつれて、画像の低周波数部分における「エネルギー」が漂流し始めていたのです。それはまるで、曲の深いベース音がゆっくりとピッチを変えていき、曲全体の安定性を失わせているかのようでした。高周波数の詳細（動き）も不安定になりますが、根本的な原因はこの低周波数のドリップにありました。

旧来の解決策：十分に強くなかった「アンカー」

この論文より前、研究者たちは「アテンション・シンク（attention sink）」と呼ばれるものを使ってこれを修正しようとしました。長い物語を思い出そうとしている場面を想像してください。もし直前の数文しか覚えていなければ、物語の始まりを忘れてしまうかもしれません。「アテンション・シンク」とは、物語の残りの部分を話している間、最初の数文を常に心の中に留めておくようなものです。ビデオの場合、AIは最初の方にある完璧な数フレームをメモリに保持し、それらに注意を払い続けるよう自分自身に強制します。

著者らはこれをテストし、それが確かに効果があることを発見しました。それはより強力なアンカーを持つようなもので、ビデオのドリフトは以前より遅くなりました。しかし、それは完璧な解決策ではありませんでした。アンカーがあっても、低周波数のエネルギーは時間の経過とともにゆっくりと漂流し続け、最終的にビデオの品質は低下してしまいました。アンカーは存在していましたが、流れを止めるほど強く引き止めることはできなかったのです。

新しい解決策：FreqForcingとSpectral Self-Anchoring

チームは、そのアンカーをもっと賢く使う必要があることに気づきました。彼らは、Spectral Self-Anchoring (SSA) と名付けたテクニックを用いた、FreqForcing という新しいフレームワークを提案しました。

その仕組みを、創造的な比喩を用いて説明します。
AIが巨大な壁画を描いている画家だと想像してください。

1. ローカル・ペインター（高周波数）： 一人の画家は、目の前の動きに集中しています。彼らは素早い動き、光の揺らめき、そして小さなディテールを描いています。彼らは「今」を捉えることには長けていますが、少し調子に乗りすぎて全体像を見失ってしまうことがあります。
2. アンカー・ペインター（低周波数）： もう一人の画家は、壁画の最初にある完璧なスケッチだけを見ているマスターです。彼らは新しいディテールを描くのではなく、画像の安定した低周波数の「魂」――つまり、色、レイアウト、そしてキャラクターのアイデンティティを保持します。
3. ミックス： ローカル・ペインターが勝手な行動を取らないように、AIはローカル・ペインターの作品を取り込み、アンカー・ペインターの安定した低周波数の信号を優しく混ぜ合わせます。これは、ダンスフロアが混乱しないように、DJがエネルギッシュなライブトラックに安定した深いベースラインをミックスするようなものです。

この「ミックス」は周波数領域で行われます。AIは現在のフレームからの素早い動きの部分と、アンカー・フレームからの安定した低周波数の部分を取り出し、それらを融合させます。これにより、色のドリフトを防ぎ、レイアウトを安定させつつ、ビデオが自然に動き、変化することを可能にします。

結果：5秒から2分へ

チームはこの新手法を、もともと5秒間のビデオクリップを生成するように訓練されたモデルでテストしました。彼らの修正がなければ、このモデルはより長く生成しようとすると崩壊してしまいます。しかし、FreqForcing を用いることで、生成時間を2分間まで延長することができました。これは、24倍の増加です！

彼らは、AIの多大な再学習を必要とする他のトップクラスの技術と比較しました。その結果、FreqForcingは、競合する手法よりも一貫性があり、動きが良く、視覚的な不具合が少ないビデオを生成できることが示されました。それは、溶けゆく夢のような映像ではなく、一貫性のある映画としての姿を保つことができました。

なぜこれが重要なのか

これは、非常に高価でエネルギー消費の激しいAIモデルの再学習に数ヶ月を費やすことなく、高品質で長いビデオを作成する方法を提供しているため、非常に重要なことです。AIが自身の履歴をどのように「考える」か（周波数に基づいたアンカーを使用すること）を変えるだけで、はるかに長いコンテンツを生成する能力を解き放ったのです。これは、問題を解決するために必ずしも大きく複雑なモデルが必要なわけではなく、時にはデータの「音楽」をもう少し注意深く聴くことが重要であることを示唆しています。