Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification
Vorch-Directorは、誤差の蓄積とアイデンティティのドリフトを軽減するためにノイズを考慮した残差補正戦略を導入し、同時にLTX-2拡散トランスフォーマー上での統一されたマルチショット・コンディショニングをサポートするためにタスク埋め込みと混合タスク学習を活用することで、長期間のオーディオ・ビジュアル生成を強化するインタラクティブなワールドストーリーモデルである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに物語を教える方法を想像してみてください。あなたはいくつかの文章を与え、ロボットは次の文章を書きます。次に、その新しい文章を再び入力し、次の文章を求めます。これを繰り返すことで、一冊の小説を作り上げようとします。これは、多くの現代的なAIビデオ生成器が機能する仕組みです。彼らは短いクリップを作成し、次にそのクリップを「記憶」として使用して次のクリップを作成し、それらを繋ぎ合わせて長い映画にします。このプロセスは**自己回帰的継続（autoregressive continuation）**と呼ばれます。
しかし、この「コピー＆ペースト」方式には厄介な問題があります。ロボットが学習する際、人間によって書かれた完璧で綺麗な物語を見せられます。しかし、実際に映画を作る際、ロボットは自分自身の過去の成果物に頼らなければなりませんが、それは決して完璧ではありません。わずかなぼやけや、少し形の崩れた顔、あるいは少し違和感のある声があるかもしれません。ロボットがその少し不完全なクリップを使用して次のクリップを作ると、エラーは悪化していきます。映画が10分に達する頃には、キャラクターは溶けた蝋のように見え、声は支離滅裂になり、ストーリーは意味不明な方向へと漂流してしまうかもしれません。これは**露出バイアス（exposure bias）**として知られています。つまり、ロボットは清浄な世界で訓練されたのに、実際には乱れた世界の中で生きているのです。科学者たちは、長時間の、一貫性があり高品質な、音響同期されたビデオを生成できるようにするためにこれを修正しようとしてきましたが、これまでの解決策は、穴を直すことなくただ水を掻き出すだけで、壊れた舟の水を汲み出そうとしているようなものでした。
ここで、AIビデオ生成におけるスマートなエディターとして機能する新しいアプローチ、Vorch-Directorが登場します。このプロジェクトの背後にいる研究者たちは、AIモデルが間違いを犯す方法はランダムではなく、モデルがどの瞬間にどれほど「ノイズが多い」か、あるいは「不確実」であるかに依存していることに気づきました。絵を描くことを想像してみてください。ラフなスケッチを描いているとき、あなたの間違いは大きく構造的なもの（頭を大きく描きすぎるなど）になります。しかし、最終的な細部を加えているとき、間違いは非常に小さなもの（眉毛が少し曲がっているなど）になります。従来の方法は、訓練中にAIに対してランダムに「練習用の間違い」を投げ込むことで修正を試みてきましたが、それらは「どのような種類」の間違いであるかを考慮していませんでした。それらは、小さな眉毛のエラーを修正するために巨大な頭のサイズのエラーを投げ込み、事態をさらに悪化させていた可能性があります。
Vorch-Directorは、**ノイズ認識型（noise-aware）**であることでゲームチェンジャーとなります。このシステムは、AI自身の間違いのライブラリを保持していますが、それぞれの間違いに、それがどの「ノイズレベル」で行われたかというタグを付けています。AIが新しいシーンの生成を学習しているとき、システムはAIが現在どの程度不確実であるかを確認します。もしAIが「ラフなスケッチ」の段階（高ノイズ）であれば、システムは修正の練習をするために大きな構造的なエラーを与えます。もしAIが「細部の仕上げ」の段階（低ノイズ）であれば、システムは小さく微妙なエラーを与えます。これにより、AIが適切なタイミングで適切な種類の問題を修正することを確実にします。
これを長い物語のために機能させるため、チームはいくつかの巧妙なトリックも導入しました。彼らは、AIがキャラクターが本来どのような姿であるかを思い出すための、新しいセグメントの始まりに置かれる短く完璧なクリップである「クリーン・アンカー（clean anchor）」を作成しました。これにより、キャラクターが奇妙な形に漂流するのを防ぎます。また、彼らはAIに特別な「名前タグ（task embeddings）」を与えました。これにより、AIは入力のどの部分がこれまでのストーリーであり、どの部分が参照写真であり、どの部分が作成すべき新しいシーンであるかを正確に理解できます。これは、カメラの角度が変わったり場所が変わったりしても、キャラクターの見た目が同じであることを維持するのに役立ちます。
結果は有望です。キャラクターやストーリーの一貫性を測定するために設計されたベンチマークでテストした際、Vorch-Directorは他のトップモデルよりも大幅に少ない「ドリフト（逸脱）」を示しました。同期されたオーディオを含む1分間のビデオを用いたテストでは、新しいモデルは顔の認識性を保ち、声を安定させていましたが、他のモデルはしばしばキャラクターが奇妙な塊に変形したり、声が聞き取れなくなったりしました。論文では、特に視覚のみのモデルとの一貫性を一致させる点において、まだ改善の余地があることが指摘されていますが、新しい手法は、エラーの「種類」を生成の「段階」に一致させることで、AIが途中で理性を失うことなく、より長く、より一貫性があり、より現実的な物語を語ることができるようになることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。