Helios: Real Real-Time Long Video Generation Model

Helios は、140 億パラメータのモデルでありながら単一 H100 GPU で 19.5 FPS のリアルタイム生成を実現し、特別な加速技術や並列フレームワークなしに数分間の長動画生成を可能にする画期的なモデルです。

要約

ヘリオス（Helios）：動画生成の「新時代」を開いた 140 億パラメータの超高速モデル

この論文は、**「ヘリオス（Helios）」**という、画期的な動画生成 AI モデルを紹介しています。

一言で言うと、**「これまで『高画質』と『超高速』は両立できないと思われていたのに、ヘリオスはその常識を覆し、140 億パラメータ（非常に巨大な頭脳）を持ちながら、1 秒間に約 20 枚の画像を生成できる超高速モデル」**です。

まるで、**「高級スポーツカーのエンジン（高画質）を搭載しながら、原付バイク並みの軽さで走る」**ようなものです。

以下に、専門用語を避け、身近な例えを使って分かりやすく解説します。

---

1. 何がすごいのか？（3 つのブレークスルー）

ヘリオスが他のモデルと違う点は、大きく分けて 3 つあります。

① 「長編映画」でも狂わない（ドリフト対策）

• 問題点: 従来の AI は、短い動画（5 秒〜10 秒）なら綺麗ですが、長く続けると「顔が歪む」「色が変になる」「同じ動きを繰り返す」などの**「ドリフト（狂い）」**が起きやすくなります。
• ヘリオスの解決策:
  • 最初の 1 枚を「羅針盤」にする: 動画の最初のフレームを常に記憶し、それが「基準点（アンカー）」として機能するようにしています。これにより、時間が経ってもキャラクターの顔や色がぶれるのを防ぎます。
  • あえて「汚れた過去」を学習する: 訓練中に、過去の映像にわざとノイズや明るさの変化を加えて学習させます。これにより、「過去の映像が少し汚れていても、未来を正しく描ける強さ」を身につけました。
  • 結果: 特別な裏技を使わずに、数分間の動画でも自然で安定した映像を作り出します。

② 「リアルタイム」で描ける（超高速化）

• 問題点: 高画質な動画を作るには、通常「1 枚描くのに数分」かかります。これはゲームやライブ配信など、リアルタイムで反応したい用途には遅すぎます。
• ヘリオスの解決策:
  • 記憶の圧縮術: 過去の映像（歴史）や、これから描く映像（ノイズ）を、AI が理解しやすいように「要約」して圧縮します。
    • 例え: 過去の 100 枚の写真を、重要な部分だけを残して「スライドショー」のように圧縮して見せるイメージです。
  • ピラミッド方式: 最初は粗い絵（低解像度）で全体の構図を決め、徐々に細部（高解像度）を足していく方法を採用。無駄な計算を省いています。
  • 結果: 140 億パラメータという巨大なモデルでありながら、1 秒間に約 19.5 枚の画像を生成。これは、従来の小さなモデル（13 億パラメータ）よりも速い驚異的な速度です。

③ 「1 台の PC」で動く（効率化）

• 問題点: これほどの巨大モデルを動かすには、通常、何十台もの高性能 GPU（計算機）を並べる必要があります。
• ヘリオスの解決策:
  • メモリ管理の天才: 計算に必要なデータを、必要な時だけメモリに読み込み、不要になったら即座に捨てるなどの工夫を凝らしました。
  • 結果: 1 台の高性能 GPU（NVIDIA H100）だけで、この巨大モデルをトレーニングも推論（生成）もできてしまいます。これにより、開発コストが劇的に下がります。

---

2. 具体的な仕組み：3 つの魔法の道具

ヘリオスがこれを実現するために使った 3 つの「魔法の道具」を紹介します。

1. 「統一された歴史の注入」 (Unified History Injection)

   • イメージ: 「過去の続きを描く」ための共通の言語。
   • 説明: テキストから動画（T2V）、画像から動画（I2V）、動画から動画（V2V）まで、すべてを「過去の映像＋新しいノイズ」という同じ形式で扱えるようにしました。これにより、一つのモデルで何でも作れるようになります。

2. 「ガイドアテンション」 (Guidance Attention)

   • イメージ: 「過去の映像」を邪魔せず、未来の映像を導く「指揮者」。
   • 説明: 過去の映像（すでに完成している部分）と、これから描く映像（ノイズの部分）を混同させません。過去の映像は「ノイズを消す作業」には参加せず、「未来の映像をどう描くか」を指示する役割だけを果たします。これにより、過去の映像が壊れるのを防ぎます。

3. 「敵対的階層蒸留」 (Adversarial Hierarchical Distillation)

   • イメージ: 「名人（先生）」から「弟子（学生）」へ、短時間で技術を伝授する修行。
   • 説明: 通常、高画質にするには 50 回以上の計算ステップが必要ですが、ヘリオスはこれを3 回にまで減らしました。
     • 高画質な「先生モデル」が描いた正解を、弟子モデルが真似しながら、さらに「リアルなデータ」を使って修正を加える（敵対的学習）ことで、短ステップでも高画質を実現しました。

---

3. 実際の効果は？

• 短編動画: 既存の「高画質モデル」と同等かそれ以上の美しさ。
• 長編動画: 1440 フレーム（約 1 分半）の動画でも、キャラクターの顔が崩れたり、色が飛んだりせず、安定しています。
• 速度: 140 億パラメータのモデルが、1 秒間に 19.5 枚生成。これは、同じサイズの他のモデルの50 倍以上、あるいは一部の小さなモデルよりも速い速度です。

4. まとめ：なぜこれが重要なのか？

これまでの動画生成 AI は、「高画質なら遅い」「速いなら画質が悪い」「長い動画なら狂う」という**「3 つのジレンマ」**に悩まされていました。

ヘリオスは、**「高画質・超高速・長時間・低コスト」**をすべて叶えた最初のモデルです。

• ゲーム開発者: リアルタイムで NPC の動きや背景を生成可能に。
• クリエイター: すぐにフィードバックが得られ、試行錯誤が容易に。
• 一般ユーザー: 高価なサーバーがなくても、自分の PC で高品質な動画が作れる未来が近づきました。

この技術は、単なる「動画生成」を超え、**「世界をシミュレートするモデル（World Model）」**への第一歩とも言える画期的な成果です。

技術概要

Helios: 14B パラメータのリアルタイム長尺動画生成モデルに関する技術的サマリー

本論文は、単一の NVIDIA H100 GPU 上で 19.5 FPS（フレーム毎秒）の速度で動作し、分単位の長尺動画を生成可能な、世界初の 140 億パラメータ（14B）動画生成モデル「Helios」を提案するものです。従来の動画生成モデルが抱える「長尺化に伴うドリフト（内容の崩壊）」「リアルタイム生成の難しさ」「大規模モデルの推論コスト」という課題を、既存の複雑な対策や加速技術に依存することなく解決しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

近年、Diffusion Transformer を用いた動画生成技術は飛躍的に進歩しましたが、以下の 3 つの主要な課題が残されていました。

1. 長尺動画生成におけるドリフト（Drifting）: 従来のモデルは、生成時間が長くなるにつれて、映像の位置、色、構造が徐々に崩壊する「ドリフト」現象が発生します。これを防ぐために、Self-Forcing（推論プロセスを学習に組み込む）、Error-banks（誤差の蓄積管理）、キーフレームサンプリングなどの複雑なヒューリスティックや、大規模なトレーニングコストを要する手法が必要でした。
2. リアルタイム生成の欠如: 高品質な動画生成には通常、数十分を要します。ゲームエンジンやインタラクティブな応用には、秒単位で生成される「リアルタイム」かつ「無限に続く」動画が必要ですが、既存のリアルタイム手法はモデル容量が小さく（例：1.3B パラメータ）、複雑な動きや高周波数の詳細を表現できず、画質が劣化していました。
3. 大規模モデルの推論コスト: 14B 規模のモデルを単一 GPU でリアルタイムに動作させることは、従来の KV キャッシュやスパースアテンションなどの標準的な加速技術なしには不可能とされてきました。

2. 提案手法：Helios のアーキテクチャと技術的革新

Helios は、14B のオートリグレッシブ拡散モデルであり、以下の 3 つの主要な技術的突破によって上記の課題を解決します。

2.1. 無限生成のための「Unified History Injection（統一履歴注入）」

• 双方向モデルのオートリグレッシブ化: 既存の双方向モデルを、因果マスク（Causal Masking）に依存せず、履歴文脈を直接注入する形でオートリグレッシブ生成器へと変換しました。
• Representation Control: 履歴文脈（$X_{Hist}$）の表現によって、テキストから動画（T2V）、画像から動画（I2V）、動画から動画（V2V）を単一のアーキテクチャで統一的に扱います。
• Guidance Attention: 履歴文脈とノイズ文脈を区別し、履歴が未来のフレーム生成を「ガイド」するように設計しました。これにより、履歴のノイズ化を防ぎつつ、双方向推論の利点を維持しています。

2.2. 高品質な長尺生成のための「Easy Anti-Drifting」

ドリフトの 3 つの主要な形態（位置シフト、色シフト、復元シフト）を特定し、特別なヒューリスティックなしに対処する学習戦略を導入しました。

• Relative RoPE: 絶対的な時間インデックスではなく、履歴とノイズの相対的な位置関係を使用することで、RoPE（回転位置符号化）の周期性とマルチヘッドアテンションの相互作用による「反復運動（Repetitive Motion）」を解消し、任意の長さでの安定した生成を可能にしました。
• First-Frame Anchor: 学習・推論の両方で、最初のフレームを履歴に固定して「グローバルな視覚的アンカー」として機能させ、色や統計量の急激な変化（Color Shift）を防ぎます。
• Frame-Aware Corrupt: 学習中に、履歴フレームに対して露出調整、ノイズ付加、解像度変更などの摂動をランダムに適用し、不完全な履歴に対するロバスト性を高めます。これにより、推論時の誤差蓄積を抑制します。

2.3. リアルタイム生成のための「Deep Compression Flow」

14B モデルの計算コストを 1.3B モデル並みに圧縮する技術です。

• Multi-Term Memory Patchification: 履歴文脈を「短期・中期・長期」の 3 つのタイムスケールに分割し、時間的距離に応じて異なる圧縮率（パッチサイズ）を適用します。これにより、トークン数を大幅に削減しつつ、長い履歴を保持できます。
• Pyramid Unified Predictor Corrector: ノイズ文脈のサンプリングを、低解像度から高解像度へ段階的に進めるピラミッド構造を採用。早期のステップでは粗い構造を低解像度で生成し、詳細を高解像度で補完することで、計算量を削減します。
• Adversarial Hierarchical Distillation: 50 ステップのサンプリングを 3 ステップに圧縮するための蒸留手法です。
  • Pure Teacher Forcing: 従来の「Self-Forcing」のように長いロールアウト学習を行わず、実データのみを履歴として使用し、14B のベースモデルを教師として用いることで、学習コストを劇的に削減しました。
  • Staged Backward Simulation & Coarse-to-Fine Learning: 多段階のバックワードシミュレーションと、粗い構造から詳細へ学習を進めるカリキュラム学習により、高速な学生モデルの安定した学習を実現しました。
  • Adversarial Post-Training: 教師モデルの制約を超え、実データ分布に近づけるために GAN 的な目的関数を追加しました。

2.4. インフラレベルの最適化

• メモリ効率化: 並列化やシャードなしで 14B モデルを 80GB の VRAM に収め、バッチサイズを画像生成モデル並みに拡大可能にしました（Sharded EMA, Asynchronous VRAM Freeing, Cache Grad などの技術）。
• Flash Normalization & Flash RoPE: Triton を用いたカーネル融合により、レイヤノーマライゼーションや位置符号化の計算オーバーヘッドを削減し、スループットを向上させました。

3. 主要な結果

• 推論速度: 単一 NVIDIA H100 GPU 上で 19.5 FPS を達成。これは 14B モデルとしては前例のない速度であり、1.3B モデルの蒸馏モデル（例：CausVid, Self-Forcing など）と同等かそれ以上の速度です。
• 画質と一貫性:
  • 短尺動画: 既存の蒸馏モデルを凌駕し、ベースモデル（Wan 2.1 14B など）と同等かそれ以上の画質、動きの自然さ、テキスト整合性を示しました。
  • 長尺動画: 分単位（1440 フレーム以上）の生成において、ドリフトが極めて少なく、色や構造の崩壊が見られません。既存の長尺生成手法（Self-Forcing や Error-banks を用いる手法）よりも高い一貫性を維持しています。
• ベンチマーク: 論文では、リアルタイム長尺動画生成に特化した新しいベンチマーク「HeliosBench」（240 件のプロンプト、4 つの時間枠）を構築し、そこで Helios が他モデルを優位に上回ることを実証しました。

4. 貢献と意義

1. パラメータ規模と速度の両立: 14B 規模のモデルを、KV キャッシュや量子化、スパースアテンションなどの標準的な加速技術なしに、単一 GPU でリアルタイム動作させることを初めて実現しました。
2. ドリフト対策のパラダイムシフト: 複雑なヒューリスティック（Self-Forcing など）に依存せず、学習戦略（ドリフトのシミュレーション、相対的位置符号化、アンカーフレーム）だけで長尺生成の安定性を達成しました。
3. トレーニング効率の向上: 並列化やシャードなしで 14B モデルのトレーニングを可能にし、画像生成モデルと同様のバッチサイズで学習できる環境を整備しました。
4. オープンソースとコミュニティへの貢献: コード、ベースモデル、蒸馏モデルの公開を予定しており、リアルタイム長尺動画生成の研究開発を加速させる基盤を提供します。

5. 結論

Helios は、動画生成の分野において「高品質」「長尺」「リアルタイム」というトレードオフを打破した画期的なモデルです。特に、大規模モデルを単一ハードウェアで効率的に動作させるためのアーキテクチャと学習戦略の組み合わせは、今後の「世界モデル（World Models）」やインタラクティブな動画生成アプリケーションの開発において重要なマイルストーンとなります。