💻 computer science

StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration

StreamChar は、LLM によるオーケストレーションと共同音声・動画のデノイジングを分離し、進行状況認識型アライメントとシンク・チャンク・メモリを備えた 2 段階の蒸留パイプラインを採用することで、厳格なレイテンシ制約内で高忠実度、同期、安定性を達成する、長時間のキャラクター音声・動画生成のためのリアルタイムストリーミングフレームワークである。

原著者： Linrui Tian, Qi Wang, Bang Zhang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Linrui Tian, Qi Wang, Bang Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、俳優が台本を語り、自然に動き、かつ自分自身にそっくりであるように見せつつ、観客がリアルタイムでそれを見守るライブのインタラクティブな劇を演出していると想像してください。これを数秒間行うのは困難ですが、俳優が台本を忘れたり、顔が崩れたり、吃音が出たりすることなく数分間行うことは悪夢です。

本論文は、テキスト台本からキャラクターが語り、動く長くて連続的なストリームをリアルタイムで生成するという、まさにこの問題を解決するために設計された新しいシステム「StreamChar」を紹介します。

その仕組みを、簡単な概念に分解して以下に示します。

1. 核心的な問題：「綱渡り」

ほとんどの AI 動画生成ツールは、試験を受ける学生のようなものです。考えるのに十分な時間が与えられれば、素晴らしいエッセイ（短い動画クリップ）を書くことができます。しかし、もし彼らに一文ずつで小説全体（長い動画）を書くように求めれば、彼らは次のような傾向を示します。

プロットを忘れる: 元の台本から逸脱してしまう。
アイデンティティを失う: キャラクターの顔が変形したり変化し始めたりする。
つまずく: 音声と動画が同期しなくなる（口元が言葉と一致しない）。
時間がかかりすぎる: 高品質な動画は通常、AI が長い間「考える」ことを必要とし、それが「リアルタイム」というルールを破る。

2. 解決策：二人組のチーム（分離されたオーケストレーション）

一つの巨大な AI 脳にすべてを一度に行わせるのではなく、StreamChar は仕事を「監督」と「俳優」という二つの専門的な役割に分割します。

監督（LLM オーケストレーター）: これはテキストに強い AI です。その唯一の役割は、台本と直前の出来事の履歴を読むことです。動画を描くのではなく、物語の次の部分に「何を」話し、「どのように」話す必要があるかを伝えるだけです。これは「フレーム整合」のガイドとして機能し、キャラクターが台本から外れないようにします。
俳優（DiT）: これは動画制作 AI です。監督からの指示を受け取り、次の数秒間のキャラクターの口元の動きや体の動きを作るという、即座のタスクに専念します。台本全体を気にする必要がないため、高品質で自然な動きに集中できます。

3. ショーを継続させる：「アンカー」と「ポインター」

監督と俳優がいても、時間が経つにつれてミスが積み重なる可能性があります。StreamChar は、ショーが崩壊するのを防ぐために、二つの巧妙なトリックを使用します。

シンク・チャンク（アンカー）: 動画の最初の数秒を、海に落とされた重いアンカーだと想像してください。その後に生成される動画の各チャンクは、この元のアンカーに「繋ぎ止め」られます。これにより、動画が長くなるにつれてキャラクターの顔が逸脱したり、外見が変わったりするのを防ぎます。
進捗認識ポインター（指揮者）: AI が音声を生成する際、このツールは指揮者のバトンのように機能し、常に確認します。「台本のこの文はちょうど終わったか？」と。これにより、AI は現在のチャンクをどこで止め、次のチャンクをいつ始めるべきかを正確に把握し、テキストと音声を完璧に整合させます。

4. 高速化：「トレーニングキャンプ」（二段階蒸留）

高品質な動画は通常、生成に長い時間がかかります（慎重な画家のようにゆっくりと）。リアルタイム・ストリーミングに十分な速度にするために、チームは二段階のトレーニングプロセスを用いました。

段階 1（スプリント）: AI に 50 回ではなく、わずか 4 回のストロークで絵を描くよう教えました。これにより高速化されましたが、結果はやや硬く、反復的でした。
段階 2（リハーサル）: AI に、チャンクを次々と生成するショー全体を自分で実行する練習をさせました。もしチャンク 1 でミスがあれば、チャンク 2 でそれを修正する方法を学びました。この「リハーサル」により、AI は品質を失うことなく、長期間にわたって安定し、一貫性を保つ方法を学びました。

5. 結果

テストされたところ、StreamChar は単一の強力なコンピュータチップ（H100 GPU）上で動作し、人間が見られる速度（リアルタイム）で動画を生成できることが証明されました。

台本に忠実: キャラクターはテキストが言うことを正確に言います。
キャラクターを維持: 数分間の動画を通じて、顔が変形したり逸脱したりしません。
自然な動き: 口元だけを揺らす他の方法とは異なり、このシステムは上半身と手を自然に動かします。

要約すると: StreamChar は、完璧な脚本監督と才能ある俳優を雇ったようなもので、彼らは十分にリハーサルを繰り返したため、台詞を忘れたり衣装を失ったりすることなく、リアルタイムで数時間にわたる完璧な劇を上演することができます。

技術概要：StreamChar

問題定義

本論文は、キャラクターアニメーションにおけるリアルタイムストリーミング型音声・映像同時生成の課題に取り組む。このタスクは、システムに以下の 3 つの矛盾する制約を同時に満たすことを要求する：

トランスクリプト忠実性：生成された音声は、省略、反復、意味の逸脱なく、長い入力トランスクリプトに厳密に準拠しなければならない。
視覚的同一性および一貫性：キャラクターの外観と同一性は、長時間（ロングホライズン）にわたって一貫して維持され、視覚的なドリフトや同一性の変化を避ける必要がある。
インタラクティブな遅延：システムは再生時間よりも速くコンテンツを生成（リアルタイム）できなければならず、低遅延推論が必要である。

既存のアプローチは、これらの要件のバランスを取るのに苦労している。単一のモナリシックな拡散トランスフォーマー（DiT）モデルは、しばしば容量競合に悩まされる。これは、同じバックボーンがグローバルなスクリプト理解、チャンク間メモリ、局所的な時空間ノイズ除去を処理しなければならないためであり、誤りの伝播を招く。さらに、低遅延を実現するための蒸留による過度なステップ削減は、モード崩壊（空間的多様性の低下）や自己回帰的ロールアウトにおける誤りの蓄積を引き起こし、ロングホライズンの品質を劣化させる。

手法

StreamChar は、ロングホライズンのオーケストレーションと短窓ノイズ除去を分離するためのデカップルされたアーキテクチャと2 段階の蒸留パイプラインを提案する。

1. デカップルされたアーキテクチャ（LLM + DiT）

LLM オーケストレーター：因果言語モデルがプランナーとして機能する。トランスクリプト、履歴コンテキスト、参照音声を読み取り、フレーム整合の連続的な音声条件（ $c_a$ ）を生成する。これはグローバルな意味計画とトランスクリプトの整合性を処理し、生成バックボーンからの負担を軽減する。
音声・映像統合 DiT：拡散トランスフォーマーが短窓統合ノイズ除去を実行する。音声条件（ $c_a$ $c_{a}$ ）、プロンプト埋め込み、参照フレーム、および（前チャンクからの）モーションフレームを入力として受け取る。
- 双方向アテンション：因果ストリーミングモデルとは異なり、DiT は各チャンク内で完全な双方向アテンションを使用し、グローバルな時間的コンテキストを活用することで、モーション計画の品質を向上させる。
- モダリティ感知 MoE：アーキテクチャは、共有アテンション機構とエキスパート混合（MoE）フィードフォワードネットワークを採用し、音声トークンと映像トークンを異なるエキスパートにルーティングすることで、クロスモーダル相互作用とモダリティ固有の学習のバランスを取る。
- シンクフレーム機構：最初に生成されたチャンクは、すべての後続のチャンクが参照する永続的な「シンク」メモリとして機能し、ロングホライズンの視覚的ドリフトを抑制する。

2. 2 段階デカップル蒸留

安定性を犠牲にすることなくリアルタイム性能を達成するために、著者は逐次最適化戦略を提案する：

ステージ I（ステップ削減）：**分布一致蒸留（DMD）**を使用して、教師モデル（通常 50 ステップ）を少数ステップの学生モデル（4 ステップ）に圧縮する。この段階は、単一チャンク生成の品質に純粋に焦点を当てる。
ステージ II（ロールアウト一貫性）：オンラインロールアウトシミュレーションを使用して学生モデルを微調整する。モデルは複数の連続するチャンクを自己回帰的に生成する。
- プログレス感知ポインター（PAP）：オーケストレーターに統合されたモジュールで、各チャンクのトランスクリプト終了点を予測し、生成された音声スパンと切り捨てられたトランスクリプト間の正確な整合性を確保する。
- 訓練目的：学生モデルは、連結されたチャンク上で計算された DMD 損失を使用して、自身の出力（自己強制）上で最適化され、訓練 - テストギャップを狭める。

3. 推論効率

システムは、各チャンクあたり 9 個の潜在映像フレームを生成し（24 fps で 33 個の RGB フレームにデコード）、前チャンクからのモーション潜在変数を再利用し、VAE デコードと前処理をオーバーラップさせることで、1 チャンクあたりの総遅延を約1.34 秒に抑えている。これは単一の H100 GPU 上の 1.38 秒の再生予算内に収まる。

主な貢献

デカップルされた LLM + DiT アーキテクチャ：グローバルなトランスクリプト計画（LLM）と局所的な音声・映像合成（DiT）を分離し、チャンク間の一貫性のためにモーションフレーム条件付けを利用する設計。
2 段階蒸留戦略：ステップ圧縮（ステージ I）とロールアウト一貫性訓練（ステージ II）をデカップルするパイプラインであり、モード崩壊と誤り蓄積という絡み合った課題に対処する。
安定化メカニズム：トランスクリプト整合のためのプログレス感知ポインター（PAP）と、ロングホライズンの視覚的ドリフト抑制のためのシンクフレーム機構の導入。
実証的検証：トランスクリプト忠実性、同期、視覚品質において競争力のある性能を維持しながら、単一 GPU 上でロングホライズンかつリアルタイムのストリーミングをサポートすることを示した。

結果

EMTD データセットを用いたショートクリップおよびロングホライズンプロトコルで実験が行われた。

トランスクリプト忠実性：StreamChar は蒸留後に**3.65%**の単語誤り率（WER）を達成し、音声・映像統合ベースライン（例：LTX-2 は 4.55%、OVI は 10.46%）を大幅に上回った。
視覚的品質：この手法は、主要な人間解剖学スコア（0.941）を達成し、統合ベースラインの中で最低の FID（18.96）を記録した。これは、50 億パラメータのバックボーンを使用しているにもかかわらず、高い知覚的忠実性を示している。
ロングホライズン安定性：StreamChar は、5 分間のストリームにおいて0.0067という無視できる品質ドリフトを示した。これは、シンクチャンクなしの除去版の 0.0304 と比較される。また、最大 VBench 動態スコア 1.0 を維持し、モーション多様性が保持されていることを示した。
効率性：システムは単一の H100 GPU 上でリアルタイムに動作する（チャンクあたり約 1.34 秒の遅延）。

意義

本論文は、StreamChar がトランスクリプト忠実性、音声・映像同期、視覚的品質、ストリーミング安定性の間で好ましいシステムレベルのトレードオフを提供すると主張している。意味計画と時空間ノイズ除去の責任をデカップルし、ステップ削減とロールアウト一貫性を逐次的に解決することで、このフレームワークは単一のモナリシック DiT と過度な蒸留の限界を克服する。これにより、入力スクリプトに厳密に準拠した数分間のインタラクティブなキャラクターアニメーションの生成が可能となり、これは以前、リアルタイム設定では達成困難であった能力である。