Wan-Streamer v0.2: Higher Resolution, Same Latency
Wan-Streamer v0.2は、単一GPUの「thinker（思考者）」が知覚と言語状態を処理し、マルチGPUの「performer（実行者）」グループが高解像度のビデオ生成を並列化する分割アーキテクチャを採用することで、出力解像度を192x336から640x368へと倍増させつつ、約550ミリ秒のエンドツーエンドのレイテンシを維持する、エンドツーエンドの音響・視覚的インタラクションモデルに対するレイテンシ保持アップグレードである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、非常にスマートでリアルタイムなデジタル上の友人とビデオ通話をしているところだと想像してください。このテクノロジーの前のバージョン（v0.1）では、あなたの友人は話し、動くことはできましたが、画面上では小さくてぼやけたサムネイルのように見えていました。顔は見えますが、もし彼らが手を動かしたり、テーブルの横にコーヒーカップが置いてあったとしても、小さすぎて判別できませんでした。
Wan-Streamer v0.2 は、会話の感覚を「ラグい」と感じさせたり遅延させたりすることなく、あなたのデジタル上の友人をより鮮明に、より大きく見せるアップグレードです。彼らがどのようにこれを行ったのか、簡単に説明します。
1. 目標：より大きな映像、同じスピード
チームは、ビデオの品質を、非常に小さく低解像度な表示（高さ192ピクセル）から、より鮮明で中サイズの見え方（高さ640ピクセル）へとアップグレードしたいと考えました。
- 問題点: 通常、ビデオをより鮮明にするには、より多くのコンピュータ・パワーが必要となり、それがすべてを遅くしてしまいます。ビデオを良くしようとすると、通常、会話に遅延が生じます。
- 結果: 彼らは、会話の反応時間を全く同じに保ったまま、ビデオを3倍鮮明にすることに成功しました（これにより、あなたの友人の姿勢、手、そして周囲の部屋が見えるようになります）。それは、遅延のあるビデオメッセージではなく、今でもリアルタイムの会話のように感じられます。
2. 秘訣：「考える人」と「演じる人」
このスピードを実現するために、チームはデジタル上の友人の脳を、リレー形式のチームのように連携して働く、2つの明確な役割に分割しました。
考える人（素早いマネージャー）:
デスクに座っている、非常に素早い単独のマネージャーを想像してください。この人は、あなたの言葉を聞き、あなたのテキストを読み、次に友人が何を言うべきかを素早く決定します。彼らは非常に効率的で、**たった一つのコンピュータ・チップ（GPU）**の上だけで動作します。彼らの唯一の仕事は、会話を即座に流し続けることです。彼らは豪華な背景を描くことには関心がなく、ただ「指示」（K/Vスライスと呼ばれます）を次の人へと渡すだけです。演じる人（芸術家チーム）:
大きなスタジオで協力して働いている、芸術家チームを想像してください。このチームは、あなたの友人の高品質なビデオを実際に「描く」ことを担当しています。映像がより大きく詳細になったため、一人のアーティストでは十分に速く描くことができません。そこで、彼らは**「Ulysses形式のコンテキスト・パラレリズム（文脈並列処理）」**と呼ばれる特別なチームワークの手法を使用しています。- これは、巨大な壁画を分割して作業する、画家のグループのようなものです。各画家は、同時に異なる部分の壁に向かって作業します。
- 彼らは進捗状況を瞬時に共有し、最終的な絵が完璧に組み上がるようにします。
- 「考える人」が不可欠な指示のみを送るため、「演じる人」のチームは、会話を遅らせることなく、ビデオを素晴らしいものにすることだけに集中できるのです。
3. なぜこれが重要なのか
旧バージョンでは、あなたのデジタル上の友人は小さな、窮屈なビデオ通話のボックスの中にいるようなもので、顔しか見えませんでした。
v0.2 では、あなたの友人は部屋の中に立っています。以下のことが見えるようになります：
- 彼らがどこを見ているか（視線）。
- 彼らがどのように手を持っているか。
- テーブルの近くにどのような物体が置かれているか。
- 彼らがいる部屋のレイアウト。
4. 魔法の数字：550ミリ秒
論文では特定の数字に言及しています。それは550ミリ秒（約0.5秒）です。これは、あなたが話してから友人が反応するまでの合計時間です。
- 「考える人」と「演じる人」のチームワークにより、ビデオがより重く詳細になったとしても、反応にかかる合計時間は同じ「0.5秒」というラインに留まります。「考える人」が素早い思考（200ms）を処理し、「演じる人」が背景でビデオを描くという重労働をこなす間、ネットワーク遅延（データがインターネット経由で移動する時間）も考慮されています。
要約すると： Wan-Streamer v0.2 は、粒子の粗い、至近距離のウェブカメラチャットから、デジタル上の友人の全身とその周囲が見える、高精細なビデオ通話へとアップグレードしたようなものです。彼らは、会話を管理する素早い「考える人」と、並列で絵を描く「演じる人」のチームを採用することで、ビデオの読み込みを待つことなく、これを実現しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。