Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing

本論文は、テキスト、画像、参照動画などの多様なモダリティ入力を単一モデルで処理し、指令解析と動画合成を分離することで、動画生成および編集の多様なタスクを統合的に実行する新しいフレームワーク「Tele-Omni」を提案しています。

要約

🎬 Tele-Omni：動画制作の「万能魔法の杖」

こんにちは！今日は、TeleAI 社が発表した新しい AI 技術**「Tele-Omni（テレ・オムニ）」**について、難しい専門用語を使わずに、わかりやすく解説します。

この技術を一言で言うと、**「動画を作る仕事も、編集する仕事も、すべてを 1 つの AI がこなす『万能の魔法使い』」**です。

---

🌪️ 今までの問題点：「道具が多すぎて大変！」

これまでの動画 AI は、まるで**「料理人」がそれぞれ別の道具しか持っていない**ような状態でした。

• テキストから動画を作りたい？ → 「テキスト専用鍋」が必要。
• 写真から動画を作りたい？ → 「写真専用フライパン」が必要。
• 動画の一部を消したい？ → 「消しゴム専用包丁」が必要。
• 動画のスタイルを変えたい？ → 「色変え専用スプーン」が必要。

ユーザーは「何を作りたいか」によって、毎回違う道具（AI モデル）を探し出し、使い方を覚えなければなりませんでした。しかも、複雑な指示（「この写真のキャラを、あの動画の動きで、アニメ調にしてね」など）を一度に伝えるのは難しかったのです。

✨ Tele-Omni の登場：「万能の魔法の杖」

Tele-Omni は、**「1 本の魔法の杖」**で全てを解決します。

この杖（AI）は、**「言葉（テキスト）」「写真」「参考動画」**など、どんな形での指示でも受け取ることができます。そして、その指示を理解して、動画の「生成（ゼロから作る）」も「編集（書き換える）」も、1 つのシステムの中で自由自在に行います。

---

🧠 どうやって動くの？2 人のパートナー

Tele-Omni は、実は 2 人の天才がタッグを組んで動いています。

1. 「理解役の天才（MLLM）」

• 役割： 監督や翻訳者。
• 仕事： ユーザーから「帽子を被せたい」「雨の日にしたい」という指示（テキストや写真）を受け取ります。そして、**「何を、どう変えればいいか」**という「設計図」を頭の中で組み立てます。
• 特徴： 動画そのものは作れませんが、「何を作りたいか」を完璧に理解するのが得意です。

2. 「実行役の天才（DiT）」

• 役割： 職人、あるいは魔法使い。
• 仕事： 理解役から渡された「設計図」を見て、実際に美しい動画を動かしたり、書き換えたりします。
• 特徴： 非常に高い技術力で、動画がカクついたり、変な形になったりしないように、滑らかに作ります。

🎭 仕組みのイメージ：
ユーザーが「この写真の猫を、空を飛ぶようにして」と言うと、

1. 理解役が「猫を空に浮かせる動きの設計図」を描く。
2. 実行役がその設計図を見て、猫が空を飛ぶ動画を作り上げる。
   この連携が、**「指示と実行を分ける」**ことで、どんな複雑な指示にも柔軟に対応できるのです。

---

🎨 できること：まるで魔法のような 5 つの技

Tele-Omni は、以下のようなことができるようになります。

1. 📝 テキストから動画（Text-to-Video）
   • 「静かな森で鹿が走る動画を作って」と書くだけで、ゼロから動画が生まれます。
2. 🖼️ 写真から動画（Image-to-Video）
   • 静止画の写真を渡すと、「この写真が動き出す」ように、生き生きとした動画にします。
3. 🎬 最初と最後のフレームから動画（First-Last-Frame）
   • 「スタートの姿」と「ゴールの姿」の 2 枚の写真を渡すと、その間の動きを AI が勝手に想像して補完してくれます。まるで映画の脚本家が、2 枚の絵から物語を完成させるような感じです。
4. 🎭 動画の編集（Video Editing）
   • 「この人物の服を赤く変えて」「背景を雪景色にして」「不要な人を消して」といった指示で、動画の一部だけを自由自在に書き換えます。
5. 🧩 文脈を考慮した編集（In-Context Editing）
   • 「この写真のキャラクターを、この動画の中に登場させて」と指示すると、写真のキャラクターが動画の世界に自然に溶け込み、動きながら登場します。

---

🧪 裏側の工夫：「料理のレシピ」を統一した

なぜこれほど多様なことができるのでしょうか？
それは、**「データの作り方」**を工夫したからです。

これまで、動画生成と動画編集は「別の料理（タスク）」として扱われていましたが、Tele-Omni は**「すべての料理を、同じ『レシピ形式』で教える」**ことに成功しました。

• 「何を」「どう変えるか」という指示を、AI が共通の言語で理解できるように統一しました。
• これにより、AI は「生成」と「編集」の区別を気にせず、**「ユーザーの意図」**だけを重視して動けるようになりました。

🚀 まとめ

Tele-Omni は、**「動画を作る・編集する」という複雑な作業を、誰でも直感的に、そして高品質に行えるようにする「未来のツール」**です。

これまでは「専門知識」や「複数のツール」が必要だった動画制作が、これからは**「言葉や写真で指示するだけ」**で実現できるようになります。まるで、映画監督が魔法の杖を振るだけで、どんな映像も思い通りに作れるようになるような、ワクワクする技術です！

技術概要

Tele-Omni: 動画生成・編集のための統一マルチモーダルフレームワーク

技術サマリー（日本語）

本論文は、TeleAI によって提案されたTele-Omniについて詳述しています。Tele-Omni は、テキスト、画像、参照動画など多様な入力を単一のモデルで処理し、動画の生成と編集を統一的に実行するための新しいマルチモーダルフレームワークです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

近年、拡散モデル（Diffusion Models）の進展により、動画生成の画質と時間的整合性は大幅に向上しました。また、マルチモーダル大規模言語モデル（MLLM）の登場により、指示駆動型のシステムの柔軟性も高まっています。しかし、既存のアプローチには以下の重大な限界がありました。

• タスク特化型であること: 既存の動画生成モデルの多くは「テキストから動画（Text-to-Video）」という単一タスクに特化しており、複雑な視覚的意図をテキストのみで正確に伝えることが困難です。
• マルチモーダル入力の欠如: ユーザーは参照画像や例示動画を用いて外観、運動パターン、スタイルを指定したい場合が多いですが、既存モデルはこれらを統合的に扱えません。
• 編集の非スケーラビリティ: 動画編集手法は、オブジェクト置換や属性変更など、個々の操作ごとに設計された専用パイプラインに依存しており、統合システムへの組み込みや、複数の編集操作を単一の指示で実行することが困難です。
• コンテキストの欠落: 文脈を考慮した生成や編集（In-context generation/editing）が十分に扱われていません。

これらの課題を解決し、多様なマルチモーダル指示とタスクを単一のモデルで柔軟かつ高品質に処理する枠組みが必要とされていました。

2. 手法 (Methodology)

Tele-Omni は、**「指示の解析（Instruction Parsing）」と「動画合成（Video Synthesis）」**を分離しつつ、両者を統合的に動作させる 2 モジュールアーキテクチャを採用しています。

2.1 モデルアーキテクチャ

• マルチモーダル LLM (MLLM): 入力されるテキスト、画像、動画を解析し、生成または編集の意図を構造化された条件信号に変換する「理解モジュール」として機能します。MLLM は直接動画を生成せず、高レベルな制御信号を提供します。
• 拡散トランスフォーマー (DiT): 動画合成を行う「生成モジュール」です。MLLM からの構造化信号と、VAE（Variational Autoencoder）を介してエンコードされた視覚的条件（参照画像、参照動画、最初/最後のフレームなど）を受け取り、高品質な動画を生成します。
• アダプター (Adaptor): MLLM と DiT を接続する軽量な学習可能な層です。MLLM のセマンティック特徴を DiT の条件空間にマッピングします。

2.2 統一されたタスク形式

Tele-Omni は、以下のタスクを単一のフレームワークで統一的に扱います。

1. Text-to-Video: テキストプロンプトのみから動画生成。
2. Image-to-Video: 参照画像とテキストから動画生成。
3. In-Context Video Generation: 参照画像や参照動画など複数の視覚条件とテキストから生成。
4. In-Context Video Editing: 参照動画と編集指示から、特定の領域や属性を編集。
5. First-Last-Frame Generation: 開始フレームと終了フレームを指定し、中間の動きを生成。

2.3 条件付けと位置エンコーディング

• 条件エンコーディング: 参照画像や動画は VAE で潜在表現に変換され、DiT に視覚条件として入力されます。
• 位置エンコーディング (RoPE): 文脈生成タスクにおいて、参照画像（時間的条件）と参照動画（空間的条件）を区別するために、位置エンコーディングのオフセットを調整する戦略を採用しています（IC-Lora や Omni-Transfer の考え方を拡張）。

2.4 学習戦略とデータパイプライン

• タスク意識型データ処理: 異なるタスク（生成と編集）のデータを単純に混合するのではなく、各タスクの制約を明示的にエンコードした構造化された指示形式に変換するデータパイプラインを設計しました。
• 2段階学習:
  1. Stage 1 (Adapter Alignment): MLLM と DiT を固定し、アダプターのみを Image-to-Video と Text-to-Video タスクで最適化。
  2. Stage 2 (Joint Fine-tuning): 編集タスクや First-Last-Frame タスクを含む広範なデータセットで、アダプターと DiT を共同で微調整。これにより、時間的整合性と指示への追従性が向上します。
• データ生成: 指示ベースの編集（スタイル転換、オブジェクト挿入/削除/変更）のための高品質なペアデータを、GPT-4o、FLUX、Wan2.1 などの既存モデルを組み合わせたパイプラインで自動生成し、厳格な品質フィルタリング（Qwen3-VL や Gemini3-pro による検証）を適用しています。

3. 主要な貢献 (Key Contributions)

1. 統一マルチモーダルフレームワークの提案: テキスト、画像、動画を単一の指示として受け入れ、生成と編集の両方に対応する初の統合モデルの一つ。
2. タスク特化アーキテクチャの排除: 個別のタスクごとに異なるモデルやパイプラインを必要とせず、単一のモデルで多様なシナリオを処理可能。
3. 指示解析と合成の分離設計: MLLM による意図理解と DiT による高品質合成を分離することで、柔軟な制御と高解像度・高整合性の動画生成を両立。
4. 高品質なデータパイプライン: 複雑な動画編集タスク（特にオブジェクトの挿入・削除）のための大規模で高品質なトレーニングデータセットの構築手法と、その品質保証プロセス。

4. 実験結果 (Results)

Tele-Omni は、以下のタスクにおいて競争力のある性能を示しました。

• Image-to-Video / Text-to-Video: 参照画像やテキストに基づき、滑らかで動的な動き（粒子の動き、群衆の移動など）を生成し、ぼやけやアーティファクトが少ない高品質な動画を出力。
• First-Last-Frame Generation: 開始と終了フレームを指定された際、単なる補間ではなく、照明や遮蔽関係を考慮した論理的な中間フレームを生成。
• Video Editing:
  • エンティティ編集: 対象のアイデンティティを維持しつつ、ポーズや位置を維持して属性を変更。
  • スタイル編集: 元の幾何学構造を維持しつつ、テキスト指示に基づいて全体のスタイル（アニメ調、サイバーパンク等）を転換。
  • オブジェクト除去/挿入: 除去領域のインペイントが自然でゴーストアーティファクトがなく、動的に挿入されたオブジェクトがシーンと自然に相互作用。
• In-Context Editing/Generation: マスクなしで指定された位置に参照画像の内容を挿入したり、参照画像のアイデンティティを維持しつつ背景を指示通りに変更したりする能力を証明。

5. 意義と展望 (Significance)

Tele-Omni は、動画生成と編集の分野において以下の点で画期的な意義を持ちます。

• 汎用性の向上: 従来の「生成専用」や「編集専用」の狭い枠組みを超え、ユーザーの多様な意図（マルチモーダル指示）を柔軟に解釈・実行できる汎用基盤モデルとしての可能性を示しました。
• スケーラビリティと構成可能性: 個別のタスクごとにモデルを設計・維持するコストを削減し、単一のモデルで複雑な編集操作の組み合わせや、文脈依存のタスクを処理できることを実証しました。
• 実用性の高まり: 現実世界の応用において、参照素材や詳細な指示を必要とする複雑な動画制作タスクを、より直感的かつ効率的に実行できる基盤を提供します。

結論として、Tele-Omni は、高度な意味理解と高品質な動画合成を統合した次世代の動画合成アプリケーションの基盤となる有望なモデルです。