💬 NLP

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VLは、モーション認識型トークナイザーとデュアルシステムアーキテクチャを活用することで、静的および動的な推論タスクの両方において、より大規模な最先端モデルと同等またはそれを上回る性能を実現しながら、トークン消費量を大幅に削減し、より高速な推論を可能にする、効率的なコーデックネイティブのストリーミング基盤モデルです。

原著者： Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, J

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはスマートフォンの画面越しに、ライブのサッカー中継を見ているところを想像してみてください。カメラがフィールドをパンし、観客が歓声を上げ、選手たちが前後へと駆け回っています。次に、その試合をリアルタイムで理解しようと試みる、超スマートなロボットを想像してください。現在のほとんどのロボットは、まるで500ページの教科書を、たとえそれが「芝生は緑である」と100回繰り返しているだけの部分であっても、一言一句すべて読まなければならないと主張する学生のようです。彼らは動画の退屈で静止した部分に執着し、脳のエネルギーと時間を浪費してしまい、その結果、実際のゴールが決まる瞬間を見逃してしまうのです。これは一種のパラドックスです。彼らは複雑なパズルを解くことには天才的ですが、動いているシーンを効率的に「見る」ことに関しては非常に稚拙なのです。

Microsoft Mage チームによって書かれたこの論文は、Mage-VL と呼ばれる新しい種類のロボットの脳を紹介しています。これは、人間の目のように振る舞うことで、そのルールを打破するように設計されています。すべてのビデオフレームをじっと見つめるのではなく、Mage-VL は実際に変化したり動いたりしている部分にだけ注意を払います。それは、まるでセキュリティガードがモーションセンサー（動き検知センサー）だけを見ているようなものです。もし何も動いていなければ、彼らは空っぽの廊下を監視するためにエネルギーを無駄にすることはありません。これを行うことで、ロボットは動画をはるかに速く、より少ない計算能力で理解できるようになり、ゲームが終わるのを待つのではなく、進行中の試合についてリアルタイムであなたとチャットすることが可能になります。

「コーデック・ネイティブ」な視聴の魔法

Mage-VL の秘訣は、著者たちが コーデック・ネイティブ（codec-native） と呼ぶアプローチです。ビデオストリーミング（Netflix や YouTube を視聴するときなど）の世界では、コンピュータは容量を節約するために「圧縮」というトリックを使用します。彼らはビデオのすべてのフレームを送信するのではなく、完全な画像（「Iフレーム」）を送り、その数秒間に変化するわずかな部分（「Pフレーム」）だけを送信します。これが、あなたのスマートフォンがすべてのデータを消費することなく映画をストリーミングできる理由です。

Mage-VL は、この言語をネイティブに話せるように構築されました。ビデオを静止画の硬直したグリッドに無理やり押し込むのではなく、ビデオ圧縮が「何が重要か」を判断するために使用するのと同じ動きの信号を利用します。もしプレイヤーが走っていれば、ロボットはそのプレイヤーにズームします。もし背景の観客がただ立っているだけなら、ロボットはそれを完全に無視します。これは、静物画を1秒間に30枚撮るのではなく、何か面白いことが起きた時にだけ写真を撮る写真家のようなものです。

その結果、劇的な効率向上がもたらされます。論文によれば、Mage-VL は「ビジュアル・トークン」（コンピュータが処理しなければならない画像の小さな断片）の数を 75% 以上 削減できることが示されています。これは、物語全体を完璧に理解しながら、退屈な補足部分をスキップして、エキサイティングな章だけを読む本のようなものです。

二つのシステムを持つ脳

このストリーミングビデオを扱うために、Mage-VL は人間の思考プロセスにインスパイアされた、巧妙な二部構成の脳を使用しています。

システム 1（反射）： これは、超高速で軽量なゲートキーパー（門番）です。ビデオストリームを監視し、「今、何か面白いことが起きているか？」と問いかけます。答えが「いいえ」であれば、沈黙を守ります。もし「はい」（ゴールが決まったときなど）であれば、即座に脳の第二の部分を目覚めさせます。
システム 2（推論者）： これは、重量級の思考部分です。ゲートが開くと、それは深く潜り込み、正確に何が起きたのかを解明し、回答を生成します。

つまり、ロボットはビデオの退屈な部分について考えるために時間を浪費しません。ハーフタイムショーやカメラがスタジアムをパンしている間は静かにしてい、プレイヤーがボールを蹴った瞬間にコメントを開始します。

彼らが発見したこと（そして発見できなかったこと）

チームはこのモデルを、約 5億6,000万枚のラベルなし画像 と 1億フレームのラベルなしビデオ を使用してゼロからトレーニングしました。これは膨大な量に聞こえますが、数十億の画像とテキストのペアを必要とする他の巨大なモデルと比較すると、実際にはかなり小規模です。驚くべきことに、優れた視覚的脳を構築するために、大規模なウェブスケールのデータセットは必ずしも必要ではないことが分かりました。Mage-VL のカスタムトレーニング手法により、ビデオ理解タスクにおいて、より大きなモデルに匹敵、あるいは凌駕することができました。

以下は、彼らが行った主な発見です：

スピード： Mage-VL は驚異的に高速です。標準的なモデルと比較して、実時間で最大 3.5 倍速く ビデオを処理でき、かつ正解を導き出すことができます。
「長いビデオ」のためのトレーニングは不要： 長いビデオに関する質問に答える能力を持たせるために、モデルを長いビデオで特別にトレーニングする必要はないことが分かりました。詳細な短いクリップの記述を用いてトレーニングし、彼らのスマートな「コーデック」手法を用いることで、モデルは自律的に長いビデオを理解することを学習しました。
動きが空間推論を助ける： 動いているビデオでモデルをトレーニングすると、静的な 3D 形状や空間的な関係を理解する能力が実際に向上することを発見しました。物がどのように動くかを見ることは、それらが空間内でどのように組み合わさっているかを理解する助けになるようです。
AI による AI の支援： チームは、より良いトレーニングデータを作成するために AI システムを使用しました。AI が生成したキャプションをチェックし、間違いを修正し、プロンプトを改善するというループを行うことで、データの質を大幅に高めました。

結論

Mage-VL は、AI が現実世界をリアルタイムで「見て」「聞く」ことを可能にするための重要な一歩です。動的な世界を理解するために、ビデオのあらゆるピクセルを力技で処理する必要はないということを証明しています。何を見るべきかを賢く選択することで（ビデオ圧縮の仕組みや人間の目が動きに集中する方法を模倣することで）、モデルはより速く、より安価に動作し、より応答性の高いものになります。

論文では、複雑な推論タスクや数学の問題についてはまだ課題があることも記されていますが、より小さく効率的なモデルが、動的で動いている世界を理解することにおいて、より大きく遅い巨人たちを凌駕できることを、Mage-VL は見事に実証しました。これは、「すべてを読む」ことから「重要なものを見る」ことへの転換なのです。

技術要約：Mage-VL: 効率的なコーデックネイティブ・ストリーミング・マルチモーダル基盤モデル

問題提起

現在の視覚言語モデル（VLM）は、モラベックのパラドックスの一側面を露呈している。すなわち、複雑なオフラインの視覚的推論には長けている一方で、単純で動的なストリーミング知覚タスクにおいては、計算効率が悪く性能が低下するという問題である。これは、連続的かつイベント駆動型の物理的知覚と、既存モデルの静的で一様なフレームサンプリング・アーキテクチャとの間の構造的なミスマッチに起因する。標準的なVLM（例：Qwen-VL, InternVL）は、数十億の静止画とテキストのペアで事前学習されたビジョンエンコーダに依存している。ビデオを処理する際、これらのモデルは通常、すべてのサンプリングされたフレームにおいて冗長な背景領域を密にエンコードしてしまうため、ビデオの長さに応じて計算量が急速に増大し、リアルタイムで動的かつ情報量の多いイベントを優先的に抽出することができない。

手法

Mage-VLは、カスタムビジョンエンコーダであるMage-ViTと、二系統のプロアクティブな相互作用フレームワークを中心とした、コーデックネイティブ・ストリーミング基盤モデルアーキテクチャを通じて、これらの制限に対処する。

1. Mage-ViT: コーデックネイティブな視覚トークン化

一様なフレームサンプリングの代わりに、Mage-ViTは古典的なビデオコーデック（例：HEVC/H.265）やニューラルコーデック（例：DCVC）の原理を適応させ、視覚情報を選択的にエンコードする。

疎な選択（Sparse Selection）: モデルはビデオを、完全に処理されるアンカーフレーム（Iフレーム）と、動きや残留エネルギーを含むパッチのみを保持する予測フレーム（Pフレーム）に分割する。
メカニズム: コーデック駆動型のパッチファイアが、動きベクトルの大きさや残留エネルギー（従来のコーデックの場合）、あるいは学習された確率モデル（ニューラルコーデックの場合）に基づき、パッチごとの重要度テンソル $S$ を推定する。Iフレームの全パッチを保持し、トークン予算内で上位 $k$ 個のPフレームパッチを選択する。
効率性: 16×16のパッチレベルで動作することで、このアプローチは時空間的なコンテキストを維持しつつ、密なサンプリングと比較して視覚トークンの消費量を約75%削減する。
学習: Mage-ViTは、大規模なウェブスケールの画像・テキスト・コーパスに依存するのではなく、クラスター判別目的関数を用いて、約5.6億のラベルなし画像と1億のラベルなしビデオフレームを用いてゼロから学習される。

2. Mage-VL アーキテクチャと学習

Mage-VLは、Mage-ViTを因果的言語デコーダ（Qwen3-4B-Instructから初期化）および生物学的な二系統アーキテクチャと統合している。

システム1（イベントゲート）: 軽量でプロアクティブなゲートが、流入するストリーミング視覚特徴を監視する。現在のコンテキストに反応すべきイベントが含まれているかを予測し、必要な場合にのみ生成をトリガーする。
システム2（因果的デコーダ）: ゲートがトリガーされると、フルモデルが包括的な推論を行い、直近の視覚コンテキストに基づいて応答を生成する。
学習カリキュラム: モデルは5段階の漸進的なカリキュラムを経る：
1. マルチモーダル・アライメント: 密な画像および短尺ビデオのキャプションを用いたウォームアップ。
2. 指示チューニング: 画像指示と時間的グラウンディングの導入。
3. 時間的拡張: イベントの順序性を学習するための、長尺ビデオキャプションを用いた学習。
4. コーデックネイティブ適応: ビデオの監督（supervision）をコーデック・ストリーム・トークン化に切り替え、前の段階よりも8倍長いシーケンスを処理できるようにする。
5. プロアクティブ・ストリーミング: ベースとなる言語モデルを凍結することなく、「沈黙」するか「発話」するかという決定を学習するために、ストリーミングデータを用いて認知ゲートを微調整する。

3. AI4AI データパイプライン

著者らは、エージェント・システムがキャプションのプロンプトとコードを反復的に最適化するクローズドループ・パイプラインを用いる、AI4AIアプローチを採用している。これには以下が含まれる：

プロンプト・コードの共同設計: GitHub Copilotを使用して、時間的グラウンディングとキャプションの品質を向上させるために、プロンプトやコード（例：ビデオフレームへのタイムスタンプ・オーバーレイの追加）を修正する。
Zero-Vision SFT: 強化学習（RL）の前に、純粋なテキスト推論によるSFTを行うことで、視覚的指示チューニングをバイパスすることが、より強力なエージェント能力を解き放つという発見。

主な貢献

コーデックネイティブなプロアクティブ・ストリーミング・アーキテクチャ: 疎で動きに敏感な更新を通じて連続的なビデオを処理する統一されたVLMであり、視覚トークンを密なサンプリングの1/8以下に削減し、イベント駆動型の相互作用を可能にする。
効率的な基盤モデル: Mage-ViTおよびMage-VL-4Bのオープンリリース。Mage-ViTは、大幅に小さいラベルなしデータセットで学習されているにもかかわらず、数十億の画像・テキスト・ペアで学習されたエンコーダと同等の性能を達成している。
7つの実証的知見:
- VLMのビジョンエンコーダにとって、ウェブスケールの事前学習は必須ではない。アーキテクチャ設計と時間的アライメントの方が重要である。
- 可変解像度の事前学習により、トークン予算に応じた連続的かつ単調な性能スケーリングが可能になる。
- コーデックネイティブなトークン化は、優れた精度と効率の境界線を確立し、最大3.5倍のウォークラック推論速度向上を実現する。
- 明示的な長尺VideoQA SFTは冗長であり、密なビデオキャプションでの微調整だけでゼロショットの長尺VideoQAには十分である。
- 動的なビデオ学習は、静的な2D/3D空間推論を相乗的に強化する。
- AI駆動のデータパイプライン（プロンプト・コード共同設計）は、ダウンストリームの性能を系統的に向上させる。
- 視覚的SFTをバイパスして純粋なテキスト推論SFTを行うことが、強力なマルチモーダルRL能力を解き放つ。

結果

静的タスク: Mage-VL-4Bは、静止画理解のベンチマーク（DocVQA, OCRBench, MMBenchなど）においてQwen3-VL-4Bと同等の性能を示す。
ビデオおよび空間推論: Mage-VL-4Bは、ビデオ理解（VideoMMEで+4.3、MLVUで+7.2）および空間推論（VSI-Benchで+11.0）においてQwen3-VL-4Bを上回り、ほとんどの評価次元において、より大きな**Phi-4-reasoning-vision (15B)**のベースラインを包括的に凌駕する。
効率性: Mage-VLは、精度を維持または向上させつつ、密なフレームサンプリングのベースラインと比較して、最大3.5倍高速なウォークラック推論を実現する。
ストリーミング性能: SoccerNet-Captionベンチマークにおいて、Mage-VLは55.54%のTimValおよび79.21%のTriggerAccを達成し、ドメイン特化のオーバーフィッティングなしに、イベント駆動型の応答タイミングにおいてStreamMindやJoyAIを大幅に上回る。
堅牢性: Mage-VLは、再学習なしにコーデックファミリー（HEVCおよびDCVC-RTのようなニューラルコーデック）間で汎用性を発揮する。これは、時間的な予測可能性がトークン割り当てのための転移可能な基準であることを示している。

重要性

本論文は、Mage-VLが、静的な密フレーム処理から、効率的でイベント駆動型のコーデックネイティブ・ストリーミング知覚へのパラダイムシフトを象徴していると主張している。モデルのアーキテクチャをビデオ圧縮および生物学的な視覚処理（冗長性のフィルタリング、動きの優先）の原理に適合させることで、Mage-VLは、高いパフォーマンスを持つマルチモーダル理解には、大規模な事前学習データや密な計算リソースは必ずしも必要ではないことを実証している。本研究は、効率的な基盤モデルを開発するための実践的なレシピを提供し、従来のスケーリング則に挑戦し、リアルタイムでプロアクティブなマルチモーダル・エージェントに向けた、計算効率の高い道筋を提示している。