💬 NLP

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL 是一种高效的、编解码器原生的流式基础模型，它利用运动感知分词器和双系统架构，在显著降低 Token 消耗并加快推理速度的同时，实现了实时多模态理解，并在静态和动态推理任务上达到或超越了规模更大的最先进模型。

原作者： Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, J

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在手机上观看一场足球直播。镜头在球场上移动，观众席爆发出一阵欢呼，球员们在场上来回奔跑。现在，想象一个超级聪明的机器人正试图实时理解这场比赛。大多数目前的机器人就像是一个坚持要读完一本 500 页教科书里每一个单词的学生，哪怕那些部分只是重复了一百遍“草是绿色的”。它们会卡在这些无聊、静态的部分上，浪费所有的脑力和时间，从而错过了真正的进球时刻。这有点像是一个悖论：它们是解决复杂谜题的天才，但在高效观看动态场景方面却表现得很糟糕。

由微软 Mage 团队撰写的这篇论文介绍了一种新型的机器人大脑，叫做 Mage-VL。它的设计初衷就是为了打破这一规则，使其行为更像人类的眼睛。Mage-VL 不再盯着视频的每一帧看，而是只关注那些真正发生变化或移动的部分。这就像一名保安只盯着运动传感器；如果没有任何东西在移动，他们就不会浪费精力去监视空荡荡的走廊。通过这样做，机器人可以更快地理解视频，并使用更少的计算能力，从而实现与你进行实时的现场比赛对话，而不是等到比赛结束后才给出总结。

“编解码原生”观看的神奇之处

Mage-VL 的秘诀在于作者称之为**编解码原生（codec-native）**的方法。在视频流的世界里（比如你在 Netflix 或 YouTube 上看视频时），计算机使用一种叫做“压缩”的技巧来节省空间。它们不会发送视频的每一帧，而是发送一张完整的图片（“I 帧”），然后只发送接下来的几秒钟内发生变化的微小部分（“P 帧”）。这就是为什么你的手机可以在不消耗过多流量的情况下观看电影。

Mage-VL 被构建为能够原生理解这种语言。它并没有强行将视频转化为僵化的静态图像网格，而是利用了视频压缩中使用的相同运动信号来决定什么才是重要的。如果一名球员正在奔跑，机器人就会放大关注该球员；如果背景中的观众只是站着不动，机器人则会完全忽略他们。这就像一位摄影师，只有在有趣的事情发生时才会按下快门，而不是每秒拍摄 30 张静物照片。

其结果是效率的大幅提升。论文显示，Mage-VL 可以减少超过 75% 的“视觉标记”（即计算机需要处理的图像微小碎片）。这就像是在读一本书时，你只需要阅读精彩的章节，跳过无聊的填充内容，却依然能完美理解整个故事。

一个拥有两个系统的脑

为了处理这种流式视频，Mage-VL 使用了一个灵感源自人类思维的巧妙双系统大脑。

系统 1（反射）： 这是一个超快、轻量级的守门员。它观察视频流并询问：“现在有什么有趣的事情发生吗？”如果答案是否定的，它就保持沉默。如果答案是肯定的（比如进球了），它会立即唤醒大脑的第二部分。
系统 2（推理器）： 这是重型思考部分。一旦大门开启，它就会深入研究到底发生了什么，并生成响应。

这意味着机器人不会在无聊的部分浪费时间。在半场休息或摄像机只是扫过体育场时，它会保持安静；而一旦球员踢球，它就会立刻介入并发表评论。

他们的发现（以及没能发现的）

团队使用大约 5.6 亿张无标签图像和 1 亿帧无标签视频从头开始训练了这个模型。这听起来很多，但与那些需要数十亿图文对的巨型模型相比，这个规模其实相当小。令人惊讶的是，他们发现并不需要大规模、网络级的庞大数据集就能构建出一个优秀的视觉大脑。Mage-VL 的定制训练方法使其在视频理解任务上能够匹配甚至超越规模大得多的模型。

以下是他们的一些关键发现：

速度： Mage-VL 速度极快。在现实时间内，它的处理速度比标准模型快达 3.5 倍，同时仍能保证回答正确。
无需“长视频”训练： 他们发现，不需要专门针对长视频进行训练，就能让模型擅长回答有关长视频的问题。通过在详细的短片段描述上进行训练并结合他们聪明的“编解码”方法，模型学会了自主理解长视频。
运动有助于空间推理： 他们发现，在运动视频上进行训练实际上提高了模型理解静态 3D 形状和空间关系的能力。看起来，观察事物的运动方式有助于机器人理解它们在空间中是如何组合在一起的。
AI 辅助 AI： 团队使用 AI 系统来帮助编写更好的训练数据。他们让一个 AI 检查它生成的标题，修正错误并改进提示词，从而创造了一个让数据质量大幅提升的闭环。

核心结论

Mage-VL 是迈向让 AI 能够实时“观看”和“聆听”世界的重要一步。它证明了你不需要通过暴力处理视频中的每一个像素来理解它。通过聪明地选择观察对象——模仿视频压缩的工作方式以及人类眼睛对运动的聚焦方式——该模型变得更快、运行成本更低，且响应更加迅速。

虽然论文指出，该模型在复杂的推理任务和数学问题方面仍有提升空间，但它成功证明了一个更小、更高效的模型，在理解周围动态移动的世界时，可以胜过那些更大、更慢的巨头。这是一种从“阅读一切”到“观看重点”的转变。

技术摘要：Mage-VL：一种高效的编解码器原生流式多模态基础模型

问题陈述

当前的视觉语言模型（VLMs）表现出一种莫拉维克悖论（Moravec's paradox）的体现：虽然它们擅长复杂的离线视觉推理，但在简单的动态流式感知任务中却面临计算效率低下和性能不佳的问题。这源于连续、事件驱动的物理感知与现有模型静态、均匀帧采样架构之间的结构性失配。标准的 VLM（如 Qwen-VL、InternVL）依赖于在数十亿静态图像-文本对上预训练的视觉编码器。在处理视频时，它们通常会对所有采样帧中的密集、冗余的背景区域进行编码，导致计算量随视频时长快速增加，并且无法在实时处理中优先处理动态且信息丰富的事件。

方法论

Mage-VL 通过一种编解码器原生流式基础模型架构解决了这些局限性，该架构以自定义视觉编码器 Mage-ViT 和双系统主动交互框架为核心。

1. Mage-ViT：编解码器原生视觉标记化

Mage-ViT 并非采用均匀帧采样，而是借鉴了经典视频编解码器（如 HEVC/H.265）和神经编解码器（如 DCVC）的原理来选择性地编码视觉信息。

稀疏选择： 模型将视频分为锚帧（I-帧），即进行完整处理的帧；以及预测帧（P-帧），其中仅保留包含运动或残差能量的补丁（patches）。
机制： 编解码器驱动的补丁划分器根据运动向量幅度与残差能量（针对传统编解码器）或学习到的概率模型（针对神经编解码器）来估计每个补丁的重要性张量 $S$ 。它保留所有的 I-帧补丁，并在令牌预算内选择前 $k$ 个 P-帧补丁。
效率： 在 16×16 补丁级别上运行，这种方法与密集采样相比，减少了约 75% 的视觉标记消耗，同时保留了时空上下文。
训练： Mage-ViT 使用约 5.6 亿张无标签图像和 1 亿帧无标签视频，通过聚类判别目标从头开始训练，而非依赖大规模的网络规模图像-文本语料库。

2. Mage-VL 架构与训练

Mage-VL 将 Mage-ViT 与因果语言解码器（初始化自 Qwen3-4B-Instruct）以及受生物启发的双系统架构相结合：

系统 1（事件门控）： 一个轻量级的主动门控，监控输入的流式视觉特征。它预测当前上下文是否包含值得响应的事件，仅在必要时触发生成。
系统 2（因果解码器）： 当门控被触发时，全量模型执行全面的推理，并基于最近的视觉上下文生成响应。
训练课程： 模型经历了一个五阶段的渐进式课程：
1. 多模态对齐： 使用密集图像和短视频描述进行热身。
2. 指令微调： 引入图像指令和时间定位。
3. 时间扩展： 在长视频描述上进行训练，以学习事件顺序。
4. 编解码器原生适配： 将视频监督切换到编解码器流式标记化，以处理比前几个阶段长 8 倍的序列。
5. 主动流式处理： 在流式数据上微调认知门控，学习在不冻结基础语言模型的情况下进行“沉默”与“说话”的决策。

3. AI4AI 数据流水线

作者采用了 AI4AI 方法进行数据策展，利用一个闭环流水线，通过智能体系统迭代优化描述提示词和代码。这包括：

提示词-代码协同设计： 使用 GitHub Copilot 修改提示词和代码（例如，在视频帧中添加时间戳叠加层），以提高时间定位和描述质量。
零视觉 SFT： 研究发现，在强化学习（RL）之前，跳过视觉指令微调而采用纯文本推理 SFT，可以释放更强的智能体能力。

核心贡献

编解码器原生主动流式架构： 一个统一的 VLM，通过稀疏、运动显著的更新来处理连续视频，将视觉标记减少至 $\le 1/8$ 的密集采样量，并实现事件触发的交互。
高效基础模型： 开源发布了 Mage-ViT 和 Mage-VL-4B。尽管是在显著较小的无标签数据集上训练的，但 Mage-ViT 在性能上足以媲美在数十亿图像-文本对上训练的编码器。
七项实证发现：
- Web 规模的预训练对于 VLM 视觉编码器并非必需；架构设计和时间对齐更为重要。
- 可变分辨率预训练实现了性能随标记预算单调提升的连续性。
- 编解码器原生标记化建立了卓越的准确率-效率前沿，实现了高达 3.5 倍的实际运行推理加速。
- 显式的长视频问答（Long VideoQA）SFT 是冗余的；在密集视频描述上进行微调足以实现零样本长视频问答。
- 动态视频训练能协同增强静态 2D/3D 空间推理。
- AI 驱动的数据流水线（提示词-代码协同设计）系统性地提升了下游性能。
- 跳过视觉 SFT 而转向纯文本推理 SFT，可以解锁强大的多模态强化学习能力。

结果

静态任务： Mage-VL-4B 在静态图像理解基准测试（如 DocVQA、OCRBench、MMBench）上与 Qwen3-VL-4B 持平。
视频与空间推理： Mage-VL-4B 在视频理解（如 VideoMME 提升 4.3，MLVU 提升 7.2）和空间推理（如 VSI-Bench 提升 11.0）方面优于 Qwen3-VL-4B。它在大多数评估维度上全面超越了较大的 Phi-4-reasoning-vision (15B) 基准模型。
效率： 与密集帧采样基准相比，Mage-VL 实现了高达 3.5 倍的实际运行推理加速，同时保持或提高了准确率。
流式性能： 在 SoccerNet-Caption 基准测试中，Mage-VL 取得了 55.54% 的 TimVal 和 79.21% 的 TriggerAcc，在事件触发响应时机方面显著优于 StreamMind 和 JoyAI，且未出现领域特定过拟合。
鲁棒性： 该模型可以在不进行重新训练的情况下跨编解码器家族（HEVC 和神经编解码器如 DCVC-RT）进行泛化，证明了时间可预测性是标记分配的可迁移标准。

意义

论文声称，Mage-VL 代表了从静态、密集帧处理向高效、事件驱动、编解码器原生流式感知的范式转变。通过将模型架构与视频压缩和生物视觉处理原则（过滤冗余、优先处理运动）相对齐，Mage-VL 证明了高性能的多模态理解并不需要海量的预训练数据集或密集的计算资源。这项工作为开发高效基础模型提供了实用的方案，挑战了传统的缩放法则（scaling laws），并为实现实时、主动的多模态智能体提供了一条计算高效的路径。