Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

本文介绍了 Molmo2，这是一个在视频理解与像素级定位（如点选和跟踪）方面达到开源状态最先进水平的视觉语言模型家族，其核心贡献在于构建了 7 个全新视频数据集和 2 个多图像数据集，并提出了高效的训练方案，使其在多项任务上超越了现有开源模型甚至部分闭源模型。

要点

这篇论文介绍了一个名为 Molmo2 的超级智能模型家族。为了让你轻松理解，我们可以把现在的 AI 世界想象成一个**“视频理解学校”，而 Molmo2 就是这所学校里最新毕业、成绩最优异的“全能优等生”**。

以下是用大白话和生动比喻对这篇论文的解读：

1. 背景：为什么我们需要 Molmo2？

现状： 目前最厉害的视频理解 AI（比如 Google 的 Gemini 或 OpenAI 的 GPT 系列）都是**“私立贵族学校”**。它们虽然很强，但学费昂贵（闭源），而且没人知道它们是怎么学习的（数据不公开）。更糟糕的是，很多现有的开源 AI（“公立学校”）是靠着“偷看”贵族学校的作业（合成数据）才学会的，或者根本不敢公开自己的食谱。

痛点： 以前的开源 AI 只能“大概看懂”视频（比如：“视频里有个男人在跑步”）。但它们做不到**“指哪打哪”的精细操作。比如，你问：“那个穿红衣服的人在第几秒摔倒了？”或者“视频里一共有多少只狗？”，它们要么答不上来，要么只能瞎猜，无法在视频画面上精准地“点”出位置或“数”**出数量。

Molmo2 的突破： 这是一个完全开源（免费、透明）的模型家族。它不偷看任何“贵族学校”的作业，而是自己找了一群人类老师，重新编写了一套全新的教材，专门训练视频理解、指点和计数能力。

2. 核心能力：它学会了什么新技能？

Molmo2 就像是一个**“超级侦探”**，它有三个绝招：

• 技能一：指哪打哪（Grounding/Pointing）

  • 比喻： 以前的 AI 看视频像是在看模糊的电视，只能看到大概。Molmo2 则像是一个拿着激光笔的**“神射手”**。
  • 例子： 如果你问：“视频里那个穿黄衣服的人什么时候开始跳舞的？”Molmo2 不仅能回答时间，还能在视频画面上精准地画出一个点，告诉你：“就是这一帧，这个位置！”它甚至能像追踪器一样，一直盯着一个物体，不管它怎么跑、被挡住还是转弯，它都能跟住。

• 技能二：火眼金睛数数（Counting）

  • 比喻： 以前的 AI 数东西经常数错，比如把一群鸟数成“很多只”。Molmo2 像是一个**“精算师”**。
  • 例子： 视频里有 50 只鸟在飞？以前的模型可能说“大概 10 只”，Molmo2 能准确数出"50 只”，并且能在屏幕上把每一只鸟都圈出来给你看。

• 技能三：超级解说员（Captioning）

  • 比喻： 以前的解说员说话很简短，像发微博。Molmo2 像是一个**“细节控的纪录片导演”**。
  • 例子： 它不仅能说“有人在开车”，还能描述：“一个穿着紫色和服的女人，在下午 3 点，正坐在驾驶座上，手里拿着咖啡，车窗外下着雨……"它能写出几千字的详细视频描述，而且非常准确。

3. 它是如何训练的？（独家秘方）

Molmo2 的成功不在于它用了更贵的显卡，而在于它**“吃得更好”**。

• 拒绝“预制菜”： 很多开源模型是用其他大模型生成的“合成数据”训练的（就像吃别人嚼过的饭）。Molmo2 坚持**“现做现吃”**。
• 人类老师亲自授课： 研究人员找来了成千上万名人类标注员（就像请了无数家教）。
  • 听写训练： 让人类看着视频，口述出极其详细的描述（比打字快且细节多），然后转成文字。
  • 互动问答： 让人类对着视频提问，并亲自修正 AI 的答案，确保答案既准确又符合人类逻辑。
  • 指指点点： 让人类在视频的每一帧上，用手指点出物体在哪里。
• 数据量巨大： 他们收集了 9 个全新的数据集，包括数百万个视频片段、数万个“指点”任务和复杂的“多张图片”理解任务。

4. 训练技巧：如何让它跑得更快、学得更深？

除了数据好，Molmo2 还发明了一些**“学习技巧”**：

• 打包学习（Packing）： 就像把很多小视频剪辑拼成一个长视频一起看，避免浪费算力。
• 双向关注（Bi-directional Attention）： 以前的模型看视频是“从左到右”单向看。Molmo2 允许它**“前后照应”**，看后面的画面时也能回头参考前面的画面，理解更连贯。
• 重点标记（Token Weighting）： 就像老师批改作业，对于特别长、特别难的描述（比如几千字的视频解说），给它们更高的“分数权重”，让模型知道这些内容很重要，不能马虎。

5. 成绩如何？（期末考试）

Molmo2 在各项考试中表现惊人：

• 开源界第一： 在所有的开源模型中，它是目前最强的，特别是在视频计数和指点定位方面。
• 挑战“贵族”： 在某些任务上（比如视频指点），它甚至超过了 Google 的 Gemini 3 Pro 等闭源商业模型。
• 人类喜欢它： 在人类偏好测试中，人们觉得 Molmo2 的回答比很多商业模型更自然、更准确。

6. 总结：这对我们意味着什么？

Molmo2 就像是为整个 AI 社区打开了一扇**“透明的大门”**。

• 以前： 只有大公司能造出能看懂视频、能指指点点的 AI，而且大家不知道它们是怎么做到的。
• 现在： 任何人都可以下载 Molmo2，研究它的代码，使用它的数据。这意味着未来的视频搜索、机器人控制、自动驾驶辅助系统，都将因为这种**“开源、透明、强大”**的技术而飞速发展。

一句话总结：
Molmo2 是一个完全免费、完全透明的 AI 模型，它通过人类亲自教导学会了像侦探一样精准指点视频中的物体、像精算师一样准确计数，并且能写出超级详细的视频解说，是目前开源视频 AI 领域的“新王”。

技术摘要

Molmo2 技术总结

1. 研究背景与问题 (Problem)

当前的视频 - 语言模型（VLM）领域存在两个主要瓶颈：

1. 闭源与数据不透明：目前最强的视频 - 语言模型（如 Gemini、GPT-4o 等）均为闭源，其权重、训练数据和训练配方均不公开。现有的开源模型大多依赖闭源模型生成的合成数据进行蒸馏，导致开源社区缺乏真正的基础设施来超越或复现最先进的性能。
2. 缺乏细粒度的“落地”（Grounding）能力：现有的视频理解模型通常只能提供高层级的语义理解（如描述视频内容），但难以执行需要像素级精度的任务，例如视频中的物体计数、时空定位（指出事件发生的时间和位置）以及连续物体跟踪。即使是部分闭源模型，在这些细粒度任务上的表现也往往有限。

2. 方法论 (Methodology)

Molmo2 是一个全新的开源视频 - 语言模型家族，旨在通过完全开放的数据、权重和代码来解决上述问题。其核心方法论包括：

2.1 数据构建 (Data Collection)

Molmo2 构建了迄今为止最大的完全开源的视频中心多模态语料库，包含9 个新数据集，且完全不使用闭源 VLM 进行蒸馏：

• 密集视频描述 (Molmo2-Cap)：包含 10.4 万个视频的详细描述（平均每个视频 924 词）。采用“人类口述转写 + 帧级视觉细节增强”的两阶段流程，确保细节丰富度远超现有数据集。
• 长视频问答 (Molmo2-AskModelAnything, -CapQA, -SubtitleQA)：包含约 150 万条问答对，涵盖多图像/视频输入、字幕推理及长视频理解，旨在解决开源模型在长视频上的弱点。
• 视频指向与计数 (Molmo2-VideoPoint)：包含 65 万 + 个视频指向查询，涵盖物体、动作、异常检测等，支持在视频帧中精确点击物体位置并计数。
• 视频跟踪 (Molmo2-VideoTrack)：包含 3.6k 个视频片段和 1.5 万个复杂自然语言查询，支持多对象跟踪和基于文本的轨迹生成。
• 多图像理解：包含多图像问答和指向数据集，支持跨图像的逻辑推理和定位。

2.2 模型架构 (Architecture)

• 基础架构：采用标准的“视觉编码器 + 连接器 + 大语言模型（LLM）”架构。
  • 视觉编码器：使用 SigLIP 2 (So400m/14)，支持高分辨率图像裁剪（训练时 K=8，推理时 K=24）和视频帧采样（2 fps）。
  • 连接器：利用 ViT 的中间层特征，对图像和视频帧进行池化（Image: 2x2, Video: 3x3），并投影为视觉 Token。
  • LLM：基于 Qwen3 (4B/8B) 和 OLMo (7B) 构建。支持视觉 Token 与文本 Token 的交错输入，并引入双向注意力机制（Bi-directional attention）以提升视觉 Token 间的交互。
• 输出格式：支持自由文本生成，以及结构化的落地输出（如 <points> 标签用于坐标，<tracks> 标签用于跟踪轨迹）。

2.3 训练策略 (Training Recipe)

采用三阶段训练流程：

1. 预训练 (Pre-training)：在图像描述和图像指向数据上进行，引入指向数据以稳定后续性能。
2. 联合监督微调 (Joint SFT)：在混合了图像、视频、多图像及 NLP 数据的大规模数据集上进行。
   • Token 加权 (Token Weighting)：针对长视频描述（数千 Token）和短问答（单 Token）的分布不平衡问题，对长输出任务降低 Loss 权重，防止模型偏向长文本而忽略短任务。
   • 消息树编码 (Message-tree Encoding)：将具有多个标注的视频/图像编码为树状结构，通过自定义注意力掩码防止不同标注分支间的交叉注意力，提升训练效率。
   • 序列打包 (Packing)：高效地将多个短样本打包进长序列，减少 Padding 浪费。
3. 长上下文微调 (Long-context SFT)：在相同数据上增加序列长度（至 36,864 tokens）和帧数（F=384），利用 Ulysses 注意力机制进行上下文并行训练，以增强长视频理解能力。

3. 关键贡献 (Key Contributions)

1. 完全开源的 SOTA 视频模型：Molmo2 是首个在视频理解、密集描述、计数和落地任务上达到或超越闭源模型性能的完全开源（权重、数据、代码、无蒸馏）模型家族。
2. 大规模细粒度落地数据集：发布了 9 个新数据集，特别是视频指向和视频跟踪数据集，填补了开源领域在时空定位和物体跟踪方面的空白。
3. 创新的训练技术：
   • 提出了Token 加权策略，有效平衡了长文本生成与短问答任务的学习。
   • 设计了消息树编码和高效打包算法，显著提升了多模态数据的训练吞吐量。
   • 验证了视觉 Token 间的双向注意力对性能的提升作用。
4. 多模态落地能力：将图像指向能力扩展至视频领域，实现了时空定位（指出事件发生的时间点和位置）和连续跟踪（在视频中持续标记物体位置）。

4. 实验结果 (Results)

Molmo2 在广泛的基准测试中表现卓越：

• 视频理解与问答：
  • 在短视频基准（MVBench, MotionBench）上，Molmo2-8B 超越了所有现有的开源模型，并接近闭源模型（如 Gemini 3 Pro, GPT-5）。
  • 在长视频基准（LongVideoBench, MLVU）上表现具有竞争力。
• 视频落地（Grounding）：
  • 视频计数：在 BURST-VideoCount 上，Molmo2-8B 达到 35.5% 的准确率，显著优于 Qwen3-VL-8B (29.6%)，并超越了闭源模型 Gemini 3 Pro (20.0% F1)。
  • 视频指向：在 Molmo2-VideoPoint 上，Molmo2-8B 的 F1 得分为 38.4，远超 Gemini 3 Pro (20.0) 和 Qwen3-VL (几乎为 0)。
  • 视频跟踪：在 MeViS 和 Ref-YT-VOS 等学术基准上，Molmo2 在 J&F 和 HOTA 指标上大幅领先所有开源模型，甚至在 ReasonVOS 等复杂推理任务上超越闭源模型。
• 图像与多图像任务：
  • 在 Point-Bench 图像指向任务上，Molmo2 超越了所有现有模型（包括专用指向模型 Poivre）。
  • 在多图像问答和文档理解上保持 SOTA 水平。
• 人类偏好评估：
  • 在人类偏好排序（Elo 评分）中，Molmo2-8B 排名第五，优于多个闭源模型（如 GPT-5, Claude Sonnet 4.5 的部分任务），且在所有开源模型中表现最佳。

5. 意义与影响 (Significance)

• 推动开源研究：Molmo2 打破了闭源模型在视频理解领域的垄断，证明了通过高质量、多样化的开源数据（而非蒸馏闭源数据）可以训练出世界级的多模态模型。
• 赋能下游应用：其强大的细粒度落地能力（计数、指向、跟踪）为机器人控制、自动驾驶、体育分析、安防监控等需要精确时空感知的实际应用提供了可行的开源解决方案。
• 方法论启示：论文提出的 Token 加权、消息树编码等训练技巧，为未来大规模多模态模型的训练提供了重要的技术参考，特别是如何处理长文本与短任务的不平衡问题。

总结：Molmo2 不仅是一个性能强大的视频 - 语言模型，更是一个完整的开源生态基石，它通过公开高质量数据和训练配方，为社区提供了在视频理解、细粒度落地和长视频分析领域进行创新和超越的基础。