MJ1: Multimodal Judgment via Grounded Verification

本文提出了通过结构化视觉验证链和反事实一致性奖励进行强化学习的 MJ1 模型，该模型仅用 30 亿参数便在 MMRB2 基准上超越了 Gemini-3-Pro 等超大模型，证明了基于视觉证据的验证机制能显著提升多模态判断能力而无需增加模型规模。

要点

这篇论文介绍了一个名为 MJ1 的“超级裁判”，它专门用来评判人工智能生成的图片好不好。

想象一下，现在的 AI 就像是一个才华横溢但有点“近视”的画家。当它画完画，我们需要一个裁判来打分。但以前的裁判（现有的 AI 模型）有个大毛病：它们看画的时候，注意力很容易“跑神”。它们往往只盯着文字描述，或者因为看的时间太长，忘了最开始画里的细节，导致打分全靠猜，或者被文字忽悠了。

MJ1 就是为了解决这个问题而生的。它用两个绝招，让一个只有 30 亿参数（相当于一个中等身材的运动员）的小模型，打败了那些拥有数千亿参数（像巨人一样）的顶级模型。

以下是 MJ1 的两大核心绝招，用生活中的例子来解释：

1. 绝招一：“先看图，再说话”的强制流程（接地验证链）

以前的裁判怎么工作？
就像让你看完一场复杂的球赛，然后直接让你写个几千字的总结，最后给出一个比分。等你写到最后要打分时，你可能早就忘了开场时那个精彩的进球细节了，只能凭印象瞎编。

MJ1 是怎么做的？
MJ1 强迫裁判必须按五个步骤来，不能跳步：

1. 观察（Observations）： 就像裁判先戴上放大镜，把图片里的每一个细节（比如“这个人手里拿的是红苹果还是绿苹果”）都老老实实记下来。这时候注意力最集中，不会忘。
2. 提取观点（Claims）： 看看 AI 生成的回答里说了什么（比如 AI 说“我画了个红苹果”）。
3. 核对（Verification）： 把“记下来的细节”和"AI 说的话”做对比。如果 AI 说红苹果，但图里是绿的，直接打叉。
4. 评估（Evaluation）： 根据任务要求（比如“是否按要求修改了图片”）来评判。
5. 打分（Scoring）： 最后才给出分数。

效果： 哪怕不训练，只要用这个流程，裁判的准确率就自动提升了。这就好比强迫学生先列提纲、再写正文，而不是想到哪写到哪，逻辑自然更清晰。

2. 绝招二：“左右互换”的防作弊测试（反事实一致性奖励）

以前的裁判有什么毛病？
很多裁判有“位置偏见”。比如，如果两个答案 A 和 B 摆在一起，裁判可能不管内容好坏，就是习惯性觉得“排在第一个的 A 更好”，或者“排在第二个的 B 更好”。这就像有些评委，不管谁先上台，都觉得先上台的更厉害。

MJ1 是怎么解决的？
MJ1 在训练时玩了一个“换座位”的游戏：

• 先让裁判看：图片 + 答案 A + 答案 B，裁判打分。
• 然后把 A 和 B 的位置互换，甚至把图片里的内容也对应互换，再让裁判看一遍。
• 关键规则： 如果裁判是个“老实人”，它应该根据内容打分。既然 A 和 B 换了位置，裁判的打分结果也应该跟着换（原来觉得 A 好，现在觉得 B 好）。
• 惩罚机制： 如果裁判不管怎么换，都死盯着“第一个位置”给高分，那它就会被惩罚（扣分）。

效果： 这就像考试时，老师把试卷 A 和 B 的名字互换，如果学生还能根据题目内容做对题，说明他是真懂了；如果学生还是选“第一题”，说明他在瞎蒙。MJ1 通过这种训练，彻底治好了“位置偏见”。

总结：小个子也能打败大巨人

这篇论文最惊人的地方在于：

• 以前： 大家觉得要当裁判，模型必须得特别大（像 Gemini-3-Pro 或 GPT-5 那样），参数越多越聪明。
• 现在： MJ1 只用了一个30 亿参数的小模型（Qwen3-VL-30B-A3B），通过**“强制先看图”和“防作弊训练”，在多项测试中打败了那些参数大它几十倍的超级模型**。

一句话总结：
MJ1 告诉我们，AI 变聪明不一定非要“长肌肉”（增加参数），只要**“练对方法”**（强制观察细节 + 消除偏见），小模型也能成为最公正、最敏锐的裁判。

技术摘要

这篇论文介绍了一种名为 MJ1 的新型多模态评判模型（Multimodal Judge），旨在解决当前多模态大模型在评估生成图像时难以将决策“扎根”于视觉证据（Visual Grounding）的问题。MJ1 通过强化学习（RL）训练，结合结构化的扎根验证链和反事实一致性奖励，在仅使用 30 亿激活参数（3B active parameters）的情况下，在 MMRB2 基准测试中取得了 77.0% 的准确率，超越了 Gemini-3-Pro 等参数量大得多的模型。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

• 核心痛点：多模态评判模型（Multimodal Judges）在评估生成图像是否符合用户意图时表现不佳，落后于纯文本评判模型。
• 性能瓶颈：在综合基准 MMRB2 上，前沿模型（如 Gemini-3-Pro, GPT-5）的准确率仅为 70-76%，开源模型甚至更低（约 64%）。
• 根本原因：
  • 视觉注意力衰减：研究表明，在深层 Transformer 层中，视觉 Token 的注意力权重急剧下降，甚至在生成后期几乎消失。
  • 语言先验过强：模型倾向于过度关注语言先验（如回答的流畅度、长度），而忽略了视觉证据，导致“幻觉”或无法识别图像中的细微错误。
  • 现有方法的局限：现有的基于思维链（Chain-of-Thought）的强化学习评判方法（如 J1, JudgeLRM）主要局限于文本领域，未解决多模态场景下视觉证据处理失效的问题。

2. 方法论 (Methodology)

MJ1 基于 Qwen3-VL-30B-A3B 模型，采用两阶段训练流程：冷启动 SFT（监督微调） + GRPO（Group Relative Policy Optimization，一种强化学习算法）。

2.1 核心机制：扎根验证链 (Grounded Verification Chain)

为了解决视觉注意力衰减，MJ1 强制模型按照特定的结构化顺序生成回答，而非直接输出分数。该流程包含五个阶段：

1. 视觉观察 (Observations, O)：在生成早期（视觉注意力最高时），模型首先描述提示词（Prompt）和两个候选回答（$R_A, R_B$）中的图像内容。
2. 主张提取 (Claims, C)：从 $R_A$ 和 $R_B$ 的文本中提取具体主张。
3. 一致性验证 (Verification, V)：将提取的主张与之前的视觉观察进行比对，生成二元信号（一致/不一致）。这一步强制模型在推理过程中必须回溯并依赖初始视觉证据。
4. 标准评估 (Evaluation, E)：基于任务特定标准评估两个回答。
5. 打分 (Scoring, s)：最终输出整数分数。

优势：这种结构迫使模型在注意力最集中的时候处理视觉信息，并通过验证环节将推理与视觉证据显式绑定，防止模型跳过视觉分析直接根据文本特征打分。

2.2 核心机制：反事实一致性奖励 (Counterfactual Consistency Reward)

为了消除评判中的位置偏差（Positional Bias，即模型倾向于选择排在第一个的回答），MJ1 引入了基于一致性的奖励机制：

• 操作：在训练过程中，交换输入图像和回答的顺序（$A \leftrightarrow B$），并相应地交换推理过程中的引用。
• 奖励逻辑：如果模型在交换输入后，能够正确地反转其判断（即原本选 A，交换后选 B），则给予奖励（$R_{cons}=1$）；否则为 0。
• 作用：这迫使模型关注回答的内容而非位置，并确保其推理过程是真正基于视觉证据的，而非随机猜测或文本模式匹配。

2.3 奖励函数

复合奖励函数 $R(J)$ 包含三部分：
$$R(J) = R_{format} + R_{correct} + R_{cons}$$

• $R_{format}$：确保输出符合 XML 结构规范。
• $R_{correct}$：判断最终偏好是否与真实标签一致。
• $R_{cons}$：上述的反事实一致性奖励。

3. 关键贡献 (Key Contributions)

1. 结构化扎根验证链：提出了一种将多模态评判分解为“观察→主张→验证→评估→打分”的结构化提示方法。实验证明，仅使用此提示（无需训练）即可在 MMRB2 的图像编辑任务上提升 3.8 个百分点，在多模态推理任务上提升 1.7 个百分点。
2. 多模态一致性奖励：首次将基于一致性的奖励机制扩展到多模态领域，通过强制回答在输入交换后保持逻辑反转，有效消除了位置偏差，并激励模型进行真正的视觉推理。
3. 小参数超越大模型：证明了通过改进训练配方（Recipe）和推理结构，小参数模型（3B 激活参数）可以超越参数量大几个数量级的闭源模型（如 Gemini-3-Pro）。

4. 实验结果 (Results)

• 基准测试 (MMRB2)：
  • MJ1 表现：整体准确率达到 77.0%。
  • 对比：超越了 Gemini-3-Pro (76.3%)、GPT-5 (72.2%) 以及所有开源大模型（如 Qwen3-VL-235B-A22B 为 62.9%）。
  • 细分任务：在图像编辑（Image Editing）、多模态推理（Multimodal Reasoning）等四个子任务上均取得了 SOTA 成绩。
• 消融实验：
  • 无训练验证：在未训练的基座模型上使用 MJ1 的扎根提示，准确率显著提升，证明了结构本身的有效性。
  • 视觉扎根验证：通过打乱图像（Shuffled Images）和移除图像（Blank Image）的实验发现，当视觉证据被破坏时，一致性奖励（$R_{cons}$）和准确率（$R_{correct}$）均大幅下降，且打乱图像的表现甚至低于无图像情况（因为模型会生成与错误图像匹配的幻觉，导致逻辑冲突），证明了该机制确实是在衡量视觉推理的对齐度。

5. 意义与结论 (Significance)

• 重新定义评判瓶颈：研究指出，多模态评判的瓶颈不在于模型规模（Scale），而在于模型处理视觉证据的机械性失败（Mechanical Failure）。
• 训练配方优于规模：MJ1 的成功表明，对于评判任务（Judgment Tasks），精心设计的训练策略（如扎根验证链和一致性奖励）比单纯增加参数量更为重要。
• 通用性：该方法不仅提升了特定任务的准确率，还展示了如何通过强化学习机制解决大模型在长序列生成中“遗忘”视觉信息的普遍问题。

总结：MJ1 通过强制模型在推理早期提取视觉观察，并在整个推理链中通过验证环节和反事实一致性奖励来约束模型，成功解决了多模态评判中的视觉注意力衰减和位置偏差问题，实现了以极小的参数量达到业界顶尖的评判水平。