🤖 AI

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

该论文引入了 MoCA，这是一个采用跨模态仲裁模块（Cross-modal Arbitration Block）的新颖框架，旨在通过在标记（token）层面动态分离并协调不同的视觉与代码分支，从而克服现有图表转代码方法中固有的干扰，并通过结构化模态仲裁实现卓越的性能。

原作者： Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字时代，数据通常以图表的形式呈现：条形图、折线图和饼图将数字转化为视觉故事。几十年来，计算机一直非常擅长阅读这些图像来回答简单的问题，比如“最大值是多少？”或“最大的切片是什么颜色？”。然而，一个更困难的挑战已经出现：要求计算机不仅是读取一张图表，而是利用代码从头开始重建它。这项任务要求机器观察一张静态图像，理解其背后的隐藏数据和特定的设计选择，然后编写出一套指令，能在屏幕上绘制出完全相同的图像。这是对两种截然不同的技能的同步测试。机器必须是一个敏锐的观察者，能够注意到细微的细节，如线条的确切色调或标签的精确位置；同时，它还必须是一个严谨的建筑师，能够编写逻辑严密、无误的代码来重现这些细节。

长期以来，研究人员一直试图教计算机同时完成这两件事，将视觉理解和编码能力融合进一个单一的、庞大的大脑中。当时的假设是，一个模型可以同时学习如何观察和如何写代码。然而，这种方法往往会导致混乱。当图表在视觉上很复杂时，模型可能会在编写代码方面遇到困难；当图表需要复杂的逻辑时，模型可能会在观察细节方面失败。这两种技能虽然是完成同一项工作的必要条件，但当被强迫共享相同的内部路径时，它们似乎会互相干扰。来自浙江大学、蚂蚁集团及其他机构的研究人员的一项新研究表明，解决方案不是将这些能力融合在一起，而是将它们分开，并让它们轮流主导工作。

由 Qinghao Fu 和 Wei Zhou 领导的研究人员开发了一个名为 MoCA 的系统。他们没有强迫单个模型完成所有工作，而是构建了一个具有两个不同路径的框架：一个专门用于视觉理解，另一个专门用于编码。想象一下一支建筑施工队，其中一个团队专门负责检查原材料，而另一个团队则负责实际的建造。在 MoCA 中，这两个团队并肩作战，但它们不会合并成一个混乱的整体。相反，一个被称为“仲裁者”（arbiter）的小型、轻量级的决策者会实时观察工作进度。随着系统生成的每一个代码单词，这个仲裁者都会决定要从视觉团队那里获取多少帮助，以及要依赖编码团队多少。

这种决策过程是持续进行的，并且随时间不断变化。当系统试图确定图表中某个特定条形的颜色时，仲裁者会严重倾向于视觉路径。当它需要决定如何堆叠这些条形或计算总高度时，仲裁者会将信任转向编码路径。研究人员发现，这种动态切换并非随机的，而是遵循一种结构化的模式。在生成图表的早期阶段，系统更多地依赖视觉处理来理解输入。当进入任务的中期时，它会转向代码生成来构建结构。最后，在完成阶段，它可能会回归到视觉精修，以确保细节与原图一致。这种流动的协调使得系统既能处理视觉上杂乱的图表，也能处理逻辑上复杂的图表，而不会陷入停滞。

为了教会这个系统如何工作，研究人员采用了两步训练法。首先，他们向模型展示了数千个图表及其对应的代码示例，但他们不仅仅要求最终的代码，还提供了一个“思维过程”，即如何观察图表并将观察结果转化为指令的逐步分解。这有助于模型学习如何将所见之物与所需之写联系起来。在第二阶段，系统被允许进行自主练习。它会生成代码，如果代码运行成功且生成的图像与原图一致，它就会获得奖励。如果代码失败或图像错误，它就会得到修正。这种通过针对代码逻辑和视觉准确性的特定奖励来引导的试错循环，精炼了系统协调其两个分支的能力。

该方法的成果在三个旨在评估图表转代码生成的基准测试中，与其他几种先进模型进行了对比。新的系统 MoCA 在关键领域超越了竞争对手。在一项主要测试中，它成功为 88.83% 的图表生成了可运行的代码，这相比其他专门化模型有了显著提升。它在衡量生成代码与原图文本和结构匹配程度的指标上也得分更高。或许最重要的一点是，研究人员表明，这些收益并非仅仅因为模型更大或训练数据更多。当他们测试使用相同计算能力但缺乏动态切换机制的系统版本时，性能出现了下降。这证实了成功的秘诀不在于拥有更多的脑力，而在于拥有更聪明的组织方式。

研究还揭示了该系统的决策者学会了变得非常具体。它并没有应用一个固定规则，例如“始终使用 50% 的视觉帮助和 50% 的代码帮助”。相反，它会根据正在观察的特定图表以及正在编写的特定代码部分来调整策略。对于某些图表，视觉分支可能会在整个过程中占据主导地位；对于另一些图表，代码分支可能会几乎立即取得领先。这种灵活性使系统能够适应每项任务的独特需求，无论是简单的折线图还是复杂的、多层级的图表。

通过将观察与编写这两项技能分离，并为它们配备一个专门的管理者来协调彼此的努力，研究人员解决了一个困扰以往尝试的问题。他们证明了，对于像从图像重建图表这样复杂的任务，只有当各部分被允许发挥各自的长处时，整体才大于部分之和。该系统并不试图同时成为全才；相反，它清楚地知道何时该观察，何时该编写，从而产生既符合视觉真实性又具备逻辑严密性的结果。这种方法为人工智能如何处理其他需要混合多种不同类型智能的任务提供了新的蓝图，推动其超越单一、全能模型的概念，迈向一个更加协调且具备适应性的未来。

技术摘要：MoCA —— 用于图表转代码生成的 Token 级模态仲裁

问题定义

图表转代码生成要求模型能够理解图表图像的细粒度视觉细节，并生成能够忠实还原原始图表的执行绘图代码。这项任务提出了一个独特的挑战：视觉接地（识别标签、颜色、布局）与代码生成（构建逻辑、坐标轴和结构）的需求在不同输入之间并不统一。

视觉复杂的图表： 需要精确识别密集的标签和微妙的视觉变化，但其绘图逻辑可能较为简单。
代码需求高的图表： 可能视觉效果简单，但需要复杂的逻辑结构（例如堆叠柱状图、自定义坐标轴）。

现有方法通常要么分别训练视觉和编码能力，要么微调单个将这些能力纠缠在一起的模型。这两种策略都没有显式地建模这两种不同能力之间的动态交互，从而经常导致模型误读视觉细节或生成语法错误的逻辑代码。此外，现有的模型合并技术通常依赖于静态的、与输入无关的参数系数，无法适应特定图表实例的变化需求。

方法论：MoCA（混合跨模态仲裁）

作者提出了 MoCA，一个旨在将视觉和代码能力分离到不同路径中，并在生成过程中动态协调其贡献的框架。

1. 架构：跨模态仲裁模块 (CAB)

MoCA 构建于一个双分支架构之上，其中视觉分支和代码分支作为模型中的独立变换操作。

初始化： 该框架使用 Qwen2.5-VL-7B 作为多模态骨干网络，并使用 Qwen2.5-Coder-7B 来初始化代码分支。具体而言，视觉分支从视觉语言模型的前馈网络（FFN）参数中初始化，而代码分支则从对应的代码模型 FFN 参数中初始化。
仲裁器 (The Arbiter)： MoCA 的核心是每个 CAB 中的轻量级仲裁器。对于每个层 $l$ 中的每个 token $t$ ，仲裁器接收中间隐藏表示 $h_{i,l,t}$ 并预测分支权重 $\alpha_{i,l,t} = (\alpha^{vis}, \alpha^{code})$ 。
动态协调： CAB 的输出是两个分支的加权和：
$z_{i,l,t} = \alpha^{vis}_{i,l,t} B^{vis}(h_{i,l,t}) + \alpha^{code}_{i,l,t} B^{code}(h_{i,l,t})$
这使得模型能够根据特定的输入实例、网络层深度以及当前的生成 token 来分配贡献，而不是使用固定的全局系数。

2. 训练框架

MoCA 采用两阶段训练策略，以将结构化推理与可执行代码生成对齐：

阶段 1：带有自蒸馏 SoT 的监督微调 (SFT)
- 模型在配对的图表-代码数据上进行训练，这些数据通过思维片段 (Snippet-of-Thought, SoT) 轨迹进行了增强。
- 这些轨迹将从视觉输入到代码的映射分解为显式的中间步骤。
- 自蒸馏： 作者并没有直接使用教师生成的原始 SoT 数据，而是应用自蒸馏来产生更符合 MoCA 自身生成分布的轨迹，从而减少训练与推理之间的差异。
- 模型使用结合了 SoT 和代码序列的标准自回归交叉熵损失进行优化。
阶段 2：强化学习 (RL)
- 模型通过 组相对策略优化 (GRPO) 进行进一步优化。
- 采用多维度奖励函数，聚合了五个信号：
  1. 格式一致性 ( $R_{fmt}$ )：对输出结构的遵循程度。
  2. 推理一致性 ( $R_{con}$ )：SoT 与生成的代码之间的对齐程度。
  3. 结构保真度 ( $R_{str}$ )：通过 AST 分析重建图表属性的能力。
  4. 执行有效性 ( $R_{exec}$ )：代码是否能成功运行。
  5. 视觉相似度 ( $R_{vis}$ )：渲染后的图表与参考图像之间的比较。
- 这些奖励提供了过程级（推理）和结果级（执行/视觉）的双重监督。

核心贡献

提出了自适应协调的形式化定义： 本文将图表转代码生成定义为一个跨模态能力协调问题，认为视觉接地和代码生成是互补且异构的能力，需要显式的、动态的交互建模。
MoCA 架构： 引入了具有跨模态仲裁模块 (CAB) 的双分支架构。它在保留独立的视觉和代码专业性的同时，利用轻量级的、以输入为条件的仲裁器，在 token 和层级层面动态分配贡献。
训练与分析框架： 建立了一个结合自蒸馏 SoT 监督与多维度 RL 奖励的训练流水线。作者提供了实证证据，表明仲裁器学习到了结构化分配模式（在 token、层级和实例之间系统性变化），而非任意或统一的权重。

实验结果

MoCA 在三个基准测试上进行了评估：ChartMimic、Plot2Code 和 ChartX。

性能表现： MoCA 在通用领域和图表专用模型中均取得了最先进（SOTA）或极具竞争力的结果。
- 在 ChartMimic 上，它在所有三个指标上均取得了最佳性能（执行率：88.83，低级：75.13，高级：73.48），显著超越了最强的基线模型。
- 在 Plot2Code 上，它实现了最高的代码通过率 (87.88)，超过了次优基线 2.27 个百分点。
- 它在语义指标 (Text Match) 和感知指标 (GPT Score) 上保持了极具竞争力的表现，在执行和重建保真度方面往往优于规模大得多的模型（如 Qwen2.5-VL-72B）。
消融研究：
- 训练阶段： 研究表明 SFT 和 RL 都是必要的；SFT 建立了稳定的映射，而 RL 提升了可执行性和视觉保真度。
- 分支初始化： 一个采用两个视觉分支（视觉 + 视觉）的变体表现不如 MoCA，这证实了收益来自于互补的专家初始化，而非仅仅是参数量的增加。
- 仲裁机制： 使用固定分支权重 (0.5/0.5) 的变体表现逊于 MoCA，证明了以输入为条件的仲裁的必要性。
- 静态合并： MoCA 显著优于静态参数合并方法（如 VisCodex），凸显了固定系数在处理异构任务时的局限性。

意义与主张

本文声称，MoCA 的性能提升不能仅归功于更大的模型规模或更多的训练数据。相反，其改进源于以下共同贡献：

互补的分支初始化： 利用了预训练在视觉和代码方面的专业知识。
以输入为条件的仲裁： 根据输入的特定需求和生成上下文，动态调整对视觉分支与代码分支的依赖程度。

作者总结道，通过 token 级的仲裁来显式建模视觉接地与代码合成之间的交互，是图表转代码生成迈出的关键一步，使模型能够自适应地处理不同类型图表的多样化需求。未来的工作建议探索更具参数效率的融合范式，以在不增加模型参数的情况下实现类似的集成。