🤖 machine learning

Consistency-Driven Co-Evolution for Self-Supervised Cross-Representation Learning

本文介绍了 CoCoEvolve，这是一个通过定义显式的、一对一的对应关系，并在训练和推理过程中通过协同进化过程来优化一致性，从而在无需昂贵标注的情况下提升跨表示理解能力的自监督框架，该框架增强了图表、表格与代码之间的理解。

原作者： Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuehang Guo, Pengyuan Li, Tom Hope, Tirthankar Ghosal, Manling Li, Qingyun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人理解世界，但你只给了它三种不同的语言来描述同一件事物：一张图表的图片、一份数字组成的电子表格，以及用于绘制该图表的计算机代码。这就是“跨表示学习”（cross-representation learning）的挑战。在现实世界中，数据不仅仅是单一的存在；它既是你看到的图表，也是你阅读的表格，也是计算机遵循的指令。问题在于，这三者并不总是完美匹配的。一张图片可能由许多不同的电子表格绘制而成，而一个电子表格也可能被转化为许多不同的代码。这就像是试图将一首诗翻译成一首歌和一幅画，但你没有词典，而且翻译员一直在瞎猜。

长期以来，科学家们试图通过雇佣人类为每一个例子写下“完美”的翻译来解决这个问题。但这既昂贵又缓慢，而且通常是不可能的，因为并不存在唯一的正确答案。核心问题一直是：我们能否教会计算机在不需要人类老师每一步进行指导的情况下，去学习这些联系？我们能否让计算机通过观察图片、数字和代码是否都在讲述同一个故事，来检查自己的工作？

就在这时，一种被称为 CoCoEvolve 的新想法出现了。把它想象成一场由三个朋友进行的“传声筒”游戏，他们试图描述同一个秘密物体。在这个游戏中，一个朋友画出物体，另一个记录下测量数据，第三个编写构建它的指令。通常，如果他们出了错，这个故事就会崩塌。但 CoCoEvolve 改变了规则。他们不再等待老师说“做得好”或“再试一次”，而是让这三个朋友不断地互相检查。如果绘画与测量数据不符，或者指令构建出的图表看起来不对劲，他们就知道出错了。他们利用这种“不一致”作为改进的信号，而无需人类告诉他们答案。

该论文介绍了一个系统，其中两个 AI 模型充当这些朋友。一个模型试图将图表图像转换为表格和代码，而另一个模型则试图将该表格转回代码。它们在一个循环中不断演进。如果它们生成的代码能够实际运行并绘制出一张看起来与原始图像一致的图表，它们就会获得“奖励”。如果代码失败或图表看起来很奇怪，它们就会从失败中学习。研究人员发现，通过迫使 AI 使图片、数字和代码保持完美一致，模型对数据的理解能力得到了显著提升。

团队在四个基准测试（测试题集）上对该系统进行了测试，发现 CoCoEvolve 显著提高了 AI 的性能。在某些情况下，模型在处理未见过的全新数据时，将图表翻译为代码的能力提升了高达 37.91%，在其他复杂场景中提升了高达 46.88%。更令人印象深刻的是，该系统在不需要任何额外人工标签进行教学的情况下即可运作。它仅仅利用了不同形式数据之间的一致性作为自身的老师。

该论文还反对传统的做法，即假设每张图表都恰好对应一个完美的表格和一个完美的代码。研究人员指出，这种“一对一”的假设实际上是一个陷阱。因为一张图表可以用许多种有效的方式来描述，强迫 AI 仅选择一个“正确”答案往往会令其困惑并导致表现下降。通过拥抱“虽然存在多种有效的描述方式，但所有有效方式必须相互一致”这一理念，CoCoEvolve 避开了这些陷阱。

简而言之，这篇论文表明，与其雇佣一支教师军队来批改每一份家庭作业，我们不如通过确保 AI 的不同“语言”（图像、表格和代码）讲述同一个一致的故事，来教会 AI 成为它自己的老师。研究结果表明，这种方法是一种强大、廉价且灵活的方式，能帮助 AI 理解数据那复杂且多维的世界。

技术摘要：CoCoEvolve

问题陈述

本文探讨了跨表示理解（cross-representation understanding）在三种模态：图表图像 ( $V$ )、表格数据 ( $T$ ) 和可视化代码 ( $C$ ) 之间的基础挑战。目前的 AI 系统在处理此类任务时面临三个主要瓶颈：

内在的一对多歧义性： 单个图表图像可能对应多个有效的表格表示和多个有效的渲染程序。现有的基准测试通常假设约束性的“一对一”地面真值（ground truth），这在定义上是不明确的，且未能捕捉到这些映射中自然的冗余性和歧义性。
监督歧义与成本： 精确标注庞大的潜在对应关系空间成本极高，导致缺乏高质量、有原则的注释。
缺乏原则性的优化信号： 现有方法依赖于固定的、特定任务的目标（例如图表到表格或图表到代码）。这些局部目标无法强制执行全局语义正确性，也无法泛化到反向方向（例如表格到图表）或未见的表示组合（例如表格到代码）。

方法论：CoCoEvolve

作者引入了 CoCoEvolve，这是一个一致性驱动的协同进化框架，旨在通过利用表示之间的相互一致性，在无需额外注释的情况下优化模型。

1. 原则性的约束定义

为了解决一对多歧义性，该框架通过使用辅助描述性约束 ( $s \in S$ ) 增强映射函数，将一对多映射落地为精确的一对一对应。这种落地方式使得图表图像 $v$ 、表格 $t$ 和代码片段 $c$ 被视为同一底层语义在特定约束条件下的多种表示形式。

2. 协同进化框架

该框架采用两个模型： $M_\theta$ （处理 $V \to T$ 和 $V \to C$ ）和 $M_\psi$ （处理 $T \to C$ ），它们通过一个表示循环（ $V \to T \to C \to V$ ）进行协同进化。

CoCoEvolve@Train（训练阶段）： 模型在无注释的图表图像上进行联合训练。训练信号并非依赖于地面真值标签，而是源自跨表示一致性。
- 分层奖励： 系统基于以下内容计算共享奖励：
  - 代码一致性 ( $F_c$ )： 通过执行成功率和嵌入相似度来衡量两个模型生成的代码之间的语义一致性。
  - 视觉一致性 ( $F_v$ )： 通过四个指标衡量渲染图表之间的视觉一致性：CLIP 语义相似度、SSIM 结构相似度、OCR 文本准确度和 DINOv2 感知相似度。
  - 格式奖励 ( $F_f$ )： 确保输出符合良好的结构化格式。
- 耦合优化： 模型通过采样和奖励进行耦合。 $M_\psi$ 以 $M_\theta$ 的输出为条件，且每个模型的优势（advantage）都源自一个取决于另一个模型输出的奖励泛函。通过引入针对原始图表的个体落地奖励，该机制防止了模型为了达成相互一致但语义错误的输出而进行的“合谋”现象。
CoCoEvolve@Test（测试阶段）： 在推理时，该框架应用相同的一致性目标来共同优化模型。给定输入后，它从两个模型中生成多个 Rollout（采样路径），并根据一致性奖励选择最佳输出，从而在推理时有效地精炼预测结果，而无需更新模型权重。
监督扩展： 当存在高质量注释时，该框架可以无缝集成教师模块 ( $M$ )。这允许采用线性退火策略，使系统从教师引导的协同训练过渡到完全自监督的协同进化。

3. 评估套件 (CoCoEvolve@Eval)

作者提出了一个统一的评估套件，避免了将复杂的评估简化为单一评分的不确定性。它将评估分解为可解释的多维指标：

规则作为评判者 (Rule-as-Judge)： 使用确定性指标来评估图表的结构、语义、感知和文本准确性；代码的可执行性和代码质量；以及表格的模式（schema）和数值准确性。
LLM 作为评判者 & MLLM 作为评判者： 在数据正确性、图表类型、结构保真度和视觉风格等维度上进行细粒度评分（0-5 分制），而非仅使用单一的宽范围评分。

核心贡献

原则性的约束定义： 本文引入了一个正式的定义，将内在的一对多映射落地为精确的一对一对应，填补了现有基准测试忽略的空白。
CoCoEvolve 框架： 一种新颖的协同进化框架，将跨表示一致性转化为一种原则性的、无需注释的自监督信号。它支持在训练和测试两个阶段进行优化，且与任务方向和表示组合无关。
统一的评估套件： 一个涵盖循环中所有六个跨表示任务的系统化评估套件，利用多维评估克服了当前 LLM/MLLM 评判方法的局限性。
实证验证： 通过在多个基准测试和模型架构上的广泛实验，证明了显著的性能提升。

结果

实验在四个基准测试（ChartCoder, ChartNet, ChartMimic, Chart2Code）上进行，使用了多种 MLLM 和 LLM（如 Qwen3-VL, InternVL3.5, DeepSeek-Coder）。

性能增益： CoCoEvolve 在训练阶段和测试阶段均表现出持续的性能提升。
- 在非重叠测试集上，其增益高达 37.91%。
- 在分布外（out-of-domain）设置下，提升幅度达到 46.88%。
- 代码执行成功率显著提高，某些配置实现了 100.00% 的沙盒执行成功率。
泛化能力： 该方法展示了对分布外任务（不同复杂度和领域如物理、金融、生物）以及不同强化学习算法（GRPO, DAPO, GSPO）的强大泛化能力。
消融研究： 在训练和测试阶段同时引入教师模块可获得最平衡的性能，而仅进行测试时优化也能持续提升所有六项任务的结果。

意义与主张

本文声称 CoCoEvolve 为结构化推理任务提供了一种可扩展的替代方案，以取代依赖大量标注的流水线。通过将跨模态一致性视为可靠的监督信号，该框架使模型能够实现“共生协同进化”，其中一个模型的改进能为另一个模型提供更强的监督。作者断言，这种方法有效地解决了监督歧义和缺乏方向自适应优化信号的问题，从而增强了跨表示理解能力，并在任务、方向和领域之间实现了泛化。这项工作表明，通过一致性来强制执行全局语义正确性，是实现无需依赖固定地面真值标签的多模态推理的一条可行路径。