CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

CogFlow 是一个受人类认知启发的三阶段框架，通过引入知识内化机制、协同视觉奖励及视觉门控策略优化算法，有效解决了多模态大模型在视觉数学推理中感知与推理脱节的问题，并配合新构建的 MathCog 数据集显著提升了模型性能。

要点

这篇论文介绍了一个名为 COGFLOW 的新系统，它旨在解决人工智能（AI）在解决“看图数学题”时的一个核心痛点：AI 往往“看错了图”或者“看对了图却没理解透”，导致后面的推理过程虽然听起来很有道理，但其实是建立在错误基础上的“空中楼阁”。

为了让你更容易理解，我们可以把 AI 做数学题的过程想象成一个学生参加数学考试。

1. 以前的 AI 是怎么做题的？（痛点）

想象一下，以前的 AI 模型（比如 VLM-R1 或 MathFlow）在解题时有两种常见的“坏习惯”：

• 坏习惯一：边看边想，手忙脚乱（One-step Reasoning）。
  这就好比一个学生拿到题目，眼睛盯着图，脑子里同时开始写解题步骤。因为注意力太分散，他可能把图里的"5"看成了"3"，或者把“直径”看成了“半径”。一旦看错了，后面的计算全错，但他自己还觉得逻辑很通顺。
• 坏习惯二：先看图，再做题，但中间“断片”了（Decoupled Pipeline）。
  这种模式稍微好点，先专门看图，把图里的信息提取出来（比如：这是一个圆，半径是 5），然后再开始推理。
  但是！ 问题出在中间环节。就像学生把图里的信息抄到了草稿纸上，但在开始正式解题时，他忘记了自己抄的是什么，或者抄错了，甚至开始瞎编一些图里根本没有的条件（比如图里明明没有直角，他非要假设有个直角）。这就叫**“推理漂移”（Reasoning Drift）**。他后面的推理步骤可能逻辑完美，但因为起点（视觉信息）错了，答案还是错的。

2. COGFLOW 是怎么解决的？（核心创新）

COGFLOW 受到人类认知科学的启发，认为人类解题不是“看一眼就答”，而是分三个清晰的阶段：感知（看） -> 内化（懂） -> 推理（算）。

它把这三个阶段像盖房子一样，一层一层地加固：

第一阶段：感知（Perception）—— “把图看得清清楚楚”

• 以前的做法： 只是大概看一眼，说“这里有个圆”。
• COGFLOW 的做法： 它引入了**“协同视觉奖励”（Synergistic Visual Rewards）**。
  • 比喻： 这就像给 AI 配了两个“纠错老师”。
    • 老师 A（参数老师）： 拿着尺子量。如果图里说圆半径是 5，AI 说 5.1，老师 A 就会扣分。它确保几何数据的精准度。
    • 老师 B（审美老师）： 拿着整体图看。如果 AI 把圆画歪了，或者线条位置不对，老师 B 就会扣分。它确保整体布局和图的一致性。
  • 结果： AI 被迫把图里的每一个点、每一条线都精准地“翻译”成数学语言，不再瞎蒙。

第二阶段：内化（Internalization）—— “把看到的变成脑子里的知识”

• 以前的做法： 把看到的点（A 点坐标）直接扔给推理模块，中间没有消化。
• COGFLOW 的做法： 增加了一个**“知识内化奖励”（Knowledge Internalization Reward）**。
  • 比喻： 这就像学生把草稿纸上的数据，重新整理成自己的“解题笔记”。
  • 在这个阶段，AI 必须明确地告诉自己：“因为 AB 是直径，所以角 ACB 是 90 度”。它不能直接跳步。
  • 如果 AI 试图在笔记里编造一个图里没有的条件（比如“因为三角形是等腰的”但图里没画），这个“内化老师”会立刻发现并惩罚它。
  • 作用： 这就像给推理过程加了一道**“安检门”**，确保推理的起点是绝对忠实于图片的，防止“推理漂移”。

第三阶段：推理（Reasoning）—— “基于事实的逻辑推导”

• 以前的做法： 只要最后答案对就行，不管中间是不是瞎编的。
• COGFLOW 的做法： 引入了**“视觉门控策略优化”（Visual-Gated Policy Optimization, VGPO）**。
  • 比喻： 这就像考试时的**“自我检查机制”**。
  • 在 AI 开始写解题步骤之前，它会先问自己：“我刚才看的图准不准？”
  • 如果它觉得自己刚才“看”得不够好（比如坐标算错了），它会被**“门”挡住，不允许进入推理阶段，必须重新看一遍图**，直到看准了为止。
  • 只有通过了“视觉安检”的高质量感知，才能进入推理环节。这确保了推理是脚踏实地的，而不是在沙滩上盖楼。

3. 他们做了什么额外的工作？（数据集）

为了让 AI 学会这种“分步走”的解题习惯，作者们还专门制作了一个叫 MATHCOG 的大题库。

• 比喻： 以前的题库只给“题目”和“答案”。COGFLOW 的题库不仅给题目，还详细标注了**“怎么看图（Watching）”、“怎么理解（Thinking/内化）”和“怎么算（Answer）”**。
• 这个题库里有 12 万多个高质量的样本，专门训练 AI 如何把“看到的”完美地转化为“想到的”。

4. 效果怎么样？

实验结果显示，COGFLOW 在多个数学视觉推理的测试中，表现都吊打了现有的开源模型，甚至能和一些闭源的超级大模型（如 GPT-4o, Claude 等）掰手腕，而且它的模型大小（7B）比那些大模型小得多。

总结一下：
COGFLOW 就像是一个严谨的数学学霸。它不急着下笔，而是先精准地观察（感知），然后深刻地理解（内化），最后逻辑严密地推导（推理）。它通过一套特殊的“奖励机制”和“安检门”，强迫 AI 改掉“瞎编”和“看错”的坏毛病，真正做到了**“所见即所得，所得即所推”**。

技术摘要

COGFLOW 技术总结

1. 研究背景与核心问题

多模态大语言模型（MLLMs）在视觉数学问题求解（如几何题、代数图表分析）方面虽然取得了进展，但仍面临严峻挑战。现有方法主要分为两类：

• 一步式推理（One-step Reasoning）： 将视觉感知与推理混合，导致感知和推理错误相互干扰。
• 解耦式推理（Decoupled Reasoning）： 将感知和推理分离，先提取视觉信息再进行推理。

核心痛点：推理漂移（Reasoning Drift）
尽管解耦式方法改善了感知能力，但作者发现，提取出的视觉线索往往未能**忠实（Faithfully）**地整合到后续的推理过程中。模型倾向于生成看似逻辑连贯但违背视觉证据的推理链（即“推理漂移”）。现有的研究大多忽略了“提取的视觉线索是否被正确利用”这一关键问题。

2. 方法论：COGFLOW 框架

受认知科学中知识内化（Knowledge Internalization）理论的启发，COGFLOW 提出了一种模仿人类认知层级流的三阶段框架：感知（Perception）⇒ 内化（Internalization）⇒ 推理（Reasoning）。该框架通过强化学习（RL）对这三个阶段进行整体增强。

2.1 核心组件

A. 协同视觉奖励（Synergistic Visual Rewards, SynVRs）

旨在提升感知能力，确保从参数空间和语义空间提取的视觉信息准确且完整。

• 视觉参数化奖励（VPR）： 将提取的几何图元（点、线、圆）转换为参数方程，计算预测值与真值在参数空间中的欧氏距离（使用匈牙利算法匹配）。这保证了局部几何的精确性。
• 视觉语义奖励（VSR）： 将预测的文本描述重新渲染为图像，使用 FG-CLIP 编码器提取语义嵌入，计算与真值图像的余弦相似度。这保证了全局布局和风格的一致性。
• 作用： 两者结合，既保证了局部几何精度，又维持了全局感知连贯性，为推理提供可信的视觉线索。

B. 知识内化奖励（Knowledge Internalization Reward, IntlzR）

旨在解决“推理漂移”问题，作为感知与推理之间的桥梁。

• 机制： 训练一个奖励模型，评估推理链是否忠实于内化的视觉表示。
• 负样本构建： 针对五种典型的内化失败模式（如：遗漏/错误绑定图元、引入不存在的事实、违反几何约束、不当引用外部定理、对已建立元素的不一致引用）构建负样本轨迹。
• 优化： 使用 Softmax-DPO 算法，将一条正样本轨迹与多条负样本轨迹进行对比，强化模型生成结构化、可推理的中间表示（即“知识内化表示”），从而减少幻觉并提高可解释性。

C. 视觉门控策略优化（Visual-Gated Policy Optimization, VGPO）

旨在增强多步推理的稳定性，确保推理过程锚定在视觉证据上。

• 视觉门控（Visual Gate）： 在生成推理轨迹之前，先对感知轨迹进行质量评估。只有感知质量得分（基于 SynVRs）超过阈值的轨迹才会被保留用于后续推理；若质量低，则重新生成感知轨迹。
• 策略优化： 结合结果监督奖励（Inference Reward, InfR）和上述奖励，在组级别（Group-level）进行优化。VGPO 不仅过滤低质量感知，还通过训练过程中的门控机制塑造策略，防止模型寻找视觉未锚定的“捷径”。

2.2 数据集：MATHCOG

为了支持上述训练，作者构建了新的 MATHCOG 数据集：

• 规模： 包含超过 12 万条高质量样本。
• 结构： 显式解耦了“观察（Watching/Perception）”、“思考（Thinking/Internalization）”和“答案（Answer）”三个阶段。
• 子集： 包含 SFT 子集（监督微调）、IntlzR 子集（用于训练奖励模型，含正负样本对）和 RL 子集。

3. 主要实验结果

作者在多个主流视觉数学推理基准（FlowVerse, MathVerse, MathVista, WeMath, DynaMath 等）上进行了广泛评估。

• 性能提升： COGFLOW（基于 7B 参数量的 Qwen2.5-VL）在多个基准上显著优于现有的开源 MLLMs（如 InternVL, MultiMath 等），甚至在某些任务上超越了参数量大得多的闭源模型（如 GPT-4o, GPT-5, Claude-3.5）。
  • 例如在 FlowVerse 上，准确率从基线的 48.7% 提升至 56.2%，CoT-E（思维链评估）从 57.4% 提升至 66.0%。
  • 在 MathVista 上，整体准确率达到 76.8%，优于大多数同类模型。
• 消融实验：
  • 移除 SynVRs、IntlzR 或 VGPO 任一组件，性能均显著下降，证明了三个阶段的协同必要性。
  • 视觉门控机制在推理阶段即使单独使用也能带来约 0.6-1% 的精度提升。
• 错误分析： COGFLOW 显著降低了“感知错误”、“知识内化错误”和“推理错误”的比例，特别是有效缓解了推理漂移问题。

4. 核心贡献

1. 提出 COGFLOW 框架： 首次显式地将“知识内化”作为独立阶段引入视觉数学推理，构建了“感知⇒内化⇒推理”的层级认知流，解决了视觉线索与推理脱节的问题。
2. 设计协同奖励机制： 提出了结合参数空间（几何精度）和语义空间（布局风格）的协同视觉奖励（SynVRs），以及用于检测推理漂移的知识内化奖励（IntlzR）。
3. 引入 VGPO 算法： 设计了视觉门控策略优化，通过过滤低质量感知轨迹并锚定推理过程，显著提升了多步推理的稳定性。
4. 构建 MATHCOG 数据集： 发布了包含 12 万+ 解耦标注的高质量数据集，为视觉数学推理领域的研究提供了重要资源。

5. 意义与影响

• 理论意义： 将认知科学中的“知识内化”概念形式化为大模型训练的具体模块，为理解多模态推理中的“幻觉”和“漂移”提供了新的视角。
• 技术突破： 证明了通过显式分离并强化感知、内化和推理阶段，可以显著提升 MLLMs 在复杂视觉数学任务中的表现，且无需依赖超大参数量。
• 应用价值： 该方法不仅适用于数学解题，其“感知 - 内化 - 推理”的范式有望推广到其他需要严格视觉锚定的多模态推理任务中（如科学图表分析、医疗影像诊断等）。

综上所述，COGFLOW 通过模拟人类认知的层级过程，利用多阶段奖励和门控机制，有效解决了视觉数学推理中感知与推理脱节的关键难题，代表了该领域的一个重要进展。