💬 NLP

\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

本文提出了 \textsc{DiARC}，一种通过利用视觉变换、规则反转和特定任务编辑来构建包含信息丰富的负样本的偏好对，从而增强大语言模型类 ARC 推理能力的方法，旨在使模型能够更有效地区分正确与错误的解。

原作者： Yuxuan Yang, Feiyang Li, Yile Wang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxuan Yang, Feiyang Li, Yile Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

DIARC 论文解析：通过“错误”来学习逻辑

核心问题：教 AI 解谜

想象一下，你正在试图教一名学生如何解视觉谜题。你给他们展示几个例子：“这里是一个红色的正方形变成了一个蓝色的圆形。这里是一个绿色的三角形变成了一个黄色的星形。”然后，你给出一个新的形状并问道：“它会变成什么？”

这就是 ARC（抽象推理测试集） 挑战。这是一个纯粹考察逻辑和模式识别能力的测试。虽然大型 AI 模型（LLM）擅长写诗或解决数学问题，但在处理这些视觉谜题时却很吃力。它们经常会随机猜测或者陷入僵局，因为它们还没有掌握变化背后的“深层规则”。

旧方法：只展示正确答案

此前，研究人员尝试通过只向 AI 展示正确的答案来解决这个问题。

类比： 想象一位老师在给学生讲数学题时，只说：“答案是 5。”学生记住了“5”是这个特定问题的答案，但他们并不理解为什么是 5。如果题目稍作改变，学生就会失败。
论文的批判： 作者认为，仅仅展示“正确”的答案是不够的。AI 需要学会什么才是“错误”的。

新思路：从“差一点就对”的错误中学习

作者提出了一种名为 DIARC 的新方法。其核心思想非常简单：要学会正确的规则，你也必须学会识别错误的规则。

类比： 想象一位大师级厨师在教徒弟。
- 旧方法： 厨师说：“这碗汤味道完美。记住这个味道。”
- DIARC 方法： 厨师说：“这碗汤味道完美。但看看另外这三碗：一碗盐放多了，一碗少了香料，还有一碗烧焦了。它们看起来也像汤，但它们是错的。你能分辨出它们的区别吗？”

通过向 AI 展示那些“差一点就对”但实际上是错误的答案，AI 就能学会区分真实的模式与伪造的模式。

他们是如何制造“错误”答案的（三种技巧）

论文描述了三种巧妙的方法，用于在不改变原始谜题的情况下创建这些“错误”答案（负样本）：

视觉微调（输出层级）：
- 做法： 他们将正确的答案进行轻微的破坏。比如，将整个图像稍微向左移动一点，或者模糊边缘。
- 隐喻： 这就像是拍了一张完美的照片，然后稍微倾斜了相机，或者增加了一些噪点。照片看起来仍然像那个场景，但并不完全正确。
规则翻转（DSL 层级）：
- 做法： 他们观察 AI 用来解决谜题的“代码”或逻辑。如果规则是“向上移动所有物体”，他们就将其翻转为“向下移动所有物体”。
- 隐喻： 如果游戏的规则是“看到红灯时跳跃”，他们会创造一个假规则：“看到绿灯时跳跃。”这听起来很有逻辑，但它与事实相反。
智能编辑（任务特定型）：
- 做法： 他们使用超级智能的 AI（如 GPT-5.4）将特定谜题的规则改写为“语义上的反义词”。
- 隐喻： 如果谜题是关于“装满水桶”，AI 会将规则修改为“倒空水桶”。这是一个非常具体且具有迷惑性的错误，看起来像是正确的，但其实不是。

结果：更聪明的学生

研究人员在六个不同的谜题基准测试上测试了这种方法。他们使用了三种不同的开源 AI 模型，并将其与仅从正确答案中学习的模型进行了对比。

结果： 使用 DIARC（“识别错误”法）训练的模型得分显著提高。
亮点： 使用名为 Qwen3 的模型，他们在一些最难的谜题上达到了超过 96% 的准确率。这击败了许多昂贵的闭源模型，甚至包括专门为这些任务设计的 AI。

总结

该论文认为，要让 AI 更好地进行抽象推理，我们不应仅仅喂给它正确的答案。我们需要教会它拒绝错误答案。通过创造“差一点就对”的错误，并训练 AI 在诱人的错误路径中选择正确的路径，AI 能够更快、更有效地学习谜题背后的真实逻辑。

DIARC 技术摘要：区分正样本与负样本有助于提升大语言模型的类 ARC 推理能力

问题陈述

抽象与推理基准测试（ARC）要求模型从少量输入-输出网格示例中推断潜在的转换规则，并将这些规则应用于新的测试输入。尽管大语言模型（LLMs）在自然语言和数学推理方面取得了进展，但在处理 ARC 类抽象符号任务时仍表现挣扎。目前提高 LLM 在 ARC 上性能的方法主要依赖于使用数据增强来创建更多训练示例的监督微调（SFT）。然而，这些方法在开源模型上效果不尽如人意，且在闭源模型上的成本极高。

作者识别了当前基于 SFT 方法的三个关键局限性：

生成难度： ARC 输出序列通常很长，使得逐步预测 token 变得困难。
局部与全局： SFT 侧重于局部 token 信息，而 ARC 任务需要理解全局网格特征。
缺乏负向引导： 现有方法仅依赖于正样本（正确的输入-输出对），缺乏来自错误输出的引导。作者认为，解决 ARC 不仅需要学习正确的模式，还需要具备将正确规则与看似合理但错误的“近失”（near-miss）替代方案区分开来的能力。

方法论：DIARC

为了解决这些局限性，作者提出了 DIARC，这是一个偏好对齐框架，旨在优化 LLM 以区分正确输出与被拒绝的负样本。该方法由三个核心组件组成：

1. 负样本构建
DIARC 不仅仅依赖正确目标，而是构建偏好对 $(x, y^+, y^-)$ ，其中 $y^+$ 是正确输出， $y^-$ 是从同一任务中衍生的负样本。负样本在三个不同层级进行构建，以确保它们是具有信息量的“近失”样本：

输出级视觉转换 ( $NG_{Vis}$ )： 通过四个家族中的 28 种原子操作直接修改输出网格：
- 网格块算子：（例如：池化、众数中心化、移除小组件）这些算子保留粗略布局但破坏细粒度结构。
- 刚性平移： 在八个方向上以 10% 或 30% 的幅度平移网格内容。
- 形态学/几何算子：（例如：腐蚀、膨胀、骨架化）改变物体形状同时保持空间布局。
- 局部扰动： 注入噪声或交换边界像素。
DSL 级规则反转 ( $NG_{DSL}$ )： 在程序层面进行操作。作者分析了使用领域特定语言（DSL）编写的任务特定转换程序。他们识别出循环出现的局部规则模式，并对这些模式应用语义反转（inversion），从而生成一个产生错误规则输出但仍与原始逻辑接近的程序。
任务特定规则编辑 ( $NG_{Edit}$ )： 使用 LLM (GPT-5.4) 辅助编辑特定任务的转换规则。目标是生成一个与原始规则语义相反或高度相似的替代规则，导致不同的转换行为，确保负样本在结构上相似但在逻辑上截然不同。

2. 偏好优化流水线
一旦构建了偏好对，模型将使用**直接偏好优化（DPO）**进行训练。与需要显式奖励模型的强化学习（RLHF）不同，DPO 直接优化策略模型 $\pi_\theta$ ，使其相对于参考模型 $\pi_{ref}$ ，为选定的输出 ( $y^+$ ) 分配比被拒绝的输出 ( $y^-$ ) 更高的概率。其损失函数为：
$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$
策略模型从 SFT 模型开始初始化，而参考模型是该 SFT 模型的冻结副本。

核心贡献

监督范式的转变： 本文认为，ARC 推理能力的提升需要超越纯粹的正样本监督，转向包含对负样本的辨析，这借鉴了认知科学中关于学习涉及识别并纠正错误的原理。
三层负样本构建： 提出了通过视觉转换、DSL 规则反转和任务特定规则编辑来系统生成信息丰富的负样本的方法。
针对 ARC 的偏好对齐： 将 DPO 应用于 ARC 任务，证明了通过优化正确输出与看似合理的错误输出之间的区别，可以增强推理能力。

实验结果

作者在六个基准测试上评估了 DIARC：ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC, 和 ARCcommunity，使用了三种开源 LLM 后端（Llama-3.2-3B, Mistral-NeMo-Minitron-8B, 和 Qwen3-4B）。

持续的提升： 在所有数据集和模型规模下，DIARC 的表现均一致优于仅进行 SFT 的基线模型。
达到最先进水平（SOTA）： 使用 Qwen3 模型，DIARC 在 ARC-AGI-1 上达到了 97.00% 的准确率，在 ARC-AGI-2 上达到了 33.06%。在 MiniARC 和 ConceptARC 上，它分别达到了 97.32% 和 97.29%。
对比： 这些结果优于各种 ARC 专用模型（如 HRM, GRAM, VARC）以及强大的闭源 LLM（如 GPT-4, o1-mini, Kimi K2.5）。
消融实验： 实验表明，所有三种负样本构建策略都对性能提升做出了贡献，其中“随机扰动”（Random Perturb）和“刚性平移”（Rigid Shift）在特定基准测试上通常能提供显著的改进。

意义与主张

本文主张，区分正确规则与看似合理的近失替代方案的能力，是 ARC 推理中一项至关重要且在标准 SFT 中常被忽视的技能。通过利用偏好对齐，DIARC 使模型不仅能学习什么是答案，还能学习为什么某些看似合理的替代方案是错误的。作者指出，这种方法提供了一种具有成本效益的方式，使开源模型在抽象推理任务上能够达到甚至超过昂贵的闭源系统，且无需像前沿模型那样承担巨大的推理成本。这项工作表明，未来 ARC 推理能力的提升可能更多取决于负样本构建的质量和偏好优化的效果，而非仅仅依靠扩大数据规模或模型参数量。