🤖 AI

Bongards at the Boundary of Perception and Reasoning: Programs or Language?

本文提出了一种神经符号方法，该方法结合了用于生成参数化程序的语言大模型与用于参数拟合的贝叶斯优化来解决 Bongard 问题，从而弥合了视觉感知与抽象推理之间的鸿沟。

原作者： Cassidy Langenfeld, Claas Beger, Gloria Geng, Wasu Top Piriyakulkij, Keya Hu, Yewen Pu, Kevin Ellis

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Cassidy Langenfeld, Claas Beger, Gloria Geng, Wasu Top Piriyakulkij, Keya Hu, Yewen Pu, Kevin Ellis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：视觉谜题挑战

想象一下，你面前有 12 幅图画。其中 6 幅是“好”的（正例），另外 6 幅是“坏”的（负例）。你的任务是找出区分这两者的秘密规则。

这被称为 Bongard 问题。这些不仅仅是简单的“找不同”游戏，其规则可能极其复杂。

例子： 也许“好”图中的形状都拥有一个“水平”的“脖子”，而“坏”图中的形状则是“垂直”的脖子。或者，“好”图中的形状是“扭曲”的，而“坏”图中的形状是“平滑”的。

这篇论文提出了一个宏大的问题：人工智能（AI）能否像人类一样解决这些谜题？ 人类擅长观察全新的情境，即时创造出一个新概念（比如“水平脖子”），并将其应用其中。目前的 AI 擅长识别它以前见过的东西（比如“这是一只猫”），但在需要从零开始发明新概念时，往往会显得力不从心。

问题所在：AI 要么太死板，要么太模糊

研究人员发现，AI 在解决这些谜题时有两种主要的思考方式，但这两种方式都各有缺陷：

“聊天机器人”法（自然语言）：
- 运作方式： AI 观察图片，并尝试用文字描述规则，就像侦探在写调查报告一样。
- 缺陷： 它擅长宏观概念，但缺乏精确度。它可能会说，“好形状有点尖锐”，但它无法区分“稍微尖锐”和“非常尖锐”之间的区别。这就像一位厨师知道食谱里说要“加一撮盐”，却不知道确切的分量是多少。
“程序员”法（代码）：
- 运作方式： AI 编写一段计算机程序来检查图像。它可以测量精确的距离、角度和计数。
- 缺陷： 它擅长精确度，但缺乏创造力。如果规则是“形状看起来像一张忧伤的脸”，计算机程序很难用数学来定义什么是“忧伤”。这就像一个机器人可以精确到毫米地测量房间，却无法理解什么是“温馨”的概念。

解决方案：“翻译官”团队

作者构建了一个新的系统，它就像是一个由两名专家组成的协作团队。他们称之为“神经符号”（neurosymbolic）方法（即将神经网络/AI 与符号逻辑/程序相结合）。

以下是这个团队的工作步骤：

第一步：创意生成器（“聊天机器人”）

首先，他们要求一个强大的 AI（视觉语言模型）观察谜题，并用直白的英语猜想出几个可能的规则。

类比： 想象一场头脑风暴会议，一位创意作家提议：“也许规则是关于形状的‘脖子’！”

第二步：翻译官（“程序员”）

接下来，系统会将这些英语猜想转化为计算机代码。

转折点： AI 不仅仅是编写代码，它还会为棘手的数字留下“空格”。例如，如果规则是“脖子长度大于 X 的形状”，AI 会编写代码，但将 X 作为一个未知变量留白。
类比： 作家说：“脖子必须比 [空格] 长。” 程序员搭建好了测量脖子的机器，但仍在等待那个确切的数字。

第三步：调优器（贝叶斯优化）

这是核心秘诀。系统通过一个“试错”过程来找到那些空格中的完美数字。它会测试不同的数字（比如 5 像素、10 像素、15 像素），看看哪一个能完美地将“好”图与“坏”图分开。

类比： 想象你在调收音机。你知道电台在 90 到 100 之间，但不知道确切的频率。你会慢慢转动旋钮，直到杂音消失，音乐变得清晰完美。系统通过数学手段进行这种操作，以找到规则的精确“临界点”。

第四步：裁判（验证器）

最后，系统会检查：“这段代码在所有训练图片上都能正常工作吗？”

如果代码完美运行，系统就会接受该规则。
如果代码失败，系统会回到“聊天机器人”那里，告诉它：“这个想法行不通，再试一次，” 然后循环往复。

他们的发现是什么？

研究人员将这个“团队协作法”与现有的顶尖 AI 模型（如 GPT-4o 和 Claude 3.7）甚至普通人类的表现进行了对比测试。

团队获胜： 通过结合“聊天机器人”的创造力和“程序员”的精确性，他们的系统解决了 100 个 Bongard 问题中的 51 个。
超越人类： 在之前的研究中，人类的平均得分约为 47 分。他们的 AI 团队解决了 51 个，这标志着 AI 首次在这一特定测试中超越了人类的平均水平。
不同的优势：
- 当问题涉及几何与数学（如“这些线是否平行？”）时，“程序员”部分是英雄。
- 当问题涉及抽象概念（如“这个形状是‘开放’还是‘封闭’的？”）时，“聊天机器人”部分是英雄。
- 如果他们只使用“聊天机器人”或只使用“程序员”，表现都会变差。他们需要两者兼备。

“记忆化”检查

研究人员担心 AI 可能会通过从互联网上“作弊”（因为这些谜题很经典且流行）来直接背诵答案。为了测试这一点，他们反转了规则：他们告诉 AI “坏”图其实才是“好”图。AI 依然表现出色，这证明它并非在背诵记忆中的答案，而是在真正理解逻辑。

核心结论

这篇论文表明，要解决复杂的视觉谜题，AI 不应仅仅尝试像人类一样“思考”，也不应仅仅像计算机一样“计算”。它需要两者兼具。通过让富有创造力的 AI 提出想法，并让精确的计算机用精确的数学进行验证，我们可以构建出几乎能像人类一样（有时甚至比人类更好）学习新视觉概念的系统。

技术摘要：Bongards 在感知与推理的边界：程序还是语言？

问题定义

本文探讨了解决 Bongard 问题 (BPs) 的挑战，这是由 1970 年提出的一套经典的 100 个少样本视觉推理谜题。每个问题包含 12 张图像：六张代表“正向”概念，六张代表“负向”概念。与依赖固定逻辑序列的任务（如瑞文推理矩阵）不同，BPs 要求求解者能够即时感知新的视觉特征，并灵活地定义新的感知原语以区分两类概念。其核心难点在于感知（识别如“颈部”、“凹陷度”或“圆度”等特征）与推理（制定分隔两类的规则）之间的边界。虽然视觉语言模型 (VLMs) 在日常视觉任务中表现出色，但在处理 BPs 所需的激进泛化能力方面却显得力不从心，往往难以合成解决问题所需的精确几何或概念规则。

方法论

作者提出了一种神经符号方法，将大语言模型 (LLMs) 的高层概念推理能力与程序执行的精确性相结合。该系统通过两个主要任务运行：验证 (Verification)（在给定地面真值规则的情况下对持留图像进行分类）和 求解 (Solution)（从零开始生成规则）。

系统架构

该系统由两个主要组件组成：假设生成器 (Hypothesis Generator) 和 验证器 (Verifier)。

假设生成器：
- 利用视觉语言模型 (VLM) 生成候选自然语言规则。
- 为了提高多样性和相关性，生成器使用检索增强生成 (RAG)。它基于从以往 Bongard 问题（利用该数据集的自然课程）和随机问题中提取的上下文示例来采样规则。
- 对于“求解”任务，生成器产生多个候选规则；对于“验证”任务，它接收地面真值规则作为输入。
验证器：
- 验证器通过一种在程序归纳 (Program Induction) 与转导 (Transduction/Chain-of-Thought) 之间交替进行的混合策略来评估候选规则。
- 程序归纳：对于给定的规则，VLM 尝试合成一个参数化的 Python 程序（具体为一个 classify_image 方法）来实现该规则。
  - 参数化程序：意识到 LLMs 难以准确猜测精确的数值阈值（例如，定义“细长”与“紧凑”），系统将某些数值视为参数。
  - 贝叶斯优化：系统执行 15 步贝叶斯优化，以找到能使程序在训练样本上准确率最大化的参数值。
  - 评分：如果程序在训练集上的得分 $\ge 0.9$ ，则被接受。如果多个程序成功，则根据测试图像的多数标签决定输出。
- 转导 (CoT)：如果没有任何程序达到要求的得分，验证器会退回到思维链 (CoT) 方法，提示 VLM 根据训练示例和提出的规则直接对测试图像进行分类。

实验设置

模型：研究评估了 GPT-4o 和 Claude 3.7 Sonnet。
任务：
- 验证：给定地面真值规则时对图像进行分类。
- 求解：为整个问题集生成正确的自然语言规则。
- 反转 (Inversion)：一个控制任务，通过交换正向和负向样本来测试是否仅靠记忆。
基准测试：性能对比了基础 VLM（不含程序合成）以及之前的真人表现数据 (Wüst et al., 2025)。

核心贡献

对尖端 VLM 的评估：本文对 GPT-4o 和 Claude 3.7 在 Bongard 问题上的表现进行了严格基准测试，区分了它们验证规则与从零生成规则的能力。
混合神经符号模型：作者引入了一种新型模型，该模型能将参数化程序与自然语言推理相结合。这种方法利用了 VLM 生成高层概念的能力，以及程序执行精确几何计算和参数拟合的能力。
人机对比：研究分析了人类数据，将 VLM 和所提议的混合模型的优缺点与人类行为进行对比，识别了模型相对于人类在哪些特定类别中取得成功或失败。

结果

验证性能：
- Claude 3.7 展示了强大的性能，在结合程序化验证和 CoT 推理后，达到了 86.5% 的准确率。
- 混合方法（“两者结合”）的表现优于仅使用程序或仅使用 CoT，尤其是在空间 (Spatial) 和概念 (Concept) 类别中。程序化验证擅长处理空间和基于相似性的问题，而 CoT 则在处理高层概念和基于数字的问题方面更具优势。
- GPT-4o 在程序化性能与 CoT 性能之间表现出较大的差距，其中 CoT 通常优于程序合成，这表明混合方法的有效性取决于底层模型的代码生成能力。
求解性能：
- 使用 Claude 3.7 作为假设生成器的完整系统解决了 100 个问题中的 51 个。
- 这一结果超过了 Wüst 等人 (2025) 报告的人类平均表现，后者约为 47 个正确解。
- GPT-4o 使用混合方法解决了 31 个问题，虽然较其基准有所提升，但仍低于人类平均水平。
记忆检查：“反转”任务显示，交换正向和负向标签对模型性能影响很小，这表明模型并非仅仅在记忆特定的问题解，而是在进行真正的推理。

意义与主张

本文声称，结合自然语言和形式化程序使得 AI 系统能够比使用单一媒介更准确地对视觉概念进行推理。通过用语言生成概念并在代码中实现这些概念，该系统弥合了解决 Bongard 问题所需的“感知”（识别特征）与“推理”（应用逻辑）之间的鸿沟。

作者指出，据其所知，他们的系统首次超过了人类在 Bongard 问题上的平均准确率。他们认为这并非解决了通用视觉推理的最终方案，而是迈向 AI 系统能够“以类人方式获取并使用新感知概念”的一步。这项工作强调，尽管 VLMs 拥有庞大的预训练知识，但它们需要程序执行的精确性来处理抽象视觉谜题中的几何和参数细微差别。研究结论认为，归纳（程序合成）与转导（CoT）的互补性对于应对处于感知与推理边界的困难概念学习任务至关重要。