🤖 machine learning

Counterexample Guided Learning in the Large using Reasoning Agents

本文表明，通过为 LLM 智能体配备反例引导学习策略（即由验证器针对错误的正则表达式候选方案提供具体的反馈），与标准提示相比，可以显著提高其在复杂符号归纳任务中的样本效率和成功率。

原作者： Hongyi Liu, Frederic Sala, Thomas Reps, Adithya Murali

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongyi Liu, Frederic Sala, Thomas Reps, Adithya Murali

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个非常聪明但有点困惑的机器人如何整理一堆乱七八糟的玩具。你想让机器人学习一个特定的规则，比如“保留所有的红色积木和蓝色汽车，但扔掉其他所有东西。”

在过去，你可能只是给机器人展示一些例子：“这是一个红色的积木（保留），这是一个蓝色的汽车（保留），这是一个绿色的球（扔掉）。”机器人会猜出一个规则。如果它猜错了，你只需再给它展示更多例子。这就像是标准提示（Standard Prompting）：你不断喂入数据，希望机器人最终能琢磨出规律。

这篇论文介绍了一种更聪明的教导机器人的方法，叫做反例引导学习（Counterexample-Guided Learning）。与其只是展示更多随机的例子，不如给机器人配备一位充当严格校对员的“老师”。

核心思想：“校对员”老师

以下是这种新方法的工作原理，我们使用一个简单的类比：

猜测： 机器人（“学习者”）观察你给它的例子，并写下一个规则（“正则表达式”，这只是一个高级的说法，意指一种模式描述）。
检查： 一个“老师”（一个知道实际正确规则的计算机程序）会检查机器人的规则。
反例（“抓包！”）： 如果机器人的规则错了，老师不会仅仅说“不对”。它会找到一个机器人弄错的具体玩具。
- 例子： 机器人的规则是“保留所有红色的东西”。老师找到了一个红色的球，根据真实规则，这个球应该被扔掉。老师把这个红球递给机器人，并说：“看！你留住了这个，但你不应该留住它。修改你的规则吧。”
- 这个特定的错误被称为反例（Counterexample）。它是证明当前猜测为何失败的直接证据。

“秘密武器”：聚类错误

研究发现，有时机器人会反复犯同一种类型的错误。如果规则是“保留所有字母”，而机器人漏掉了字母“Z”，那么老师一次性展示“Z”、“A”、“B”、“C”……就会显得太吵闹了。

因此，作者发明了聚类反例（Clustered Counterexamples）。老师不再向机器人展示 26 个错误的字母，而是说：“你漏掉了字母这一整个类别。”它将相似的错误组合在一起，形成一个单一且强力的线索。这有助于机器人理解其错误的“模式”，而不仅仅是死记硬背一份错误清单。

“智能体”工作流：反思与修复

论文还为机器人提供了一个可以思考自身思考过程的“大脑”。这被称为智能体工作流（Agentic Workflow）。它包含两个循环：

反思（“停下来想一想”）： 在老师指出错误后，机器人会被要求停下来并解释为什么会犯这个错误。“噢，我以为‘红色’意味着‘所有的红色物品’，但规则实际上是指‘仅限红色积木’。”这有助于机器人学习逻辑，而不只是学习答案。
修复循环（“重来一遍”）： 如果机器人的新规则仍然存在语法错误（比如打错字）或者仍然搞错了一个例子，系统不会放弃。它会将机器人送回起跑线，并附上一条具体的说明：“你的规则在这里有个错别字，而且你还是把那个红球搞错了。再试一次。”机器人会不断尝试，直到做对为止。

研究发现

研究人员在两类“玩具分类”任务上测试了该方法：

简单规则： 基础模式（如“红色积木”）。
复杂规则： 包含大量嵌套条件的棘手模式（如“是红色的积木，且必须是正方形，但如果它是闪亮的则不算”）。

结果显示：

标准教学法（仅展示例子）在处理复杂规则时表现糟糕。机器人会陷入错误模式的死循环。
反例教学法（使用“抓包！”反馈）让机器人的表现大幅提升。它学习复杂规则所需的例子也大大减少。
“智能体”方法（反思 + 修复）是最终的赢家。在最难的任务中，成功率从微不足道的 3.2%（使用标准教学法）跃升至 38.1%。在另一组困难任务中，成功率从 38.9% 跃升至 74.1%。

总结

这篇论文声称，大语言模型（LLMs）擅长“猜”，但当它们仅仅获得更多数据时，它们会感到吃力。它们需要丰富、结构化的反馈，明确告诉它们哪里错了以及为什么错。

通过将学习过程变成一场由严厉老师引导的“热与冷”游戏（即指出具体错误并将其归类），并通过给予模型反思和修复自身工作的机会，我们可以教会它解决以前无法处理的复杂符号谜题。

简而言之： 不要只是给学生布置更多的作业；要给他们一位能指出具体错误、解释逻辑，并让他们不断尝试直到做对为止的老师。

技术摘要：利用推理智能体进行大规模反例引导学习

问题陈述

本文探讨了如何使大语言模型（LLM）和智能体能够有效地从反馈中学习和适应。虽然反馈对于编程智能体、工具使用者和个性化助手至关重要，但由于典型的反馈机制具有异构性、领域特定性和缺乏可控性，衡量并提高模型利用反馈的能力非常困难。

为了为这种能力创建一个可控的测试平台，作者专注于正则表达式（regex）归纳。这是一个经典的符号学习问题，目标是从一组标记字符串（正例和负例）中推导出正则表达式（目标语言 $L^\star$ ）。该任务具有内在的挑战性，因为许多候选表达式都能拟合一小组示例，从而导致对表面模式的过拟合。作者将此问题构架为一个由 Oracle 指导的符号生成问题，其中 LLM（学习者）根据来自验证器（教师）以反例形式提供的反馈，迭代地优化其假设。

方法论

所提出的框架将 LLM 与教师-学习者循环相结合，并通过智能体工作流进行了增强。该系统通过以下组件运行：

1. 教师-学习者迭代框架

学习者： 一个 LLM 根据当前的标记示例集提出候选正则表达式。
教师： 一个验证器检查候选表达式是否符合目标语言。由于正则语言的等价性是可判定的，教师会构建候选表达式与目标语言之间的对称差 $L(\hat{r}) \triangle L^\star$ 。
反馈： 如果候选表达式不正确，教师会返回反例（应当在目标语言中但不在其中的字符串，或反之亦然）。这些反例会被添加到下一轮的训练集中。

2. 反例合成与聚类

为了管理潜在的无限数量的反例（特别是那些由 Kleene star/循环产生的反例），作者引入了聚类反例（Clustered Counterexamples）：

教师不再返回单个字符串，而是分析最小化的差异自动机。
它将导致相同目标状态的状态发出的输出符号分组为“超字符”（例如，将 $\{A, \dots, Z, a, \dots, z\}$ 表示为 $[A-Za-z]$）。
聚类反例是使用这些超字符在自动机中形成的路径，代表了一组共享相同失败模式的具体字符串集合。这提供了一个更系统且冗余度更低的错误区域视图。

3. 智能体工作流

该框架将标准的教师-学习者循环提升为包含两个循环的智能体工作流：

外层循环（反思）： 提示 LLM 对之前的尝试进行反思。它接收之前的假设、其推理轨迹以及新的反例。模型被指示解释失败的原因以及如何修订假设。
内层循环（修复）： 为了确保一致性，系统采用了修复循环。它反复查询 LLM 以生成满足以下条件的候选表达式：
1. 语法检查： 正则表达式必须在语法上有效。
2. 满足检查： 正则表达式必须正确标记所有累积的反例。
- 一个 RepairScore 函数会对候选表达式进行评估，基于编译成功率和误分类示例的比例，从多次重试中选择最佳候选者。

4. 正则化

为了防止 LLM 生成过于具体或复杂的表达式（这些表达式虽然拟合了当前的样本集但在泛化时会失败），系统采用了提示级正则化。这包括对最大表达式长度、算子嵌套深度以及向更简单假设倾斜的约束。

核心贡献

Oracle 指导的公式化： 本文将基于 LLM 的正则归纳构架为一个迭代的符号学习问题，其中假设通过反例反馈进行优化，弥合了传统程序合成（CEGIS）与现代 LLM 推理之间的鸿沟。
主动学习方法论： 引入了构建有效 LLM 主动学习者的技术，特别是符号反例聚类和旨在优先考虑更简单、更合理假设的正则化。
智能体工作流： 作者开发了一种新型智能体框架，利用反思（以提取错误的结构性含义）和迭代修复循环（以修订失败的假设）来超越简单的提示驱动生成。
严格评估： 研究通过两个数据集（简单正则和扩展正则）和多个基座模型进行了全面评估，分析了性能动态、样本效率以及特定组件的影响。

结果

作者在两个数据集上评估了其框架：简单正则（基于 $\{a, b, c\}$ 的标准算子）和扩展正则（支持交集、否定和复杂量词）。

性能提升： 在最困难的任务（高 StarDepth）上，反例引导的框架显著优于标准提示。
- 在简单正则（StarDepth 4）上，成功率从 3.2%（标准）提升至 38.1%（智能体）。
- 在扩展正则（StarDepth 2）上，成功率从 38.9%（标准）提升至 74.1%（智能体）。
样本效率： 与使用随机采样示例的方法相比，反例引导的学习大幅减少了达到目标准确率所需的标记示例数量。
组件分析：
- 聚类反例： 始终优于非聚类（单个字符串）反例，这表明反馈的质量和系统性覆盖比单纯的反馈量更重要。
- 智能体 vs 单次推理： 使用相同反例的完整智能体工作流（包含反思和修复）始终优于单次推理方法，尽管其 Token 成本更高。
- 模型无关性： 改进在各种基座模型（Qwen3, GPT-5.4 变体, GPT-oss）中均有观察到，表明该框架对模型选择具有鲁棒性。
- 消融实验： 虽然正则化有助于防止早期过拟合，但修复循环提供了最大的性能增益。反思对成功有所贡献，但其重要性低于修复机制。

意义与主张

本文的主张是，LLM 可以从超越“将反馈视为额外数据”的丰富反馈中获益。通过将反馈视为一种结构化的、迭代的信号（反例）而非静态的训练数据，LLM 可以进行稳健的、由验证器引导的精炼。

作者将这项工作定位为迈向基于 LLM 的程序合成和形式化推理的稳健验证器引导方法的一步。他们认为，在可以合成信息化失败案例的领域（可验证领域），智能体可以超越仅仅拟合示例，转而进行可靠的迭代精炼。研究表明，符号验证（反例）与智能体推理（反思/修复）的结合产生了一种协同作用，使得 LLM 能够解决标准提示无法处理的复杂符号归纳任务。