ADVENT: LLM-Driven Automatic Predicate Invention for ILP
本文介绍了 ADVENT，这是一个由大语言模型（LLM）驱动的框架，它通过结合溯因生成与演绎验证，实现了归纳逻辑程序设计（ILP）中谓词发明的自动化，从而创建出具有人类可解释性的规则并实现跨任务的知识复用，在传统 ILP 方法失效的情况下显著提升了成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人如何玩扑克。你给机器人一副扑克牌，并列出一系列规则，比如“红桃是红色的”或“7是一个数字”。
但你并没有告诉机器人什么是“同花”（五张花色相同的牌）或“顺子”（五张连续的数字）究竟是什么。
机器人试图自行学习这些概念，但它碰壁了。它只能看到单张的牌，却看不见连接这些牌的隐藏模式。这就像试图通过仅仅列出乐器的名称来描述一场交响乐，却从未听过其中的旋律。
这篇论文介绍了一种名为 ADVENT 的新方法，旨在帮助机器人学习这些隐藏模式。以下是它的工作原理，分为简单的步骤：
1. 问题所在：机器人对模式是“盲目”的
在人工智能逻辑（称为归纳逻辑程序设计，Inductive Logic Programming）的世界里，机器人擅长遵循严格的规则，但它们非常不擅长发明新概念。
- 旧方法： 如果机器人需要知道什么是“顺子”，通常需要人类程序员手动编写一条规则。如果程序员忘记了，机器人永远无法学会它。
- 局限性： 现有的机器人无法仅仅通过“观察”一手牌就说出：“噢，我发现了一个数字依次递增一个的模式。”它们之所以卡住，是因为缺乏描述这些新想法的词汇量。
2. 解决方案：双人搭档（发明家与裁判）
ADVENT 通过将两个强大的工具结合在一起解决了这个问题：
- 发明家（大语言模型/LLM）： 这是一个大型语言模型（类似于一个非常聪明、有创造力的 AI）。它观察数据并说：“嘿，我觉得这里有一个模式！让我们为它发明一个新词，比如
has_duplicate_rank（具有重复点数）。”它创建新的定义并赋予它们人类可读的名字。 - 裁判（Prolog）： 这是一个严格的逻辑计算机程序。它充当裁判的角色。当发明家提议一条新规则时，裁判会立即针对真实案例对其进行测试。
- 这条规则适用于获胜的手牌吗？
- 它是否会误将输掉的手牌标记为赢牌？
3. 过程：试错循环
ADVENT 不仅仅是猜测一次，它运行在一个循环中：
- 检查： 首先，系统检查机器人是否已经掌握了足够的知识。如果不是，它就开始发明循环。
- 发明： LLM 观察卡牌并提出一个新概念（例如，“这些牌具有相同的花色”）。
- 测试： 裁判（Prolog）在数据上运行这个新概念。
- 如果裁判说“错误，这条规则在这些牌上失败了”， LLM 会收到反馈，修正规则，然后再次尝试。
- 如果裁判说“成功”， 新规则就会被保存下来。
- 学习： 一旦这些新规则变得稳固，机器人就可以利用它们最终学习复杂的扑克手牌（如葫芦或同花顺）。
4. “知识库”
ADVENT 最酷的部分之一是它的知识池（Knowledge Pool）。
- 假设机器人学会了如何识别“对子”（两张点数相同的牌）。它会将这条新规则保存到库中。
- 稍后，当它需要学习“葫芦”（三张同点数和两张另一点数）时，它不必从头开始。它会在库中查找，看到它之前发明的“对子”规则，并将它与一个新的“三条”规则结合起来。
- 这使得机器人能够利用它自己发现的更简单的概念来构建复杂的想法，就像人类一砖一瓦盖房子一样。
5. 结果：它奏效了吗？
研究人员在一个扑克数据集上进行了测试（为了迷惑 AI 而将其转化为关于火车的谜题，以防止其使用先验的扑克知识）。
- 没有使用 ADVENT： 机器人完全失败了。它无法学习任何复杂的牌型。
- 使用 ADVENT： 机器人在 80% 的案例中取得了成功。
- 秘诀所在： “裁判”（形式化验证）至关重要。当 AI 只是尝试在没有严格裁判的情况下进行猜测时，它会犯错。当裁判检查每一步时，成功率显著提升。
总结
ADVENT 就像是给机器人配备了一位创意作家（用来为模式发明新词）和一位严格的编辑（用来检查这些词是否有意义）。两者结合，使机器人能够自我教学，构建知识库，并解决以前无法触及的复杂逻辑谜题。其结果是，这种 AI 不仅仅是遵循规则，它实际上能够理解并创造它成功所需的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。