🤖 AI

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

本文提出了一种用于视觉问答（Visual Question Answering）的神经符号方法，该方法通过利用少样本示例和求解器反馈来从大语言模型中蒸馏答案集程序（Answer-Set Programming）规则，从而自动扩展推理理论，为传统的数据驱动型规则学习提供了一种可扩展且具可解释性的替代方案。

原作者： Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人用逻辑思考

想象你有一个非常聪明的机器人助手，它能看图并回答关于图片的问题（比如“猫是否戴着帽子？”）。这被称为视觉问答（Visual Question Answering, VQA）。

通常，这些机器人像运动员一样接受训练：它们进行数百万次的练习，直到通过猜测模式来获得正确答案。但这让它们有点像一个“黑盒”——你不知道它们为什么能得到正确答案，而且如果你问一个稍微新颖类型的问题，它们可能会感到困惑。

这篇论文的作者想要构建一个思考方式更像人类逻辑学家的机器人。他们使用了一种特殊的“规则书”，叫做答案集编程（Answer-Set Programming, ASP）。你可以把这个规则书想象成一套严格的逻辑指令（就像食谱一样），它告诉机器人如何精确地推导出答案。

问题所在： 手写这些规则书非常困难。如果你想让机器人学会一项新技能（比如以特定的方式计数物体），人类开发者必须坐下来从头开始编写新规则。这既缓慢又乏味。

解决方案： 作者们请了一位超级聪明的 AI（大语言模型，简称 LLM）来为他们编写这些规则。他们将这个过程称为**“规则蒸馏”（Distilled Rules）**。

工作原理：“导师与学生”类比

想象 LLM 是一个才华横溢但有点丢三落四的学生，它对逻辑了解很多，但还没见过这个特定的谜题。这个“老师”（计算机系统）希望学生能写出一本正确的规则书。

以下是他们使用的逐步流程：

准备阶段： 老师给学生一本“残缺”的规则书。它在大多数情况下都能工作，但缺少一条特定的规则（例如：如何在地图上找到最短路径）。
示例展示： 老师向学生展示一个例子：“这是一张地图的照片，这是问题，这是正确答案。”
尝试编写： 学生（LLM）尝试写一条新规则来修复这本残缺的书。
- 陷阱： 学生有时会犯错。他们可能会写出语法错误的规则（语法错误），或者写出看起来没错但给出错误答案的规则（逻辑错误）。
修正循环（“修补”过程）：
- 语法检查： 计算机检查规则是否是用正确的语言编写的。如果学生使用了一个规则书语言中不存在的符号，计算机就会说：“嘿，修正一下你的拼写，”然后学生再次尝试。
- 逻辑检查： 计算机运行这条新规则。如果答案错误，计算机会说：“你答错了。再试一次。”
- “安全网”（回归测试）： 一旦学生写出了一条适用于新示例的规则，计算机就会检查这条规则是否会破坏旧的示例。这就像是确保蛋糕里的新配料不会破坏你之前烤好的蛋糕的味道。
结果： 一旦规则通过了所有检查，它就会被添加到主规则书中。

“少量示例”的魔力

论文中一个非常酷的发现是，学生并不需要学习成千上万个例子。仅仅**少量的例子（有时甚至只需 1 或 2 个）**就足以让最聪明的 AI 模型理解逻辑并写出完美的规则。

这就像向一位天才厨师展示一张完美舒芙蕾的照片，然后要求他们写出食谱。他们不需要品尝 1,000 个舒芙蕾；他们只需要理解食材背后的逻辑。

竞争者：谁表现最好？

研究人员测试了不同的“学生”（AI 模型），以观察谁能写出最好的规则：

顶尖选手（GPT-4o, DeepSeek, Gemini-3）： 它们就像班里的优等生。它们几乎每次都能写出完美的规则，即使是处理涉及地图和图表的极其复杂的谜题。
- Gemini-3 特别出色。它似乎拥有一种“思考模式”，在编写规则之前会停下来检查自己的逻辑，从而实现了极少的错误和非常简洁、精炼的规则书。
挣扎的学生（LLaMA3, Mistral）： 这些模型在处理简单任务时还可以，但在面对复杂逻辑时会感到困惑。有时，给它们太多的提示（复杂的 Prompt）反而会让它们的表现变差，仿佛被过多的指令搞得不知所措。

“剪枝”（清理混乱）

有时，AI 会写出一本虽然有效但很凌乱的规则书。它可能包含五种不同的表达同一种意思的方式，或者包含了一些实际上并不需要的规则。

研究人员创建了一个“园丁”工具（剪枝启发式算法），它会遍历规则书并剪掉那些枯枝（冗余规则）。

类比： 想象 AI 写了一句话：“如果下雨，带把伞。此外，如果下雨，带把伞。此外，如果下雨，带把伞。”剪枝工具会删除多余的副本，只留下一个清晰的指令。
结果： 这使得规则书变得更小、更易于人类阅读，同时没有改变机器人的答题能力。

这意味着什么（根据论文内容）

论文得出结论，我们不再需要为 AI 系统手动编写复杂的逻辑。我们可以使用聪明的 AI 来为我们“蒸馏”逻辑，只需少量示例作为引导。

它效果最好 的情况是任务明确且 AI 模型非常聪明时。
它不同于 传统的机器学习，因为它不“记忆”数据；它学习的是问题的逻辑。
它创造了透明度： 因为输出是一套逻辑规则（就像食谱一样），人类可以真正读懂并理解机器人为什么做出某个决定。

简而言之： 作者构建了一个系统，人类提供一个残缺的逻辑谜题和少量示例，然后一个聪明的 AI 负责写出缺失的部分，检查自己的工作，最后交回一本干净、可用的规则书。

技术摘要：从大语言模型中蒸馏答案集程序规则用于神经符号视觉问答

问题陈述
视觉问答（VQA）需要将多模态输入（视觉与文本）与复杂的推理链集成。虽然模块化神经符号方法通过将感知（神经）与推理（符号）分离提供了可解释性，但它们面临着显著的维护负担。具体而言，当任务需求发生变化时——例如引入新的问题类型或推理算子——通常以答案集程序（ASP）实现的符号推理组件必须进行手动扩展或调整。传统的基于数据的规则学习方法（如归纳逻辑程序设计，ILP）通常需要大规模数据集和硬编码的搜索空间（模式声明）来泛化规则。本文旨在解决在无需大规模重训或人工规则工程的情况下，自动扩展 VQA 系统中基于 ASP 的推理理论的挑战。

方法论
作者提出了一种声明式知识蒸馏框架，通过提示大语言模型（LLM）根据少样本示例生成或扩展 ASP 规则。该系统运行在一个模块化的神经符号 VQA 流水线中，该流水线包含：

视觉模块： 将图像转换为符号场景图（ASP 事实）。
语言模块： 将自然语言问题转换为函数式程序（ASP 事实）。
推理模块： ASP 求解器从组合的事实和 ASP 理论（一组规则）中推导出答案。

核心算法（算法 1）遍历一组 VQA 示例 $(s, q, a)$ 的蒸馏套件。如果当前的 ASP 理论 $T$ 无法针对给定的场景 $s$ 和问题 $q$ 推导出正确答案 $a$ ，则系统会提示 LLM 生成候选规则以填补这一差距。该过程采用了一个涉及以下内容的反馈循环：

提示策略：
- 多提示（Multi-prompting）： 在单次调用中请求多个解决方案变体。
- 思维链（CoT）： 指示 LLM 在生成规则之前将问题分解为中间逻辑步骤（分为简单和复杂版本）。
验证与修复：
- 语法修复（Syntax Mending）： 如果 LLM 生成了语法无效的 ASP（例如幻觉出的数学符号），求解器的错误信息会被反馈给 LLM 进行修正。
- 语义修复（Semantic Mending）： 如果规则语法正确但产生了错误答案，求解器的错误输出将被与地面真值（ground truth）进行比较，并反馈给 LLM 进行修订。
- 回归测试： 新规则会在先前已解决的示例上进行测试，以确保一致性并防止回归。
冗余消除： 通过启发式算法（算法 2）剪枝对答案集没有影响的规则，确保蒸馏出的理论保持紧凑。

主要贡献

声明式知识蒸馏： 一种通过向 LLM 提供示例来自动扩展 VQA 系统中 ASP 理论的方法，而非将其作为统计学习的训练数据。
提示策略： 设计并评估了专门用于生成逻辑程序的特定提示技术（多提示、CoT）和修复机制（语法/语义修复）。
组合式规则合成： 证明了 LLM 可以从现有 ASP 理论中的原始操作中组合出新的高阶谓词（例如 in_between、connected）。
实证评估： 在三个多样化的数据集上进行了全面评估：
- GQA： 具有复杂物体关系的真实场景。
- CLEVR： 具有组合性问题的合成几何场景。
- CLEGRV： 需要递归推理（例如最短路径）的基于图的运输网络。

结果
实验评估了多种 LLM（GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro）在恢复被移除的 ASP 理论中谓词的表现。

性能： 大规模模型（GPT-4o, DeepSeek, Gemini-3）在 GQA 和 CLEVR 上实现了近乎完美的准确率（通常 >98%），且仅需极少的示例（通常每次蒸馏尝试为 1–4 个）。
数据集复杂度： 在更复杂的 CLEGRV 数据集（涉及递归）上性能有所下降，但 Gemini-3 Pro 保持了高准确率（在多个谓词上达到 100%），这归功于其“高推理”模式。
模型敏感度： 较小或能力较弱的模型（LLaMA3-70B, Mistral-Large）表现出高方差且难以处理复杂任务。有趣的是，对于这些模型，禁用复杂的提示策略（如 CoT）有时反而能提高性能，这表明它们可能会被冗长的指令“过度负担”。
效率： Gemini-3 Pro 最为高效，所需的示例和 Token 最少，且生成的规则集冗余度最低。
消融实验： 对于顶尖模型，全套提示流水线（修复 + CoT + 多提示）显著提升了性能，但对于较弱的模型，这并非总是必要。

意义与主张
本文声称，从 LLM 中进行规则蒸馏是一种极具前景的替代方案，可以取代传统的基于数据的规则学习（ILP/SRL）。与 ILP 不同，ILP 需要显式的搜索空间定义和大规模数据集，而该方法利用了 LLM 的隐性知识，仅需少量示例即可诱导出正确且具有泛化能力的规则。

可解释性： 该方法通过生成人类可读的逻辑规则而非不透明的神经权重，保留了神经符号系统的透明度。
适应性： 它为从业者提供了一种有效的机制，使其能够随着任务需求的变化动态地扩展推理模块，充当逻辑编程的“交互式副驾驶”。
局限性： 作者指出，该方法假设问题语义是可分解且具有组合性的，并且依赖于经验性验证（回归测试）而非形式化正确性证明。目前该方法对大型、高性能的 LLM 最为有效。

这项工作表明，虽然 LLM 可能无法取代形式化推理引擎，但它们可以有效地作为桥梁，实现复杂 AI 系统中符号推理组件维护与扩展的自动化。