Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities
本文研究了不同的形式化知识表示符号以及一种新型三段论分类方法（SEF）如何通过开源的共同逻辑语法构建（CLGC）框架，为小语言模型增强三段论推理能力，从而提供一种相比自然语言输入更具竞争力和更快速的替代方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个机器人如何思考。你可能会假设，如果你只是给机器人读足够的书，它最终就会学会如何解决逻辑谜题，比如谜语或数学题。但问题在于：机器人（或者用科学家的说法是“语言模型”）就像是超级快速的鹦鹉。它们擅长模仿人类的言语和写故事，但当你要求它们遵循严格的逻辑规则时，它们往往会感到困惑。它们可能会根据句子的“听起来是什么样”而不是“实际意义是什么”来猜测答案。这是一个大问题，因为我们希望这些人工智能工具是可靠的助手，而不仅仅是只会胡编乱造事实的喋喋不休的朋友。为了解决这个问题，研究人员正试图教这些机器人使用不同的“语言”。有些语言就像我们日常使用的词汇（自然语言），而另一些则像是严格的数学公式或代码（形式化表示）。大的疑问在于：使用一种严格的逻辑代码进行表达，是否能帮助机器人比使用普通英语思考得更好？
这篇题为《你在对我讲逻辑吗？》（"Are you Talking Logic to Me?"）的论文深入探讨了这个问题。作者是一群来自法国的研究人员，他们决定测试改变机器人解决逻辑谜题所使用的“语言”是否能让它变得更聪明。他们专注于一种特定的谜题类型——“三段论”（syllogism）。把三段论想象成一个由三部分组成的逻辑链：“所有的猫都是毛茸茸的。小布是猫。因此，小布是毛茸茸的。”如果机器人连这个都做不对，那么它就无法被信任去处理更复杂的任务。研究人员将现有的这些谜题数据集翻译成了几种不同的“形式化”语言，范围从标准的计算机逻辑（如 FOL）到更抽象、符号密集的代码（如 TFLPLUS），甚至包括一些他们发明的新型简化版本（如 MINIFL）。随后，他们在“小语言模型”（SLMs）上测试了这些谜题——这些模型就像是我们在新闻中听到的那些庞大 AI 模型的轻量级、高能效版本。
团队并不仅仅是把谜题扔给机器人；他们尝试了两种不同的教学方法。首先，他们使用了“监督式微调”（SFT），这就像是给机器人进行一次速成班培训，通过反复展示谜题和正确答案，直到它学会其中的模式。其次，他们使用了“零样本”（Zero-Shot, ZS）测试，即直接把一个新谜题和一套指令交给机器人，要求它在没有任何预先练习的情况下现场解决问题。他们还尝试在指令中加入“参考表”，即给机器人一个谜题类型的定义（例如“这是一个选言三段论”），以观察这种额外的上下文信息是否会有所帮助。
他们发现了什么？事实证明，“语言”对机器人的影响很大，但这取决于机器人学习了多少。当机器人接受了速成班训练（SFT）时，结果令人惊讶。在较小的数据集上，最抽象、符号最密集的语言（如 TFLPLUS）实际上比普通英语效果更好，尽管机器人在初始训练阶段已经看过更多的英语。研究人员认为，这可能是因为这些抽象语言中的符号更简单，对于机器人来说不太容易产生混淆。然而，当数据集变大时，机器人开始倾向于使用英语和一种紧凑代码（CLIF）的混合体。这种组合似乎让机器人变得更加谨慎，不太容易猜错，尤其是在答案为“未知”的情况下。
在“零样本”测试中，即机器人必须依靠已知知识进行推理时，结果则显得有些复杂。最好的语言完全取决于正在测试的具体机器人模型。一些在大量数学和逻辑数据上进行过训练的模型在处理抽象代码时表现更好；而另一些主要在文本上进行训练的模型，则在处理类英语格式时表现更好。有趣的是，在指令中加入那些“参考表”定义对某些模型有帮助，但对另一些模型却起了反作用，这表明并不存在一种适用于所有机器人的“万能语言”。
关于速度，有一个最酷的发现。与使用普通英语相比，机器人使用紧凑的、基于符号的语言时解决问题的速度更快。这就像是阅读一个冗长且曲折的故事来寻找特定事实，与在短小精练的表格中查找一个数字之间的区别。抽象语言不仅处理起来更快，有时还能带来更准确的推理。作者总结道，虽然我们不能只选择一种完美的语言来适用于所有 AI，但使用自然语言和形式化代码的结合，可能是构建更聪明、更可靠的推理系统的关键。他们甚至发布了一个名为“CLGC”的免费工具，可以让任何人自动将这些逻辑谜题翻译成不同的格式，希望能帮助其他研究人员进一步探索这种“逻辑语言”。最终，这篇论文表明，教 AI 思考不仅仅是喂给它更多的数据；而是要教它针对这项工作说出正确的语言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。