Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
本文提出了一种校准协议，用于将语言模型中真实的次完备或次协调推理与随机噪声区分开来，研究发现，尽管几种模型在已知命题上表现出显著的真值缺口，但只有一种模型的行为足够可靠以供解释，从而揭示了对说谎者悖论未经校准的解读可能会被误认为是辩证论或克里普克式缺口。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
要理解计算机程序是如何思考“真理”的，我们必须首先理解它如何处理“不”这个词。在人工智能研究领域，研究人员经常要求模型对一个陈述进行判断，例如“天空是蓝色的”。如果模型说“错误”，我们就知道它认为天空不是蓝色的。但如果模型对“天空是蓝色的”说“错误”，同时对“天空不是蓝色的”也说“错误”呢？这便创造了一个逻辑谜题。模型不仅仅是在说天空是另一种颜色，它是在同时拒绝该陈述及其反面。在逻辑学中，这种状态被称为“间隙”（gap），这表明模型认为该陈述根本没有任何真值，也许是因为问题本身存在缺陷。这种通过询问两个独立问题——一个关于原命题，一个关于其否定形式——的方法被称为“双边评估”（bilateral evaluation）。其目的是揭示一个人工智能是否能够处理矛盾，还是仅仅被语言结构所迷惑。
这个问题之所以意义重大，是因为存在着著名的哲学难题，比如“说谎者悖论”——这样一个句子说：“这句话是假的。”如果这句话是真的，那么它必然是假的；如果这句话是假的，那么它必然是真的。几十年来，哲学家们一直在争论这类句子是无法解决的，还是它们既是真的又是假的。随着人工智能系统变得越来越强大，研究人员开始利用它们来测试这些古老的思想，希望看到机器是否会自然而然地采取其中一种复杂的逻辑立场。然而，一项新的研究表明，当我们仔细观察这些机器如何回答时，我们看到的往往是它们处理“不”这个词的能力出现了故障，而非深刻的哲学洞察。
来自智利和厄瓜多尔大学的研究员迈克尔·莱瓦（Maikel Leyva）着手测试了六种不同的语言模型，以观察它们是否真的以这些复杂的方式进行推理。这项研究始于一个简单但严谨的计划：在询问模型处理困难的哲学谜题之前，研究员首先要求它们判断一些无可争议的真或假的事实。他提出了150个清晰的陈述，例如“11加35等于46”以及“法国的首都是巴黎”，并附带了它们的否定形式。随后，他在单独的对话中询问每个模型，原陈述是否为真，以及被否定的陈述是否为真。如果一个模型运作正常，它应该对其中一个说“真”，对另一个说“假”。如果它对两者都说“假”，它就创造了一个“间隙”。如果它对两者都说“真”，它就创造了一个“盈余”（glut），即矛盾。
初步测试的结果令人震惊。在接受测试的六个模型中，有四个在基本的逻辑自查中失败了。当面对简单的数学问题时，这些模型经常同时否定正确的和错误的计算结果。例如，一个模型既否定了“11加35等于46”，也否定了“11加35不等于46”。在某些模型的某些数学问题中，这种情况发生的频率超过了一半。研究员发现，这种失败并非由于缺乏知识；即使在数学正确的情况下，模型也会犯这些错误。相反，模型似乎是在处理“否定”这一行为本身时遇到了困难。它们并不是发现了算术本质中的逻辑间隙，而仅仅是无法处理“不”这个词。
为了理清这些发现，研究员建立了一个严格的规则，或称之为“门槛”（gate），用于解释结果。只有在模型首先在已知事实方面表现良好时，其回答才能被视为真正的逻辑间隙。如果一个模型在简单问题上犯了太多错误，那么它对复杂问题的回答就不可信。当应用这一规则时，情况发生了戏剧性的变化。有四个模型因为未能通过该门槛而被取消资格。第五个模型虽然没有出现很多逻辑错误，但在超过30%的情况下拒绝回答或给出了无法理解的答案，导致其结果无法衡量。这使得最终只有一个较小的系统——名为Gemini 3.1 Flash Lite的模型——足够可靠，可以进行进一步研究。
有了这个经过校准的单一模型，研究员回到了著名的说谎者悖论。在校准之前，对一个大型开源模型进行未经校准的数据读取曾暗示，该机器将悖论视为一个逻辑间隙，即拒绝赋予其真值。这看起来像是机器正在遵循哲学家克里普克（Kripke）的逻辑，他认为这类句子没有真值。然而，一旦应用了校准，这一结论便消失了。唯一值得信赖的模型并没有将说谎者句子视为间隙。相反，它回答说该句子不是真的，并且它是假的，实际上给出了一个标准的“假”的判定。它并没有认为这个句子既是真的又是假的，也没有认为它没有任何价值。它只是拒绝了这个陈述。
研究结论指出，利用人工智能解决古代逻辑谜题的前景目前受限于机器自身的弱点。研究人员原本希望在这些模型的行为中发现的“间隙”和“盈余”，往往只是它们处理否定词时的错误。那个通过了严格测试的模型并没有提供关于说谎者悖论的新哲学解决方案，它提供的是一个标准的、二元的答案。这项研究并不是证明机器不能进行复杂思考，但它证明了我们不能假设它们在进行复杂思考。要了解一台机器真正思考的是什么，我们必须首先确定它理解陈述与其反面之间的区别。在能够校准模型以处理“不”这一简单逻辑之前，我们从它们对复杂谜题的回答中所得出任何深刻结论，都仍是未经证实的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。