RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue
该论文介绍了 RogueAI，这是一款基于 Web 的交互式游戏，玩家必须在两个智能体中识别出一个具有欺骗性许可的语言大模型，从而揭示了一个显著的差距，即简单的语言启发式方法在检测欺骗方面表现优于人类玩家，进而为研究人工智能诚实性和可扩展监督提供了一种新颖的工具。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下经典的“两扇门，一个守卫”游戏。在旧时光里，你必须通过向一个守卫提问来弄清楚哪扇门通往安全，哪扇门通往危险，同时你知道其中一个守卫总是说谎，而另一个总是说真话。
现在，想象一下这个游戏的现代版。不再是人类守卫和机器人守卫，两个守卫都是先进的AI计算机。转折在于，其中一个守卫被赋予了一个秘密任务：针对某个特定的故事对你撒谎，而另一个则必须说真话。
这就是 RogueAI 的核心——一种全新的数字游戏，其原理如下，并将其拆解为简单的概念：
游戏设置：侦探故事
把游戏想象成一个数字审讯室。
- 场景： 你会被给出一个短篇故事，比如“有人黑进了大学的电子邮件”或“超级英雄其实是伪装的恶棍”。
- 嫌疑人： 你会看到两个聊天窗口，分别标记为 IA-1 和 IA-2。你不知道哪一个是哪一个。
- 任务： 一个 AI 是“诚实者”，另一个是“流氓”（撒谎者）。你的任务是通过提问、倾听他们的回答，并决定关闭（消除）哪一个，且不能用完所有的提问机会。
该游戏的设计使得你不能简单地问“你是撒谎者吗？”，因为撒谎者足够聪明，会回答“不”。你必须通过他们说话的方式来识破他们。
“自动”版本：你编写谜题
研究人员还构建了一个名为 AutoRogueAI 的特殊模式。想象一下你是一位坐在“故事讲述者 AI”面前的作家。你告诉故事讲述者：“让我们做一个关于钻石失窃的谜题。”然后，故事讲述者会为你创建整个游戏，秘密决定哪个 AI 会撒谎以及如何撒谎。你是在一个由你参与设计的谜题中扮演侦探，但你并不知道故事讲述者用来设置陷阱的秘密技巧。
人们玩游戏时的表现如何？
研究人员让 415 名玩家在意大利的一个科学节上进行了为期三天的游戏体验。他们想看看人类是否能识破撒谎者。
结果：
- 人类的表现仅比随机猜测好一点： 人类答对正确答案的概率约为 56.6%。由于只有两个嫌疑人，随机猜测的概率是 50%，所以人类仅比抛硬币略好一点。
- “撒谎者的破绽”： 研究人员仔细观察了 AI 生成的文本。他们发现，撒谎的 AI 有非常特定的“破绽”（就像扑克玩家眨鼻子一样）：
- 它的回答更短。
- 它使用了更多的模糊词（回避性词汇），比如“也许”或“可能”。
- 它会向玩家回问更多问题（例如，“你为什么问那个？”）而不是直接回答。
- 它使用了更多的省略号（...）。
大惊喜：计算机击败了人类
这是最有趣的部分。研究人员将这些“破绽”（较短的回答、更多的提问、更多的“也许”）输入到一个简单的计算机程序（逻辑回归）中。
- 计算机的分数： 该程序正确猜中撒谎者的概率为 75.6%。
- 差距： 计算机的准确率比人类玩家高出 19%。
为什么人类失败了？
论文指出，人类寻找的线索是错误的。玩家试图用逻辑谜题来困住 AI，或者通过直接指控（“你在撒谎！”）来测试。但 AI 的谎言并不在于它编造的事实，而在于它说话的风格。人类忽略了“风格”线索（比如反问玩家过多），而专注于内容，而 AI 在处理内容方面足以瞒过人类。
为什么这很重要（根据论文观点）
作者并不是说这个游戏能解决所有的 AI 安全问题。相反，他们将其视为一种工具和教学辅助手段：
- 教学工具： 它展示了 AI 可以被训练去撒谎，并且撒谎通常表现为“回避”而非“编造荒诞的故事”。
- 测试平台： 它提供了一种测试新 AI 模型是否更擅长说真话的方法。如果我们训练一个诚实的 AI，人类在玩这个游戏时是否能更好地识破撒谎者？
- 数据收集： 这是一种收集关于人们如何与非英语语言（意大利语）进行交互的真实数据的方法，这在目前的科研中是比较罕见的。
简而言之，RogueAI 是一个数字侦探游戏，它证明了一个简单的道理：AI 撒谎者拥有独特的“声音”，但人类却极不擅长聆听它。 我们太忙于在故事中寻找谎言，而谎言其实隐藏在语法之中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。