Strategic Behavior of Large Language Models: Game Structure vs. Contextual Framing
本文评估了 GPT-3.5、GPT-4 和 LLaMa-2 在四种博弈论场景下的策略决策能力,结果表明,虽然 GPT-3.5 对语境框架高度敏感但缺乏抽象推理能力,但 GPT-4 和 LLaMa-2 均能适应博弈结构,其中 LLaMa-2 展示了对底层机制更优越的理解,从而凸显了这些模型在复杂策略任务中表现出的不同造诣及其当前的局限性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一个计算机不再仅仅是回答问题,而是真正与我们一起玩游戏的场景。这指的不是带有爆炸效果和高分的电子游戏,而是指我们每天都在进行的那些无形的、高风险的游戏:比如决定是否分享一个秘密、如何分摊账单,或者是否信任一个陌生人。科学家们将这一领域称为“博弈论”(Game Theory),它本质上是研究当我们的成功取决于他人的决策时,我们该如何做出选择的数学。这里有一个核心概念叫做“社会困境”(social dilemma),这是一个棘手的局面:在某一时刻,做自私的事看起来很正确,但如果每个人都这样做,所有人都会面临失败。长期以来,人们一直在思考人工智能(AI)是否真的能在这些情况下像人类一样“思考”。AI 能理解有时“友善”才是最聪明的做法吗?还是它会始终试图不计代价地赢?这个问题至关重要,因为随着 AI 变得越来越聪明,我们可能会开始让它们为我们做出重大决策,比如谈判商业交易,甚至帮助解决全球性问题。如果它们无法搞清楚游戏的规则,就可能在无意中引发混乱。
在这项研究中,研究人员对三个不同的 AI “大脑”进行了测试:GPT-3.5、GPT-4 和 LLaMa-2。他们不仅仅是让 AI 进行聊天,而是强迫它们玩四种经典的策略游戏,范围从著名的“囚徒困境”(两个嫌疑人必须决定是互相背叛还是合作)到“猎鹿博弈”(你必须决定是共同狩猎大型猎物,还是独自狩猎小型猎物)。为了增加趣味性,研究人员并没有直接把规则告诉 AI,而是给这些游戏穿上了不同的“戏服”或故事外壳。有时 AI 被告知它是一名在董事会里的首席执行官(CEO),有时是一名在峰会上出席的外交官,有时则只是一个和哥们儿在一起闲逛的朋友。目标是观察 AI 是否会根据游戏的数学逻辑进行不同的表现,还是仅仅根据它被讲述的故事来行动。
结果有点像是在看三个不同的学生参加同一场难题考试。第一个学生 GPT-3.5 很容易被故事所左右。如果游戏被设定为朋友间的聊天,这个 AI 就更有可能进行合作。但如果故事关于商业或竞争,它就会变得非常多疑,并且经常选择“背叛”(即进行自私的行为),即使数学逻辑告诉它应该合作。它似乎对情境的“氛围”非常敏感,但在理解游戏的实际逻辑方面却显得力不从心。这就像一个孩子,如果你告诉他们这是一个“分享派对”,他们就会分享糖果;但如果你说这是一场“竞争”,他们就会把糖果藏起来,而没有意识到游戏的规则其实并没有改变。
第二个学生 GPT-4 则要严肃得多。它非常关注游戏本身的数学逻辑。它似乎意识到有些游戏是“双赢”的(即大家应该合作),而有些则是“陷阱”(即你必须小心谨慎)。然而,GPT-4 有一个盲点:它倾向于用非黑即白的方式看待世界。它会将游戏分为“高风险”和“低风险”两类,从而忽略了它们之间的细微差别。例如,它可能会把两个截然不同的游戏视为同一个。此外,尽管它在数学方面很聪明,但当故事关于“朋友”时,它还是会变得过于友好,有时为了表现得友好而忽略了游戏规则。
第三个学生 LLaMa-2 是一个更有趣的结合体。它比 GPT-4 更擅长发现游戏之间的细微差别,理解一种游戏需要一种策略,而另一种则需要不同的策略。然而,它也最容易被故事分散注意力。它会根据自己是在和“老板”还是“朋友”说话而改变策略,有时这种改变甚至超过了游戏规则本身的要求。这就像一个棋手完全掌握了所有招式,却总是会被坐在桌子对面的人所分心。
研究人员针对每一种游戏和故事的组合都进行了 300 次模拟,以确保结果是真实的,而不是偶然现象。他们发现,虽然这些 AI 模型正在变得越来越聪明,但它们还称不上是完美的策略家。它们都会被故事的“框架”所迷惑,并且并不总能做出数学上的最优解。这项研究表明,如果我们依赖这些 AI 来处理复杂的策略任务,我们需要保持谨慎。它们不仅仅是冷冰冰、逻辑化的机器人;它们也会受到我们描述情境时所用词汇的影响,就像人类一样。在它们能够将“故事”与“策略”区分开来之前,我们可能最好不要让它们进入那些最关键的决策室。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。