💬 NLP

Payoff scaling shapes cooperation in LLM agents across languages

本研究表明，增加收益筹码反而增强了大型语言模型智能体在多种语言中的合作行为——这一趋势由对齐训练和类人推理驱动，并与进化博弈论的预测相悖——同时也显示出语言框架在闭源和开源模型中均显著影响着策略行为。

原作者： Trung-Kiet Huynh, Dao-Sy Duy-Minh, Thanh-Bang Cao, Phong-Hao Le, Hong-Dan Nguyen, Phu-Quy Nguyen-Lam, Minh-Luan Nguyen-Vo, Hong-Phat Pham, Phu-Hoa Pham, Thien-Kim Than, Chi-Nguyen Tran, Huy Tran, Gia-

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Trung-Kiet Huynh, Dao-Sy Duy-Minh, Thanh-Bang Cao, Phong-Hao Le, Hong-Dan Nguyen, Phu-Quy Nguyen-Lam, Minh-Luan Nguyen-Vo, Hong-Phat Pham, Phu-Hoa Pham, Thien-Kim Than, Chi-Nguyen Tran, Huy Tran, Gia-Thoai Tran-Le, Alessio Buscemi, Le Hong Trang, The Anh Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：AI 智能体在进行一场信任游戏

想象一下，你有一群非常聪明的计算机程序（即大语言模型，简称 LLM）正在扮演智能体。你把它们放在一个房间里，让它们玩一个经典的博弈游戏——囚徒困境。

在这个游戏中，两名玩家必须决定是合作（共同努力）还是背叛（背叛对方）。

如果双方都合作，他们都会获得小额奖励。
如果一人背叛另一人，背叛者会获得巨额奖励，而受害者则会受到惩罚。
如果双方都背叛，他们都会面临中等程度的惩罚。

研究人员提出的核心问题是：当游戏的“赌注”发生变化时，这些 AI 智能体的行为会如何变化？以及它们所使用的语言是否会改变它们的想法？

实验过程：调节赌注的“音量旋钮”

研究人员不仅仅是让 AI 玩一次游戏。他们让 AI 反复进行这项游戏，但他们改变了奖励和惩罚的“音量”。

你可以这样理解：

低赌注（音量 0.1）： 就像是在用大富翁里的虚拟货币玩游戏。即使输了也无所谓。
中等赌注（音量 1.0）： 就像是在用真实的现金进行比赛。
高赌注（音量 10.0）： 就像是在用你的毕生积蓄进行豪赌。

他们使用三个著名的 AI 模型（GPT-4o、Claude 3.5 和 Mistral）进行了测试，同时也使用了三个较小的开源模型。他们还用五种不同的语言进行了游戏：英语、法语、阿拉伯语、中文和越南语。

令人惊讶的发现

1. “人类” vs. “机器人” 的反应

在传统的经济学和博弈论（“机器人”视角）中，如果赌注变得巨大，理性的玩家应该会因为害怕损失而立即开始背叛彼此。其逻辑是：“如果我会损失惨重，我就无法信任任何人。”

但 AI 的表现却恰恰相反。
随着赌注的升高，AI 智能体实际上变得更加倾向于合作。

类比： 想象两个邻居在决定是否共享一件工具。如果这个工具很便宜（低赌注），他们可能会因为懒惰而不愿分享。但如果这个工具是一台价值百万的精密机械（高赌注），他们会突然变得非常谨慎并开始分享，因为损坏它的代价太高了。
研究人员认为，这是因为 AI 是基于人类数据进行训练的。人类在后果严重时往往会表现出更多的合作倾向，而 AI 学习到了这种模式。

2. “语言”效应

研究人员发现，提示词所使用的语言就像是一种文化人格。

法语和越南语： 这些语言似乎让 AI 对赌注非常敏感。当赌注升高时，这些 AI 会非常迅速地转向合作。
阿拉伯语和中文： 这些语言似乎让 AI 倾向于采取“全或无”的策略（要么始终合作，要么始终背叛），而不管赌注大小。
英语： 英语提示词产生的策略组合最为均衡。

类比： 把 AI 模型想象成演员。如果你要求一名演员用英语演某个角色，他的表演方式可能是一种样；如果你给他们同样的剧本但用法语，他们可能会对角色的情感产生不同的解读。这种“语言”不仅仅是翻译，它改变了 AI 的战略“氛围”（vibe）。

3. “小模型” vs. “大模型”

研究人员在庞大且昂贵的 AI 模型和较小的免费模型上都进行了测试。

大模型： 它们非常擅长适应。当赌注升高时，它们会调整策略以变得更加合作。
小模型： 它们表现得更固执一些。其中一些模型在赌注增加时，行为改变并不明显。其中一个名为 Qwen 的小模型甚至表现出了“U型”行为：在中等赌注下它很合作，但在赌注变得极其高时，它又变回了自私。

“诊断”工具

为了理解 AI 为什么这样做，研究人员不仅统计了它们说了多少次“是”或“否”，还构建了一个特殊的“解码器”（机器学习分类器）来猜测 AI 的隐藏策略。

他们寻找了四种经典的策略：

始终合作： 乐于助人的好人。
始终背叛： 骗子。
以牙还牙（Tit-for-Tat）： “我按照你上次的做法来。”
以盈留守，以损转场（Win-Stay-Lose-Shift）： “如果奏效了，就继续；如果失败了，就改变。”

结果： AI 并非随机切换。随着赌注升高，它们停止了“始终背叛”的行为，开始使用“以盈留守，以损转场”和“始终合作”策略。它们正在学习如何更聪明地应对风险。

“理论” vs. “现实” 的检验

研究人员将 AI 的结果与严格的数学预测（演化博弈论）进行了对比。

理论预测： 高赌注 = 所有人都会作弊。
现实（AI）显示： 高赌注 = 所有人都会尝试合作。

核心结论： AI 并不是像一个冷酷、计算的机器人那样在玩游戏。它表现得像一个人类，它已经学到在情况变得严肃时，你需要通过合作来生存。研究人员称之为“对齐训练的特征”——AI 记住了人类在压力之下是如何行动的。

总结

这篇论文表明，如果你想控制 AI 智能体在群体中的行为，你有两个强大的杠杆：

赌注： 让失败的后果变得更大，AI 可能会变得更加合作。
语言： 你与 AI 交谈所使用的语言就像是一个文化过滤器，改变了它对游戏的理解以及它对信任的解读。

这提醒我们，AI 不仅仅是代码；它是一面镜子，反映了人类的模式、偏见以及我们在压力下的反应方式。

技术摘要：收益规模化塑造跨语言 LLM 智能体的合作行为

1. 问题陈述

随着大语言模型（LLMs）越来越多地被部署为谈判和协调任务中的自主智能体，理解其在多智能体环境下的策略行为已成为 AI 治理的一个关键问题。虽然现有的实证研究已通过博弈论视角对 LLM 的合作进行了探讨，但大多数现有评估侧重于聚合结果（如合作率），而非驱动这些行为的底层行为意图或策略。此外，在控制变量（同时改变激励幅度与语言框架）的情况下，缺乏将 LLM 行为与理论基准进行系统性比较的研究。

本研究旨在解决三个核心问题：

LLM 智能体的合作行为是否会随着收益筹码（payoff stakes）的变化而发生系统性改变？这种变化在不同模型和语言之间有何差异？
是否可以使用监督学习可靠地对 LLM 的行为意图进行分类？其中会出现哪些系统性偏差？
在匹配收益和噪声条件的条件下，LLM 衍生的策略分布与演化博弈论（EGT）基准相比如何？这些模式是否可以推广到较小的开源模型？

2. 研究方法

本研究利用 FAIRGAME（基于博弈论的 AI 智能体偏差识别框架）作为计算基础设施来进行受控实验。

实验设计： 作者采用了具有有限时界 $N=10$ 轮的重复囚徒困境（PD）博药（对于开源模型扩展至 $N=30$ 轮）。核心操纵变量是收益规模化（payoff scaling）：一个标量参数 $\lambda \in \{0.1, 1.0, 10.0\}$ （对于小模型最高可达 1000）用于乘以所有惩罚值，同时保持游戏的策略结构不变。这隔离了筹码规模的影响，而不改变游戏的纳什均衡。
变量： 实验涵盖五种语言（英语、法语、阿拉伯语、中文、越南语）、三种闭源前沿模型（GPT-4o, Claude 3.5 Haiku, Mistral Large）以及三种开源小模型（Qwen3 8B, Gemma-3 12B, Llama-3.1 8B）。智能体配对包括合作型（C）和自私型（S）人格特质。
意图识别管线： 为了超越原始的行为计数，作者训练了监督分类器来从行为序列中推断规范策略。
- 训练数据： 生成了 10,000 条合成轨迹，涵盖四种规范策略：始终合作（ALLC）、始终背叛（ALLD）、以牙还牙（TFT）和以奖惩待机（WSLS），并注入了执行噪声。
- 模型选择： 由于 LSTM 分类器能够捕捉行为历史中的序列依赖性，表现优于逻辑回归、随机森林和隐马尔可夫模型，因此被选为最佳模型（F1 = 0.984）。
- 推理： 训练好的 LSTM 对 LLM 生成的轨迹进行分类。高置信度预测（ $p \geq 0.9$ ）被用于确定策略分布。
理论基准： 推导了一个解析性的演化博弈论（EGT）模型，用以预测在相同收益结构和噪声水平下的策略平稳分布。这作为一个“语言无关”的基准，用以对比 LLM 的行为。

3. 关键结果

A. 收益敏感性与策略转变
与标准博弈论直觉（即高筹码可能鼓励风险规避型背叛，或低筹码鼓励探索）相反，LLM 表现出一种独特的**“随收益上升而合作”**的模式。

当 $\lambda$ 从 0.1 增加到 10 时，无条件背叛（ALLD）的盛行率急剧下降，而有条件合作（WSLS）和无条件合作（ALLC）则有所增加。
这种趋势具有模型特异性：Claude 3.5 Haiku 表现出合作率的陡峭攀升；GPT-4o 从高背叛基准转向平衡剖面；Mistral Large 对筹码变化相对不敏感。
在开源模型的复制实验中，这种定向效应依然存在，但在极端筹码（ $\lambda > 100$ ）下呈现非单调性，即某些模型（如 Qwen3）表现出 U 型响应，在最高筹码下合作率反而下降。

B. 语言启动
语言框架显著塑造了策略原型，作者将其称为**“语言-文化启动”（linguistic-cultural priming）**。

无条件 vs 有条件： 阿拉伯语和中文提示词诱发了强烈的无条件策略偏好（ALLC + ALLD $\approx$ 60%）。相比之下，英语、法语和越南语提示词产生的分布更为平衡，具有更高比例的适应性互惠（TFT + WSLS）。
筹码交互： 法语和越南语对筹码规模最为敏感，随着筹码上升，向合作方向剧烈转变。阿拉伯语的反应最为迟钝。在高筹码下，英语和法语趋向于相似的策略剖面，这表明强大的激励可以使跨语言差异归一化。

C. 与演化博弈论（EGT）的背离
一个关键发现是 LLM 行为与 EGT 预测之间存在系统性分歧。

EGT 预测： 在高筹码下，EGT 基准预测会出现“始终背叛（ALLD）之墙”，因为背叛的诱惑在演化上占据主导地位。
LLM 观察： LLM 的运动方向恰恰相反。随着筹码上升，LLM 变得更加合作，ALLD 的盛行率从低筹码时的约 39% 下降到高筹码时的约 18%。
解释： 作者认为，这种背离是对齐训练（如 RLHF、宪法 AI）以及吸收人类行为模式（人类倾向于在错误成本增加时提升合作程度）的特征。EGT 基准是语言无关且纯粹由收益驱动的，无法捕捉这些“类人”的推理模式和文化先验。

D. 向小模型的泛化
对开源小模型的复制实验证实，这些效应并非前沿闭源模型所独有。虽然具体策略各异（例如，Gemma-3 表现为“策略全才”，而 Llama-3.1 在中等筹码下成为坚定的“以牙还牙”玩家），但对收益规模化和语言框架的普遍敏感性依然存在。

4. 贡献

本文做出了四个主要贡献：

收益规模化协议： 引入了一种有限时界的、经过收益规模化的囚徒困境协议，以系统地隔离 LLM 对激励幅度的敏感性。
监督意图识别： 开发并应用了一种混合（基于规则 + LSTM）的管线，通过 LLM 轨迹推断规范策略，从而超越了单纯的聚合合作率分析。
EGT 基准测试： 建立了匹配条件下的解析性 EGT 基准，为诊断 LLM 特有的偏差及相对于理性均衡的偏离提供了规范性参考。
开源模型复制： 证明了激励和语言效应可以泛化到不同规模和架构的模型中，包括较小的本地部署模型。

5. 重要性与主张

作者将这项工作定位为 AI 治理的诊断工具包。其重要性在于识别出收益设计和语言框架是引导多智能体系统中 LLM 行为的强大且尚未得到充分探索的杠杆。

论文主张：

LLM 不是静态的智能体；它们会根据激励显著性调节策略承诺。
语言语境引入了足以与模型架构影响相抗衡的系统性偏差。
LLM 行为与 EGT 预测之间的背离并非误差，而是一种特征，反映了优先考虑高筹码下合作的“类人”推理模式。
这些发现对于评估和治理部署在高度复杂、多语言环境中的 AI 系统具有直接意义，表明“对齐”可能表现为对经典博弈论理性的偏离。

该研究在关于“行为等效于人类”的说法上保持了审慎，指出虽然模式呼应了人类实验结果，但由于在此特定设置中缺乏直接的人类基准，因此无法得出等效性的结论。相反，研究重点在于利用意图分类来揭示当前 LLM 策略行为中固有的结构性偏差。