📈 经济学

Adaptive Noise in Human Game Play: An Information-Theoretic Signature that Separates Learning Models on Matching-Pennies Data

本文表明，在重复进行的猜硬币博弈中，人类玩家维持着一种高策略熵与对手响应行为的独特结合，而标准的强化学习模型无法重现这一特征，唯有自调优经验加权吸引（EWA）模型能够成功捕捉到这种双重特征。

原作者： Pratyush Mahadevaiah

发布于 2026-10-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Pratyush Mahadevaiah

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在研究人类如何学习决策的过程中，科学家们经常观察那些两名玩家相互竞争、试图智斗对方的游戏。一个经典的例子是简单的“猜硬币”（matching pennies）游戏，其中一名玩家在硬币匹配时获胜，而另一名玩家在不匹配时获胜。为了取得成功，玩家必须具有不可预测性；如果陷入某种模式，对手就会察觉并利用这一点。与此同时，玩家还必须关注对手的行为，以调整自己的策略。这创造了一种微妙的平衡：玩家既需要保持足够的随机性以避免被预测，又需要足够聪明以对他人做出反应。几十年来，用于模拟人类学习的标准计算机模型一直难以处理这种平衡。这些模型通常从大量的随机猜测开始，但随着学习的深入，会变得越来越自信且具有确定性，最终陷入一种僵化、可预测的常规中。然而，这种行为并不符合真实人类在实验室中的表现。

Pratyush Mahadevaiah 的一项新研究通过分析数百人在长时间游戏中的行为数据，调查了这种差异。研究者并没有尝试用复杂的数学公式来拟合结果，而是使用了一种来自信息论的方法来衡量玩家行为随时间变化的两个特定特质。第一个特质是玩家选择中的随机程度，即“噪声”；第二个特质是衡量玩家的下一步行动受其对手上一步行动影响的程度。通过追踪 108 个不同玩家组的这两个因素，该研究揭示了人类行为中一种明显的模式，而标准计算机模型无法复制这一模式。研究表明，人类在整个游戏过程中都保持着稳定的不可预测性，同时对对手的行为保持高度响应。相比之下，科学家使用的最常见的学习模型在游戏进行过程中会变得过于可预测，并停止对对手做出反应。

数据来自一组大规模实验，其中若干组由八人组成的团队进行了一系列每组 200 轮的猜硬币游戏。研究人员记录了每位玩家做出的每一个动作，创建了一个详细的决策时间线。随后，他们应用了一种特定的测量方法，来观察一名玩家当前的动作包含多少关于其对手前一个动作的信息。这种被称为“传递熵”（transfer entropy）的测量方法就像是一个响应性的探测器。如果一名玩家确实在关注并根据对方刚刚的行为调整策略，这个数值就会很高；如果玩家只是根据自身的内部逻辑行动而忽视对手，这个数值就会很低。当研究人员观察人类数据时，发现玩家保持了高水平的随机性，其不可预测性的平均测量值在整个游戏中保持在 0.64 比特左右。更重要的是，他们展示了强烈的响应信号，即玩家的选择明显受到对手上一步动作的影响。

当同样的分析应用于一种名为 Q-learning 的标准计算机模型时，结果却截然不同。这种广泛用于模拟智能体如何从奖励中学习的模型，最初带有一定的随机性，但很快就失去了它。在约三十轮之内，该模型的行为几乎变得完全可以预测，其随机性测量值降至接近于零。由于变得如此容易被预测，它也停止了对对手的反应；其响应性测量值也几乎降为零。研究人员测试了仅仅通过改变这个计算机模型的设置是否能解决问题。他们尝试通过调整内部“温度”设置来使模型变得更具随机性，但这只产生了一种权衡关系：当模型变得更随机时，它对对手的响应性就降低了；当它变得更具响应性时，它的随机性就降低了。没有任何单一设置能让模型同时具备不可预测性和专注力，而人类自然地实现了这种结合。

该研究随后测试了另外四种常见的学习模型，以观察它们是否能重现人类的模式。大多数模型都以类似的方式失败了：有些变得过于僵化和可预测，而有些虽然保持了随机性，却未能关注对手。然而，一种被称为“自调优经验权重吸引”（self-tuning experience-weighted attraction）的特定模型在其他模型失败的地方取得了成功。这种模型通过结合基于过去奖励的机制以及一种检测游戏变化的机制来更新其策略，从而能够同时保持随机性和响应性。它的行为与人类数据非常吻合，占据了人类玩家所在的图表空间。虽然该模型并未完美匹配人类的具体数值，但它是唯一一个接近捕捉到人类博弈双重特性的模型。

研究结果表明，人类在竞争环境下学习的方式在结构上与标准的强化学习模型有着本质的不同。人类并不会随着经验的增加而变得更加自信和减少随机性；相反，他们维持着一种稳定的适应性噪声，这使得他们在追踪对手的同时仍能保持不可预测性。这项研究并不声称证明这种特定的计算机模型就是人类大脑运作的精确方式，但它确定了一个任何成功的学习模型都必须具备的关键特征。为了准确描述人们如何玩这类游戏，一个模型必须能够同时具备噪声感和专注力。这一洞察有助于缩小寻找更好人类行为理论的范围，使研究从单纯预测人们下一步会做什么，转向理解他们如何学习和适应的动态特质。

技术摘要：人类游戏过程中的自适应噪声

问题陈述
标准的强化学习（RL）模型，特别是 Q-learning，预测随着智能体在重复博弈中的学习，其探索行为会衰减（退火），且其策略会趋于确定性。然而，来自进行重复匹配硬币博弈（Matching-pennies games）的人类受试者的经验数据（Selten and Chmura, 2008）反驳了这一点：人类在整个 200 轮的实验过程中始终保持着高水平的随机性（混合性），同时又能对对手的行为做出反应。现有文献主要集中在拟合聚合频率或预测特定轮次的决策，而本文旨在解决理解人类游戏轨迹动力学特性方面的空白，具体探讨：一个学习模型必须具备哪些结构性特征才能重现人类行为，而非仅仅是预测结果。

研究方法
本研究分析了 108 组独立的受试者小组（共 864 名受试者）在 12 种不同变体的 2×2 匹配硬币博弈中，逐轮产生的行为数据。作者并非通过拟合模型参数来匹配数据，而是直接从原始动作轨迹中计算了四个信息论“特征”：

策略熵振荡幅度（Policy Entropy Oscillation Amplitude）： 策略熵轨迹离散傅里叶频谱的峰值。
KL 波动（KL Fluctuation）： 二进制策略与均匀分布之间散度的标准差。
熵减（Entropy Decline）： 策略熵在整个实验过程中的线性斜率（指示向确定性退化的退火过程）。
传递熵（Transfer Entropy, $T_{opp \to own}$ ）： 一种衡量从对手上一轮动作到玩家下一轮动作的有向信息流的度量，定义为 $H(a_t | a_{t-1}) - H(a_t | a_{t-1}, o_{t-1})$ 。它量化了对手的历史信息在多大程度上降低了玩家未来动作的不确定性。

这些特征针对人类数据进行计算，并与在相同实验协议（随机重新匹配，200 轮）下运行的五种标准学习模型的模拟结果进行对比：

Q-learning（带有玻尔兹曼探索和退火温度）。
强化学习（Erev and Roth, 1998）。
随机虚构学习（Stochastic Fictitious Play, Fudenberg and Levine, 1998）。
自调节经验加权吸引模型（Self-tuning Experience-Weighted Attraction, EWA, Ho et al., 2007）。
脉冲匹配学习（Impulse-matching Learning, Chmura et al., 2012）。

统计显著性通过组间 t 检验、Kolmogorov-Smirnov 检验以及针对洗牌后的代理数据进行的个体水平置换检验进行评估。

核心结果

人类随机性 vs. Q-learning 退火： 人类在整个实验过程中保持着约 0.64 bits 的高且近似平稳的策略熵率。相比之下，匹配的 Q-learning 在 30 轮内就会退化为近乎确定性的行为（熵率约为 0.06 bits）。人类与 Q-learning 熵率的分布互不重叠。
对手响应性： 人类表现出从对手到自身动作的强传递熵（均值为 0.05 字节），其中 55% 的个体受试者超过了 100 次洗牌后的代理零假设。匹配的 Q-learning 表现出微不足道的传递熵（0.002 字节），仅有 7.3% 的智能体超过了零假设（仅略高于假阳性率）。
结构性权衡： Q-learning 的失败是结构性的，而非调优偏差。对 Q-learning 温度进行扫描发现了一个权衡关系：增加温度（提高随机性）会降低对手响应性，而降低温度则会增加响应性，但会导致确定性行为。Q-learning 无法同时实现人类所观察到的高熵和高传递熵。
模型区分： 在测试的五种模型中，只有自调节 EWA 进入了（熵率，传递熵）平面上的“人类区域”。虽然自调节 EWA 在传递熵上略微超过了人类的平均值，但它是唯一一个同时具备随机性和对手响应性的模型。其他模型要么坍缩为确定性行为（Q-learning, Reinforcement），要么产生高水平但缺乏信息量的随机性（Fictitious Play, Impulse-matching）。
均衡中心性： 人类的传递熵与混合纳什均衡的中心性呈强相关（Spearman $\rho = 0.81$ ）。随着均衡向策略单纯形中心移动，人类的响应性也随之增加。Q-learning 未能复制这种梯度，在任何博弈中都未显示出响应信号。

意义与主张
本文声称提供了一个评估学习模型的诊断维度，将重点从“哪个模型预测的选择最好”转向“哪些动力学特征必须被模型重现”。

信息论特征： 作者识别出了一个特定的特征——即同时具有高策略熵和高“对手对自身”传递熵——这一特征将人类行为与标准的 Q-learning 及其他累积/基于奖励的模型区分开来。
验证自调节 EWA： 本研究通过一种无模型轨迹度量，恢复了 Chmura, Goerg, 和 Selten (2012) 的模型选择发现，即自调节 EWA 能最好地预测个体轮次间的选择。作者认为，EWA 之所以成功，是因为其架构具备一种人类游戏所共有的属性：既能保持噪声，又能保持适应性。
因果性 vs. 相关性： 作者明确指出，这是一种架构相关性，而非证明了 EWA 为何能很好预测选择的因果解释。本文的贡献在于识别出任何成功的模型在处理此类数据时所必需的结构属性（自适应噪声），而非提出一个新的模型本身。
创新性： 据作者所知，这是首次应用传递熵来根据实验博弈数据区分学习模型，为分析有限理性背景下的有向信息流提供了一种新的工具。

技术摘要：人类游戏过程中的自适应噪声

类似论文