📈 economics

Dynamic Decision-Making under Model Misspecification: A Stochastic Stability Approach

本文通过将双臂高斯老虎机中的后验演化划分为不同的机制，并为一般的有限模型类建立一个统一的随机稳定性框架以表征极限信念和渐近遗憾，从而分析了模型误设下汤普森采样（Thompson Sampling）的性能。

原作者： Xinyu Dai, Daniel Chen, Yian Qian

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyu Dai, Daniel Chen, Yian Qian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何在迷宫中导航，但你给它的地图有一点错误。也许地图说一面墙是玻璃做的，但实际上它是砖头；或者它认为一条捷径通向出口，但实际上那是一条死胡同。这就是“设定错误学习”（misspecified learning）的世界。在科学和经济学中，我们经常假设，如果给一个智能系统足够的数据，它最终会发现真相并停止犯错。这个想法依赖于“贝叶斯学习”（Bayesian learning）的概念，即系统根据新证据更新其信念，就像侦探通过收集线索来破案一样。通常，我们期望随着线索的增加，侦探最终会指向那个唯一的嫌疑人。但是，如果侦探使用的是一套关于世界运作方式的错误理论，会发生什么呢？机器人最终会学会正确的路径，还是会陷入混乱的循环？这个问题至关重要，因为如今从在线购物算法到政府政策决策，一切都依赖于这些学习系统。如果它们陷入了循环，后果可能是昂贵的价格、糟糕的推荐或无效的法律。

这篇由研究人员 Xinyu Dai、Daniel Chen 和 Yian Qian 撰写的论文，深入探讨了当一个学习系统使用一种特定的、流行的策略——“汤普森采样”（Thompson Sampling）——而其内部地图出错时会发生什么。汤普森采样是一种聪明的机器人学习方式：它不仅仅是选择它目前认为最好的选项，而是偶尔会尝试另一个不同的选项，仅仅是为了看看会发生什么。这就像一位厨师通常烹饪他最喜欢的菜肴，但偶尔也会尝试新食谱，以保持自己的技能水平。作者想知道：如果厨师的食谱里充满了错误，这种“品尝”行为是会帮助他们最终找到真相，还是会将他们困在一个奇怪的、无止尽的循环中？

研究人员发现，答案完全取决于错误的食谱如何与真实的食材相互作用。他们发现了三种主要的情景。首先，是“自我确认”（Self-Confirming）陷阱。想象一下，机器人认为高价是最好的，于是它不断收取高价。如果现实世界恰好在高价时看起来不错（即使是因为错误的原因），机器人就会变得非常有信心，并且永远不会改变主意。它会锁定在单一策略中，这可能是一个正确的策略，也可能是一个永久性的错误。第二种是“一致优势”（Uniform Dominance）情景，其中机器人的一个错误模型明显优于其他模型，能够解释一切。在这种情况下，机器人最终会发现哪个模型是“错得最少”的，并坚持使用它，从而收敛到一个稳定的决策。

但最令人惊讶的发现是第三种情景：“自我挫败”（Self-Defeating）循环。这种情况发生在机器人的错误模型非常棘手，以至于每当它试图证明某个模型是正确的时候，结果反而证明了它是错误的。例如，如果机器人认为高价是最好的，它就会收取高价。但来自高价的数据会让机器人认为：“等等，也许低价更好！”于是它转向低价。但接着，来自低价的数据又让它觉得：“不，高价才是更好的！”机器人最终会在两者之间来回摆动。作者表明，在这种特定的设置下，机器人永远不会稳定下来。即使拥有无限量的数据，它也永远不会停止猜测。它并没有找到单一的答案，而是将其信念沉淀为一种永久性的、有节奏的确定性之舞。

论文从数学上证明了这种“自我挫败”行为不仅仅是一个小故障，它是一个系统不断进行探索的稳定状态。这意义重大，因为它挑战了“更多数据总是带来确定性”的旧观念。作者展示了，如果学习算法被设计为保持实验精神（比如汤普森采样所做的），并且世界被误解的方式特定，系统将永远不会停止波动。它会不断改变想法，导致行为的不断变化——就像一家公司不断地上下调整价格，不是因为市场在变化，而是因为它的学习算法陷入了自我怀疑的循环。研究人员还将这一概念扩展到了具有更多模型的场景中，表明虽然这些循环可能会发生，但随着系统变得更加复杂，它们往往会被“剪枝”成更简单的循环或单一选择，除非条件恰好足以维持这种混沌。

简而言之，这篇论文告诉我们，仅仅拥有“聪明”和“好奇心”并不总是足以找到真相。如果你的初始假设在特定方式上是错误的，你的好奇心实际上可能会阻止你做出决定。机器人可能永远不会停止尝试新事物，并不是因为它在学习，而是因为学习的行为本身就在不断地将它推离答案。这表明，对于做出现实世界决策的系统，我们需要谨慎设计它们的学习规则，因为有时，最好的学习方式也许是停止猜测，转而信任一种更简单、更稳定的方法。

技术摘要：模型设定错误下的动态决策

问题陈述
本文研究了当智能体在模型设定错误（即候选模型类中不包含真实的生成过程）的情况下，依赖在线学习算法（具体为汤普森采样，Thompson Sampling）进行动态决策时的长期后果。在许多经济和算法场景中——例如企业学习需求、平台优化参与度或政策制定者评估治疗方案——决策者的行为会塑造用于学习的数据。当智能体对环境的参数化模型存在设定错误时（即真实的生成过程不在候选模型集中），内生数据生成与错误信念之间的相互作用会产生复杂的、非收敛的动态过程。

虽然现有文献刻画了在确定性最优反应规则下向稳定结果（如 Berk-Nash 平衡或伪真参数）的收敛，但在设定错误下，后验采样算法（它诱导内生探索）的行为仍不为人所知。核心问题是：在设定错误下，汤普森采样诱导的长期信念动态是怎样的？这些动态如何影响动作频率和遗憾值（regret）？

研究方法
作者采用随机稳定性框架，将后验信念过程分析为信念单纯形上的马尔可夫链。分析分为两个阶段：

两臂、两模型的高斯多臂老虎机： 论文首先在最简单的非平凡环境中提供了后验动态的完整分类。智能体在两个臂之间进行选择，观察到的奖励来自真实分布 $g$ ，而其认为奖励遵循两个设定错误的高斯模型（ $\nu$ 或 $\gamma$ ）。动态由对数几率过程 $S_t = \log(\pi_t / (1-\pi_t))$ 控制。作者根据两个原语对动态进行刻画：
- 模型一致性： 两个模型是否推荐相同的最优动作。
- 对数似然漂移 ( $\Delta_i$ )： 在执行动作 $i$ 下的期望对数似然比增量，定义为 $\Delta_i = E[\log(f_\nu/f_\gamma) | A_t=i]$ 。这衡量了在执行动作 $i$ 时，哪个模型在 Kullback-Leibler (KL) 散度上更接近真实的生成过程。
一般有限模型类： 分析被扩展到具有 $M$ 个模型和任意动作集的场景。后验演化被视为 $(M-1)$ 维单纯形上的马尔可夫过程。作者利用广义状态马尔可夫链理论（Meyn and Tweedie, 1993; Khasminskii, 2012）来建立遍历性（ergodicity）与瞬态性（transience）的条件。关键工具包括：
- 对数几率表示法： 将信念过程转化为带有状态相关漂移的加性随机游走： $S_{t+1} = S_t + \xi(S_t) + \epsilon_t$ 。
- 漂移几何： 分析条件漂移 $\xi(S)$ 的向量场，该向量场是顶点漂移向量 $d(a_j)$ （即当采取模型 $j$ 偏好的动作时，期望的对数似然增量）的凸组合。
- 李雅普诺夫函数（Lyapunov Functions）： 利用“角度条件”（漂移指向内部不动点）和“谱条件”（分析对称漂移矩阵 $G$ 相对于 Softmax 势能的关系）推导稳定性充分条件。
- 递归降维： 当信念向单纯形的边界漂移（模型消除）时，其在由此产生的低维面上的动态继承了相同的结构形式，从而允许进行归纳分析。

主要结果与分类
论文根据模型-动作映射与统计证据之间的相互作用，提供了完整的长期机制分类。

1. 两臂情形：
当模型在最优动作上存在分歧时，会出现三种定性的机制：

自我证实机制 ( $\Delta_1 > 0 > \Delta_2$ )： 每个模型都受到其推荐动作所产生的数据的支持。后验分布收敛于两个边界顶点之一（集中在模型 $\nu$ 或 $\gamma$ 上）。这种选择是路径依赖且随机的，由早期的似然冲击决定。极限结果是严格的 Berk-Nash 平衡。
统一主导机制 ( $\Delta_1, \Delta_2 > 0$ )： 一个模型在两种动作下都更接近真实情况。后验分布几乎处处收敛于这个优越的模型，从而消除了另一个模型。
自我挫败机制 ( $\Delta_1 < 0 < \Delta_2$ )： 每个模型都被其自身推荐的动作所产生的数据所削弱。后验分布并不会收敛于一个点，而是收敛到内部唯一的、非退化的平稳测度 $\mu$ 。这导致了模型与动作之间的持续随机振荡，即使在拥有无限数据的情况下也是如此。

2. 遗憾值含义：

在自我挫败机制下，由于后验分布在内部波动，导致次优动作具有正向的长期频率，因此智能体承受线性遗憾。
在自我证实机制下，如果后验分布集中在错误的模型（推荐错误的臂）上，则遗憾为线性；如果集中在正确的模型上，则遗憾为零。
在统一主导机制下，如果主导模型是正确的，则遗憾为零；如果它是错误的，则遗憾为线性。

3. 一般多模型设置：
作者建立了后验分布是遍历的（在内部随机稳定）或瞬态的（向边界漂移）的充分条件：

内部遍历性： 要求均值场漂移存在内部不动点（原点位于漂移向量的凸包内），并且满足角度条件（漂移指向内部）或谱条件（对称部分矩阵为负定，且噪声足够小）。
瞬态性： 如果原点位于漂移向量的凸包之外，或者谱条件表明不稳定，则会发生瞬态性。在瞬态情况下，后验质量会转移到低维面上，通过递归地消除模型，直到稳定在某个顶点或低维遍历面上。
高维行为： 在具有随机漂移向量的高维设置中，存在内部不动点的概率呈指数级下降，这表明递归降维以及向低维面或顶点收敛是普遍的结果。

意义与贡献
本文声称做出了三个主要贡献：

完整的动态分类： 它首次对设定错误下汤普森采样的后验动态进行了完整刻画。不同于以往侧重于收敛到点估计（Berk-Nash 平衡）的工作，本文识别出了一种信念无法收敛到任何点，而是收敛到非退化不变分布的机制。
内生探索 vs. 确定性规则： 本文强调了汤普森采样内置的随机性如何与设定错误相互作用，从而产生确定性最佳反应规则下不可能出现的动态。具体而言，“自我挫败”机制产生了持续的政策变化和随机循环，而如果智能体是纯粹近视或确定性的，则不会出现这种情况。
诊断框架： 作者提供了一个易于处理且可测试的框架（基于对数似然漂移的符号模式和漂移几何），用于诊断学习系统是会收敛、循环还是消除模型。这使得基于失配模型类的结构属性来预测长期福利和遗憾值成为可能。

论文得出结论，在设定错误的情况下，关于贝叶斯学习最终会“稳定下来”或“得到正确结果”的标准直觉可能会从根本上失效。当决策规则生成的正是它们所学习的数据时，这种反馈循环可以使持续的不确定性和政策变化无限期地维持下去。

技术摘要：模型设定错误下的动态决策

类似论文