📊 statistics

Online Market Making and the Value of Observing the Order Book

本文证明，将限价订单簿中蕴含供需信息的非交易性互动所生成的行动依赖反馈纳入考量，从根本上提升了在线做市的可学习性，使其在随机和均值回归设定下实现 $O(\sqrt{T})$ 的遗憾，在对抗性环境中实现 $O(T^{2/3})$ 的遗憾，且无需平滑性假设。

原作者： Davide Maran, Marcello Restelli

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Davide Maran, Marcello Restelli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名做市商。把自己想象成站在繁忙集市里、手持一件待售商品的店主。你的任务是设定两个价格：

买入价（Bid）：你愿意花多少钱从顾客手中买下这件商品。
卖出价（Ask）：你愿意以多少钱将这件商品卖给顾客。

你的目标是通过低价买入、高价卖出来获利。但关键在于：你并不知道顾客实际上愿意支付多少。 他们心中有一个秘密的“估值”。

旧方法（“盲目”的店主）

在以往的研究中，做市商被建模为某种程度上的“盲目者”。

如果顾客向你购买，你只知道：“好吧，他们付了我的价格。”你并不知道他们是勉强愿意支付这个价格，还是实际上愿意支付双倍。
如果顾客没有购买就离开，你只知道：“他们不喜欢我的价格。”但你不知道为什么，也不知道他们心中的秘密价格是多少。

这就像玩“猜数字”游戏，你只能得到“太高”或“太低”的提示，却永远得不到实际数字。因为你如此盲目，不得不进行大量猜测，这会让你付出代价（遗憾）。

新发现（“玻璃窗”店主）

本文提出了一种更贴近现实的看待市场的新方式，其灵感来源于现代电子股票交易所的实际运作机制。作者提出了一个**“玻璃窗”模型**：

如果交易发生：你仍然不知道顾客的秘密价格。（和以前一样）。
如果没有交易发生：这是神奇之处。如果你设定了价格，而没有人进行交易，你就能透过“玻璃窗”（即订单簿）窥视一眼。你突然能看到周围那些没有进行交易的人的确切秘密价格。

类比：
想象你在卖一本稀有漫画书。

情景 A（交易发生）：一个男人递给你 100 美元并拿走了书。你知道他付了 100 美元，但你不知道他是否愿意支付 150 美元。你并没有获得关于他真实价值的任何新信息。
情景 B（未发生交易）：你要价 100 美元。一个男人路过，看了看，说：“我只愿意付 40 美元”，然后继续走开。因为交易没有达成，你现在知道他的秘密价值是 40 美元。

本文认为，在现实世界中，做市商确实能看到这些“挂单”（即那些没有交易的人）。本文首次从数学上证明，看到那些“没有”购买的人，具有巨大的价值。

作者做了什么

作者创建了三种不同的“游戏模式”，以测试一个智能算法利用这种“玻璃窗”优势能学习得有多好：

随机市场（随机过程）：
- 设定：市场价格随机变化，就像每天抛硬币一样。
- 结果：他们构建了一种名为 OPSR（乐观/悲观连续拒绝）的算法。这就像一位聪明的店主，通过剔除坏价格来逐步缩小最佳价格的范围。
- 胜利：因为他们能看到“未交易”的价格，所以学习速度快得多。他们证明了该算法随时间推移产生的错误（遗憾）非常少，具体而言，相比“盲目”版本，显著提高了学习速度。
“弹跳球”市场（均值回归）：
- 设定：价格并非随机弹跳；它们倾向于回归到平均值，就像橡皮筋弹回中心一样。如果价格过高，通常会下跌；如果过低，则会上涨。
- 结果：他们调整了算法（称为 LAZYOPSR）以应对这种“弹跳”行为。即使价格存在相关性（今天的价格影响明天），“玻璃窗”仍然帮助他们高效学习。他们证明了该算法表现依然非常出色。
“狡猾对手”市场（对抗性）：
- 设定：想象有一个聪明的对手试图欺骗你。他们以完全不可预测且旨在让你失败的方式改变价格。
- 结果：他们构建了一种名为 ETP（先探索后扰动）的策略。首先，他们花一些时间观察市场以学习基础知识（探索）。然后，他们选择一个策略，但对其添加一点随机的“噪声”（扰动），使对手无法预测他们的下一步行动。
- 胜利：即使面对狡猾的对手，他们也证明了该算法仍能保持较低的损失，尽管在此类市场中学习比在随机市场中更难。

为何这很重要

本文的主要结论简单而有力：信息就是力量。

在在线学习（计算机通过试错进行学习）的世界里，关于你能获取多少信息有着严格的规则。通常，如果你没有得到回报（交易），你就没有任何信息。本文表明，如果你即使在未获得回报时也能获得一些信息（通过看到“未交易”的估值），你就能快得多地学习，并创造多得多的利润。

他们证明了这种特定类型的“部分信息”彻底改变了游戏规则，使得能够取得比以往认为可能的更好的结果，而无需假设市场是完美平滑或可预测的。

简而言之：本文证明，在在线做市中，知道谁“没有”购买，与知道谁购买了同样重要。

技术摘要：在线做市与观察订单簿的价值

问题表述
本文探讨在线做市问题，其中智能体（“做市商”）依次发布单一资产的买入价（ $B_t$ ）和卖出价（ $A_t$ ），以与持有私有估值（ $V_t$ ）的交易者进行交互。该资产在每一轮结束时实现其客观市场价值（ $M_t$ ）。智能体的目标是相对于事后最优的固定买卖价差策略，最小化遗憾值。

核心挑战在于反馈结构。在传统表述中（例如 Cesa-Bianchi 等人，2024），反馈是完全被截断的（强盗反馈）：智能体仅观察到交易是否发生。本文引入了一种受真实限价订单簿（LOB）启发的新颖行动依赖反馈模型。反馈机制定义如下：

交易发生： 如果 $V_t \le B_t$ （做市商买入）或 $V_t \ge A_t$ （做市商卖出），则发生交易。智能体观察到市场价格 $M_t$ ，但不观察交易者的私有估值 $V_t$ 。
无交易： 如果 $B_t < V_t < A_t$ ，则未发生交易。关键在于，智能体观察到交易者的估值 $V_t$ （以及 $M_t$ ）。

这创造了一种机制，即当即时收益为零时，恰好获得具有信息量的反馈。智能体面临一种张力：缩小价差以最大化利润（这可能导致错过具有信息量的“无交易”事件）与扩大价差以收集关于估值分布的信息。

方法论与算法
作者提出了三种不同的算法，分别针对关于市场价格过程 $M_t$ 的不同假设：

随机独立价格（算法 1：OPSR）：
- 假设： $M_t$ 是均值为 $\mu$ 的独立同分布（i.i.d.）序列，且 $\mu$ 未知。
- 方法： 乐观/悲观连续拒绝（OPSR） 算法。它维护一组离散的候选买卖价格。
- 机制： 它利用消除策略。在每一步，它构建关于 $V_t$ 累积分布函数（CDF）和 $M_t$ 均值的乐观与悲观置信区间。
- 估计： 尽管 $V_t$ 仅在无交易时被观察到，该算法仍利用“截断”观测值（ $V^{clip}_t$ ）构建 CDF 的代理估计量。仅当置信区间证实某些行动次优时，才消除这些次优行动，从而确保最优配对不会被过早丢弃。
- 复杂度： 基础算法的每步复杂度为 $O(\sqrt{T})$ 。变体 LAZY-OPSR 仅在 2 的幂次时刻更新估计值，从而实现 $O(\log T)$ 的摊销复杂度。
均值回归价格（算法：LAZY-OPSR）：
- 假设： $M_t$ $M_{t}$ 遵循一大类均值回归过程，通过两个条件形式化：
  - 局部： 自回归 AR( $k$ ) 过程（离散 Ornstein-Uhlenbeck 过程）。
  - 全局： 鞅型条件，即给定累积偏差的历史，未来期望偏差与当前累积偏差之间的相关性为非正。
- 方法： 作者在这些全局均值回归条件下，证明了样本均值的新集中不等式。他们将 OPSR 调整为 LAZY-OPSR，该算法将行动消除限制在特定时间步（倍增技巧），以防止智能体的选择与价格序列产生不可预测的相关性。
对抗性价格（算法 2：ETP）：
- 假设： $M_t$ 是任意且无知的序列（无随机假设）。
- 方法： 探索 - 后扰动（ETP） 算法。
- 机制：
  - 探索阶段： 在前 $\kappa$ 轮中，智能体设定 $B_t=0$ 和 $A_t=1$ ，以确保在整个定义域上对 CDF $F$ 进行均匀估计。
  - 利用阶段： 智能体切换到“跟随受扰动领导者”（FTPL）策略。算法不是直接扰动累积奖励，而是向估计的均值价格 $\hat{\mu}_t$ 添加随机噪声 $\varepsilon$ 。这稳定了非凸设置中优化器的决策，防止所选买卖价差对的波动。

关键结果
本文建立了高概率遗憾界，显著优于标准强盗反馈的界限：

随机与均值回归场景： 所提出的算法以高概率实现了 $\tilde{O}(\sqrt{T})$ $\tilde{O} (T)$ 的遗憾界。
- 该结果无需对交易者估值分布 $F$ 施加平滑性（例如 Lipschitz 连续性）假设。
- 相比之下，随机场景中的标准强盗反馈模型通常需要 Lipschitz 假设才能达到 $\tilde{O}(\sqrt{T})$ ；若无这些假设，或在对抗性场景中，下界为 $\Omega(T^{2/3})$ 或 $\Omega(T)$ 。
对抗性场景： ETP 算法保证了期望遗憾为 $\tilde{O}(T^{2/3})$ $\tilde{O} (T^{2/3})$ 。
- 这优于对抗性场景下强盗反馈的 $\Omega(T)$ 下界（除非满足 Lipschitz 条件）。
- 由于扰动噪声的重尾特性，该界限在期望意义下成立，而非高概率成立。

意义与贡献
本文声称首次形式化了在线学习中这种特定的行动依赖反馈结构，其中具有信息量的反馈恰好在奖励为零时揭示。主要贡献包括：

新颖的反馈模型： 它量化了观察订单簿（具体而言，即无交易发生时的挂单）的价值。结果表明，即使是有限的、行动依赖的反馈，与标准截断反馈模型相比，也能显著改善理论遗憾保证。
假设的放宽： 在随机和均值回归场景中实现的 $\tilde{O}(\sqrt{T})$ 遗憾，无需对估值分布施加平滑性假设，这与之前的连续强盗文献有显著不同。
新的集中不等式： 推导了基于累积偏差的全局均值回归条件下的样本均值集中不等式，作为一个具有独立兴趣的结果呈现。
算法设计： 引入了针对反馈混合特性（零奖励时的完全反馈，非零奖励时的强盗反馈）量身定制的基于消除和探索 - 后扰动策略，为处理金融市场中的部分可观测性提供了新框架。

作者总结道，尽管该模型是风格化的，但它隔离了信息结构在做市中的关键作用，表明观察未执行订单的能力是有效、低遗憾做市策略的基本要求。

旧方法（“盲目”的店主）

新发现（“玻璃窗”店主）

作者做了什么

为何这很重要

技术摘要：在线做市与观察订单簿的价值

类似论文