📊 statistics

A Tale of Two Cities: Pessimism and Opportunism in Offline Dynamic Pricing

本文提出了一种针对历史数据覆盖不全环境下的离线动态定价的非参数部分识别框架，引入了独特的悲观与乐观决策规则，这些规则不仅提供了有限样本后悔界并优于标准离线强化学习基线，还将企业的风险立场映射为其最优定价策略。

原作者： Zeyu Bian, Zhengling Qi, Lan Wang

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeyu Bian, Zhengling Qi, Lan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家航空公司的机长，正试图出售航班机票。你的目标是设定一个完美的价格：高到足以盈利，但又低到能让人们真正购买机票。

通常，机长们通过试错来学习：“今天试试 200 美元，明天试试 300 美元，看看会发生什么。”但在现实世界中，公司往往无法进行实验。它们无法承受因定价失误而造成的亏损，或者根本没有时间测试每一个可能的价格点。相反，它们必须查阅一本关于过去销售的历史书，以确定下一步该怎么做。这被称为“离线动态定价”。

问题：历史书中的“缺失页”

本文作者指出了公司通常使用这些历史书时存在的一个主要缺陷。

想象一下，你的历史书中只记录了 100 美元、200 美元和 400 美元的价格条目。书中没有300 美元的数据。

旧方法：大多数计算机算法会说：“我们没有 300 美元的数据，所以无法使用它。让我们就从我们确实拥有的价格（100 美元、200 美元或 400 美元）中挑选最好的那个吧。”
危险：如果完美的价格实际上是 300 美元呢？仅仅因为它在书中“缺失”就忽略它，公司就会错失利润。

本文将此称为“无覆盖”问题。数据是不完整的，最佳价格可能完全缺失于记录之外。

解决方案：运用“常识”（单调性）

作者提出了一种阅读历史书的新方法。他们依赖一条简单的经济学规则，称为单调性：在其他条件相同的情况下，如果你提高价格，购买的人数就会减少。

这就像楼梯。如果你知道有多少人买了 200 美元的票，又有多少人买了 400 美元的票，即使从未有人在恰好 300 美元时购买过，你也能对 300 美元的价格做出非常合理的推测。

300 美元的需求量必须低于200 美元。
300 美元的需求量必须高于400 美元。

因此，作者不是为 300 美元猜测一个单一的数字，而是创建一个安全区（一个区间）。他们说：“我们不知道确切的数字，但我们知道它介于 200 美元的结果和 400 美元的结果之间。”

两种策略：乌龟与狐狸

一旦他们拥有了这些“安全区”而不是单一数字，作者就为公司创建了两种不同的决策风格。

1. 悲观策略（乌龟）🐢

心态：“最坏情况。”
运作方式：乌龟查看每个价格的“安全区”，并问：“如果我选择这个价格，我可能赚到的最低金额是多少？”然后，它选择能保证这些最坏情况金额中最高的那个价格。
适合谁：那些害怕亏损的公司。如果你是一家无法承受糟糕日子的小企业，你需要乌龟。它能保护你免受下行风险。它是安全、稳定且乏味的。

2. 机会主义策略（狐狸）🦊

心态：“我错过了什么？”
运作方式：狐狸查看“安全区”，并问：“如果我选择这个价格，与最佳可能替代方案相比，我可能会多差多少？”它试图最小化做出错误选择的“遗憾”。
区别：如果一个价格具有较低的“最坏情况”，但具有巨大的“最好情况”（巨大的潜在上行空间），狐狸仍可能选择它。乌龟会因其较低的下限而立即拒绝它。狐狸愿意承担经过计算的风险以捕捉巨大的胜利。
适合谁：那些拥有深厚资金储备、渴望增长的大型成熟公司。如果你拥有吸收小损失以换取巨大收益机会的资源，你需要狐狸。

结果：实验中发生了什么？

作者使用计算机模拟和来自航空机票（具体是从纽约到夏洛特的航班）的真实数据测试了这些想法。

旧方法：当数据缺失时（如 300 美元的价格），标准计算机程序会失败。它们坚持使用已知的价格，即使这些价格并非最优。
新方法：
- **机会主义（狐狸）**策略在大多数情况下获胜。它足够勇敢，能够选择那些被证明是最有利可图的“缺失”价格。在许多测试中，其表现几乎与拥有完美数据时一样好。
- **悲观（乌龟）**策略优于旧的标准方法，但有时过于谨慎。然而，它在防止灾难方面表现出色。
- 至关重要的是，其他研究人员使用的旧“悲观”方法从未选择过缺失的价格。新的“精细化悲观”方法可以，但仅限于非常特定的情况（例如，如果缺失的价格是最高的那个）。

核心启示

本文为公司在数据不完整时提供了一张实用的地图：

不要忽略缺失的价格。利用高价格和低价格之间的关系来估算缺失价格可能是什么。
选择你的性格。
- 如果你需要安全且厌恶亏损，请使用悲观规则。
- 如果你想要增长且愿意冒一点险以获取巨大回报，请使用机会主义规则。

本文从数学上证明了这两条规则是处理这一特定问题的最佳方式，为公司根据它们愿意承担的风险程度提供了明确的选择。

技术摘要：双城记：离线动态定价中的悲观主义与机会主义

问题陈述
本文解决了离线动态定价中的挑战，即在历史数据对价格空间覆盖不全的环境中进行定价。在许多实际应用中，企业无法承担广泛实验的成本或风险，导致数据集中某些候选价格（包括潜在的最优价格）完全未被观测到。标准的离线强化学习（RL）方法，包括那些依赖完全覆盖或部分覆盖假设（即最优策略的动作必须在数据中有所体现）的方法，在这些“无覆盖”设定下均会失效。当最优价格缺失时，需求和 Q 函数不再具有点识别性，这使得标准估计量变得次优或无法适用。作者旨在建立一个统计上可靠的离线动态定价框架，该框架无需任何数据覆盖假设，并利用需求随价格非递增这一基本经济规律。

方法论
作者提出了一种非参数部分识别框架，利用需求对价格的单调性来界定未观测价格的值。

部分识别框架：
该方法不通过参数模型进行外推，而是为未观测价格 $a$ 处的需求分布函数 $F_t(d|a)$ 构建区间界限。这些界限源自邻近的已观测较低价格（ $a^L_t$ ）和较高价格（ $a^U_t$ ）处的观测需求分布。具体而言，对于未观测价格 $a$ ，条件累积分布函数（CDF）被界定为 $F_t(d|a^L_t) \le F_t(d|a) \le F_t(d|a^U_t)$ 。为了考虑抽样误差，作者利用源自 Dvoretzky–Kiefer–Wolfowitz 不等式的置信区间对这些界限进行了细化，确保真实 CDF 以高概率落在构建的区间内。
决策规则：
在此框架内，作者针对序贯无覆盖环境制定了两种截然不同的动态决策规则：

悲观策略：该策略最大化最坏情况下的收入。它选择最大化 Q 函数下界的价格，该下界是通过对可能需求分布的置信集最小化 Q 函数而构建的。当关于未观测价格的不确定性很大时，这种方法能提供针对下行风险的保护。
机会主义策略：该策略最小化相对于最佳可行替代方案的最坏情况遗憾值。与关注收入下界的悲观方法不同，机会主义方法考虑了在未知需求的最坏情况实现下，某项行动相对于最佳替代行动可能产生的最大遗憾值。这使得企业能够追求来自未充分探索价格的潜在上行收益。

算法：
作者利用逆向归纳法（动态规划）为两种策略开发了高效算法。核心计算步骤涉及求解线性规划，以在构建的置信集内找到最坏情况的 Q 值（针对悲观策略）或最坏情况的遗憾值（针对机会主义策略）。

主要贡献

无覆盖框架：本文提出了第一种无需任何数据覆盖假设即保持有效的离线动态定价技术。它引入了一种部分识别框架，用于在离线数据中缺失最优价格时进行策略学习，且不对需求、策略类或 Q 函数类施加任何参数限制。
理论保证：作者为悲观策略和机会主义策略建立了有限样本遗憾界。这些界限分解为两项：一项捕捉已观测价格的估计误差，另一项量化由未观测最优价格引起的额外成本。
- 当最优价格被覆盖时，遗憾恢复为标准的 $O_p(\sqrt{\log N / N})$ 速率。
- 当覆盖失败时，结果量化了在部分识别下学习的精确成本，表明该界限是紧的（可达的）。
管理映射：该框架提供了从企业风险姿态到其定价策略的实用映射。它区分了寻求收入稳定性的企业（悲观策略）与愿意为潜在收益承担适度风险的企业（机会主义策略）。

结果
作者通过模拟和涉及航空机票定价的真实数据应用评估了他们的方法。

模拟：使用泊松分布和负二项分布需求模型以及多种缺失数据机制，将所提出的方法与标准离线 RL 基线（贪婪、朴素悲观、保守 Q 学习和批约束 Q 学习）进行了比较。结果表明，所提出的机会主义方法通常优于基线，特别是在行为策略次优或数据覆盖稀疏的场景中。即使存在缺失价格，机会主义方法也频繁达到与神谕最优策略相当的性能。细化后的悲观方法在多种情况下也优于朴素悲观方法。值得注意的是，机会主义方法是唯一能够选择未观测但为最优的价格的方法，而悲观基线（包括大多数情况下的细化版本）往往倾向于排除这些价格。
真实数据应用：在对 Expedia 航空机票数据（从 JFK 到 CLT）的分析中，某些价格点代表性不足，机会主义方法在蒙特卡洛模拟中实现了最高的实证总收入。细化后的悲观方法排名第三，表现略逊于 CQL，而朴素悲观方法产生的收入最低。机会主义方法成功地在特定状态下选择了未观测的价格点，而 CQL 则没有。

意义与主张
本文声称在序贯无覆盖环境中弥合了离线动态定价与部分识别之间的差距。它认为，现有的离线 RL 方法不足以解决最优价格可能完全缺失于历史数据中的定价问题。通过利用需求单调性，所提出的框架允许在观测数据的支持范围之外进行策略学习，而无需依赖参数假设。作者强调，他们的遗憾界是紧的且速率最优。在管理层面，这项工作为决策者提供了一种细致的工具，使他们能够根据风险承受能力和资源可用性，在用于下行保护的保守策略（悲观主义）和用于潜在收益的激进策略（机会主义）之间进行选择。文章结论指出，虽然没有单一策略能始终优于另一种，但选择取决于具体情境以及企业在风险和不确定性方面的战略目标。