Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce

技术摘要：“LLM 智能体能否实现具有竞争力的定价？一个针对代理商业的动态多属性拍卖基准测试”

问题陈述
随着大语言模型（LLM）智能体从概念原型向支付网络和零售平台中的部署基础设施转型，一个关键的评估缺口依然存在：这些智能体能否在现实世界的市场条件下进行胜任的定价？现有的基准测试通常评估产品知识或在固定实例上进行谈判，或者研究在程式化、静态规则下的拍卖。它们未能捕捉到部署型代理商业的核心挑战：学习隐藏的客户偏好、在存在适应性竞争对手的情况下管理利润率，以及在需求意外转变时修正信念。本文认为，如果没有在动态、非平稳环境下的系统性测试，目前尚不清楚 LLM 是否能学习客户的价值所在、选择有利润的报价，并适应市场冲击。

方法论：Bazaar 框架
作者引入了 Bazaar，一个用于评估动态多属性密封递价拍卖中 LLM 商家表现的诊断框架。

• 环境： 该框架模拟了一个拥有 $M$ 个商家和 $I$ 个客户，经历 $T$ 个全局轮次的市场。在每一轮中，每个客户都会运行一次密封递价拍卖。
• 多属性拍卖： 商家提交的竞标由一个产品配置（包含 $K$ 个属性且每个属性有 $L$ 个层级的向量）和一个价格组成。客户对这些配置拥有隐藏的、加性的效用函数。客户选择使效用（$V(x) - p$）最大化的报价。
• 信息约束： 核心 LLM 商家仅观察到稀疏的反馈：获胜者的身份、获胜的配置以及获胜的价格。它无法观察到客户的估值、竞争对手的成本或竞争对手的竞标。落败的商家无法获得关于效用差距的信息。
• 动态冲击： 为了测试适应能力，框架在游戏中期引入了未预告的偏好转移。对于一部分客户，两个属性的估值曲线被交换（例如，$A \leftrightarrow B$），这改变了最优配置，但并未改变底层的需求结构。智能体必须仅通过拍卖结果的变化来检测这种转变。
• 对手： 核心 LLM 与三个具有适应性的、基于规则的“专家型”机器人竞争。每个机器人都在一个特定属性上拥有结构性成本优势，并根据胜负历史调整其利润率（获胜后提高利润率，落败后降低利润率）。
• 评估指标： 作者超越了简单的胜率，提出了一个诊断套件：
  • 总利润： 累计收益。
  • 利润率纪律： 单次获胜的利润。
  • 后验遗憾分解（Oracle Regret Decomposition）： 将实际利润与事后最优最优值（Oracle）之间的差距分为损失遗憾（Loss Regret）（即 Oracle 本可以获胜但在该轮落败的轮次）和低价遗憾（Underprice Regret）（即虽然获胜但定价低于最优利润率的轮次）。
  • 冲击恢复： 在偏好发生转移后，恢复到冲击前性能水平的能力。

核心贡献

1. 动态定价的诊断框架： Bazaar 提供了一个闭合形式的效用环境，允许在动态竞争中进行精确评估。它将性能划分为不同的失败类型：“失败者”（无法赢得有利润的拍卖）和“低价者”（虽然获胜但留下了利润空间）。
2. 对前沿 LLM 的实证评估： 本研究评估了来自四个供应商（Anthropic, Google, OpenAI, xAI）的 11 个前沿 LLM，涵盖了各种思维努力程度的配置。
3. 发现失败模式与权衡： 该基准测试揭示了“强学习/弱适应”现象：那些在冲击前学习迅速的模型，在冲击后往往难以修正其信念。
4. 基于遗憾的分析： 通过分解遗憾，论文表明思维努力（推理计算）会使模型沿着失败曲面移动，通常通过将“失败者”转化为“低价者”来实现——即通过修复配置搜索来解决问题，却未能优化利润提取。

结果

• 利润 vs. 胜率： 在 11 个模型中，总利润与单次获胜利润高度相关（$r=0.99$），但与胜率的相关性较低（$r=0.88$）。例如，Gemini 3.1 Pro 实现了最高的胜率（77.9%），但其总利润低于 Opus 4.6（胜率为 67.8%），因为 Opus 4.6 提取了显著更高的利润率（$2.22 对比$1.83 每获胜）。
• 思维努力的影响： 增加推理计算（思维预算）会剧烈改变性能。GPT-5.4 在默认设置（无扩展思维）下仅赚取了 \266（第 4 梯队），但在高强度投入下，其收益达到了 \1,936（第 2 梯队），增长了 7.3 倍。然而，这种转变通常会改变失败模式：高投入的 GPT-5.4 减少了损失遗憾（赢得了更多），但增加了低价遗憾（定价过低）。
• 冲击适应性： 出现了一种“强学习/弱适应”模式。像 GPT-5.3 和 Opus 4.5 这样的模型在冲击前能迅速提升胜率，但在冲击后遭受了严重退化（损失了约 19 个百分点）。相反，较早进入平台期的 Gemini 3.1 Pro 在冲击后恢复最快，这表明其简洁、以假设为导向的推理方式有利于更好的信念修正。
• 成本效率： Gemini 3.1 Pro 是最具成本效益的高性能模型，其实现高利润的 API 成本仅为最高利润获得者 Opus 4.6 的 1/4.8。
• Bandit 基准： 经典的 Bandit 算法（Thompson Sampling, EXP4）设定了一个非平凡的底线，在利润方面优于一些基础 LLM，尽管顶尖 LLM 在利润提取和适应速度方面仍超越了它们。
• 版本新旧性： 新的模型版本并不总是优于旧版本。例如，Opus 4.7 在供应商默认设置下表现逊于 Opus 4.6 和 Opus 4.5，而 GPT-5.3 的表现优于 GPT-5.4 和 GPT-5.5。

意义与主张
论文声称，虽然当前的 LLM 在代理商业方面正在取得进展，但仍留有“巨大的提升空间”。最强的智能体仅捕捉到了事后最优利润的三分之一以下。作者强调，静态基准测试是不够的；Bazaar 的动态特性揭示了某些失败模式——例如在市场变化后无法修正信念，或即使获胜也倾向于定价过低——这些模式在静态评估中是无法被察觉的。

这项工作连接了 LLM 智能体拍卖、多智能体基准测试、电子商务和算法定价等领域。它指出，“利润率纪律”是衡量盈利型智能体的辨别性技能，并且“思维预算”是性能提升的主要杠杆，尽管必须在增加思维预算与面临从“失败者”转向“低价者”的风险之间取得平衡。作者总结道，虽然 LLM 正在成为具备能力的经济主体，但它们在竞争性、非平稳市场中的定价策略仍然是一个需要进一步完善信念修正和战略推理的开放性挑战。