🤖 machine learning

AIGP: An LLM-Based Framework for Long-Term Value Alignment in E-Commerce Pricing

本文提出了 AIGP，这是一个基于大语言模型（LLM）的框架，该框架通过将监督微调与经由离线强化学习和直接偏好优化（DPO）训练的长效价值评估器相结合，实现了具有可解释性、长效价值对齐的动态定价，并在大规模电子商务 A/B 测试中证明了其在 GMV、ROI 和里程碑达成率方面的显著提升。

原作者： Chennan Ma, Yanning Zhang, Siqi Hong, Xiuchong Wang, Fei Xiao, Keping Yang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chennan Ma, Yanning Zhang, Siqi Hong, Xiuchong Wang, Fei Xiao, Keping Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营着一个规模宏大、繁忙的数字市场，就像一个永不停歇的巨型跳蚤市场。每天都有数以百万计的商品被上架，而你需要为每一件商品决定最完美的定价。如果定价太高，没人会买；如果定价太低，你会亏钱。这就是动态定价所面临的挑战。

长期以来，在线商店一直使用两种主要方式来设定价格：

规则手册： 人类编写严格的规则（例如：“如果销量下降，则降价 10%”）。
数学巫师： 计算机使用复杂的数学模型来猜测销量会对价格变化做出何种反应。

问题在于： 这两种方法都有些“盲目”。它们无法阅读客户评论或产品描述，因此无法理解人们为什么想要某件商品。此外，它们往往目光短浅，只顾着追求今天的快速销售，却忽视了这是否会损害店铺的声誉或下个月的利润。

AIGP（人工智能生成定价） 应运而生，这是一个由阿里巴巴研究人员开发的全新框架。你可以把 AIGP 想象成聘请了一位超级聪明、经验丰富的店长，他读过每一本经济学书籍，了解每件产品的历史，并且能向你解释他做出决策的原因。

以下是 AIGP 的工作原理，将其分解为简单的步骤：

1. “大脑”（大语言模型）

AIGP 不仅仅是吐出一个数字，它使用了一个强大的 AI（大语言模型）来扮演侦探的角色。

线索： 它不仅观察硬性数据（点击量、销量），还观察软性线索（客户在评论中写了什么、产品描述，甚至是季节因素，如“开学季”或“节日季”）。
思考过程： 在给出价格之前，AI 会写出一段“思考过程”（就像侦探的笔记本）。它会说：“好吧，这张书桌质量很好，现在是九月，家长们正在购买学校用品。我应该保持稍高的价格，因为现在人们愿意支付更多。”
结果： 它给出一个价格并附带清晰的解释，以便人类管理者能够信任它。

2. “老师”与“学生”（训练）

研究人员并没有让 AI 盲目猜测。他们使用了教师-学生教学法：

老师： 一个拥有 2350 亿个“脑细胞”的超大规模、超智能 AI，它能生成完美的定价策略和解释。
学生： 一个拥有 300 亿个“脑细胞”的小型、快速运行的 AI，其运行成本更低。
课程： 老师教导学生如何思考和决策。学生学习模仿老师的高质量推理过程，同时保持体积足够小，以便每天在数百万件产品上快速运行。

3. “水晶球”（长期价值评估器）

这是最关键的部分。通常，AI 做出的决策在今天看起来很棒，但对下周却有害。

想象一个卖家为了今天的成交而将价格降至零。他们完成了一笔交易，但却毁掉了整个月的利润。
AIGP 使用了一个名为长期价值评估器（LTVE）的特殊工具。你可以把它看作是一个基于 6 个月真实销售数据的水晶球。
在 AI 挑选价格之前，水晶球会进行模拟：“如果我们选择这个价格，我们 14 天后的总利润会是多少？”
如果水晶球说：“这个价格会在未来损害我们，”那么 AI 就会学会避免这种行为。它教会了 AI 关注长远利益（两周内的总利润），而不仅仅是眼前的短期收益。

4. “教练”（偏好优化）

一旦 AI 学好了基础知识，研究人员就会充当教练。

他们向 AI 展示两个不同的定价选择。
“水晶球”会对它们进行评分。
教练会告诉 AI：“你选错了。另一个选择在长期内会让我们赚更多钱。记住这一点，下次改进。”
这个过程被称为直接偏好优化（DPO），它对 AI 进行微调，使其始终选择能在长远发展中获胜的策略。

结果：效果如何？

研究人员在阿里巴巴市场的一个真实组成部分——淘工厂上测试了 AIGP。他们针对 20 万种产品进行了为期两个多月的庞大实验。

与旧系统相比，AIGP 实现了：

+13.21% 的总销售额（GMV）增长： 店铺卖出了更多的商品。
+7.59% 的投资回报率提升： 店铺每投入一美元获得的利润更高。
+8.20% 的“里程碑”达成率： 更多产品达到了他们的长期销售目标。

为什么这很重要？
不同于以往那些输入数据、输出数字且让人无法理解原因的“黑盒”AI，AIGP 是透明的。它会告诉你它设定该价格的原因。它还能通过利用相似商品的知识来处理“冷启动”问题（即没有历史数据的全新产品），就像人类专家那样。

简而言之，AIGP 就像是从计算器升级到了一个睿智、经验丰富的商业伙伴，它能洞察局势、规划未来，并向你解释它的逻辑。

技术摘要：AIGP —— 一种用于电商定价长期价值对齐的基于 LLM 的框架

1. 问题陈述

大规模电子商务中的传统动态定价面临三个关键局限性：

可解释性有限： 基于规则的系统和黑盒数据驱动模型（如标准的强化学习）缺乏透明的推理能力，导致难以审计决策或建立商家信任。
非结构化数据利用不足： 现有方法难以利用丰富的文本上下文（如产品描述、用户评论和季节性趋势），主要依赖于结构化的历史指标。
与长期目标不一致： 激进的折扣往往以牺牲长期业务健康为代价来最大化短期销售额。在长周期（例如 14 天）内优化累计商品交易总额（GMV）、投资回报率（ROI）和里程碑达成情况，由于奖励稀疏性和建模延迟市场效应的难度，仍然具有挑战性。

虽然强化学习（RL）为长期优化提供了路径，但它受困于分布偏移、奖励稀疏以及缺乏可解释性的问题。相反，大语言模型（LLM）提供了推理能力和处理非结构化数据的能力，但缺乏特定领域的运营知识和长周期结果反馈，往往导致次优且短视的决策。

2. 方法论：AIGP 框架

作者提出了 AIGP（Artificial Intelligence Generated Pricing，人工智能生成定价） 框架，该框架将基于 LLM 的推理与离线强化学习相结合，以实现透明且符合业务逻辑的动态定价。该框架通过一个四阶段流水线运行：

2.1 领域自适应监督微调 (SFT)

为了将 LLM 部署为定价策略，作者采用了教师-学生蒸馏策略：

教师模型： 一个拥有 235B 参数的大型 LLM（Qwen3-235B），根据包含结构化数据（销售历史、GMV、ROI）、非结构化上下文（评论、描述）和领域知识的复杂提示词，生成高质量的推理轨迹和定价决策。
学生模型： 一个紧凑的 30B 参数模型（Qwen3-30B），通过低秩自适应（LoRA）进行微调，以模仿教师模型。
质量控制： 一个“LLM-as-Judge”模块根据四个维度对教师响应进行过滤：数据准确性、内容完整性、推理内部连贯性以及推理-决策一致性。只有获得完美评分的响应才会被用于训练。
输出： SFT 模型学习遵循指令、生成思维链（CoT）推理，并输出符合规范的 JSON 格式定价动作。

2.2 长期价值估计器 (LTVE)

为了解决 LLM 缺乏长周期反馈的问题，作者通过在 500 万个历史转移记录上进行离线强化学习，训练了一个专门的长期价值估计器 (LTVE)。

架构： 一个仅包含 Critic 的架构，使用解耦的价值学习框架，结合双 Q-Critic 集成和状态价值网络 ( $V_\psi$ )。
奖励设计： 奖励函数平衡了 14 天里程碑达成情况（累计 GMV 阈值）和 ROI。它利用类别归一化的相对奖励，从而将定价策略的质量与产品本身的流行度分离。
训练： LTVE 使用多步时序差分（TD）目标（ $n=3$ ）来建模延迟的市场效应，而无需在线探索，从而减轻了分布偏移风险。

2.3 通过直接偏好优化 (DPO) 进行偏好对齐

为了使 LLM 策略与长期业务目标对齐，作者引入了一个偏好对齐流水线：

候选采样： 对于给定的状态，模型在“仅决策”模式下（使用 [ACT_ONLY] 标记）生成多个候选定价动作。
配对构建： LTVE 对这些候选动作进行评分。构建出的配对中，“被选中”的动作与“被拒绝”的动作相比，具有显著更高的 LTVE 分数和明显的折扣幅度差异。
优化： 学生模型使用直接偏好优化 (DPO) 进行微调，以最大化被选中动作相对于被拒绝动作的似然概率。这一步骤专门针对动作标记（action tokens），确保模型在学习选择能最大化长期价值的动作的同时，在推理阶段仍能保留生成完整推理轨迹的能力。

2.4 部署架构

该系统部署在淘宝的垂直类目市场 Tao Factory 上。其工作流程包括：

推理： 对齐后的 LLM 接收状态数据，生成 CoT 推理轨迹，随后输出结构化的折扣动作。
安全性： 动作受到业务规则的约束，以确保其处于安全调整范围（ $A_{safe}$ ）之内。
透明度： CoT 推理提供了可审计的定价决策依据，有助于建立商家信任。

3. 核心贡献

新颖框架： 提出了 AIGP，这是首个将基于 LLM 的推理与基于离线 RL 的长期价值建模相结合的电商定价框架。
偏好对齐流水线： 一种利用经离线 RL 训练的 LTVE 自动生成高质量 DPO 偏好对的方法，有效地弥合了 LLM 推理与长期业务优化之间的差距。
可扩展部署： 展示了将复杂的推理和决策能力从 235B 教师模型蒸馏到可部署的 30B 学生模型的过程，在显著降低推理成本的同时实现了极具竞争力的性能。

4. 实验结果

该框架通过广泛的离线评估和大规模在线 A/B 测试（持续 60 多天，覆盖约 200,000 个 SKU）在 Tao Factory 上进行了评估。

4.1 离线评估

长期价值对齐： 完整的 AIGP (SFT+DPO) 取得了最高的平均 Q 分数 (2.836)，优于价格-销售模型 (2.564) 和 RL-DT (2.694) 等基准模型。
操作忠实度： AIGP 实现了最高的专家动作匹配准确率 (82.51%) 和最低的平均绝对误差 (0.062)。
推理质量： 经过 SFT 和 DPO 处理后的 30B 模型，其推理质量得分 (19.52) 接近 235B 教师模型 (19.80)，显著优于基础 30B 模型 (18.13)。

4.2 在线 A/B 测试表现 (14 天周期)

与生产环境基准（价格-销售模型）相比，AIGP 展示了显著的提升：

里程碑达成率 (MAR)： +8.20%
累计 GMV： +13.21%
综合 ROI： +7.59%

4.3 稳定性与鲁棒性

定价稳定性： 与基准模型相比，AIGP 的极端折扣跳变更少，且小幅度调整的比例更高，这对于新品发布至关重要。
冷启动与 OOD（分布外）： 在历史数据有限（冷启动）或边界动作场景下，AIGP 利用非结构化上下文和类比推理，保持了较高的反事实判别准确率（分别为 94.6% 和 94.1%），优于标准 LTVE 和保守 Q 学习 (CQL)。

5. 意义与主张

论文声称 AIGP 成功解决了强化学习的“黑盒”性质以及通用 LLM 在电商定价中的“短视”问题。通过将可解释的 CoT 推理与长期价值优化相结合，该框架实现了：

透明的决策制定： 商家可以审计定价变化背后的“原因”，从而培养信任。
有效利用非结构化数据： 系统利用评论和描述来调整定价策略，特别是在历史数据稀缺的冷启动产品场景下。
可持续增长： 与长期指标（GMV、ROI、里程碑）的对齐，确保了定价策略驱动的是可持续的业务健康，而非仅仅是短期销量。

作者总结道，这种方法使得紧凑、可部署的模型能够匹配更大规模 LLM 的决策质量，同时确保策略的透明度以及与复杂、多目标业务目标的对齐。未来的工作建议探索跨领域的可扩展性以及符号推理与战略决策的统一框架。