Training Language Models for Bilateral Trade with Private Information

1. 研究背景与问题定义 (Problem)

核心问题：
在信息不完全（Incomplete Information）的双边谈判中，买方和卖方各自拥有私有的保留价格（Reservation Price）。双方需要通过策略性互动来发现是否存在互利交易的空间（ZOPA, Zone of Possible Agreement），并确定交易价格。

现有挑战：

1. 通用 LLM 的局限性： 现有的前沿大语言模型（Frontier LLMs）在作为自主谈判代理时存在系统性缺陷：
   • 非理性行为： 经常接受导致负效用的交易（违反个体理性 IR），或在无交易空间时强行达成交易。
   • 目标错位： 预训练目标（流畅性、顺从性）与战略谈判所需的“坚持目标”、“遵守硬性数值约束”和“多轮规划”相冲突。
2. 评估难题： 自由形式的对话使得自动化评估变得不可能。难以区分报价是“具有约束力的要约”、“假设性建议”还是“市场参考”，导致无法大规模计算效用、让步率和协议状态。

研究目标：
构建一个结构化的双边谈判环境，既能作为评估前沿 LLM 能力的基准（Benchmark），又能作为通过强化学习（RL）训练开源模型（Open-weight models）的训练场。

---

2. 方法论 (Methodology)

2.1 结构化谈判环境 (Structured Bargaining Environment)

为了解决评估难题，作者设计了一个基于事件驱动模拟器的代理系统，将自然语言沟通与结构化动作分离：

• 工具调用 (Tool Calls)： 代理通过调用特定函数（如 make offer, respond to offer, quit negotiation）来执行关键动作。这使得所有报价、接受和拒绝都是机器可解析的事件。
• 自然语言消息： 代理仍可使用 send message 进行说服、信号传递和信息提取，但这与具有约束力的报价分开。
• 评估维度 (三维框架)：
  1. 个体理性 (Individual Rationality, IR)： 代理是否拒绝导致负效用的交易（即买方出价不超过保留价，卖方不低于保留价）。
  2. 战略有效性 (Strategic Effectiveness)： 在达成交易的前提下，代理获取的剩余（Surplus）份额是多少。
  3. 配置效率 (Allocative Efficiency)： 交易达成率（Deal Rate）。在有交易空间时是否达成交易，在无交易空间时是否避免交易。
• 价格层级分解 (Price-tier Decomposition)： 将物品按价值分为五个分位数（Quintiles），分析模型在不同价格区间的表现一致性。

2.2 基准测试 (Benchmarking)

• 对象： 5 个前沿模型（DeepSeek-V3, Gemini-2.5-Flash/Pro, GPT-4.1, o3）。
• 设置： 循环赛制（Round-robin），每个模型作为买方和卖方与所有其他模型（包括自身）进行对抗。
• 规模： 共 15,000 次谈判（600 个商品列表，400 个有交易空间 GFT，200 个无交易空间 NGFT）。

2.3 训练管道 (Training Pipeline)

针对开源模型（Qwen3-8B 和 14B），提出了两阶段训练流程：

1. 监督微调 (SFT)：
   • 数据： 使用 DeepSeek-R1 在模拟器中进行自我博弈生成的合成轨迹。
   • 技术： 对推理 token（Thought blocks）进行掩码处理，仅让模型学习可观察的动作和响应。
   • 目标： 学习协议合规性、工具调用格式和基本的谈判策略（行为克隆）。
2. 强化学习 (RL)：
   • 算法： 组相对策略优化 (GRPO, Group Relative Policy Optimization)。
   • 对手： 固定使用 GPT-4.1 作为对手，以提供稳定的奖励景观。
   • 奖励函数 (Reward Structure)： 组合奖励 $R = 0.5 R_{parsing} + 0.5 R_{execution} + 0.5 R_{constraints} + R_{utility}$。
     • $R_{utility}$ 基于剩余份额（Surplus Share）。
     • 关键缺陷： 理性放弃（Walk-away）和非理性接受（Irrational Acceptance）在奖励函数中均表现为 $R_{utility}=0$，导致 RL 倾向于“达成交易”而非“理性拒绝”。

---

3. 主要贡献 (Key Contributions)

1. 结构化评估框架： 首次提出将结构化工具调用与自然语言分离的谈判环境，实现了完全自动化的、基于机器解析的三维评估（IR、战略有效性、配置效率），解决了自由对话难以量化评估的问题。
2. 前沿模型基准测试： 揭示了 LLM 在谈判中的行为模式，特别是“激进锚定 + 校准让步”策略的有效性，以及模型在不同价格层级上的一致性差异。
3. 训练与诊断： 建立了针对开源模型的 SFT+RL 训练管道，并诊断出 SFT（行为克隆）与 RL（奖励优化）之间的目标张力：SFT 提高了剩余份额但降低了成交率，而 RL 恢复了成交率却牺牲了剩余份额和理性约束。

---

4. 关键结果 (Key Results)

4.1 基准测试发现 (Benchmark Findings)

• 最佳策略： “激进锚定 + 校准让步” (Aggressive anchoring with calibrated concession)。
  • 表现最好的模型（o3）作为卖方时，初始报价是成本的 3 倍多（激进锚定），随后通过高频率的让步（Calibrated concession）来达成交易。
  • 这种策略实现了一级价格歧视：通过多轮报价发现买方的支付意愿，从而最大化剩余份额，同时保持高成交率。
• 买方角色的失败模式： 过于“配合”的策略（快速让步）会导致买方剩余份额最低，且成交率也最低。缺乏战略底线的合作性会削弱议价能力。
• 价格层级一致性： 强模型（如 o3, Gemini-2.5-Pro）在不同价值区间的剩余份额波动很小（4-6 个百分点），表现出按比例适应的能力；弱模型（如 Gemini-2.5-Flash）仅在交易空间大（高价值物品）时表现尚可，在低价值物品上表现较差。
• 非理性行为： 在 NGFT（无交易空间）场景下，卖方角色更容易出现违反个体理性的行为（接受低价），而 o3 作为买方时，其激进策略会迫使较弱的卖方对手（如 GPT-4.1）做出非理性让步。

4.2 训练实验发现 (Training Findings)

• SFT 与 RL 的张力 (The SFT-RL Tension)：
  • SFT 阶段： 显著提高了剩余份额（约翻倍），但大幅降低了成交率（模型学会了“坚持好条件”并拒绝交易）。
  • RL 阶段： 恢复了高成交率，但剩余份额回落到基线水平，且在某些情况下（特别是 8B 模型面对未见过的对手 o3-mini 时），非理性接受率（Violation Rate）甚至超过了基线模型。
  • 原因： 奖励函数未能区分“理性的放弃”和“非理性的接受”（两者奖励均为 0），导致 RL 为了最大化 $R_{utility}$ 而倾向于达成任何交易。
• 泛化能力： SFT 阶段成功将“按比例策略”（Proportional Strategies）内化到模型中。训练后的模型在不同价格层级上的剩余份额波动显著减小（从 15-25% 压缩至 7-9%），且这种能力泛化到了未见过的对手（o3-mini）身上。这表明 SFT 教会了模型策略原则，而非死记硬背价格点。

---

5. 意义与未来方向 (Significance & Future Work)

意义：

• 理论验证： 证实了 LLM 可以通过结构化环境和针对性训练，掌握复杂的经济博弈策略（如价格歧视、锚定效应）。
• 方法论创新： 提出的“结构化动作 + 自然语言”混合接口为多轮代理交互的评估和训练提供了新范式。
• 训练洞察： 揭示了当前 RLHF/RL 方法在复杂多轮任务中的局限性，特别是奖励设计不当会导致策略退化和理性丧失。

局限性与未来方向：

• 奖励设计改进： 需要引入显式的个体理性（IR）惩罚，打破“理性放弃”与“非理性接受”在奖励上的对称性。
• 多样化对手： 当前训练仅针对单一固定对手（GPT-4.1），未来应引入多样化对手池以防止过拟合特定行为模式。
• 课程学习 (Curriculum Learning)： 建议采用分阶段奖励课程，先确保 IR 合规，再优化剩余份额。
• 扩展场景： 从单一物品价格谈判扩展到多属性谈判（如交付期、保修）和多边谈判（拍卖）。

总结：
该论文不仅展示了 LLM 在双边贸易中的当前能力边界，更重要的是提供了一个可复现的框架和深刻的训练洞察，指出了从“会说话”到“会谈判”的关键路径及当前技术栈中的核心瓶颈。