When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

每一家销售商品的业务都会面临一个隐秘而持久的问题：人们停止购买了。在客户关系的世界里，最危险的时刻就在首次购买之后。许多新客户在从未再次光顾之前就消失了，在公司还在试图了解他们是谁的时候，他们便悄然离去。留住这些早期客户至关重要，因为单次重复购买往往预示着一段更长且更有价值的关系。几十年来，公司一直试图通过发送感谢信或优惠券来解决这个问题，但他们往往是在盲目地行动，无论客户是否准备好再次购买，或者是否已经失去了兴趣，都发送同样的信息。

挑战在于，客户并不是静态的；他们每天都在变化。一个人可能在买了一件衬衫一周后仍渴望回归，但在一个月后可能就变得无动于衷。这就是所谓的“近因陷阱”（recency trap），即距离上次购买的时间越长，客户回归的可能性就越小。然而，如果过早发送奖励，如果客户本来就会回来，这就会造成资金浪费。理想的解决方案是一个能够观察每个客户行为、等待时机，并决定是否提供奖励的系统。但问题在于：公司的预算是有限的。他们不能向所有人发送优惠券，因此必须选择将优惠券发给谁以及何时发送，以确保每一分钱的支出都能带来最大的价值。

这正是研究团队利用一家日本大型在线时尚零售商的数据试图解决的精确难题。他们开发了一种方法来学习完美的客户留存时机，创造了一种既能适应个人不断变化的行为，又严格遵守支出限制的策略。该系统不再靠猜测何时发送优惠券，而是通过学习成千上ğ次的真实世界实验，来确定特定客户最有可能对激励做出反应的确切时刻。结果是一种动态策略，它不仅在留住客户方面更加有效，而且运行成本也比当今企业使用的标准方法显著降低。

研究人员与一个向年轻女性销售服装的平台合作，那里的首次购买者非常多，但也往往转瞬即逝。该公司的原始策略简单且静态：在客户首次购买后的第2天、第10天和第30天，发送一封带有优惠券的通用感谢邮件。这种方法对待每位客户的方式完全相同，忽略了有些人可能在第10天就已经购买了第二件商品，而另一些人可能已经完全失去了兴趣。该公司希望做得更好。他们需要一种个性化这些互动的方式，但同时也面临一个硬性约束：他们不能在优惠券上投入无限的资金。他们需要一种能够在不超出预算的情况下，实现留存客户数量最大化的策略。

为了找到答案，团队设计了一个大规模的真实世界实验。他们选取了数千名新客户，并将他们随机分配到不同的组别中。一些人在首次购买后两天收到优惠券，一些人在十天后收到，还有一些人在三十天后收到。有些人则完全没有收到优惠券，只收到了感谢信息。至关重要的是，实验的设计确保每位客户在整个期间最多只能收到一张优惠券。这模拟了现实世界的约束，即公司无法负担向单个客户轰炸无数折扣的代价。通过观察这些不同群体在随后几个月内的行为，研究人员收集了一个丰富的数据库，展示了优惠的时机如何影响客户回归的决策。

拿到这些数据后，研究人员应用了一种复杂的学习方法，构建了一个“动态治疗方案”（dynamic treatment regime）。简单来说，这是一套随时间变化的规则。与在开始时就决定一切的静态计划不同，动态计划会等待并观察。它会查看客户自首次购买以来的行为——他们浏览了什么、点击了什么以及过去了多少时间——然后决定是现在发送优惠券，还是等待，亦或是根本不发送。研究人员扩展了现有的数学工具来处理预算限制，确保学习到的规则永远不会超过允许的支出。他们测试了两种主要方法：一种尝试根据历史记录预测客户的未来价值，另一种则通过将问题视为一系列分类任务，直接学习哪些行动会导致最好的结果。

结果令人瞩目。当研究人员在另一组客户身上测试他们的新动态策略时，他们发现表现最好的策略是尊重预算约束的策略。这一政策并没有简单地在第二天向所有人发送优惠券。相反，它学会了保持选择性。对于某些客户，由于其行为表明他们正处于即将离开的边缘，系统会立即发送优惠券。对于另一些人，它会等待，在第十天或第三十天发送，或者干脆不发送，因为这些客户很可能会自行回归。通过拒绝向那些本来就会回流的客户提供优惠券，该政策节省了资金。随后，它将节省下来的资金用于针对那些真正需要激励才能回流的客户。

数据表明，这种具有预算意识的动态方法比传统的静态方法要高效得多。虽然向所有人在第二天发送优惠券的传统策略确实增加了一定程度的回归率，但其成本很高。新的动态政策在实现相似甚至更好的回归率提升的同时，花费的资金却显著减少。事实上，如果以每投入一日元所带来的回归率提升来衡量，新政策的表现优于所有基准。事实证明，“一刀切”的方法是浪费资源的。通过等待和观察，系统可以识别出激励措施产生作用的确切时刻，从而避免了为那些原本就会做某事的人付费的陷阱。

研究人员还探索了一个更复杂的问题版本，即系统不仅可以选择何时发送优惠券，还可以选择发送简单的感谢邮件还是什么都不发。在这种情况下，系统学会了在适当的时候用低成本的邮件替代昂贵的优惠券。对于看起来感兴趣但不需要经济推动的客户，它会发送免费邮件，从而将优惠券留给真正需要的人。这种灵活性进一步提高了策略的成本效益。随后，公司将这些发现应用于现实世界，开展了大规模的在线测试，将新政策应用于实际客户。在线测试的结果证实了离线预测的结果：受预算约束的动态政策产生了最高的投资回报率，比公司尝试过的任何其他策略都能以更少的资金留住更多的客户。

这项工作证明，有效的客户留存关键不在于拥有数据，而在于知道如何随着时间的推移来使用数据。研究人员证明，通过将客户留存视为一系列决策而非单一事件，并严格考虑预算限制，公司可以取得更好的结果。研究表明，“近因陷阱”是真实存在的，但可以通过正确的时机来规避。最有效的策略不是叫得最大声或最频繁，而是在正确的时间对正确的人说话。对于这家日本零售商而言，这意味着一项不仅更聪明而且更盈利的政策，与他们之前的方法相比，在一年内创造了数百万美元的额外价值。这一教训延伸到了时尚零售之外：在任何客户注意力稍纵即逝且资源有限的业务中，能够适应并等待的能力，与优惠本身一样重要。