When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

あらゆる商品を販売するビジネスは、静かで執拗な問題に直面しています。それは、人々が買い物をやめてしまうことです。顧客関係の世界において、最も危険な瞬間は、最初の購入の直後です。多くの新規顧客は、企業がまだその顧客がどのような人物であるかを把握しようとしている間に、二度目の購入に至ることなく姿を消してしまいます。これらの初期顧客を維持することは極めて重要です。なぜなら、一度のリピート購入が、より長く価値のある関係性の兆しとなることが多いからです。何十年もの間、企業は感謝のメッセージやクーポンを送ることでこの問題を解決しようとしてきましたが、それらはしばなしばしば盲目的でした。顧客が再び購入する準備ができているのか、あるいはすでに興味を失っているのかに関わらず、全員に同じメッセージを同時に送っていたのです。

課題は、顧客は静的な存在ではなく、日々変化するということです。ある人はシャツを購入した一週間後に熱心に再訪するかもしれませんが、一ヶ月後には無関心になっているかもしれません。これは「レセンシー・トラップ（鮮度による罠）」と呼ばれ、購入からの期間が長ければ長いほど、顧客が戻ってくる可能性が低くなる現象を指します。しかし、顧客が自発的に戻ってくる予定であったとしても、早すぎるタイミングで報酬を送ることは、資金の無駄遣いになりかねません。理想的な解決策は、各顧客の行動を観察し、適切な瞬間を待ち、その上で報酬を提供するかどうかを判断するシステムでしょう。しかし、そこには落とし穴があります。企業には限られた予算があるのです。全員にクーポンを送ることはできないため、誰にいつ送るかを選択し、支出するすべてのドルが最大の価値をもたらすようにしなければなりません。

これこそが、日本の大手ファッション通販サイトのデータを用いて、研究チームが解決しようとした精密なパズルです。彼らは、顧客の保持（リテンション）のための完璧なタイミングを学習する手法を開発しました。それは、個々の変化する行動に適応しながら、支出制限を厳格に遵守する戦略です。いつクーポンを送るべきかを推測する代わりに、彼らのシステムは数千件の実世界の実験から学習し、特定の顧客がインセンティブに最も反応しやすい正確な瞬間を特定します。その結果、得られた動的なポリシーは、顧客を繋ぎ止める上でより効果的であるだけでなく、今日の企業が用いている標準的な手法よりも大幅に低コストで運用できるものです。

研究者たちは、若い女性向けの衣料品を販売するプラットフォームを対象に調査を行いました。そこは新規購入者が豊富ですが、同時に非常に一時的な場所でもあります。その企業の元の戦略は単純かつ静的なものでした。初回購入からちょうど2日後、10日後、そして30日後に、クーポン付きの一般的なサンキューメールを送るというものです。このアプローチは、すべての顧客を同様に扱い、10日目にはすでに2つ目のアイテムを購入している顧客がいる一方で、他の顧客は完全に興味を失っているかもしれないという事実を無視していました。企業はより良い方法を求めていました。彼らはこれらの相互作用をパーソナライズする方法を必要としていましたが、同時に厳しい制約もありました。それは、クーポンのために無制限にお金を使うことはできないということです。彼らは、予算を使い果たすことなく、顧客の再訪率を最大化できる戦略を必要としていました。

答えを見つけるために、チームは大規模な実世界の実験を設計しました。数千人の新規顧客を取り上げ、彼らを異なるグループにランダムに割り当てました。あるグループは購入から2日後にクーポンを受け取り、別のグループは10日後、また別のグループは30日後に受け取りました。中には、クーポンを一切受け取らず、感謝のメッセージのみを受け取るグループもありました。決定的なのは、この実験が、各顧客が全期間を通じて最大で一つのクーポンしか受け取らないように設計されていた点です。これは、企業が一人ひとりの顧客に際限なく割引を送り続けることはできないという、現実世界の制約を模倣しています。これらの異なるグループがその後数ヶ月間にどのように行動したかを観察することで、研究者たちは、オファーのタイミングが顧客の再訪決定にどのように影響したかを示す豊かなデータセットを収集しました。

このデータを手に入れた研究者たちは、洗練された学習手法を用いて「動的な治療レジメン（dynamic treatment regime）」を構築しました。簡単に言えば、これは時間の経過とともに変化する一連のルールのことです。最初からすべてを決定してしまう静的な計画とは異なり、動的な計画は「待ち、観察する」ものです。それは、顧客が初回購入後にどのような行動をとったか（何を閲覧し、何をクリックし、どれほどの時間が経過したか）を見て、今クーポンを送るべきか、待つべきか、あるいは送らないべきかを判断します。研究者たちは、既存の数学的ツールを拡張して予算制限を扱えるようにし、学習されたルールが許容された金額を超えないようにしました。彼らは、顧客の履歴に基づいて将来の価値を予測しようとするアプローチと、問題を一連の分類タスクとして扱い、どの行動が最良の結果につながるかを直接学習するアプローチの2つの主要な手法をテストしました。

結果は驚くべきものでした。研究者たちが新しい動的ポリシーを別の顧客グループでテストしたところ、予算制約を尊重する戦略が最も優れたパフォーマンスを示すことが分かりました。このポリシーは、単に2日目に全員にクーポンを送るというものではありませんでした。その代わりに、選択的になることを学習したのです。ある顧客に対しては、その行動から離脱の兆候が見られたため、即座にクーポンを送りました。また別の顧客に対しては、待機して10日目や30日目に送るか、あるいは送らないという判断を下しました。なぜなら、その顧客は自発的に戻ってくる可能性が高いからです。クーポンを本来戻ってくるはずの顧客に対して控えることで、ポリシーは資金を節約できました。そして、その節約された資金を、インセンティブを真に必要としている顧客をターゲットにするために活用したのです。

データは、この予算を意識した動的なアプローチが、従来の静的な手法よりもはるかに効率的であることを示しました。従来の「2日目に全員にクーポンを送る」戦略は、再訪率を一定量増加させましたが、それには高いコストが伴いました。新しい動的なポリシーは、支出した金額あたりの再訪率の向上という観点で、既存のベンチマークを上回る成果を出しながら、同等またはそれ以上の再訪率の向上を実現しました。実際、消費された1円あたりの再訪率の改善度で測定すると、新ポリシーはすべてのベンチマークを凌駕しました。結局のところ、「ワンサイズ・フィッツ・オール（一律適用）」のアプローチは無駄なものでした。待ち、観察することで、システムはインセンティブが変化をもたらす正確な瞬間を特定し、人々が既に行うであろう行動に対して報酬を支払うという罠を回避できたのです。

研究者たちはさらに複雑なバージョン、つまりシステムがクーポンを送るタイミングだけでなく、単なるサンキューメールを送るか、あるいは何も送らないかを選択できる問題についても探求しました。このシナリオにおいて、システムは、高価なクーポンの代わりに安価なメールを適切に代用することを学習しました。興味を示しているものの金銭的な後押しを必要としていない顧客には無料のメールを送り、クーポンを本当に必要としている人のために温存したのです。この柔軟性が、コスト効率をさらに向上させました。その後、会社はこの知見を実世界へと持ち込み、実際の顧客に新しいポリシーを適用する大規模なオンラインテストを実施しました。オンラインでの結果は、オフラインでの予測を裏付けました。予算制約を考慮した動的ポリシーは、最も高い投資収益率（ROI）を生み出し、会社がこれまで試してきたどの戦略よりも、費やしたドルあたりの顧客獲得数を多く実現したのです。

この研究は、効果的な顧客保持の鍵は、単にデータを持っていることではなく、それを時間の経過とともにどのように活用するかにあることを証明しています。研究者たちは、顧客保持を単一のイベントではなく、一連の意思決定プロセスとして扱い、予算制限を厳格に考慮することで、より優れた結果が得られることを示しました。研究は、「レセンシー・トラップ」は実在するものであるが、適切なタイミングがあればそれを乗り越えられることを示唆しています。最も効果的な戦略とは、最も大きく叫んだり、最も頻繁に声をかけたりすることではなく、適切な瞬間に、適切な相手に語りかけることです。この日本の小売業者にとって、それは単にスマートであるだけでなく、より収益性の高いポリシーであり、従来の手法と比較して年間で数百万ドルの追加価値を生み出すこととなりました。この教訓はファッション小売業にとどまりません。顧客の関心が一時的であり、リソースが有限であるあらゆるビジネスにおいて、適応し、待つ能力は、提供するオファーそのものと同じくらい重要なのです。