テクニカルサマリー：クーポン有効性におけるタイミングの影響の推定

問題提起

クーポンによるインセンティブはマーケティング戦略の定番であるが、多くの企業は投資収益率（ROI）を最大化することに苦慮している。これまでの研究は、クーポンの「価値」（例：割引率）やユーザーの「セグメンテーション」（例：アップリフトモデリング）の最適化に焦点を当ててきたが、「タイミング」の影響については、多くの文脈において未だ十分に探索されていない。

核心となる課題は、「クーポンはユーザーエンゲージメントの決定的な瞬間に提供されるときにより効果的である」という仮説を検証するには、通常、リアルタイムのイベントトリガー型配信システムが必要であるという点である。このようなシステムの導入には、多大なエンジニアリングの工数とコストが伴う。その結果、企業は「キャッチ22（ジレンマ）」に直面する。つまり、専用のリアルタイム配信システムを構築することを正当化するための証拠が必要であるが、即時配信と遅延配信を比較する専用のランダム化比較試験（RCT）を実行するためのインフラがなければ、その証拠を生成することができないのである。

本論文では、専用のABテストや既存のリアルタイム配信サービスを必要とせずに、クーポンのタイミングがコンバージョン率に与える因果効果を推定する手法について取り上げる。

メソドロジー

著者らは、既存の「自然なランダム化比較試験」データに因果推論を適用するフレームワークを提案している。このアプローチは、標準的なバッチベースのキャンペーンから得られるデータを活用するものである。これらのキャンペーンでは、ユーザーはコントロール群とトリートメント群にランダムに割り当てられるが、クーポンの正確な配信タイミングは、バッチ処理スケジュールに対するユーザーの登録または活動時刻によって決定される。

1. 因果モデリングと識別

フレームワークは、有向非巡回グラフ（DAG）を利用して、交絡変数を特定し、偏りのない推定のための条件付け集合を決定する。

• ユーザーオンボーディングのケース： 著者らは、ユーザー属性（$X$）、トリートメント（$T$）、事前購入イベント（$P$）、およびアウトカム（$Y$、将来の購入）の関係をモデル化する。ここで、重要な落とし穴として、$P$（まだ購入していないユーザー）を条件付けると、タイミングの共変量からアウトカムへのフォワードパスが遮断され、相互作用の推定にバイアスが生じることを指摘している。タイミングとトリートメントの相互作用（$P(Y|do(T), do(M))$）を推定するためには、モデルは相互作用を分析する際に$P$を条件付けてはならないか、あるいはバッチプロセスによって導入される選択バイアスを慎重に考慮しなければならない。
• ユーザーリテンションのケース： 公開データセット（Lenta）に対して、より単純な因果モデルが適用される。ここでの目的は、最終購入からの経過時間とトリートメント効果の間の相互作用を推定することである。

2. 相互作用項を用いたアップリフトモデリング

因果構造が定義された後、著者らは条件付き平均トリートメント効果（CATE）を推定するためにアップリフトモデリングを採用する。

• モデルアーキテクチャ： ニューラルネットワークや決定木のような複雑なアルゴリズムの代わりに、解釈性を優先して相互作用項を含むロジスティック回帰モデルを使用する。
• 定式化： モデルは、ベースラインの共変量（$X$）とトリートメント群に特有のアップリフト成分（$S$）の関数として、将来の購入（$Y$）の対数オッズを予測する。極めて重要な点として、トリートメント指標と時間関連の共変量（例：登録の分、最終購入からの経過時間）を掛け合わせた相互作用項が作成される。
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• 特徴量エンジニアリング： 時間関連の特徴量（時、分、新近性）は標準化される。オンボーディングのケースにおいて、著者らは、登録の「分」を標準化することで、周期的な不連続性（例：深夜）の問題を回避できると述べている。これは、クーポンが夜間には配信されず、遅延が1時間単位で一定であるためである。

3. 実験設定

• 内部データ（Mercari）： ユーザーのオンボーディングキャンペーンの分析。ここでは、ユーザーは1時間ごとのバッチジョブを通じてコントロール群とトリートメント群にランダムに割り当てられた。この「自然な実験」としての側面は、登録の「分」に基づいて、登録からクーポン受領までの遅延がバッチ処理スケジュールとは独立して変動することから生じる。
• 公開データ（Lenta）： ロシアのハイパーマーケットチェーンのユーザーリテンションキャンペーンのデータセット。本フレームワークの汎用性と再現性を検証するために使用される。

主な結果

ユーザーオンボーディング (Mercari)

• 統計的有意性： **登録の「分」**のアップリフト係数は、正であり、統計的に有意（$p \approx 0.05$）であることが示された。これは、時間の区切り（正時）に近いタイミングで登録したユーザーの方が、登録から時間が経過したユーザーと比較して、増分コンバージョン率が高いことを示している。
• 解釈： アカウント作成からクーポン配信までの経過時間は、クーポンの有効性に大きな影響を与える。
• 反事実分析： モデルの予測を示す可視化によれば、ベースラインのコンバージョン率は登録時刻によって多少変動するものの、*トリートメント効果（アップリフト）*は、クーポンを即時に受け取るユーザーにおいて明らかに高い。これは、リアルタイム配信システムへのエンジニアリング投資を正当化するための必要な証拠を提供している。

ユーザーリテンション (Lenta)

• ベースライン効果： 「最終購入時刻」のベースライン係数は強く正であり、最近購入を行ったユーザーはコンバージョンしやすいという「ゾーン」仮説を裏付けている。
• タイミングの相互作用： 最終購入からの経過時間に関するアップリフト係数は、弱く正ではあるが、統計的に有意ではない。
• 結論： オンボーディングのシナリオとは異なり、リテンションにおいては、購入直後にクーポンを届けることが（バッチ配信と比較して）顕著なビジネスインパクトをもたらすわけではないことが、この特定のデータセットからは示された。

貢献と意義

本論文は、以下の具体的な貢献を行っている。

1. タイミングの重要性の提示： タイミングの配布が、マーケティングの有効性における重要かつ、しばしば見落とされがちな変数であることを確立した。
2. メソドロジーのフレームワーク： 自然なRCTと因果推論（特にdo-calculusとアップリフトモデリング）を用いて、タイミングの因果効果を推定するフレームワークを提案した。これにより、企業は高価なリアルタイム・インフラを構築する前に、その必要性を検証することができる。
3. 実証的検証：
   • 内部のオンボーディングキャンペーンにおいて、本フレームワークが成功したことを示し、リアルタイムのイベントトリガー型クーポンの実装に対するデータに基づいた正当性を提示した。
   • 公開データセットを用いたユーザーリテンションへの適用により、フレームワークの汎用性を検証し、タイミングが重要となるシナリオ（オンボーディング）と、そうでないシナリオ（この文脈でのリテンション）を区別できることを示した。
4. 再現性： 公開データセットへの適用とソースコードの公開により、著者らは本研究の再現性と、他の実務家へのアクセシビリティを高めることを目的としている。

限界

著者らは、偏りのない推定の妥当性は、作成された因果図の正しさに完全に依存することを認めている。

• 観測不能な交絡因子： オンボーディングのケースでは、登録時刻とコンバージョンの両方に影響を与える観測不能な交絡因子（例：所得、趣味）が存在しないと仮定している。ただし、登録の「時」を制御することで、このリスクは軽減されると主張している。
• データの特殊性： リテンションの結果はLentaのデータセットに特有のものである。タイミングの効果が有意ではなかったことは、タイミングの重要性を普遍的に否定するものではなく、むしろ、タイミングが主要なレバーではない場面を特定できるフレームワークの能力を示唆している。

結論

本論文は、一般的に「早いほうが良い」ものの、その恩恵の大きさはユーザー・ジャーニーの段階に依存すると結論付けている。オンボーディングにおいては、バッチ処理による遅延がクーポンの有効性を著しく低下させる。一方で、リテンションにおいては、購入直後のウィンドウが同等の限界利益をもたらさない可能性がある。提案されたフレームワークは、企業が自社のユースケースにおいて、リアルタイム配信インフラへの投資を行うべきかどうかを判断するための、コスト効率の高いデータ駆動型の道筋を提供するものである。