Résumé technique : Estimation de l'effet du timing sur l'efficacité des coupons

Énoncé du problème

Les incitations par coupons sont un pilier des stratégies marketing, pourtant les entreprises peinent souvent à maximiser leur retour sur investissement (ROI). Si les recherches antérieures se sont concentrées sur l'optimisation de la valeur des coupons (ex: pourcentage de remise) ou la segmentation des utilisateurs (ex: modélisation de l'uplift), l'impact du timing reste sous-exploré dans de nombreux contextes.

Le défi central est que vérifier l'hypothèse selon laquelle « les coupons sont plus efficaces lorsqu'ils sont délivrés lors de moments critiques d'engagement de l'utilisateur » nécessite généralement un système de distribution déclenché par des événements en temps réel. La mise en œuvre d'un tel système implique un effort d'ingénierie et un coût considérables. Par conséquent, les entreprises font face à un « cercle vicieux » : elles ont besoin de preuves de l'utilité des bénéfices pour justifier la construction de l'infrastructure, mais elles ne peuvent générer ces preuves sans l'infrastructure nécessaire pour mener un essai contrôlé randomisé (RCT) dédié comparant la livraison immédiate à la livraison différée.

Cet article traite du problème de l'estimation de l'effet causal du timing des coupons sur les taux de conversion sans nécessiter de test A/B dédié ou d'un service de distribution en temps réel préexistant.

Méthodologie

Les auteurs proposent un cadre qui applique l'inférence causale à des données de « tests contrôlés randomisés naturels » préexistantes. L'approche exploite les données issues de campagnes standards basées sur des lots (batch) où les utilisateurs sont assignés de manière aléatoire à des groupes de contrôle et de traitement, mais où le moment exact de la livraison du coupon est déterminé par l'heure d'enregistrement ou d'activité de l'utilisateur par rapport au calendrier de traitement des lots.

1. Modélisation causale et identification

Le cadre utilise des graphes acycliques dirigés (DAGs) pour identifier les variables de confusion et déterminer l'ensemble de conditionnement correct pour une estimation non biaisée.

• Cas de l'onboarding utilisateur : Les auteurs modélisent la relation entre les attributs de l'utilisateur ($X$), le traitement ($T$), un événement d'achat pré-traitement ($P$), et le résultat ($Y$, achat futur). Ils identifient un piège critique : le conditionnement sur $P$ (utilisateurs n'ayant pas encore acheté) bloque le chemin direct entre la covariable de timing et le résultat, entraînant des estimations d'interaction biaisées. Pour estimer l'interaction entre le timing et le traitement ($P(Y|do(T), do(M))$), le modèle ne doit pas se conditionner sur $P$ lors de l'analyse de l'interaction, ou doit méticuleusement rendre compte du biais de sélection introduit par le processus de lot.
• Cas de la rétention utilisateur : Un modèle causal plus simple est appliqué à un ensemble de données publiques (Lenta), où l'objectif est d'estimer l'interaction entre le temps écoulé depuis le dernier achat et l'effet du traitement.

2. Modélisation de l'uplift avec termes d'interaction

Une fois la structure causale définie, les auteurs emploient la modélisation de l'uplift pour estimer l'effet de traitement moyen conditionnel (CATE).

• Architecture du modèle : Au lieu d'algorithmes complexes comme les réseaux de neurones ou les arbres de décision, les auteurs utilisent un modèle de régression logistique avec termes d'interaction. Ce choix privilégie l'interprétabilité.
• Formulation : Le modèle prédit le log-odds d'un achat futur ($Y$) en fonction des covariables de base ($X$) et d'une composante d'uplift spécifique au groupe de traitement ($S$). Crucialement, des termes d'interaction sont créés en multipliant l'indicateur de traitement par des covariables liées au temps (ex: minute d'enregistrement, temps depuis le dernier achat).
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• Ingénierie des caractéristiques (Feature Engineering) : Les caractéristiques liées au temps (heure, minute, récence) sont standardisées. Dans le cas de l'onboarding, les auteurs notent que la standardisation de la minute d'enregistrement permet d'éviter les problèmes de discontinuités cycliques (ex: minuit) car les coupons ne sont pas distribués la nuit, et les délais sont cohérents au sein de l'heure.

3. Configuration expérimentale

• Données internes (Mercari) : Une analyse d'une campagne d'onboarding utilisateur où les utilisateurs ont été assignés de manière aléatoire à des groupes de contrôle/traitement via des tâches par lots horaires. L'aspect « expérience naturelle » provient du fait que le délai entre l'enregistrement et la réception du coupon varie en fonction de la minute d'enregistrement, indépendamment du contrôle du marketeur.
• Données publiques (Lenta) : Un ensemble de données de campagne de rétention d'une chaîne d'hypermarchés russe, utilisé pour valider la généralisabilité et la reproductibilité du cadre.

Résultats clés

Onboarding utilisateur (Mercari)

• Signification statistique : Le coefficient d'uplift pour la minute d'enregistrement s'est révélé positif et statistiquement significatif ($p \approx 0,05$). Cela indique que les utilisateurs qui se sont enregistrés plus près du début de l'heure (recevant les coupons plus tôt) présentaient un taux de conversion incrémental plus élevé par rapport à ceux qui se sont enregistrés plus tard dans l'heure.
• Interprétation : Le temps écoulé entre la création du compte et la livraison du coupon impacte significativement l'efficacité du coupon.
• Analyse contrefactuelle : Les visualisations des prédictions du modèle montrent que, bien que les taux de conversion de base varient légèrement selon l'heure d'enregistrement, l'effet de traitement (uplift) est nettement plus élevé pour les utilisateurs recevant le coupon immédiatement. Cela fournit la preuve nécessaire pour justifier l'investissement d'ingénierie dans un système de distribution en temps réel.

Rétention utilisateur (Lenta)

• Effet de base : Le coefficient de base pour le « temps du dernier achat » était fortement positif, confirmant que les utilisateurs ayant des achats récents sont plus susceptibles de convertir (l'hypothèse de la « zone »).
• Interaction de timing : Le coefficient d'uplift pour le temps écoulé depuis le dernier achat était faiblement positif mais non statistiquement significatif.
• Conclusion : Contra{irement au scénario d'onboarding, livrer des coupons immédiatement après un achat (vs un lot différé) n'apporte pas d'impact commercial considérable pour la rétention dans ce jeu de données spécifique.

Contributions et importance

L'article apporte les contributions spécifiques suivantes :

1. Mise en évidence du timing : Il établit que le timing de la distribution des coupons est une variable critique et souvent négligée de l'efficacité marketing.
2. Cadre méthodologique : Il propose un cadre pour estimer l'effet causal du timing en utilisant des RCT naturels et l'inférence causale (spécifiquement le calcul do et la modélisation de l'uplift). Cela permet aux entreprises de valider la nécessité d'une infrastructure de distribution en temps réel coûteuse sans avoir à la construire au préalable.
3. Validation empirique :
   • Il démontre le succès du cadre dans une campagne d'onboarding interne, fournissant une justification basée sur les données pour la mise en œuvre de coupons déclenchés par des événements en temps réel.
   • Il valide la généralisabilité de son cadre en utilisant un jeu de données public pour la rétention des utilisateurs, montrant que la méthode peut distinguer les scénarios où le timing compte (onboarding) et ceux où il ne l'est pas (rétention dans ce contexte spécifique).
4. Reproductibilité : En appliquant la méthode à un jeu de données public et en publiant le code source, les auteurs visent à rendre la recherche reproductible et accessible à d'autres praticiens.

Limites

La validité de leurs estimations non biaisées dépend entièrement de la justesse de leurs diagrammes causaux.

• Facteurs de confusion inobservables : Dans le cas de l'onboarding, ils supposent qu'il n'existe pas de facteurs de confusion inobservables (ex: revenus, passe-temps) qui affecteraient à la fois l'heure d'enregistrement et la conversion. Ils soutiennent que le contrôle de l'heure d'enregistrement atténue ce risque.
• Spécificité des données : Les résultats de rétention sont spécifiques au jeu de données Lenta ; l'absence d'effets de timing significatifs dans ce cas ne nie pas universellement l'importance du timing dans tous les contextes de rétention, mais suggère plutôt que le cadre peut identifier les cas où le timing n'est pas un levier primaire.

Conclusion

L'article conclut que la rapidité est généralement préférable pour la livraison de coupons, mais que l'ampleur du bénéfice dépend de l'étape du parcours utilisateur. Pour l'onboarding, le délai causé par le traitement par lots réduit considérablement l'efficacité du coupon. Pour la rétention, la fenêtre immédiate après l'achat peut ne pas offrir le même gain marginal. Le cadre proposé offre une voie rentable et basée sur les données pour déterminer si l'investissement dans une infrastructure de distribution en temps réel est justifié pour des cas d'utilisation spécifiques.