When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

Toute entreprise qui vend des produits est confrontée à un problème discret mais persistant : les gens cessent d'acheter. Dans le monde des relations clients, le moment le plus dangereux est celui qui suit immédiatement un premier achat. De nombreux nouveaux clients disparaissent avant même de revenir, s'éclipsant alors que l'entreprise essaie encore de comprendre qui ils sont. Fidéliser ces premiers clients est vital, car un seul achat répété signale souvent une relation beaucoup plus longue et précieuse. Pendant des décades, les entreprises ont tenté de résoudre ce problème en envoyant des messages de remerciement ou des coupons, mais elles l'ont souvent fait aveuglément, envoyant le même message à tout le monde au même moment, peu importe si le client était prêt à acheter de nouveau ou avait déjà perdu tout intérêt.

Le défi réside dans le fait que les clients ne sont pas statiques ; ils changent de jour en jour. Une personne peut être impatiente de revenir une semaine après avoir acheté un chemisier, mais indifférente un mois plus tard. C'est ce qu'on appelle le « piège de la récence », où plus le temps écoulé depuis un achat est long, moins le client est susceptible de revenir. Pourtant, envoyer une récompense trop tôt peut être un gaspillage d'argent si le client allait de toute façon revenir. La solution idéale serait un système qui observe le comportement de chaque client, attend le moment opportun, puis décide d'offrir une récompense. Mais il y a un bémol : les entreprises ont des budgets limités. Elles ne peuvent pas envoyer des coupons à tout le monde, elles doivent donc choisir qui en reçoit et quand, en veillant à ce que chaque dollar dépensé apporte la valeur maximale.

C'est précisément l'énigme que une équipe de chercheurs s'est donné pour mission de résoudre en utilisant les données d'un grand détaillant de mode en ligne japonais. Ils ont développé une méthode pour apprendre le moment parfait pour la fidélisation des clients, créant une stratégie qui s'adapte au comportement changeant de chaque individu tout en respectant strictement une limite de dépenses. Au lieu de deviner quand envoyer un coupon, leur système apprend de milliers d'expériences réelles pour déterminer le moment exact où un client spécifique est le plus susceptible de répondre à une incitation. Le résultat est une politique dynamique qui est non seulement plus efficace pour retenir les clients, mais aussi nettement moins coûteuse à gérer que les méthodes standards utilisées aujourd'hui par les entreprises.

Les chercheurs ont travaillé avec une plateforme qui vend des vêtements à de jeunes femmes, un endroit où les acheteurs de première commande sont abondants mais souvent éphémères. La stratégie initiale de l'entreprise était simple et statique : envoyer un e-mail de remerciement générique accompagné d'un coupon exactement deux, dix et trente jours après le premier achat du client. Cette approche traitait chaque client de la même manière, ignorant le fait que certains auraient déjà acheté un deuxième article au dixième jour, tandis que d'autres pourraient être totalement désintéressés. L'entreprise voulait faire mieux. Elle avait besoin d'un moyen de personnaliser ces interactions, mais elle avait aussi une contrainte stricte : elle ne pouvait pas dépenser de l'argent illimité en coupons. Elle avait besoin d'une stratégie qui maximiserait le nombre de clients de retour, sans pour autant exploser son budget.

Pour trouver la réponse, l'équipe a conçu une expérience massive et réelle. Ils ont pris des milliers de nouveaux clients et les ont assignés de manière aléatoire à différents groupes. Certains ont reçu un coupon deux jours après leur premier achat, d'autres dix jours plus tard, et d'autres trente jours plus tard. Certains n'ont reçu aucun coupon, seulement un message de remerciement. Crucialement, l'expérience a été conçue de sorte que chaque client ne reçoive au plus qu'un seul coupon durant toute la période. Cela imitait la contrainte du monde réel selon laquelle une entreprise ne peut pas se permettre d'inonder un seul client de remises incessantes. En observant comment ces différents groupes se comportaient au cours des mois suivants, les chercheurs ont recueilli un ensemble de données riches montrant exactement comment le moment d'une offre influençait la décision du client de revenir.

Avec ces données en main, les chercheurs ont appliqué une méthode d'apprentissage sophistiquée pour construire un « régime de traitement dynamique ». En termes simples, il s'agit d'un ensemble de règles qui évolue avec le temps. Contra irement à un plan statique qui décide de tout au début, un plan dynamique attend et observe. Il regarde ce qu'un client a fait depuis son premier achat — ce qu'il a parcouru, ce sur quoi il a cliqué, et le temps qui s'est écoulé — puis décide s'il faut envoyer un coupon maintenant, attendre, ou ne rien envoyer du tout. Les chercheurs ont étendu des outils mathématiques existants pour gérer la limite budgétaire, garantissant que les règles apprises ne dépenseraient jamais plus d'argent que ce qui était autorisé. Ils ont testé deux approches principales : l'une qui tentait de prédire la valeur future d'un client basée sur son historique, et une autre qui apprenait directement quelles actions menaient aux meilleurs résultats en traitant le problème comme une série de tâches de classification.

Les résultats furent frappants. Lorsque les chercheurs ont testé leurs nouvelles politiques dynamiques sur un groupe distinct de clients, ils ont constaté que la stratégie la plus performante était celle qui respectait la contrainte budgétaire. Cette politique ne se contentait pas d'envoyer des coupons à tout le monde au deuxième jour. Au contraire, elle a appris à être sélective. Pour certains clients, elle envoyait un coupon immédiatement parce que leur comportement suggérait qu'ils étaient sur le point de partir. Pour d'autres, elle attendait, envoyant un coupon au dixième ou au trentième jour, ou peut-être pas du tout, car ces clients étaient susceptibles de revenir d'eux-mêmes. En retenant les coupons des clients qui seraient de toute façon revenus, la politique permettait d'économiser de l'argent. Elle utilisait ensuite ces fonds économisés pour cibler les clients qui avaient réellement besoin d'une incitation pour revenir.

Les données ont montré que cette approche dynamique, soucieuse du budget, était bien plus efficace que les anciennes méthodes statiques. Bien que la stratégie traditionnelle consistant à envoyer des coupons à tout le monde au deuxième jour augmentait le taux de retour d'un certain montant, elle le faisait à un coût élevé. La nouvelle politique dynamique atteignait un taux de retour similaire ou meilleur tout en dépensant nettement moins d'argent. En fait, lorsqu'elle était mesurée par le taux d'amélioration du retour pour chaque yen dépensé, la nouvelle politique surpassait tous les points de comparaison. Il s'est avéré que l'approche « taille unique » était une perte de ressources. En attendant et en observant, le système pouvait identifier le moment précis où une incitation ferait la différence, évitant ainsi le piège de payer des gens pour faire ce qu'ils allaient déjà faire.

Les chercheurs ont également exploré une version plus complexe du problème, où le système pouvait choisir non seulement quand envoyer un coupon, mais aussi s'il devait envoyer un simple e-mail de remerciement ou ne rien envoyer du tout. Dans ce scénario, le système a appris à substituer des e-mails à faible coût aux coupons coûteux lorsque cela était approprié. Il envoyait un e-mail gratuit à un client qui semblait intéressé mais n'avait pas besoin d'une poussée financière, réservant le coupon pour quelqu'un qui en avait besoin. Cette flexibilité a encore amélioré l'efficacité des coûts de la stratégie. L'entreprise a ensuite appliqué ces conclusions au monde réel, en lançant des tests en ligne à grande échelle où les nouvelles politiques étaient appliquées à de vrais clients. Les résultats en ligne ont confirmé les prédictions hors ligne : la politique dynamique soumise à une contrainte budgétaire générait le meilleur retour sur investissement, offrant plus de clients fidélisés par dollar dépensé que n'importe quelle autre stratégie testée par l'entreprise.

Ce travail démontre que la clé d'une fidélisation efficace des clients ne réside pas seulement dans la possession de données, mais dans la capacité à les utiliser au fil du temps. Les chercheurs ont prouvé qu'en traitant la fidélisation des clients comme une séquence de décisions plutôt que comme un événement unique, et en tenant rigoureusement compte des limites budgétaires, les entreprises peuvent obtenir de bien meilleurs résultats. L'étude suggère que le « piège de la récence » est bien réel, mais qu'on peut le contourner avec le bon timing. La stratégie la plus efficace n'est pas de crier le plus fort ou le plus souvent, mais de parler au bon moment à la bonne personne. Pour le détaillant japonais, cela s'est traduit par une politique non seulement plus intelligente, mais aussi plus rentable, générant des millions de dollars de valeur supplémentaire sur une seule année par rapport à leurs méthodes précédentes. La leçon s'étend au-delà de la vente de mode : dans tout secteur où l'attention des clients est éphémère et les ressources finies, la capacité à s'adapter et à attendre est tout aussi importante que l'offre elle-même.