When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

Jedes Unternehmen, das Waren verkauft, steht vor einem leisen, hartnäckigen Problem: Die Menschen hören auf zu kaufen. In der Welt der Kundenbeziehungen ist der gefährlichste Moment unmittelbar nach dem ersten Kauf. Viele Neukunden verschwinden, bevor sie jemals zurückkehren, und entgleiten dem Unternehmen, während dieses noch versucht herauszufinden, wer sie überhaupt sind. Das Halten dieser frühen Kunden ist entscheidend, denn ein einziger Wiederkauf signalisiert oft eine viel längere und wertvollere Beziehung. Jahrzehntelang haben Unternehmen versucht, dies durch das Versenden von Dankeskarten oder Gutscheinen zu lösen, doch dies geschah oft blindlings – indem sie die gleiche Nachricht zur gleichen Zeit an alle schickten, ungeachtet dessen, ob der Kunde bereit war, erneut zu kaufen, oder bereits das Interesse verloren hatte.

Die Herausforderung besteht darin, dass Kunden nicht statisch sind; sie verändern sich von Tag zu Tag. Eine Person mag eine Woche nach dem Kauf eines Hemdes begierig darauf sein, zurückzukehren, aber einen Monat später gleichgültig. Dies ist als die „Rezentheitsfalle“ (Recency Trap) bekannt, bei der gilt: Je länger der letzte Kauf zurückliegt, desto geringer ist die Wahrscheinlichkeit, dass ein Kunde zurückkehrt. Doch eine Belohnung zu früh zu senden, kann Geldverschwendung sein, wenn der Kunde ohnehin von sich aus zurückgekommen wäre. Die ideale Lösung wäre ein System, das das Verhalten jedes Kunden beobachtet, den richtigen Moment abwartet und dann entscheidet, ob es eine Belohnung anbietet. Aber es gibt einen Haken: Unternehmen verfügen über begrenzte Budgets. Sie können nicht jedem einen Gutschein schicken, also müssen sie entscheiden, wer einen erhält und wann, um sicherzustellen, dass jeder ausgegebene Dollar den größten Wert bringt.

Dies ist genau das Rätsel, das ein Team von Forschern mithilfe von Daten eines großen japanischen Online-Modehändlers lösen wollte. Sie entwickelten eine Methode, um den perflichen Zeitpunkt für die Kundenbindung zu erlernen, wodurch eine Strategie entstand, die sich an das wechselnde Verhalten jedes Einzelnen anpasst und dabei ein Budget streng einhält. Anstatt zu raten, wann ein Gutschein gesendet werden sollte, lernt ihr System aus tausenden realen Experimenten, um den exakten Moment zu bestimmen, in dem ein Kunde am wahrscheinlichsten auf einen Anreiz reagiert. Das Ergebnis ist eine dynamische Strategie, die nicht nur effektiver bei der Kundenbindung ist, sondern auch deutlich kostengünstiger im Betrieb als die heute üblichen Standardmethoden.

Die Forscher arbeiteten mit einer Plattform zusammen, die Kleidung für junge Frauen verkauft – ein Ort, an dem Erstkäufer zahlreich, aber oft flüchtig sind. Die ursprüngliche Strategie des Unternehmens war einfach und statisch: Sie versand genau zwei, zehn und dreißig Tage nach dem ersten Kauf eines Kunden eine generische Dankes-E-Mail mit einem Gutschein. Dieser Ansatz behandelte jeden Kunden gleich und ignorierte die Tatsache, dass manche vielleicht schon am zehnten Tag ein zweites Teil gekauft hatten, während andere vielleicht völlig uninteressiert waren. Das Unternehmen wollte es besser machen. Sie brauchten einen Weg, diese Interaktionen zu personalisieren, hatten aber auch eine harte Einschränkung: Sie konnten nicht unbegrenzt Geld für Gutscheine ausgeben. Sie benötigten eine Strategie, die die Anzahl der zurückkehrenden Kunden maximiert, ohne ihr Budget zu sprengen.

Um die Antwort zu finden, entwarfen die Forscher ein massives, reales Experiment. Sie nahmen tausende Neukunden und ordneten sie zufällig verschiedenen Gruppen zu. Einige erhielten zwei Tage nach ihrem ersten Kauf einen Gutschein, andere zehn Tage später und andere dreißig Tage später. Einige erhielten gar keinen Gutschein, sondern nur eine Dankesnachricht. Entscheidend war, dass das Experiment so konzipiert war, dass jeder Kunde während des gesamten Zeitraums höchstens einen Gutschein erhielt. Dies spiegelte die reale Einschränkung wider, dass ein Unternehmen es sich nicht leisten kann, einen einzelnen Kunden mit endlosen Rabatten zu bombardieren. Durch die Beobachtung des Verhaltens dieser verschiedenen Gruppen über die folgenden Monate hinweg sammelten die Forscher einen reichhaltigen Datensatz, der genau zeigte, wie der Zeitpunkt eines Angebots die Entscheidung des Kunden zur Rückkehr beeinflusste.

Mit diesen Daten in der Hand wandten die Forscher eine hochentwickelte Lernmethode an, um ein „dynamisches Behandlungsregime“ (Dynamic Treatment Regime) zu erstellen. Einfach ausgedrückt handelt es sich dabei um einen Satz von Regeln, der sich im Laufe der Zeit ändert. Im Gegensatz zu einem statischen Plan, der alles zu Beginn entscheidet, wartet ein dynamischer Plan und beobachtet. Er betrachtet, was ein Kunde seit seinem ersten Kauf getan hat – was er durchstöbert hat, worauf er geklickt hat und wie viel Zeit vergangen ist – und entscheidet dann, ob er jetzt einen Gutschein sendet, wartet oder gar keinen sendet. Die Forscher erweiterten bestehende mathematische Werkzeuge, um das Budgetlimit zu berücksichtigen, und stellten sicher, dass die gelernten Regeln niemals mehr Geld ausgeben als erlaubt. Sie testeten zwei Hauptansätze: einen, der versuchte, den zukünftigen Wert eines Kunden basierend auf seiner Historie vorherzusagen, und einen anderen, der direkt lernte, welche Aktionen zu den besten Ergebnissen führten, indem er das Problem als eine Serie von Klassifikationsaufgaben behandelte.

Die Ergebnisse waren beeindruckend. Als die Forscher ihre neuen dynamischen Richtlinien an einer separaten Gruppe von Kunden testeten, stellten sie fest, dass die leistungsstärkste Strategie eine war, die die Budgetbeschränkung respektierte. Diese Richtlinie versandte nicht einfach am zweiten Tag Gutscheine an alle. Stattdessen lernte sie, selektiv zu sein. Bei einigen Kunden versandte sie sofort einen Gutschein, weil ihr Verhalten darauf hindeute, dass sie kurz davor waren, abzuwandern. Bei anderen wartete sie, versandte einen Gutschein am zehnten oder dreißigsten Tag oder vielleicht gar keinen, weil diese Kunden wahrscheinlich von sich aus zurückkehren würden. Indem sie Gutscheine von Kunden zurückhielt, die ohnehin zurückgekehrt wären, sparte die Richtlinie Geld. Sie nutzte die so eingesparten Mittel dann, um gezielt jene Kunden anzusprechen, die einen Anreiz wirklich brauchten, um zurückzukommen.

Die Daten zeigten, dass dieser budgetbewusste, dynamische Ansatz weitaus effizienter war als die alten statischen Methoden. Während die traditionelle Strategie, jedem Kunden am zweiten Tag einen Gutschein zu senden, die Rückkehrrate um einen gewissen Betrag erhöhte, tat sie dies zu hohen Kosten. Die neue dynamische Richtlinie erreichte eine ähnliche oder sogar bessere Steigerung der Rückkehrraten bei signifikant geringeren Ausgaben. Tatsächlich war die neue Richtlinie, gemessen daran, wie sehr sich die Rückkehrrate pro ausgegebenem Yen verbesserte, allen Benchmarks überlegen. Es stellte sich heraus, dass der „Einheitsansatz“ verschwenderisch war. Durch das Warten und Beobachten konnte das System den präzisen Moment identifizieren, in dem ein Anreiz einen Unterschied machen würde, und so die Falle umging, Menschen dafür zu bezahlen, das zu tun, was sie ohnehin tun würden.

Die Forscher untersuchten auch eine komplexere Version des Problems, bei der das System nicht nur entscheiden konnte, wann ein Gutschein gesendet wird, sondern auch, ob eine einfache Dankes-E-Mail oder gar nichts gesendet wird. In diesem Szenario lernte das System, kostengünstige E-Mails als Ersatz für teure Gutscheine einzusetzen, wenn es angemessen war. Es versandte eine kostenlose E-Mail an einen Kunden, der zwar interessiert schien, aber keinen finanziellen Anstoß benötigte, und sparte den Gutschein für jemanden auf, der ihn wirklich brauchte. Diese Flexibilität verbesserte die Kosteneffizienz der Strategie weiter. Das Unternehmen übertrug diese Erkenntnisse dann in die Praxis und führte groß angelegte Online-Tests durch, bei denen die neuen Richtlinien auf tatsächliche Kunden angewendet wurden. Die Online-Ergebnisse bestätigten die Offline-Vorhersagen: Die budgetbeschränkte dynamische Richtlinie generierte den höchsten Return on Investment und lieferte mehr zurückgewonnene Kunden pro investiertem Dollar als jede andere Strategie, die das Unternehmen zuvor ausprobiert hatte.

Diese Arbeit zeigt, dass der Schlüssel zur effektiven Kundenbindung nicht nur darin besteht, Daten zu haben, sondern zu wissen, wie man sie im Laufe der Zeit nutzt. Die Forscher bewiesen, dass Unternehmen, indem sie die Kundenbindung als eine Sequenz von Entscheidungen statt als ein einzelnes Ereignis behandeln und dabei Budgetgrenzen strikt berücksichtigen, viel bessere Ergebnisse erzielen können. Die Studie legt nahe, dass die „Rezentheitsfalle“ real ist, aber mit dem richtigen Timing navigiert werden kann. Die effektivste Strategie besteht nicht darin, am lautesten oder am häufigsten zu rufen, sondern im richtigen Moment zur richtigen Zeit zum richtigen Menschen zu sprechen. Für den japanischen Einzelhändler bedeutete dies eine Richtlinie, die nicht nur klüger, sondern auch profitabler war und im Vergleich zu ihren bisherigen Methoden über ein Jahr hinweg Millionen von Dollar an zusätzlichem Wert generierte. Die Lektion lässt sich auf weit über den Modehandel hinaus anwenden: In jedem Geschäft, in dem die Aufmerksamkeit der Kunden flüchtig und die Ressourcen begrenzt sind, ist die Fähigkeit, sich anzupassen und abzuwarten, genauso wichtig wie das Angebot selbst.