When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

Elke onderneming die goederen verkoopt, wordt geconfronteerd met een stille, hardnekkige uitdaging: mensen stoppen met kopen. In de wereld van klantrelaties is het meest gevaarlijke moment vlak na de eerste aankoop. Veel nieuwe klanten verdwijnen voordat ze ooit terugkeren, en glippen weg terwijl het bedrijf nog probeert te ontdekken wie ze zijn. Het behouden van deze vroege klanten is essentieel, omdat een enkele herhaalaankoop vaak het begin is van een veel langere en waardevollere relatie. Decennialang hebben bedrijven geprobeerd dit op te lossen door bedankjes of coupons te sturen, maar dat deden ze vaak blindelings, waarbij ze dezelfde boodschap naar iedereen tegelijk stuurden, ongeacht of de klant klaar was om opnieuw te kopen of al geen interesse meer had.

De uitdaging is dat klanten niet statisch zijn; ze veranderen van dag tot dag. Iemand kan een week na de aankoop van een shirt enthousiast zijn om terug te komen, maar een maand later onverschillig. Dit staat bekend als de "recentievlucht" (recency trap), waarbij hoe langer het geleden is sinds een aankoop, hoe kleiner de kans dat een klant terugkeert. Toch is het versturen van een beloning te vroeg vaak een verspilling van geld als de klant toch al van plan was terug te komen. De ideale oplossing zou een systeem zijn dat het gedrag van elke klant observeert, wacht op het juiste moment en vervolgens beslist of er een beloning wordt aangeboden. Maar er is een addertje onder het gras: bedrijven hebben beperkte budgetten. Ze kunnen niet coupons naar iedereen sturen; ze moeten kiezen wie er een krijgt en wanneer, om ervoor te zorgen dat elke uitgegeven dollar de meeste waarde oplevert.

Dit is precies de puzzel die een team van onderzoekers probeerde op te lossen met gegevens van een grote Japanse online mode retailer. Ze ontwikkelden een methode om het perfecte timing voor klantbehoud te leren, waardoor een strategie ontstond die zich aanpast aan het veranderende gedrag van elk individu, terwijl het strikt rekening houdt met een bestedingslimiet. In plaats van te gokken wanneer een coupon gestuurd moet worden, leert hun systeem van duizenden echte experimenten om te bepalen op welk exact moment een specifieke klant het meest waarschijnlijk zal reageren op een stimulans. Het resultaat is een dynamisch beleid dat niet alleen effectiever is in het behouden van klanten, maar ook aanzienlijk goedkoper is in gebruik dan de standaardmethoden die vandaag de dag door bedrijven worden gehanteerd.

De onderzoekers werkten met een platform dat kleding verkoopt aan jonge vrouwen, een plek waar veel eerste kopers zijn, maar die vaak vluchtig zijn. De oorspronkelijke strategie van het bedrijf was simpel en statisch: een generieke bedankmail met een coupon sturen precies twee, tien en dertig dagen na de eerste aankoop van een klant. Deze aanpak behandelde elke klant hetzelfde, waarbij geen rekening werd gehouden met het feit dat sommigen tegen de tiende dag al een tweede artikel hadden gekocht, terwijl anderen misschien totaal niet geïnteresseerd waren. Het bedrijf wilde het beter doen. Ze hadden een manier nodig om deze interacties te personaliseren, maar ze hadden ook een harde beperking: ze konden niet onbeperkt geld uitgeven aan coupons. Ze hadden een strategie nodig die het aantal terugkerende klanten zou maximaliseren zonder hun budget te overschrijden.

Om het antwoord te vinden, ontwierp het team een grootschalig, echt experiment. Ze namen duizenden nieuwe klanten en verdeelden hen willekeurig over verschillende groepen. Sommigen ontvingen een coupon twee dagen na hun eerste aankoop, anderen tien dagen later, en anderen dertig dagen later. Sommigen ontvingen helemaal geen coupon, alleen een bedankbericht. Cruciaal was dat het experiment zo was ontworpen dat elke klant in de gehele periode maximaal één coupon ontving. Dit bootste de realiteit na dat een bedrijf het zich niet kan veroorloven om een enkele klant te bestoken met eindeloze kortingen. Door het gedrag van deze verschillende groepen in de daaropvolgende maanden te observeren, verzamelden de onderzoekers een rijke dataset die precies liet zien hoe de timing van een aanbod de beslissing van een klant om terug te keren beïnvloedde.

Met deze gegevens in handen pasten de onderzoekers een geavanceerde leermethode toe om een "dynamisch behandelregime" op te bouwen. In eenvoudige bewoordingen is dit een reeks regels die in de loop van de tijd verandert. In tegenstelling tot een statisch plan dat alles aan het begin beslist, wacht een dynamisch plan en observeert het. Het kijkt naar wat een klant sinds de eerste aankoop heeft gedaan — wat ze hebben bekeken, waar ze op hebben geklikt en hoeveel tijd er is verstreken — en besluit dan of er nú een coupon gestuurd moet worden, of er gewacht moet worden, of dat er helemaal niets moet gebeuren. De onderzoekers breidden bestaande wiskundige instrumenten uit om met de budgetlimiet om te gaan, zodat de geleerde regels nooit meer geld zouden uitgeven dan toegestaan. Ze testten twee hoofdbenaderingen: één die probeerde de toekomstige waarde van een klant op basis van hun geschiedenis te voorspellen, en een andere die direct leerde welke acties tot de beste resultaten leidden door het probleem te behandelen als een reeks classificatietaken.

De resultaten waren opmerkelijk. Wanneer de onderzoekers hun nieuwe dynamische beleid testten op een aparte groep klanten, ontdekten ze dat de best presterende strategie er een was die rekening hield met de budgetrestrictie. Dit beleid stuurde niet simpelweg coupons naar iedereen op de tweede dag. In plaats daarvan leerde het selectief te zijn. Voor sommige klanten stuurde het direct een coupon omdat hun gedrag suggereerde dat ze op het punt stonden te vertrekken. Voor anderen wachtte het, door op de tiende of dertigste dag een coupon te sturen, of misschien helemaal niet, omdat die klanten waarschijnlijk uit zichzelf zouden terugkeren. Door coupons achter te houden bij klanten die toch al zouden terugkomen, bespaarde het beleid geld. Het gebruikte die bespaarde middelen vervolgens om de klanten te targeten die een stimulans echt nodig hadden om terug te komen.

De gegevens toonden aan dat deze budgetbewuste, dynamische aanpak veel efficiënter was dan de oude statische methoden. Hoewel de traditionele strategie van het sturen van coupons naar iedereen op de tweede dag het terugkeerpercentage met een bepaald bedrag verhoogde, gebeurde dit tegen hoge kosten. Het nieuwe dynamische beleid behaalde een vergelijkbare of zelfs betere stijging in de terugkeerpercentages, terwijl het aanzienlijk minder geld kostte. In feite, wanneer gemeten naar hoeveel het terugkeerpercentage verbeterde voor elke uitgegeven yen, presteerde het nieuwe beleid beter dan alle benchmarks. Het bleek dat de "one-size-fits-all"-aanpak verspillend was. Door te wachten en te observeren, kon het systeem het exacte moment identificeren waarop een stimulans een verschil zou maken, waardoor de valkuil werd vermeden van mensen betalen om te doen wat ze toch al van plan waren te gaan doen.

De onderzoekers verkenden ook een complexere versie van het probleem, waarbij het systeem niet alleen kon kiezen wanneer een coupon gestuurd moest worden, maar ook of er een eenvoudige bedankmail of helemaal niets gestuurd moest worden. In dit scenario leerde het systeem om goedkope e-mails te gebruiken als vervanging voor dure coupons wanneer dat gepast was. Het zou een gratis e-mail sturen naar een klant die geïnteresseerd leek maar geen financiële zet nodig had, om de coupon te bewaren voor iemand die dat wel nodig had. Deze flexibiliteit verbeterde de kostenefficiëntie van de strategie verder. Het bedrijf nam deze bevindingen vervolgens mee naar de echte wereld, waarbij de nieuwe beleidsregels werden toegepast in grootschalige online tests. De online resultaten bevestigden de offline voorspellingen: het budgetbewuste dynamische beleid genereerde het hoogste rendement op investering en leverde meer terugkerende klanten per uitgegeven dollar op dan welke andere strategie het bedrijf ook had geprobeerd.

Dit werk demonstreert dat de sleutel tot effectieve klantbehoud niet alleen het hebben van data is, maar weten hoe je die over een bepaalde tijd gebruikt. De onderzoekers bewezen dat door klantbehoud te behandelen als een reeks beslissingen in plaats van een eenmalige gebeurtenis, en door strikt rekening te houden met budgetlimieten, bedrijven veel betere resultaten kunnen behalen. De studie suggereert dat de "recentievlucht" echt bestaat, maar dat men er met de juiste timing omheen kan navigeren. De meest effectieve strategie is niet om het hardst of het vaakst te roepen, maar om op het juiste moment tot de juiste persoon te spreken. Voor de Japanse retailer betekende dit een beleid dat niet alleen slimmer was, maar ook winstgevender, wat een jaar lang miljoenen dollars aan extra waarde genereerde vergeleken met hun vorige methoden. De les strekt zich uit buiten de modewinkel: in elke sector waar de aandacht van de klant vluchtig is en de middelen beperkt zijn, is het vermogen om aan te passen en te wachten even belangrijk als het aanbod zelf.