Technische Samenvatting: Het schatten van het effect van timing op de effectiviteit van coupons

Probleemstelling

Couponprikkels zijn een basiscomponent van marketingstrategieën, maar bedrijven worstelen vaak met het maximaliseren van hun rendement op investering (ROI). Terwijl eerder onderzoek zich heeft gericht op het optimaliseren van de waarde van coupons (bijv. kortingspercentage) of de segmentatie van gebruikers (bijv. uplift-modellering), blijft de impact van timing in veel contexten onderbelicht.

De kernuitdaging is dat het verifiëren van de hypothese dat "coupons effectiever zijn wanneer ze worden geleverd op kritieke momenten van gebruikersbetrokkenheid" doorgaans een real-time, event-gestuurd distributiesysteem vereist. Het implementeren van een dergelijk systeem brengt aanzienlijke technische inspanningen en kosten met zich mee. Bijgevolg staan bedrijven voor een "catch-22": ze hebben bewijs nodig van de voordelen om de bouw van de infrastructuur te rechtvaardigen, maar ze kunnen dat bewijs niet genereren zonder de infrastructuur om een specifieke Randomized Controlled Trial (RCT) uit te voeren die directe versus vertraagde levering vergelijkt.

Dit artikel behandelt het probleem van het schatten van het causale effect van coupon-timing op conversieratio's zonder dat daarvoor een dedicated AB-test of een bestaande real-time distributieservice nodig is.

Methodologie

De auteurs stellen een framework voor dat causale inferentie toepast op bestaande gegevens van "natuurlijke randomized controlled trials". De aanpak maakt gebruik van gegevens uit standaard batch-gebaseerde campagnes waarbij gebruikers willekeurig aan controle- en behandelgroepen worden toegewezen, maar waarbij de exacte timing van de couponlevering wordt bepaald door de registratie- of activatietijd van de gebruiker ten opzichte van het schema van de batchverwerking.

1. Causale Modellering en Identificatie

Het framework maakt gebruik van Directed Acyclic Graphs (DAGs) om veranderlijke variabelen (confounders) te identificeren en de juiste conditieringsset te bepalen voor een onbevooroordeelde schatting.

• Gebruikersonboarding Case: De auteurs modelleren de relatie tussen gebruikersattributen ($X$), behandeling ($T$), een pre-behandeling aankoopgebeurtenis ($P$), en de uitkomst ($Y$, toekomstige aankoop). Ze identificeren een kritieke valkuil: het conditioneren op $P$ (gebruikers die nog niet hadden gekocht) blokkeert het voorwaartse pad tussen de timing-covariaat en de uitkomst, wat leidt tot bevooroordeelde interactieschattingen. Om de interactie tussen timing en behandeling ($P(Y|do(T), do(M))$) te schatten, mag het model niet conditioneren op $P$ bij het analyseren van de interactie, of moet het de selectiebias die door het batchproces wordt geïntroduceerd zorgvuldig compenseren.
• Gebruikersretentie Case: Een eenvoudiger causaal model wordt toegepast op een publieke dataset (Lenta), waarbij het doel is om de interactie tussen de tijd die is verstreken sinds de laatste aankoop en het behandel-effect te schatten.

2. Uplift-modellering met Interactietermen

Zodra de causale structuur is gedefinieerd, maken de auteurs gebruik van Uplift-modellering om de Conditional Average Treatment Effect (CATE) te schatten.

• Modelarchitectuur: In plaats van complexe algoritmen zoals neurale netwerken of beslissingsbomen, maken de auteurs gebruik van een logistische regressiemodel met interactietermen. Deze keuze geeft prioriteit aan interpreteerbaarheid.
• Formulering: Het model voorspelt de log-odds van een toekomstige aankoop ($Y$) als een functie van baseline covariaten ($X$) en een uplift-component specifiek voor de behandelgroep ($S$). Cruciaal is dat interactietermen worden gecreëerd door de behandelindicator te vermenigvuldigen met tijdgerelateerde covariaten (bijv. de minuut van registratie, tijd sinds de laatste aankoop).
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• Feature Engineering: Tijdgerelateerde kenmerken (uur, minuut, recentheid) worden gestandaardiseerd. In de onboarding-case merken de auteurs op dat het standaardiseren van de registratieminuut problemen met cyclische discontinuïteiten (bijv. middernacht) voorkomt, omdat coupons niet 's nachts worden verdeeld en vertragingen consistent zijn binnen het uur.

3. Experimentele Opzet

• Interne Data (Mercari): Een analyse van een onboarding-campagne voor gebruikers waarbij gebruikers via uurlijkse batch-jobs willekeurig aan controle/behandelgroepen werden toegewezen. Het aspect van de "natuurlijke experiment" ontstaat omdat de vertraging tussen registratie en ontvangst van de coupon varieert op basis van de registratieminuut, onafhankelijk van de controle van de marketeer.
• Publieke Data (Lenta): Een dataset van een Russische hypermarktketen voor een gebruikersretentiecampagne, gebruikt om de generaliseerbaarheid en reproduceerbaarheid van het framework te valideren.

Belangrijkste Resultaten

Gebruikersonboarding (Mercari)

• Statistische Significantie: De uplift-coëfficiënt voor de registratieminuut bleek positief en statistisch significant ($p \approx 0.05$). Dit geeft aan dat gebruikers die dichter bij het begin van het uur registreerden (en de coupons sneller ontvingen) een hogere incrementele conversieratio hadden vergeleken met gebruikers die later in het uur registreerden.
• Interpretatie: De tijd die verstrijkt tussen accountcreatie en de levering van de coupon heeft een significante impact op de effectiviteit van de coupon.
• Counterfactual Analyse: Visualisaties van de modelvoorspellingen laten zien dat hoewel de baseline conversieratio's licht variëren per registratietijd, het behandel-effect (uplift) duidelijk hoger is voor gebruikers die de coupon direct ontvangen. Dit levert het noodzakelijke bewijs om de technische investering in een real-time distributiesysteem te rechtvaardigen.

Gebruikersretentie (Lenta)

• Baseline Effect: De baseline-coëfficiënt voor "laatste aankooptijd" was sterk positief, wat bevestigt dat gebruikers met recente aankopen eerder geneigd zijn te converteren (de "zone"-hypothese).
• Timing Interactie: De uplift-coëfficiënt voor de tijd sinds de laatste aankoop was zwak positief maar niet statistisch significant.
• Conclusie: In tegen tegenstelling tot de onboarding-scenario, levert het direct leveren van coupons na een aankoop (versus een vertraagde batch) in deze specifieke dataset geen aanzienlijke zakelijke impact voor retentie op.

Bijdragen en Betekenis

Het artikel levert de volgende specifieke bijdragen:

1. Benadrukken van Timing: Het stelt vast dat de timing van couponverdeling een cruciale, vaak over het hoofd geziene variabele is in marketingeffectiviteit.
2. Methodologisch Framework: Het stelt een framework voor om het causale effect van timing te schatten met behulp van natuurlijke RCT's en causale inferentie (specifiek do-calculus en uplift-modellering). Dit stelt bedrijven in staat om de noodzaak van dure real-time infrastructuur te valideren zonder deze eerst te bouwen.
3. Empirische Validatie:
   • Het demonstreert het succes van het framework in een interne onboarding-campagne, wat een datagedreven rechtvaardiging biedt voor de implementatie van real-time event-gestuurde coupons.
   • Het valideert de generaliseerbaarheid van het framework met een publieke dataset voor gebruikersretentie, waarbij wordt aangetoond dat de methode onderscheid kan maken tussen scenario's waarin timing ertoe doet (onboarding) en waar dat niet het geval is (retentie in deze specifieke context).
4. Reproduceerbaarheid: Door de methode toe te passen op een publieke dataset en de broncode vrij te geven, beogen de auteurs dat het onderzoek reproduceerbaar en toegankelijk is voor andere professionals.

Beperkingen

De auteurs erkennen dat de geldigheid van hun onbevooroordeelde schattingen volledig afhangt van de juistheid van hun causale diagrammen.

• Onwaarneembare Confounders: In de onboarding-case gaan zij ervan uit dat er geen onwaarneembare confounders (bijv. inkomen, hobby's) bestaan die zowel de registratietijd als de conversie beïnvloeden. Zij stellen dat het controleren voor het uur van registratie dit risico verkleint.
• Dataspectificiteit: De retentie-resultaten zijn specifiek voor de Lenta-dataset; het gebrek aan significante timing-effecten daar ontkent de belangrijkheid van timing in alle retentiecontexten niet universeel, maar suggereert eerder dat het framework kan identificeren waar timing geen primaire hefboom is.

Conclusie

Het paper concludeert dat "eerder" over het algemeen beter is voor de levering van coupons, maar dat de omvang van het voordeel afhangt van de fase van de gebruikersreis. Voor onboarding zorgt de vertraging door batchverwerking voor een aanzienlijke vermindering van de coupon-effectiviteit. Voor retentie biedt het venster direct na een aankoop mogelijk niet dezelfde marginale winst. Het voorgestelde framework biedt een kosteneffectieve, datagedreven weg voor bedrijven om te bepalen of investeren in real-time distributie-infrastructuur gerechtvaardigd is voor hun specifieke use-cases.