Sintesi Tecnica: Stimare l'Effetto della Tempistica sull'Efficacia dei Coupon

Definizione del Problema

Gli incentivi tramite coupon sono un elemento fondamentale delle strategie di marketing, eppure le aziende spesso faticano a massimizzare il loro ritorno sull'investimento (ROI). Mentre la ricerca precedente si è concentrata sull'ottimizzazione del valore dei coupon (ad esempio, la percentuale di sconto) o sulla segmentazione degli utenti (ad esempio, l'uplift modeling), l'impatto della tempistica rimane sott esplorato in molti contesti.

La sfida principale è che verificare l'ipotesi secondo cui "i coupon sono più efficaci quando vengono consegnati in momenti critici di engagement dell'utente" richiede tipicamente un sistema di distribuzione basato su eventi in tempo reale. L'implementazione di un tale sistema comporta un impegno ingegneristico e dei costi significativi. Di conseguenza, le aziende si trovano di fronte a un "paradosso del sistema" (catch-22): hanno bisogno di prove dei benefici per giustificare la costruzione dell'infrastruttura, ma non possono generare tali prove senza l'infrastruttura necessaria per eseguire un esperimento controllato randomizzato (RCT) dedicato che confronti la consegna immediata rispetto a quella ritardata.

Questo documento affronta il problema di stimare l'effetto causale della tempistica dei coupon sui tassi di conversione senza richiedere un test A/B dedicato o un preesistente servizio di distribuzione in tempo reale.

Metodologia

Gli autori propongono un framework che applica l'inferenza causale a dati preesistenti di "esperimenti controllati randomizzati naturali". L'approccio sfrutta i dati provenienti da campagne standard basate su processi batch, dove gli utenti sono assegnati casualmente a gruppi di controllo e di trattamento, ma la tempistica esatta della consegna del coupon è determinata dal tempo di registrazione o di attività dell'utente rispetto al programma di elaborazione del batch.

1. Modellazione Causale e Identificazione

Il framework utilizza i Grafi Aciclici Diretti (DAG) per identificare le variabili confondenti e determinare l'insieme di condizionamento corretto per una stima non influenzata (unbiased).

• Caso Onboarding Utente: Gli autori modellano la relazione tra gli attributi dell'utente ($X$), il trattamento ($T$), un evento di acquisto pre-trattamento ($P$) e l'esito ($Y$, acquisto futuro). Identificano un errore critico: condizionare su $P$ (utenti che non avevano ancora acquistato) blocca il percorso in avanti tra la covariata temporale e l'esito, portando a stime di interazione distorte. Per stimare l'interazione tra tempistica e trattamento ($P(Y|do(T), do(M))$), il modello non deve condizionare su $P$ quando analizza l'interazione, o deve tenere conto con cura del bias di selezione introdotto dal processo batch.
• Caso Retention Utente: Viene applicato un modello causale più semplice a un dataset pubblico (Lenta), dove l'obiettivo è stimare l'interazione tra il tempo trascorso dall'ultimo acquisto e l'effetto del trattamento.

2. Uplift Modeling con Termini di Interazione

Una volta definita la struttura causale, gli autori impiegano l'Uplift Modeling per stimare l'Effetto Medio del Trattamento Condizionale (CATE).

• Architettura del Modello: Invece di algoritmi complessi come reti neurali o alberi decisionali, gli autori utilizzano un modello di regressione logistica con termini di interazione. Questa scelta privilegia l'interpretabilità.
• Formulazione: Il modello predice il log-odds di un acquisto futuro ($Y$) come funzione delle covariate di base ($X$) e di una componente di uplift specifica per il gruppo di trattamento ($S$). Fondamentalmente, i termini di interazione vengono creati moltiplicando l'indicatore del trattamento per le covariate legate al tempo (ad esempio, minuto di registrazione, tempo dall'ultimo acquisto).
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• Ingegneria delle Caratteristiche (Feature Engineering): Le caratteristiche legate al tempo (ora, minuto, recency) sono standardizzate. Nel caso dell'onboarding, gli autori notano che la standardizzazione del minuto di registrazione evita problemi di discontinuità cicliche (ad esempio, la mezzanotte) perché i coupon non vengono distribuiti durante la notte e i ritardi sono costanti entro l'ora.

3. Setup Sperimentale

• Dati Interni (Mercari): Un'analisi di una campagna di onboarding utente in cui gli utenti sono stati assegnati casualmente ai gruppi di controllo/trattamento tramite job batch orari. L'aspetto di "esperimento naturale" deriva dal fatto che il ritardo tra la registrazione e la ricezione del coupon varia in base al minuto di registrazione, indipendentemente dal controllo del marketer.
• Dati Pubblici (Lenta): Un dataset di una campagna di retention di una catena russa di ipermercati, utilizzato per validare la generalizzabilità e la riproducibilità del framework.

Risultati Chiave

Onboarding Utente (Mercari)

• Significatività Statistica: Il coefficiente di uplift per il minuto di registrazione è risultato positivo e statisticamente significativo ($p \approx 0.05$). Ciò indica che gli utenti che si sono registrati più vicino all'inizio dell'ora (ricevendo i coupon più velocemente) hanno avuto un tasso di conversione incrementale superiore rispetto a quelli che si sono registrati più tardi nell'ora.
• Interpretazione: Il tempo trascorso tra la creazione dell'account e la consegna del coupon influenza significativamente l'efficacia del coupon.
• Analisi Controfattuale: Le visualizzazioni delle previsioni del modello mostrano che, sebbene i tassi di conversione di base varino leggermente in base al tempo di registrazione, l'effetto del trattamento (uplift) è chiaramente più alto per gli utenti che ricevono il coupon immediatamente. Ciò fornisce la prova necessaria per giustificare l'investimento ingegneristico in un sistema di distribuzione in tempo reale.

Retention Utente (Lenta)

• Effetto di Base: Il coefficiente di base per il "tempo dell'ultimo acquisto" era fortemente positivo, confermando che gli utenti con acquisti recenti hanno maggiori probabilità di convertire (l'ipotesi della "zona").
• Interazione Temporale: Il coefficiente di uplift per il tempo trascorso dall'ultimo acquisto era debolmente positivo ma non statisticamente significativo.
• Conclusione: A differenza dello scenario di onboarding, consegnare i coupon immediatamente dopo un acquisto (rispetto a un batch ritardato) non produce un impatto aziendale considerevole per la retention in questo specifico dataset.

Contributi e Significatività

Il documento apporta i seguenti contributi specifici:

1. Evidenziare la Tempistica: Stabilisce che la tempistica della distribuzione dei coupon è una variabile critica e spesso trascurata nell'efficacia del marketing.
2. Framework Metodologico: Propone un framework per stimare l'effetto causale della tempistica utilizzando RCT naturali e l'inferenza causale (specificamente il do-calculus e l'uplift modeling). Ciò consente alle aziende di convalidare la necessità di un'infrastruttura in tempo reale costosa senza doverla costruire preventivamente.
3. Validazione Empirica:
   • Dimostra il successo del framework in una campagna di onboarding interna, fornendo una giustificazione basata sui dati per l'implementazione di coupon scatenati da eventi in tempo reale.
   • Valida la generalizzabilità del framework utilizzando un dataset pubblico per la retention degli utenti, mostrando che il metodo può distinguere tra scenari in cui la tempistica è importante (onboarding) e in cui potrebbe non esserlo (retention in questo specifico contesto).
4. Riproducibilità: Applicando il metodo a un dataset pubblico e rilasciando il codice sorgente, gli autori mirano a rendere la ricerca riproducibile e accessibile ad altri professionisti.

Limitazioni

Gli autori riconoscono che la validità delle loro stime non influenzate dipende interamente dalla correttezza dei loro diagrammi causali.

• Confounder Non Osservabili: Nel caso dell'onboarding, assumono che non esistano confondenti non osservabili (ad esempio, reddito, hobby) che influenzino sia l'ora di registrazione che la conversione. Sostengono che il controllo dell'ora di registrazione mitighi questo rischio.
• Specificità dei Dati: I risultati sulla retention sono specifici del dataset Lenta; la mancanza di effetti temporali significativi in quel caso non nega universalmente l'importanza della tempistica in tutti i contesti di retention, ma suggerisce che il framework può identificare dove la tempistica non è una leva primaria.

Conclusione

Il documento conclude che, in generale, prima è meglio per quanto riguarda la consegna dei coupon, ma l'entità del beneficio dipende dalla fase del percorso dell'utente. Per l'onboarding, il ritardo causato dal processo batch riduce significativamente l'efficacia del coupon. Per la retention, la finestra immediatamente successiva all'acquisto potrebbe non offrire lo stesso guadagno marginale. Il framework proposto offre un percorso cost-effective e basato sui dati per determinare se un'azienda debba investire in un'infrastruttura di distribuzione in tempo reale per i propri casi d'uso specifici.