Riassunto Tecnico: Modellazione Causal Uplift Gerarchica in Customer Journey Sovrapposti

1. Il Problema: Bias da Sovrapposizione negli Esperimenti A/B

Nelle piattaforme di e-commerce (come Despegar), le strategie di marketing non operano in isolamento. Gli utenti vengono esposti simultaneamente a diversi "marketing journeys" (flussi di comunicazione automatizzati come email, push o re-targeting) basati su comportamenti specifici (es. ricerca, abbandono del carrello, offerte).

Il problema centrale identificato è che i classici test A/B misurano l'effetto marginale di un singolo percorso, ma non il suo impatto incrementale reale. Poiché i percorsi si sovrappongono in termini di segmenti di utenza e timing, l'effetto osservato è distorto da interazioni (sinergie o cannibalizzazioni) tra i vari flussi. Basarsi solo sui lift osservati porta a sottostimare l'impatto reale di ogni singola iniziativa e a una cattiva attribuzione del valore incrementale totale del sistema di marketing.

2. Metodologia Proposta

L'autore introduce un Modello Causal Uplift Gerarchico che mira a scomporre l'effetto globale in effetti "puri" (isolati) e termini di interazione.

A. Struttura del Modello (Multiplicativa)

Il modello assume che ogni journey $j$ contribuisca in modo moltiplicativo alla probabilità di conversione tramite un fattore $f_j = 1 + \ell_j$. Per gestire le interazioni, vengono introdotti dei parametri $\kappa$ (fattori di interazione):

• $\kappa = 1$: Indipendenza pura (nessuna interazione).
• $\kappa > 1$: Sinergia (l'effetto combinato è maggiore della somma dei singoli).
• $\kappa < 1$: Cannibalizzazione (l'effetto combinato è minore).

L'effetto totale per una combinazione di journey è calcolato come il prodotto dei fattori individuali e dei fattori di interazione (pairwise e higher-order).

B. Framework di Stima e Ottimizzazione

Il problema di stima viene formulato come un problema di minimizzazione dei residui tra i lift osservati sperimentalmente e quelli predetti dal modello.

• Regolarizzazione: Viene applicata una penalità $L_2$ (Ridge) sui termini di interazione per evitare l'overfitting, spingendoli verso il valore di neutralità ($\kappa = 1$).
• Soft Anchors (Vincoli Morbidi): Per stabilizzare la stima, il modello incorpora i "pure lifts" (effetti misurati su sottogruppi esposti a un solo journey) non come vincoli rigidi, ma come prior Gaussiane. Questo permette al modello di deviare dai dati "puri" se i dati di sovrapposizione suggeriscono una spiegazione più coerente.

C. Simulazione Monte Carlo

Per gestire l'incertezza, l'autore utilizza un approccio Monte Carlo:

1. Incertezza della Popolazione: Le proporzioni di sovrapposizione tra i segmenti di utenza vengono campionate da una distribuzione di Dirichlet.
2. Incertezza Sperimentale: I lift osservati e i pure lift vengono perturbati in base alla loro varianza (calcolata tramite il Delta Method).
3. Iterazione: Il risolutore di minimi quadrati non lineari viene eseguito migliaia di volte per generare una distribuzione posteriore dei parametri, permettendo di ottenere medie e intervalli di confidenza robusti.

3. Contributi Chiave

• Decomposizione dell'Effetto: Capacità di separare l'impatto incrementale "puro" di un singolo canale dall'effetto combinato del sistema.
• Gestione delle Interazioni: Modellazione esplicita di sinergie e cannibalizzazioni in contesti di esposizione multipla.
• Robustezza Statistica: Integrazione tra ottimizzazione deterministica (Non-linear Least Squares) e simulazione stocastica (Monte Carlo) per quantificare l'incertezza derivante dalla sovrapposizione dei dati.

4. Risultati Principali

L'applicazione su un database di circa tre milioni di utenti ha rivelato quanto segue:

• Sinergie Positive: Sono state rilevate piccole ma consistenti sinergie tra i journey (es. tra Flow e Offer). Gli utenti vicini alla conversione rispondono meglio alle offerte se hanno già interagito con il flusso di acquisto.
• Sottostima del Lift Reale: I "pure lift" stimati sono significativamente più alti di quelli osservati nei test A/B (es. per il journey Search, il lift reale è circa 4,6 volte superiore a quello misurato sperimentalmente). Ciò conferma che la sovrapposizione maschera l'efficacia reale dei singoli percorsi.
• Accuratezza Globale: Il lift totale predetto dal modello corrisponde all'85% del lift globale misurato sperimentalmente, dimostrando che il modello cattura la quasi totalità dell'impatto incrementale del sistema.

5. Significato e Implicazioni

Il lavoro dimostra che l'analisi incrementale in ambienti complessi richiede un passaggio dal test di "singolo elemento" alla modellazione di "sistema". Per le aziende di e-commerce, questo approccio permette di:

1. Ottimizzare il Budget: Identificare quali journey hanno un reale impatto incrementale e quali sono ridondanti.
2. Orchestrazione Strategica: Comprendere come combinare i messaggi per massimizzare le sinergie invece di saturare l'utente.
3. Governance del Marketing: Fornire una misura più accurata del ROI totale delle campagne di comunicazione automatizzate.