Technisches Resümee: Schätzung des Effekts von Timing auf die Effektivität von Coupons

Problemstellung

Coupon-Anreize sind ein fester Bestandteil von Marketingstrategien, doch Unternehmen haben oft Schwierigkeiten, ihren Return on Investment (ROI) zu maximieren. Während sich die bisherige Forschung auf die Optimierung des Werts von Coupons (z. B. Rabatthöhe) oder die Segmentierung von Nutzern (z. B. Uplift-Modellierung) konzentriert hat, bleibt der Einfluss des Timings in vielen Kontexten untererforscht.

Die zentrale Herausforderung besteht darin, dass die Verifizierung der Hypothese „Coupons sind effektiver, wenn sie in kritischen Momenten des Nutzerengagements zugestellt werden“ typischerweise ein Echtzeit-System zur ereignisgesteuerten Verteilung erfordert. Die Implementierung eines solchen Systems ist mit erheblichem technischem Aufwand und Kosten verbunden. Folglich stehen Unternehmen vor einem „Catch-22“: Sie benötigen Beweise für die Vorteile, um den Bau der Infrastruktur zu rechtfertigen, können aber diese Beweise nicht generieren, ohne über die Infrastruktur zu verfügen, um einen dedizierten Randomisierten Kontrollversuch (RCT) zu vergleichen, der sofortige gegenüber verzögerter Zustellung testet.

Dieses Paper adressiert das Problem der Schätzung des kausalen Effekts des Coupon-Timings auf die Konversionsraten, ohne dass ein dedizierter A/B-Test oder ein bereits existierender Echtzeit-Distributionsdienst erforderlich ist.

Methodik

Die Autoren schlagen ein Framework vor, das kausale Inferenz auf bereits vorhandene Daten aus „natürlichen randomisierten Kontrollversuchen“ anwendet. Der Ansatz nutzt Daten aus Standard-Batch-basierten Kampagnen, bei denen Nutzer zufällig Gruppen (Control und Treatment) zugewiesen wurden, wobei der exakte Zeitpunkt der Coupon-Zustellung jedoch durch die Registrierungs- oder Aktivitätszeit des Nutzers im Verhältnis zum Batch-Verarbeitungsplan bestimmt wird.

1. Kausale Modellierung und Identifikation

Das Framework verwendet gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs), um Störvariablen (Confounder) zu identifizieren und den korrekten Konditionierungs-Satz für eine unverzerrte Schätzung zu bestimmen.

• Onboarding-Fall: Die Autoren modellieren die Beziehung zwischen Nutzerattributen ($X$), Behandlung ($T$), einem Ereignis vor der Behandlung ($P$, z. B. ein Kauf) und dem Ergebnis ($Y$, zukünftiger Kauf). Sie identifizieren eine kritische Falle: Die Konditionierung auf $P$ (Nutzer, die noch nicht gekauft hatten) blockiert den Vorwärtspfad zwischen der Timing-Kovariaten und dem Ergebnis, was zu verzerrten Interaktionsschätzungen führt. Um die Interaktion zwischen Timing und Behandlung ($P(Y|do(T), do(M))$) zu schätzen, darf das Modell nicht auf $P$ konditionieren, wenn es die Interaktion analysiert, oder muss die durch den Batch-Prozess eingeführte Selektionsverzerrung sorgfältig berücksichtigen.
• Retention-Fall: Ein einfacheres kausales Modell wird auf einen öffentlichen Datensatz (Lenta) angewendet, bei dem das Ziel darin besteht, die Interaktion zwischen der verstrichenen Zeit seit dem letzten Kauf und dem Behandlungseffekt zu schätzen.

2. Uplift-Modellierung mit Interaktionstermen

Sob falls die kausale Struktur definiert ist, setzen die Autoren Uplift-Modellierung ein, um den Conditional Average Treatment Effect (CATE) zu schätzen.

• Modellarchitektur: Anstatt komplexer Algorithmen wie neuronaler Netze oder Entscheidungsbäume verwenden die Autoren eine logistische Regression mit Interaktionstermen. Diese Wahl priorisiert die Interpretierbarkeit.
• Formulierung: Das Modell sagt die Log-Odds eines zukünftigen Kaufs ($Y$) als Funktion von Basis-Kovariaten ($X$) und einer behandlungsspezifischen Uplift-Komponente ($S$) voraus. Entscheidend ist, dass Interaktionsterme durch Multiplikation des Behandlungsindikators mit zeitbezogenen Kovariaten (z. B. Minute der Registrierung, Zeit seit dem letzten Kauf) erstellt werden.
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• Feature Engineering: Zeitbezogene Merkmale (Stunde, Minute, Rezentes) werden standardisiert. Im Onboarding-Fall stellen die Autoren fest, dass die Standardisierung der Registrierungsminute Probleme mit zyklischen Diskontinuitäten (z. B. Mitternacht) vermeidet, da Coupons nicht nachts verteilt werden und die Verzögerungen innerhalb einer Stunde konsistent sind.

3. Experimentelles Setup

• Interne Daten (Mercari): Eine Analyse einer Nutzer-Onboarding-Kampagne, bei der Nutzer über stündliche Batch-Jobs zufällig Control- und Treatment-Gruppen zugewiesen wurden. Der Aspekt des „natürlichen Experiments“ ergibt sich daraus, dass die Verzögerung zwischen Registrierung und Erhalt des Coupons je nach Registrierungsminute variiert, unabhängig von der Kontrolle des Marketers.
• Öffentliche Daten (Lenta): Ein Datensatz einer russischen Hypermarkt-Kette zu einer Kundenbindungs-Kampagne (Retention), der zur Validierung der Generalisierbarkeit und Reproduzierbarkeit des Frameworks dient.

Kernergebnisse

Nutzer-Onboarding (Mercari)

• Statistische Signifikanz: Der Uplift-Koeffizient für die Registrierungsminute war positiv und statistisch signifikant ($p \approx 0,05$). Dies deutet darauf hin, dass Nutzer, die näher am Stundenwechsel registrierten (und somit die Coupons schneller erhielten), eine höhere inkrementelle Konversionsrate aufwiesen als diejenigen, die später in der Stunde registrierten.
• Interpretation: Die Zeitspanne zwischen der Kontoerstellung und der Coupon-Zustellung beeinflusst die Effektivität des Coupons signifikant.
• Kontrafaktische Analyse: Visualisierungen der Modellvorhersagen zeigen, dass, während die Basis-Konversionsraten je nach Registrierungszeit leicht variieren, der Treatment-Effekt (Uplift) eindeutig höher ist für Nutzer, die den Coupon sofort erhalten. Dies liefert die notwendige Evidenz, um die Investition in ein Echtzeit-Distributionssystem zu rechtfertigen.

Nutzerbindung (Lenta)

• Basiseffekt: Der Baseline-Koeffizient für die „Zeit des letzten Kaufs“ war stark positiv, was bestätigt, dass Nutzer mit kürzlichen Käufen wahrscheinlicher konvertieren (die „Zone“-Hypothese).
• Timing-Interaktion: Der Uplift-Koeffizient für die seit dem letzten Kauf vergangene Zeit war schwach positiv, aber nicht statistisch signifikant.
• Schlussfolgerung: Im Gegensatz zum Onboarding-Szenario führt die sofortige Zustellung eines Coupons nach einem Kauf (gegenüber einer verzögerten Batch-Zustellung) in diesem spezifischen Datensatz nicht zu einem nennenswerten geschäftlichen Impact für die Kundenbindung.

Beiträge und Bedeutung

Das Paper leistet folgende spezifische Beiträge:

1. Hervorhebung des Timings: Es etabliert, dass das Timing der Coupon-Verteilung eine kritische, oft übersehene Variable für die Marketing-Effektivität ist.
2. Methodologisches Framework: Es schlägt ein Framework vor, um den kausalen Effekt des Timings mittels natürlicher RCTs und kausaler Inferenz (speziell do-Calculus und Uplift-Modellierung) zu schätzen. Dies ermöglicht es Unternehmen, die Notwendigkeit einer teuren Echtzeit-Infrastruktur zu validieren, ohne diese zuerst bauen zu müssen.
3. Empirische Validierung:
   • Es demonstriert den Erfolg des Frameworks in einer internen Onboarding-Kampagne und liefert eine datengestützte Rechtfertigung für die Implementierung von Echtzeit-ereignisgesteuerten Coupons.
   • Es validiert die Generalisierbarkeit des Frameworks anhand eines öffentlichen Datensatzes zur Kundenbindung und zeigt, dass die Methode zwischen Szenarien unterscheiden kann, in denen Timing wichtig ist (Onboarding) und in denen es dies nicht ist (Retention in diesem spezifischen Kontext).
4. Reproduzierbarkeit: Durch die Anwendung der Methode auf einen öffentlichen Datensatz und die Veröffentlichung des Quellcodes streben die Autoren an, die Forschung reproduzierbar und für andere Praktiker zugänglich zu machen.

Limitationen

Die Autoren räumen ein, dass die Gültigkeit ihrer unverzerrten Schätzungen vollständig von der Korrektheit ihrer kausalen Diagramme abhängt.

• Nicht beobachtbare Confounder: Im Onboarding-Fall gehen sie davon aus, dass keine nicht beobachtbaren Confounder (z. B. Einkommen, Hobbys) existieren, die sowohl die Registrierungszeit als auch die Konversion beeinflussen. Sie argumentieren, dass die Kontrolle der Registrierungsstunde dieses Risiko mindert.
• Datenspezifität: Die Ergebnisse zur Retention sind spezifisch für den Lenta-Datensatz; das Fehlen signifikanter Timing-Effekte dort negiert nicht universell die Bedeutung von Timing in allen Retention-Kontexten, sondern deutet darauf hin, dass das Framework identifizieren kann, wo Timing kein primärer Hebel ist.

Fazit

Das Paper kommt zu dem Schluss, dass ein früheres Timing für die Coupon-Zustellung generell besser ist, die Größenordnung des Vorteils jedoch von der Phase der Nutzerreise abhängt. Beim Onboarding reduziert die durch den Batch-Prozess verursachte Verzögerung die Effektivität des Coupons erheblich. Bei der Kundenbindung bietet das unmittelbare Zeitfenster nach einem Kauf möglicherweise keinen vergleichbar hohen Grenznutzen. Das vorgeschlagene Framework bietet Unternehmen einen kosteneffizienten, datengestützten Weg, um zu entscheiden, ob sich eine Investition in eine Echtzeit-Distributionsinfrastruktur für ihre spezifischen Anwendungsfälle lohnt.