🤖 machine learning

Efficient Multi-Cohort Inference for Long-Term Effects and Lifetime Value in A/B Testing with User Learning

Dit paper introduceert een efficiënte methode om langetermijneffecten en de verandering in levenslange waarde te schatten in korte A/B-tests met meerdere cohorts, waarbij gebruik wordt gemaakt van een inverse-variance geschatte schatter en een parametrisch vervalmodel om de valkuilen van kortetermijnmetingen in leerprocessen van gebruikers te overwinnen.

Oorspronkelijke auteurs: Dario Simionato, Andrea Tonon, Mingxue Wang, Weiguo Wang, Tong Gui, Xiaoyue Li

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dario Simionato, Andrea Tonon, Mingxue Wang, Weiguo Wang, Tong Gui, Xiaoyue Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuw recept voor je favoriete restaurant uitprobeert. Je serveert het aan een groep gasten en vraagt hen direct na het eten of het lekker was.

Het probleem:
In de eerste week is het antwoord overweldigend positief! De gasten vinden het "nieuw" en "leuk" om iets anders te proeven. Ze eten alles op. Maar na een maand beginnen ze het te vinden. Het wordt saai, of misschien zelfs een beetje irritant. Ze komen niet meer terug.

In de wereld van apps en streamingdiensten (zoals Netflix of Spotify) doen bedrijven vaak hetzelfde: ze testen nieuwe functies (A/B-tests). Ze kijken vaak alleen naar de eerste week: "Klikken mensen meer op de reclame?" Als het antwoord ja is, denken ze: "Super, we lanceren het!"

Maar hier zit een valkuil. Als je alleen naar die eerste week kijkt, zie je niet dat de nieuwe functie de mensen uiteindelijk verveelt of irriteert, waardoor ze de app helemaal afmelden (churn). Je wint misschien wat klikken in het begin, maar je verliest je klanten op de lange termijn. Dat is als een restaurant dat gratis taart geeft om mensen binnen te lokken, maar de taart is zo slecht dat niemand ooit meer terugkomt.

De oplossing uit dit paper:
De auteurs (van Huawei) hebben een slimme manier bedacht om dit probleem op te lossen. Ze noemen hun methode een "Meer-cohorten-voorspeller".

Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Tijdsreismethode" (Cohorts)

Stel je voor dat je niet één grote groep mensen hebt die op dezelfde dag beginnen, maar dat mensen op verschillende tijdstippen binnenkomen.

Groep A komt maandag binnen.
Groep B komt dinsdag binnen.
Groep C komt woensdag binnen.

Oude methoden keken vaak alleen naar Groep A en dachten: "Oké, na 2 weken is het effect weg." Maar de auteurs zeggen: "Wacht even! Groep B is nu pas 2 weken onderweg, en Groep C is 1 week onderweg."

Door al deze groepen door elkaar te halen en slim te vergelijken, kunnen ze zien hoe het gedrag van mensen verandert naarmate ze langer meedoen. Het is alsof je een film ziet in plaats van een enkele foto. Je ziet niet alleen hoe het begint, maar ook hoe het eindigt.

2. De "Slimme Weegschaal" (Inverse Variance)

Soms zijn de data van één groep wat rommelig (veel ruis). De auteurs gebruiken een slimme wiskundige truc: ze geven meer gewicht aan de groepen die de duidelijkste signalen geven, en minder gewicht aan de rommelige groepen.

Vergelijking: Stel je hebt drie weegschalen om het gewicht van een koe te meten. Eén is oud en wiebelt, één is nieuw en stabiel, en één is half kapot. Je zou niet het gemiddelde nemen van alle drie. Je zou meer vertrouwen hebben in de stabiele schaal.
In de paper: Ze combineren alle beschikbare data op deze manier, waardoor hun voorspelling veel scherper is dan die van andere methoden.

3. Twee Metingen in Eén (LTE en ΔERLV)

Dit is het belangrijkste deel. Ze meten twee dingen tegelijk:

Meting 1: De "Gewoontefactor" (LTE - Long Term Effect)
- Vraag: "Als de mensen al gewend zijn aan de nieuwe functie, vinden ze het dan nog steeds leuk?"
- Voorbeeld: "Zullen mensen na een jaar nog steeds op de reclame klikken?"
- Dit vertelt je of de functie op de lange termijn goed is voor de bestaande gebruikers.
Meting 2: De "Totale Waarde" (ΔERLV - Lifetime Value)
- Vraag: "Hoeveel geld/klanten hebben we totaal verdiend of verloren, rekening houdend met het feit dat mensen weglopen?"
- Voorbeeld: "Oké, de mensen die blijven, klikken misschien meer. Maar hoeveel mensen zijn er vertrokken omdat ze het vervelend vonden?"
- Dit is de echte winst- en verliesrekening. Je kunt een positieve "Gewoontefactor" hebben, maar als iedereen wegloopt, is je "Totale Waarde" negatief.

Waarom is dit belangrijk?

Stel je voor dat je een nieuwe functie toevoegt die reclames tussen filmpjes plaatst.

Korte termijn: Mensen klikken erop omdat ze het nieuw vinden. (Goed nieuws!)
Lange termijn: Mensen worden er moe van en stoppen met kijken. (Slecht nieuws!)

Als je alleen naar de korte termijn kijkt, lanceer je de functie en verlies je je bedrijf. Met de methode uit dit paper zie je direct: "Hé, de totale waarde is negatief omdat we klanten verliezen." Je lanceert het dan niet, of je past het aan.

Samenvattend:
De auteurs hebben een manier bedacht om in korte experimenten te voorspellen wat er op de lange termijn gebeurt. Ze kijken niet alleen naar wat mensen doen, maar ook naar wie er blijft en wie er vertrekt. Het is als een slimme voorspeller die je waarschuwt voordat je een slechte beslissing neemt, zodat je niet per ongeluk je klanten wegjaagt in de hoop op korte termijn winst.

Probleemstelling

In streamingplatforms is churn (het verlaten van de dienst) extreem kostbaar. Traditionele A/B-tests worden echter vaak geëvalueerd op basis van uitkomsten binnen een beperkte experimentele horizon. Dit leidt tot twee belangrijke tekortkomingen:

Verkeerde interpretatie van langetermijneffecten: Behandelingen kunnen op korte termijn positief lijken (bijv. door nieuwsgierigheid of "primacy effects") en op lange termijn neutraal, maar toch minder totale waarde genereren dan de controlegroep omdat gebruikers weglopen (churnen).
Inefficiënt datagebruik: Bestaande methoden voor het schatten van langetermijneffecten (LTE) bij "user learning" (waarbij gebruikers gedrag aanpassen na verloop van tijd) maken inefficiënt gebruik van beschikbare data, wat leidt tot schattingen met een hoge variantie.
Gebrek aan integrale waarde: Bestaande methoden focussen vaak uitsluitend op de asymptotische (stabiele) gedragsverandering per actieve gebruiker, en negeren de cumulatieve waarde die wordt gegenereerd tijdens de leerfase en de impact van de behandeling op het totale aantal gebruikers (retentie).

Het paper introduceert het concept dat een interventie de klikfrequentie per actieve gebruiker kan verhogen (kortetermijnwinst), maar tegelijkertijd de churn kan versnellen, wat resulteert in een negatieve totale levenswaarde (Lifetime Value).

Methodologie

De auteurs stellen een unificerend raamwerk voor dat twee doelstellingen combineert: het schatten van het Long-Term Effect (LTE) en de verandering in Expected Remaining Lifetime Value ( $\Delta$ ERLV).

1. Definitie van de Doelstellingen:

LTE: Het asymptotische verschil tussen behandel- en controlegroep, gemeten onder actieve gebruikers (waarbij uitval wordt genegeerd). Dit meet de stabiele gedragsverandering.
$\Delta$ ERLV: De cumulatieve waardeverandering over de volledige levenscyclus van de gebruiker. Dit houdt rekening met zowel gedragsveranderingen als veranderingen in de retentie (churn). Formeel is dit het verschil in de som van de metriek $m$ over de tijd, gewogen door de overlevingsfunctie $S(t)$ (ofwel: is de gebruiker nog actief?).

2. Efficiënte Multi-Cohort Schatting:
In plaats van gebruikers te analyseren op basis van kalenderdata, worden ze ingedeeld in cohorts op basis van hun instapmoment ( $t_0$ ). De kern van de methode is een inverse-variance gewogen schatter die gegevens van meerdere cohorts combineert.

Herkomst van schattingen: Voor elk tijdstip $t$ kunnen meerdere onbevooroordeelde schattingen van het leer-effect ( $\delta$ ) worden berekend door verschillende cohorts te vergelijken (bijv. gebruikers die net zijn ingestapt versus gebruikers die al langer meedoen).
Inverse-Variance Weighting: Omdat deze individuele schattingen verschillende varianties hebben, worden ze niet simpelweg gemiddeld. De auteurs gebruiken inverse-variance weighting om meer gewicht toe te kennen aan de preciezere schattingen. Dit resulteert in een Multi-Cohort Schatter ( $\hat{\delta}_{MC}$ ) met een aanzienlijk lagere variantie dan bestaande methoden zoals de "Cookie-Cookie Day" (CCD) of Difference-in-Differences (DiD).
Parametrische Modellering: De geschatte trajecten van het behandelingseffect worden gemodelleerd als een exponentiële afname (decay). Dit model wordt gebruikt om:
- De asymptotische waarde (LTE) te extrapoleren.
- De cumulatieve waarde ( $\Delta$ ERLV) te berekenen door de geschatte metriek en de overlevingsfunctie (churn) te integreren over de tijd.

Belangrijkste Bijdragen

Unificerend Raamwerk: Een enkele experimentele opzet die zowel LTE als $\Delta$ ERLV schat door verschillend om te gaan met ontbrekende waarden (churn). Dit sluit de kloof tussen "steady-state" metrics en totale zakelijke waarde.
Efficiëntieverbetering: De introductie van de inverse-variance gewogen multi-cohort schatter die alle beschikbare data uit gestaggerde cohorts maximaliseert, wat leidt tot een lagere variantie in de schattingen.
Integratie van Churn: Een expliciete modellering van hoe behandelingen de churn beïnvloeden, wat essentieel is om de totale levenswaarde correct te beoordelen, in plaats van alleen te kijken naar actieve gebruikers.

Resultaten

De auteurs hebben hun methode gevalideerd via simulaties op basis van realistische A/A-data (41.768 gebruikers) met ingespoten synthetische behandelingseffecten en churn.

Vermindering van Variantie: De multi-cohort schatter presteert aanzienlijk beter dan de bestaande CCD [13] en DiD [16] methoden.
- De breedte van het 95% betrouwbaarheidsinterval voor de tijdreeks van schattingen is 50% kleiner dan bij CCD en bijna 3 keer kleiner dan bij DiD.
- De standaardafwijking van de gebootstrapte schattingen voor LTE en $\Delta$ ERLV is 30% lager.
- De Mean Absolute Error (MAE) is lager, wat aangeeft dat de schattingen nauwkeuriger zijn.
Scenario-analyse: In een scenario dat de situatie uit Figuur 1 nabootst (positief kortetermijneffect, maar versnelde churn), toonde de standaard korte-termijnanalyse een positief effect ($ST E = 0.32$). De LTE was bijna nul ($0.02$), maar de $\Delta$ $Δ$ ERLV was sterk negatief ($-0.70$).
- Conclusie: Zonder de $\Delta$ ERLV-metriek zou het productteam de functie hebben geïmplementeerd, wat zou leiden tot een verlies aan totale gebruikerswaarde door verhoogde churn.

Betekenis en Impact

Dit paper biedt een cruciale oplossing voor het evalueren van A/B-tests in dynamische omgevingen waar gebruikersgedrag evolueert (user learning) en churn een rol speelt.

Betere Productbeslissingen: Het voorkomt dat teams functies lanceren die op korte termijn lijken te werken, maar op lange termijn schadelijk zijn voor de gebruikersbasis.
Brug tussen A/B-testing en LTV: Het koppelt de methodiek van korte online experimenten aan traditionele Lifetime Value (LTV) frameworks, maar dan geoptimaliseerd voor de snelheid van digitale producten zonder complexe meerjarige kortingsfactoren.
Brede Toepasbaarheid: De methode is niet beperkt tot advertenties; het is toepasbaar op zoekfuncties, aanbevelingssystemen en elke situatie waar behandelingen de retentie of het gedrag van gebruikers over tijd beïnvloeden.

Kortom, het paper stelt dat productbeslissingen niet mogen worden gebaseerd op statische momentopnames of alleen op de stabiliteit van actieve gebruikers, maar op de totale impact op de levenscyclus van de gebruiker, inclusief de dynamiek van instroom en uitval.