📊 statistics

Multi-Experiment Analysis

Dit paper introduceert Multi-Experiment Analysis (MEA), een methode die consistente schattingen van individuele en gecombineerde behandelingseffecten mogelijk maakt in online experimenten met willekeurige overlappingen, zonder dat er factorial pre-design of verkeersbeperkingen nodig zijn.

Oorspronkelijke auteurs: Reza Hosseini

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Reza Hosseini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groot restaurant runt (zoals LinkedIn) en je wilt weten welke nieuwe gerechten je klanten het meest aanspreken. Je hebt een team van chefs die allemaal tegelijk nieuwe recepten uitproberen.

Het probleem is dat je niet genoeg tafels hebt om elke chef een eigen, gescheiden ruimte te geven. Dus moeten ze in dezelfde keuken werken. Soms proberen twee chefs tegelijk een nieuwe saus en een nieuw broodje uit op dezelfde tafel.

Wat gaat er mis?
Als je alleen kijkt naar de saus, zie je misschien dat het lekker is. Maar als je alleen kijkt naar het broodje, zie je misschien ook dat het lekker is. Als je ze beide tegelijk serveert, kan het zijn dat de saus het broodje verpest (of juist fantastisch maakt). Als je de chefs niet goed coördineert, weet je nooit of de klant van de saus hield, van het broodje, of van de combinatie. En als je wacht tot de ene chef klaar is voordat de andere begint, duurt het maanden voordat je weet wat er werkt.

De oplossing: MEA (Multi-Experiment Analysis)
Reza Hosseini van LinkedIn heeft een slimme methode bedacht genaamd MEA. In plaats van de chefs te verbieden om samen te werken, of ze te dwingen om te wachten, kijkt MEA naar de data op een heel slimme manier om te zien wat er echt gebeurt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het "L-vormige" puzzelstukje

Stel je voor dat je klanten in groepjes verdeelt op basis van wat ze eigenlijk hebben gezien.

Groep A: Kreeg alleen de nieuwe saus.
Groep B: Kreeg alleen het nieuwe broodje.
Groep C: Kreeg beide.
Groep D: Kreeg niets nieuws (de controlegroep).

De slimme truc van MEA is dat het niet zegt: "Oh, de saus werkt goed." Nee, het zegt: "De saus werkt goed voor mensen die alleen de saus kregen, maar voor mensen die ook het broodje kregen, werkt het misschien minder goed."

Het berekent een gemiddelde van al deze groepjes, gewogen naar hoe groot ze zijn. Zo krijg je een eerlijk beeld van wat er gebeurt als je allebei de dingen lanceert, zelfs als ze niet perfect op elkaar zijn afgestemd.

2. De "Voorwaarde" (Het scenario)

Soms wil je weten: "Wat gebeurt er met de verkoop als we het nieuwe broodje lanceren, maar we houden de saus nog even achter?"

Normaal gesproken is dat onmogelijk te weten als de twee dingen al tegelijk lopen. Maar MEA kan dit simuleren. Het kijkt alleen naar de mensen die het broodje kregen en vergelijkt die met mensen die het broodje niet kregen, terwijl het de saus-variabele "stilzet". Het is alsof je een film terugspoelt en zegt: "Stel dat we de saus niet hadden veranderd, wat was er dan gebeurd met het broodje?"

3. De "Check" (Zit er een valkuil?)

Soms kan een nieuwe saus ervoor zorgen dat mensen sneller naar de tafel lopen waar het broodje ligt. Dan is het niet meer eerlijk vergelijken.
MEA heeft een ingebouwde "detective" die controleert of de chefs elkaar niet per ongeluk beïnvloeden. Als de saus ervoor zorgt dat meer mensen het broodje proberen, geeft MEA een rood lampje en zegt: "Hé, wacht even, dit is niet eerlijk, de chefs sturen klanten naar elkaar toe!" Dan moet je de resultaten anders interpreteren.

Waarom is dit zo geweldig?

Snelheid: Je hoeft niet te wachten. Je kunt honderden experimenten tegelijk laten draaien en toch weten wat de beste combinatie is.
Geen gedoe: Je hoeft geen complexe plannen te maken vooraf (zoals een "factorieel ontwerp" waarbij je alles perfect moet inplannen). Je kunt gewoon losse experimenten doen en MEA doet het zware rekenwerk achteraf.
Betere beslissingen: In het echte voorbeeld uit het artikel (een pagina met content en een nieuw ontwerp) dachten ze eerst dat één verandering goed was. Maar MEA liet zien dat de combinatie van twee specifieke veranderingen bijna dubbel zo goed werkte als wat ze eerst dachten. Zonder MEA hadden ze de verkeerde keuze gemaakt.

Samenvattend

MEA is als een super-slimme kok die naar de restjes op de borden kijkt. Zelfs als tien verschillende koks tegelijk nieuwe ingrediënten hebben toegevoegd aan dezelfde borden, kan deze kok precies vertellen welk ingrediënt het lekkerst was, welke combinatie het beste smaakte, en of één ingrediënt de smaak van een ander bedierf.

Het stelt bedrijven in staat om sneller te innoveren, meer te testen en de beste producten te lanceren, zonder in de chaos van overlappende experimenten te verdwalen.

Technische Samenvatting: Multi-Experiment Analysis (MEA)

1. Het Probleem

In moderne technologiebedrijven worden duizenden online gecontroleerde experimenten (A/B-tests) gelijktijdig uitgevoerd op gedeeld verkeer. Dit creëert twee fundamentele uitdagingen:

Overlap en Interactie: Wanneer experimenten overlappen, kunnen ze elkaar beïnvloeden. Traditionele analyses behandelen experimenten vaak geïsoleerd (univariate analyse), wat leidt tot vooringenome schattingen van individuele behandeleffecten. Deze schattingen corresponderen vaak niet met een realistisch lanceringsscenario (bijvoorbeeld: wat gebeurt er als we alleen variant A lanceren, terwijl experiment B ook actief is?).
Beperkingen van bestaande oplossingen:
- Verkeerssplitsing (Layering): Voorkomt interacties maar vereist complexe coördinatie en verlaagt de experimentatiesnelheid (velocity).
- Sequentiële uitvoering: Voert tests één voor één uit, wat tijdrovend is en onpraktisch voor langdurige metrics (zoals retentie).
- Factoriële ontwerpen: Vereist vooraf geplande coördinatie, volledige populatie-overlap en gebalanceerde toewijzing, wat vaak onuitvoerbaar is wanneer teams onafhankelijk werken met verschillende triggercondities.

2. Methodologie: Multi-Experiment Analysis (MEA)

MEA is een post-hoc raamwerk voor consistente gezamenlijke schatting van overlappende experimenten zonder dat er verkeersbeperkingen nodig zijn. Het maakt gebruik van post-stratificatie en gewogen schatting binnen strata.

Kernconcepten

Trigger-gebaseerde populatiepartitionering:
In plaats van alleen te kijken naar de variant-toewijzing, partitioneert MEA de gebruikerspopulatie op basis van welke experimenten ze hebben "geactiveerd" (triggered). Voor twee experimenten ( $E_1, E_2$ ) ontstaan vier regio's:
- $R_{11}$ : Beide experimenten geactiveerd.
- $R_{10}$ : Alleen $E_1$ geactiveerd.
- $R_{01}$ : Alleen $E_2$ geactiveerd.
- $R_{00}$ : Geen van beide geactiveerd (wordt uitgesloten voor schatting om statistische power te verhogen).
Gewogen Schatting:
Het effect van een combinatie van varianten wordt geschat als een gewogen gemiddelde van de effecten binnen elke trigger-regio.
$\hat{\tau} = \sum_{r} w_r (\bar{Y}_{t,r} - \bar{Y}_{c,r})$
Waarbij $w_r$ evenredig is met de grootte van de regio $r$ . Dit zorgt ervoor dat het resultaat de impact weergeeft op de totale beïnvloede populatie, niet alleen op de intersectie.
Cruciale Aannames:
- Arm-Trigger Invariance: De toewijzing van een behandelmethode (arm) in experiment $i$ mag de kans dat een gebruiker experiment $j$ activeert, niet beïnvloeden. Als dit wel gebeurt (bijv. omdat een nieuwe knop in $E_1$ leidt tot meer views van de pagina waar $E_2$ triggert), is de schatting vertekend.
- Onafhankelijkheid binnen strata: Binnen elke trigger-regio moeten de toewijzingen van de verschillende experimenten onafhankelijk zijn (gewaarborgd door orthogonale randomisatie/hashing).
Diagnostiek en Validatie:
MEA bevat geautomatiseerde statistische tests (Chi-kwadraat met Cramér's $V$ ) om te controleren of de "Arm-Trigger Invariance" aanneming geldt. Dit wordt gedaan door te kijken of de verdeling van trigger-statussen verschilt tussen de behandel- en controlegroepen.
Uitbreidingen:
- Ratio-metrics: MEA past de gewogen schatting toe op zowel de teller als de noemer van een ratio (bijv. conversiepercentage) en gebruikt de Delta-methode of bucketed jackknife voor variantie-schatting.
- Scenario-analyse: Het systeem kan conditionele effecten berekenen (bijv. "Wat is het effect van $E_2$ als $E_1$ al gelanceerd is?").

3. Belangrijkste Bijdragen

Post-hoc Factoriële Analyse: MEA kan inzichten genereren die vergelijkbaar zijn met een volledig factorieel ontwerp, maar dan uit natuurlijk voorkomende, ongecoördineerde overlappingen.
Drie Types Schattingen:
1. Gecorrigeerde individuele effecten: Het effect van een variant, gecorrigeerd voor de aanwezigheid van andere experimenten.
2. Combinatie-effecten: Het effect van het lanceren van een specifieke combinatie van varianten over alle experimenten heen.
3. Conditionele effecten: Het effect van een experiment gegeven een vastgesteld lanceringsscenario voor andere experimenten.
Schaalbaarheid en Implementatie: Een zelfbedieningsysteem dat werkt op datasets met honderden miljoenen eenheden, gebruikmakend van gedistribueerde query-engines (Trino/Spark) voor zware data-verwerking en in-memory berekeningen voor de uiteindelijke statistiek.
Robuustheid: De methode is niet-parametrisch en vereist geen regressiemodellen of specifieke verdelingsaannames.

4. Resultaten en Gevallen

Productie-deployments: MEA is succesvol ingezet bij LinkedIn over meerdere productverticale. Uit een audit van ~50 analyses bleek dat in 80-85% van de gevallen de analyse leidde tot een gewijzigde of onderbouwde beslissing.
Gebruiksscenario's:
- Optimalisatie: Identificatie van de beste variantcombinatie (bijv. Content Test + Pagina Redesign) die een lift van +96% opleverde, terwijl univariate analyse dit gemist had.
- Debugging: Het opsporen van oorzaken voor onverwachte metricschommelingen (bijv. een platform-migratie die de trigger-snelheid beïnvloedde).
- Lancering blokkeren opheffen: Bewijzen dat een experiment robuust is tegenover concurrente experimenten, waardoor een snellere lancering mogelijk werd.
Simulaties: Uitgebreide simulaties bevestigden dat MEA consistente schattingen levert met correcte dekking van betrouwbaarheidsintervallen (95% CI), zelfs bij complexe overlappatronen.
Vergelijking met Alternatieven: In een simulatie met sterke negatieve interacties leverden zowel univariate analyse als sequentiële uitvoering de slechtste lanceringcombinatie op, terwijl MEA correct de optimale combinatie identificeerde.

5. Significantie

MEA lost een kritiek probleem op in de data-gedreven besluitvorming: de onmogelijkheid om snel en betrouwbaar te testen in een omgeving met hoge experimentatie-dichtheid.

Versnelling: Het elimineert de noodzaak voor tijdrovende coördinatie of sequentiële testen, waardoor de "experimentation velocity" drastisch toeneemt.
Validiteit: Het biedt statistisch geldige inzichten in scenario's die anders onmogelijk te analyseren zouden zijn zonder de data te verstoren.
Algemene Toepasbaarheid: Hoewel ontwikkeld voor online experimenten, is de methodologie toepasbaar op elk domein met gelijktijdige interventies op overlappende populaties (bijv. klinische trials, publieke gezondheid).

Kortom, MEA transformeert "ruis" (onbeheerde overlappingen) in bruikbare data, waardoor teams gelijktijdig kunnen testen en toch betrouwbare, actieerbare conclusies kunnen trekken over complexe feature-combinaties.