🤖 machine learning

A More Accurate Algorithm Comparison through A/B Testing using Offline Evaluation Methods

Dit artikel daagt de conventionele opvatting uit dat A/B-testen altijd superieur is aan offline evaluatie door te onthullen dat A/B-testen kan lijden onder hogere selectiefoutpercentages door een gebrek aan positieve correlatie, en stelt een nieuwe estimator voor die deze correlatie opzettelijk induceert door middel van een stapsgewijze vergelijking met een hypothetisch midden-algoritme om de benodigde hoeveelheid data voor nauwkeurige algoritme-selectie aanzienlijk te verminderen.

Oorspronkelijke auteurs: Koki Konishi, Masataka Ushiku, Yuta Saito

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Koki Konishi, Masataka Ushiku, Yuta Saito

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Beste Recept Kiezen

Stel je voor dat je een restaurant runt en moet kiezen tussen twee nieuwe recepten voor een soep: Recept A en Recept B. Je wilt weten welke de klanten lekkerder vinden, zodat je die aan iedereen kunt serveren.

Meestal is de "Gouden Standaard" (de beste manier om dit te doen) A/B-testen. Je serveert Recept A aan de helft van je klanten en Recept B aan de andere helft, en telt vervolgens het aantal complimenten. Dit wordt beschouwd als de meest nauwkeurige methode omdat je test op echte, verse gegevens.

Er is echter een addertje onder het gras:

Het is duur en riskant: Als Recept B verschrikkelijk is, kun je de eetervaring van de helft van je klanten verruïneren en geld verliezen terwijl je erachter komt.
Het heeft veel data nodig: Om 100% zeker te zijn, moet je duizenden kommen serveren.

Vanwege deze reden proberen veel restaurants eerst een Offline Evaluatie uit te voeren. Dit is alsof je de chef-kok vraagt om de soep te proeven op basis van een receptenboek (historische gegevens), zonder het daadwerkelijk aan klanten te serveren. Het is veilig en goedkoop, maar meestal minder nauwkeurig dan de echte proeverij.

De Verrassende Ontdekking

De auteurs van dit paper voerden een test uit en ontdekten iets heel vreemds en contra-intuïtiefs:

Soms is de "veilige" methode (Offline Evaluatie) eigenlijk beter in het aanwijzen van de winnaar dan de "Gouden Standaard" (A/B-testen).

In hun experiment maakte de standaard A/B-testmethode (die ze AVG noemen) ongeveer 27% van de tijd fouten, terwijl de offline methode slechts 9% van de tijd fouten maakte.

Waarom faalde de "Gouden Standaard"?
Stel je voor dat je twee hardlopers beoordeelt, Alice en Bob.

De A/B-testmethode (AVG) stuurt Alice naar een baan in New York en Bob naar een baan in Londen. Ze rennen afzonderlijk van elkaar. Je meet hun tijden onafhankelijk van elkaar. Omdat ze op verschillende plekken zijn, hebben hun tijden geen enkele connectie met elkaar. Als Alice een slechte dag heeft en Bob een geweldige dag, denk je misschien onterecht dat Bob sneller is, ook al is Alice eigenlijk de betere hardloopster.
De Offline methode (IPS) laat zowel Alice als Bob op dezelfde baan rennen op hetzelfde moment. Omdat ze onder dezelfde omstandigheden rennen (dezelfde weersomstandigheden, dezelfde kwaliteit van de baan), zijn hun tijden gecorreleerd. Als de baan modderig is, rennen beiden langzamer. Als het zonnig is, rennen beiden sneller. Deze "gedeelde conditie" heft de ruis op, waardoor het makkelijker is om te zien wie er echt sneller is.

Het paper betoogt dat A/B-testen faalt omdat het de twee algoritmen behandelt alsof ze in totaal verschillende werelden leven, waarbij het voordeel van ze naast elkaar vergelijken wordt gemist.

De Oplossing: De "Tussenpersoon" (MID)

De auteurs stellen een nieuwe methode voor genaamd MID (Middle-In-Difference). Ze willen de veiligheid van A/B-testen (gebruikmaken van echte data) maar de nauwkeurigheid van de offline methode (dingen zij-aan-zij vergelijken).

Dit is hoe ze het doen, met behulp van een Touwtrekkers-analogie:

De Opstelling: Je hebt Team A (Algoritme A) en Team B (Algoritme B). Je wilt weten wie sterker is.
Het Probleem: Als je ze direct tegen elkaar laat trekken, kan het touw te lang en wankel zijn (hoge variantie).
De Truc (Het Midden-Algoritme): De auteurs verzinnen een hypothetisch "Midden-Team" (Team M). Dit team is een perfecte mix van Team A en Team B.
De Stap-voor-stap Race:
- Eerst laat je Team A tegen Team M racen. Je gebruikt de data van de kant van Team A uit de A/B-test. Omdat ze tegen een vergelijkbare tegenstander racen (Team M), zijn de resultaten stabiel.
- Daarna laat je Team B tegen Team M racen. Je gebruikt de data van de kant van Team B uit de A/B-test.
- Ten slotte tel je de twee resultaten bij elkaar op om te zien wie er sterker is tussen A en B.

Waarom dit werkt:
Door het "Midden-Team" te introduceren, dwing je de twee vergelijkingen om een gemeenschappelijk referentiepunt te delen. Net als bij de offline methode creëert dit een positieve correlatie. Hoewel Team A en Team B in verschillende groepen zitten, worden ze allebei gemeten tegen hetzelfde "Midden-Team". Dit heft de willekeurige ruis op en maakt de uiteindelijke beslissing veel nauwkeuriger.

De Resultaten

De auteurs hebben dit getest op echte gegevens van een video-aanbevelingsapp (zoals TikTok of YouTube).

Efficiëntie: De nieuwe MID-methode was in staat om het betere algoritme te kiezen met de helft (of zelfs een kwart) van de hoeveelheid data die de standaard A/B-testmethode vereist.
Stabiliteit: Wanneer de twee algoritmen erg verschillend van elkaar waren (wat offline methoden meestal problematisch maakt), werkte MID nog steeds perfect.
Nauwkeurigheid: Het maakte minder fouten dan zowel de standaard A/B-test als de offline methode.

Samenvatting

Het paper zegt: "We hebben ontdekt dat de standaard manier van A/B-testen eigenlijk een beetje onhandig is, omdat het de twee opties niet eerlijk naast elkaar vergelijkt. We hebben een nieuwe truc bedacht met een 'Midden-Algoritme' om een eerlijke vergelijking af te dwingen. Deze nieuwe truc stelt ons in staat om de winnaar sneller te vinden, met minder data en met minder fouten."

Technische Samenvatting: Een nauwkeurigere algoritmevergelijking door A/B-testen met behulp van offline evaluatiemethoden

1. Probleemstelling

Bij de ontwikkeling van online diensten zoals aanbevelingssystemen en zoekmachines is het selecteren van het superieure algoritme cruciaal. Hoewel A/B-testen breed wordt beschouwd als de "gouden standaard" voor algoritme selectie vanwege het vermogen om verstorende factoren te elimineren door randomisatie, is het vaak kostbaar en brengt het risico's met zich mee voor de gebruikerservaring of de omzet als een slecht algoritme wordt uitgerold. Daartegenover staat offline evaluatie (met behulp van historische loggegevens), wat veiliger is maar traditioneel als minder nauwkeurig wordt beschouwd vanwege een hogere schattingsvariantie en potentiële bias.

De auteurs identificeren een contra-intuïtief fenomeen: in bepaalde scenario's levert de standaard Average (AVG) estimator die gebruikt wordt bij A/B-testen een hoger foutpercentage bij algoritmeselectie op dan offline evaluatiemethoden zoals Inverse Propensity Scoring (IPS). De kern van het probleem ligt in de statistische eigenschappen van de estimators:

AVG Estimator: Gebruikt onafhankelijke data voor Algoritme A en Algoritme B. Bijgevolg zijn de prestatieschattingen niet gecorreleerd. De variantie van de verschil-estimator is simpelweg de som van de individuele varianties ( $Var(\hat{V}_A) + Var(\hat{V}_B)$ ), waardoor er geen mechanisme is om de variantie te verminderen door middel van correlatie.
Offline Estimators (bijv. IPS): Gebruiken gedeelde historische data om de prestaties van meerdere algoritmen te schatten. Dit induceert onbedoeld een positieve correlatie tussen de estimators. Volgens de variantie-decompositieformule ($Var(X-Y) = Var(X) + Var(Y) - 2Cov(X,Y)$) vermindert deze positieve covariantie de totale variantie van de verschil-estimator, waardoor de kans op kritieke selectiefouten (het onderschatten van het superieure algoritme of het overschatten van het inferieure algoritme) afneemt.

Het artikel stelt dat A/B-testen deze gunstige correlatie niet benut, wat leidt tot een suboptimale selectienauwkeurigheid vergeleken met offline methoden in specifieke pre-experimenten.

2. Methodologie: De Middle-In-Difference (MID) Estimator

Om het gebrek aan correlatie in A/B-testen aan te pakken, stellen de auteurs een nieuwe estimator voor genaamd Middle-In-Difference (MID). Het kernidee is om doelbewust positieve correlatie binnen het A/B-testframework te induceren door een hypothetisch middelste algoritme ( $\pi_M$ ) te introduceren.

Stapsgewijs schattingsproces:
In plaats van Algoritme A ( $\pi_A$ ) direct te vergelijken met Algoritme B ( $\pi_B$ ), deelt MID het prestatieverschil op in twee stappen:

Schat het verschil tussen $\pi_A$ en $\pi_M$ met behulp van de loggegevens verzameld van $\pi_A$ ( $D_A$ ).
Schat het verschil tussen $\pi_M$ en $\pi_B$ met behulp van de loggegevens verzameld van $\pi_B$ ( $D_B$ ).

De uiteindelijke estimator is de som van deze twee verschillen:
$\Delta \hat{V}_{MID} = (\hat{V}_{IPS}(\pi_A; D_A) - \hat{V}_{IPS}(\pi_M; D_A)) + (\hat{V}_{IPS}(\pi_M; D_B) - \hat{V}_{IPS}(\pi_B; D_B))$

Mechanisme van variantiereductie:

Geïnduceerde Correlatie: Omdat de eerste term gedeelde data $D_A$ gebruikt om zowel $\pi_A$ als $\pi_M$ te schatten, en de tweede term gedeelde data $D_B$ gebruikt voor $\pi_M$ en $\pi_B$ , worden er binnen elke stap positieve correlaties geïnduceerd. Dit vermindert de variantie van de individuele verschiltermen.
Optimaal Middelste Algoritme: De auteurs leiden het optimale middelste algoritme $\pi_M^*$ af dat de variantie van de estimator minimaliseert. Het optimale beleid wordt gedefinieerd als het harmonisch gemiddelde van de logging-policies:
$\pi_M^*(a|x) = \frac{2\pi_A(a|x)\pi_B(a|x)}{\pi_A(a|x) + \pi_B(a|x)}$
Dit ontwerp zorgt ervoor dat $\pi_M$ zeer vergelijkbaar blijft met zowel $\pi_A$ als $\pi_B$ , wat de "variantie-explosie" die vaak voorkomt bij offline evaluatie wanneer algoritmen ongelijk zijn (een veelvoorkomende foutmodus van de standaard IPS), mitigeert.

Theoretische Eigenschappen:

Onbevooroordenheid (Unbiasedness): De auteurs bewijzen dat als het middelste algoritme voldoet aan de voorwaarde dat het alleen acties selecteert waar ten minste één van de oorspronkelijke algoritmen een niet-nul kans heeft, de estimator onbevooroordeeld blijft.
Variantievergelijking: Theoretische analyse toont aan dat de reward-term van de MID-variantie strikt kleiner is dan of gelijk is aan die van de standaard AVG-estimator. Bovendien vermijdt MID, in tegen tegenstelling tot standaard IPS, de $1/\pi_A$ variantie-explosie wanneer de gelijkenis tussen algoritmen laag is, omdat de tussenliggende vergelijkingen betrekking hebben op vergelijkbare policies.

3. Belangrijkste Bijdragen

Statistisch Inzicht: Het artikel verheldert dat de standaard AVG-estimator in A/B-testen niet noodzakelijkerwijs optimaal is voor algoritmeselectie, omdat het nalaat de voordelen van positieve correlatie tussen estimators te benutten voor variantiereductie.
Nieuwe Estimator (MID): De auteurs stellen de MID-estimator voor, die doelbewust positieve correlatie induceert via een hypothetisch middelste algoritme en stapsgewijze schatting, waarmee lagere selectiefoutpercentages worden bereikt dan met zowel standaard A/B-testen (AVG) als offline evaluatie (IPS).
Theoretische Afleiding: Het artikel leidt het optimale middelste algoritme af om de variantie te minimaliseren en biedt een bias-variantie-analyse die laat zien waarom MID bestaande methoden overtreft.
Empirische Validatie: Met behulp van echte video-aanbevelingsdata (KuaiRec) demonstreren de auteurs dat MID consistent lagere selectiefoutpercentages bereikt in verschillende settings.

4. Experimentele Resultaten

De auteurs voerden experimenten uit met de KuaiRec dataset, een volledig geobserveerde video-aanbevelingsdataset die de berekening van de grondwaarheid (ground-truth) van de algoritmische prestaties mogelijk maakt. Zij simuleerden een A/B-testomgeving met variërende steekproefgroottes en algoritmische gelijkenissen.

Steekproefefficiëntie: MID bereikte hetzelfde selectiefoutpercentage als bestaande methoden (AVG en IPS) met slechts één helft tot één kwart van de A/B-teststeekproefomvang. Zo had AVG bijvoorbeeld 350–400 samples nodig om een foutpercentage van 5% te bereiken, terwijl MID dit bereikte met 100–200 samples.
Robuustheid tegenover Gelijkenis:
- In scenario's met een hoge gelijkenis presteerde MID beter dan IPS (dat doorgaans worstelt met variantie in offline settings) en AVG.
- In scenario's met een lage gelijkenis, waar IPS lijdt onder variantie-explosie door belangstelling-weging (importance weighting), bleef MID stabiel en presteerde het beter dan zowel IPS als AVG.
Mechanisme Verificatie: Scatterplots van de schattingen bevestigden dat MID erin slaagt positieve correlatie te induceren tussen de stapsgewijze estimators, wat resulteert in een nauwere distributie van de uiteindelijke verschilschatting vergeleken met de circulaire (niet-gecorreleerde) distributie van AVG. Deze nauwere spreiding correleert direct met een reductie in kritieke selectiefouten.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde MID-estimator de efficiëntie en nauwkeurigheid van A/B-testen voor algoritmeselectie fundamenteel verbetert. Door het statistische mechanisme van offline evaluatie (gedeelde data die correlatie induceert) te lenen en dit binnen het A/B-testframework toe te passen via een hypothetisch middelste algoritme, overwint MID de beperkingen van zowel traditionele A/B-testen (hoge variantie door onafhankelijkheid) als offline evaluatie (instabiliteit door lage gelijkenis of gebrek aan nieuwe data).

De auteurs benadrukken dat deze aanpak organisaties in staat stelt om nauwkeurigere beslissingen te nemen over algoritmeselectie met aanzienlijk minder gebruikers of kortere experimentduur, waardoor de kosten en risico's verbonden aan online experimenten worden verminderd. Het werk suggereert dat de "gouden standaard" van A/B-testen niet verbeterd kan worden door deze te verlaten, maar door de schattingsmethode te verfijnen om statistische correlaties te benutten die voorheen niet werden geëxploiteerd in online settings.