Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments
Dit artikel introduceert Two-Sided Prioritized Ranking (TSPR), een experimenteel ontwerp dat positiesoefen in gerankte lijsten benut om de totale gemiddelde behandelingseffecten van prijswijzigingen in marktplaatsen nauwkeurig te schatten zonder de platformconsistentie te schaden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een grote, drukke supermarkt runt. Je wilt weten of het verlagen van de prijs van een specifiek product (bijvoorbeeld een nieuwe chocopasta) meer mensen naar je winkel trekt.
In de wereld van online marktplaatsen (zoals Booking.com of Amazon) is dit echter lastiger dan het klinkt. Hier is waarom, en wat dit nieuwe onderzoek voorstelt.
Het Probleem: De "Stoelendans" van de Klant
In een normale supermarkt staan producten naast elkaar. Als je de prijs van chocopasta verlaagt, kopen mensen die pasta. Maar in een online zoekresultaat is het anders. Klanten hebben maar een beperkte hoeveelheid aandacht. Ze kijken meestal alleen naar de eerste paar resultaten.
Als je de prijs van Hotel A verlaagt, gebeurt er iets geks:
- Mensen die normaal Hotel B zouden boeken, boeken nu Hotel A omdat het goedkoper is.
- Hotel B ziet er opeens slechter uit (minder boekingen), niet omdat het hotel slecht is, maar omdat de klanten "weggestolen" zijn.
Dit heet interferentie. Als je gewoon een A/B-test doet (waarbij sommige hotels een korting krijgen en andere niet, willekeurig gemengd in de lijst), krijg je een verkeerd beeld. Je denkt dat de korting werkt, maar je meet eigenlijk alleen hoe de klanten van het ene hotel naar het andere springen.
Het Verbod: "Geen Dubbele Prijzen"
Je zou kunnen zeggen: "Oké, laten we gewoon alle klanten in groep A en groep B verdelen. Groep A ziet de lage prijs, Groep B de hoge prijs."
Dat mag niet. In de echte wereld (en volgens de wet in Europa) mag je voor hetzelfde product niet verschillende prijzen tonen aan verschillende mensen. Dat noemen ze coherentie. Als een klant ziet dat zijn vriend een goedkopere prijs ziet voor hetzelfde hotel, voelt hij zich bedrogen. Ook mag je geen hotels uit de lijst halen; klanten moeten altijd kunnen zien wat er beschikbaar is.
Dus: Je mag de prijs niet per klant veranderen, en je mag de lijst niet verkleinen. Hoe meet je dan of een prijsverlaging werkt?
De Oplossing: Tweezijdige Gestructureerde Rangschikking (TSPR)
De auteurs van dit paper (Mahyar, Zahra en Negar) hebben een slimme truc bedacht. Ze noemen het Two-Sided Prioritized Ranking (TSPR).
Stel je voor dat je een lijst met 20 hotels hebt. In plaats van de prijs te veranderen voor de ene klant en niet voor de andere, veranderen ze de volgorde van de lijst.
Ze verdelen de hotels in drie groepen:
- De "Korting"-groep (deze krijgen de prijsverlaging).
- De "Normale"-groep (geen korting).
- De "Buffer"-groep (een neutrale groep die als scheiding dient).
Vervolgens verdelen ze de klanten in twee groepen:
- Groep A (De "Normale" kijkers): Voor deze mensen zet de computer de "Normale" hotels bovenaan de lijst. De "Korting"-hotels komen pas onderaan, waar niemand kijkt.
- Groep B (De "Korting" kijkers): Voor deze mensen zet de computer de "Korting"-hotels bovenaan de lijst. De "Normale" hotels komen onderaan.
Het magische effect:
- Alle klanten zien dezelfde lijst met dezelfde prijzen (dus geen boze klanten, geen wettelijke problemen).
- Maar! Omdat mensen vooral naar de bovenkant van de lijst kijken (dit heet positie-bias), ziet Groep B veel meer van de goedkope hotels dan Groep A.
- Hierdoor krijgen de goedkope hotels veel meer kansen om geboekt te worden in Groep B dan in Groep A.
Door het verschil in boekingen tussen deze twee groepen te meten, kunnen ze precies berekenen hoeveel extra boekingen de prijsverlaging oplevert, zonder dat er interferentie is en zonder dat klanten verschillende prijzen zien.
Waarom werkt dit zo goed?
De auteurs hebben dit getest met data van Expedia (een grote hotelzoeksite). Ze hebben een simulatie gedaan en vergeleken met andere methoden:
- De "Willekeurige" methode (A/B-test): Dit gaf een heel fout antwoord. Het leek alsof de korting veel meer werkte dan hij echt deed, omdat de klanten van de dure hotels naar de goedkope sprongen.
- De "Groeps"-methode: Hierbij probeer je hele groepen hotels samen te houden. Dit werkt wel eerlijk, maar het is statistisch heel onzeker (alsof je een enquête doet bij slechts 5 mensen in plaats van 500). De resultaten schommelen enorm.
- De TSPR-methode (Deze paper): Dit gaf het meest accurate antwoord. Het was niet alleen eerlijk (geen bias), maar ook heel stabiel (weinig ruis).
De Samenvatting in één zin
In plaats van verschillende prijzen te tonen (wat verboden is) of willekeurig te testen (wat fouten oplevert), schuiven ze de goedkope producten gewoon naar de bovenkant van de lijst voor de ene groep klanten en naar de onderkant voor de andere. Zo meten ze het effect van de prijsverlaging puur op basis van wie er naar de bovenkant kijkt, terwijl iedereen exact dezelfde lijst ziet.
Het is alsof je in een theater de beste stoelen (de bovenkant van de lijst) alleen beschikbaar maakt voor mensen die een goedkoop ticket hebben, terwijl anderen die stoelen niet kunnen zien. Zo weet je precies hoeveel mensen die goedkope tickets kopen, zonder dat je de prijs voor iedereen moet veranderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.