📈 economics

Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments

यह शोध पत्र टू-साइडेड प्रायोरिटाइज्ड रैंकिंग (TSPR) का प्रस्ताव करता है, जो एक नवीन प्रयोगात्मक डिज़ाइन है जो ऑनलाइन मार्केटप्लेस में मूल्य परिवर्तनों के कुल औसत उपचार प्रभाव (total average treatment effect) का अनुमान लगाने के लिए रैंक की गई सूचियों में स्थिति पूर्वाग्रह (position bias) का लाभ उठाता है, जबकि प्लेटफॉर्म की सुसंगतता को बनाए रखता है और हस्तक्षेप पूर्वाग्रह (interference bias) को कम करता है।

मूल लेखक: Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mahyar Habibi, Zahra Khanalizadeh, Negar Ziaeian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, व्यस्त होटल बुकिंग वेबसाइट के मैनेजर हैं। आप एक नए विचार का परीक्षण करना चाहते हैं: क्या होगा यदि हम अपने 25% होटलों की कीमतें कम कर दें?

एक आदर्श दुनिया में, आप बस अपने आधे विज़िटर्स को सस्ती कीमतें दिखा सकते हैं और बाकी आधे को सामान्य कीमतें, फिर तुलना कर सकते हैं। लेकिन ऑनलाइन मार्केटप्लेस की वास्तविक दुनिया में, यह एक दुस्वप्न है जिसके दो कारण हैं:

"निष्पक्षता" की समस्या (Coherency): यदि आप एक उपयोगकर्ता को एक होटल \ $100 में दिखाते हैं और उनके मित्र को वही होटल \$ 80 में दिखता है, तो पहले उपयोगकर्ता को लगेगा कि उसके साथ धोखा हुआ है। वे साइट छोड़ सकते हैं और कभी वापस नहीं आएंगे। आप एक ही चीज़ के लिए अलग-अलग लोगों को अलग-अलग कीमतें नहीं दिखा सकते।
"भीड़ वाला कमरा" की समस्या (Interference): आपके सर्च रिजल्ट्स में 20 होटलों की एक सूची है। यदि आप होटल A की कीमत कम करते हैं, तो लोग होटल B के बजाय उस पर क्लिक करेंगे। भले ही होटल B की कीमत में कोई बदलाव न हुआ हो, फिर भी उसकी बिक्री गिर जाएगी क्योंकि उसने होटल A को ग्राहक दे दिए। इसे 'इंटरफेरेंस' (हस्तक्षेप) कहा जाता। यदि आप होटल A की कीमत कम करने के प्रभाव को मापने की कोशिश करते हैं, तो आप अनजाने में होटल B के डेटा को भी खराब कर देते हैं।

पुराने तरीके (और वे क्यों विफल होते हैं)

"कमरे को विभाजित करने" की विधि (User-Level A/B Test): आप ग्रुप A को सस्ती कीमतें दिखाते हैं और ग्रुप B को सामान्य कीमतें।
- यह क्यों विफल होता है: यह "निष्पक्षता" के नियम का उल्लंघन करता है। ग्रुप A देखता है \ $100 का टैग; ग्रुप B देखता है \$ 80 का। लोग नाराज हो जाते हैं।
"रैंडम शफल" विधि (Item-Level A/B A/B Test): आप सभी के लिए एक ही लिस्ट रखते हैं, लेकिन कुछ होटलों को रैंडमली "ट्रीटेड" (कीमत कम की गई) और अन्य को "अनट्रीटेड" (सामान्य कीमत) के रूप में चिह्नित करते हैं।
- यह क्यों विफल होता है: यह "भीड़ वाले कमरे" के नियम का उल्लंघन करता है। क्योंकि ट्रीटेड होटल सस्ते हैं, वे अनट्रीटेड होटलों का सारा ध्यान अपनी ओर खींच लेते हैं। आपका डेटा गड़बड़ा जाता है क्योंकि आइटम आपस में लड़ रहे होते हैं।
"ग्रुपिंग" विधि (Cluster Randomization): आप होटलों को उनके पड़ोस (जैसे, "डाउनटाउन" बनाम "बीच") के आधार पर समूह में बांटते हैं और पूरे डाउनटाउन समूह को कीमतों में कटौती देते हैं।
- यह क्यों विफल होता है: यह बहुत धीमा और अपरिष्कृत है। आपके पास केवल कुछ ही पड़ोस हैं, इसलिए आपका डेटा "नॉइजी" (शोर वाला) है। यह केवल दो बादलों को देखकर मौसम का अनुमान लगाने जैसा है।

नया समाधान: टू-साइडेड प्रायोरिटाइज्ड रैंकिंग (TSPR)

इस पेपर के लेखक एक चतुर तकनीक प्रस्तावित करते हैं जिसे TSPR कहा जाता है। वे यह नहीं बदलते कि लोग क्या देखते हैं (कीमतें), बल्कि वे यह बदलते हैं कि चीजें सूची में कहाँ दिखाई देती हैं।

अपने सर्च रिजल्ट्स को एक कॉन्सर्ट लाइनअप की तरह समझें।

हेडलाइनर्स (सूची के शीर्ष पर): सभी उन्हें देखते हैं। उन्हें 90% ध्यान मिलता है।
ओपनिंग एक्ट्स (सूची के नीचे): केवल सबसे समर्पित प्रशंसक ही उन्हें देखते हैं। उन्हें लगभग कोई ध्यान नहीं मिलता।

TSPR कैसे काम करता है:

सेटअप: आपके पास होटलों की एक सूची है। आप गुप्त रूप से कुछ को "सस्ता" (Treated) और कुछ को "सामान्य" (Untreated) के रूप में चिह्नित करते हैं। आप संतुलन बनाए रखने के लिए कुछ "डमी" होटल (Placebo) भी जोड़ते हैं।
विभाजन: आप अपने विज़िटर्स को दो समूहों में विभाजित करते हैं: ग्रुप A और ग्रुप B।
जादुई ट्रिक:
- ग्रुप A एक ऐसी सूची देखता है जहाँ सामान्य होटल सबसे ऊपर (हेडलाइनर्स) हैं, और सस्ते होटल नीचे (ओपनिंग एक्ट्स) धकेल दिए गए हैं।
- ग्रुप B एक ऐसी सूची देखता है जहाँ सस्ते होटल सबसे ऊपर (हेडलाइनर्स) हैं, और सामान्य होटल नीचे (ओपनिंग एक्ट्स) धकेल दिए गए हैं।
परिणाम:
- सभी को एक ही कीमतें दिखती हैं। किसी के साथ धोखाधड़ी नहीं होती। निष्पक्षता बनी रहती है!
- ग्रुप B के लिए "सस्ते" होटलों को भारी ध्यान मिलता है क्योंकि वे सबसे ऊपर हैं।
- ग्रुप A के लिए "सस्ते" होटलों को लगभग कोई ध्यान नहीं मिलता क्योंकि वे नीचे छिपे हुए हैं।

यह समस्या को कैसे हल करता है

क्योंकि ग्रुप B सस्ते होटलों को पहले देखता है, वे उन्हें खरीदते हैं। क्योंकि ग्रुप A सामान्य होटलों को पहले देखता है, वे उन्हें खरीदते हैं।

ग्रुप B बनाम ग्रुप A की कुल बिक्री की तुलना करके, आप गणितीय रूप से यह पता लगा सकते हैं कि कीमत में गिरावट ने वास्तव में कितनी मदद की, बिना "भीड़ वाले कमरे" की समस्या के डेटा खराब हुए। आप इंटरफेरेंस से लड़ नहीं रहे हैं; आप इंटरफेरेंस का उपयोग कर रहे हैं (इस तथ्य का उपयोग कि लोग केवल सूची के शीर्ष भाग को देखते हैं) अपने फायदे के लिए कर रहे हैं।

उपमा: "गोल्डन टिकट" परेड

कल्पना कीजिए कि एक परेड में 100 फ्लोट्स (झांकियां) हैं।

समस्या: आप जानना चाहते हैं कि किसी फ्लोट को "गोल्डन टिकट" (डिस्काउंट) देने से वह अधिक लोकप्रिय होता है या नहीं। लेकिन यदि आप बीच में एक टिकट देते हैं, तो लोग उसे अनदेखा कर देते हैं क्योंकि वे सामने वाले फ्लोट को देख रहे होते हैं।
पुराना तरीका: आप रैंडम फ्लोट्स को टिकट देते हैं। जिन्हें आगे रखा गया है उन्हें सारा प्यार मिलता है, और जिन्हें पीछे रखा गया है उन्हें कुछ नहीं मिलता। आप यह नहीं बता सकते कि टिकट ने काम किया या यह केवल उनकी स्थिति (पोजीशन) का कमाल था।
TSPR तरीका:
- परेड A: आप सभी "गोल्डन टिकट" वाले फ्लोट्स को बिल्कुल पीछे रखते हैं। भीड़ उन्हें मुश्किल से देख पाती है।
- परेड B: आप सभी "गोल्डन टिकट" वाले फ्लोट्स को बिल्कुल आगे रखते हैं। भीड़ पागल हो जाती है।
- गणित: चूंकि दोनों परेडओं के बीच एकमात्र अंतर यह है कि टिकट कहाँ रखे गए हैं, इसलिए भीड़ की प्रतिक्रिया में अंतर आपको ठीक-ठीक बताएगा कि "गोल्डन टिकट" कितना शक्तिशाली है।

निचोड़

यह पेपर सिद्ध करता है कि केवल सूची को पुनर्व्यवस्थित करके (एक समूह के लिए उपचारित वस्तुओं को शीर्ष पर और दूसरे के लिए नीचे रखकर), कंपनियां विश्वास तोड़े बिना और उपयोगकर्ताओं के साथ भरोसा खराब किए बिना सटीक प्रयोग चला सकती हैं।

यह एक "विन-विन" (दोनों की जीत) स्थिति है:

उपयोगकर्ता सुसंगत और निष्पक्ष कीमतें देखते हैं।
कंपनियाँ एक अस्त-व्यस्त और प्रतिस्पर्धी बाजार में भी स्पष्ट, सटीक डेटा प्राप्त करती हैं कि क्या काम कर रहा है।

यहाँ शोध पत्र "Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑनलाइन मार्केटप्लेस प्रयोगों की एक महत्वपूर्ण चुनौती को संबोधित करता है: हस्तक्षेप (interference) और सुसंगतता बाधाओं (coherency constraints) वाले वातावरण में हस्तक्षेपों (जैसे, मूल्य परिवर्तन) के ग्लोबल ट्रीटमेंट इफेक्ट (GTE) का अनुमान लगाना।

हस्तक्षेप (Interference - SUTVA उल्लंघन): रैंक की गई सूचियों में (जैसे, सर्च रिजल्ट्स), आइटम सीमित उपयोगकर्ता ध्यान और मांग के लिए प्रतिस्पर्धा करते हैं। किसी एक आइटम की कीमत या उपचार स्थिति बदलने से उसी सूची के अन्य आइटम्स के परिणामों पर प्रभाव पड़ता है (प्रतिस्थापन या पूरकता)। मानक आइटम-स्तरीय A/B टेस्ट यहाँ विफल हो जाते हैं क्योंकि वे 'स्टेबल यूनिट ट्रीटमेंट वैल्यूAssumption' (SUTVA) पर आधारित होते हैं, जिससे पक्षपाती अनुमान (biased estimates) प्राप्त होते हैं।
सुसंगतता बाधाएं (Coherency Constraints): प्लेटफॉर्म अक्सर परिचालन और कानूनी आवश्यकताओं का सामना करते हैं जो मानक प्रयोगात्मक डिजाइनों को रोकते हैं:
- मूल्य समानता (Price Parity): किसी दिए गए आइटम के लिए सभी उपयोगकर्ताओं को समान मूल्य दिखना चाहिए (जो उपयोगकर्ता-स्तरीय रैंडमाइजेशन को खारिज करता है जहाँ अलग-अलग उपयोगकर्ताओं को अलग-अलग कीमतें दिखाई जाती हैं)।
- पूर्ण कैटलॉग एक्सेस (Full Catalog Access): उपयोगकर्ताओं को उपलब्ध आइटम्स का वही सेट दिखना चाहिए (जो उन डिजाइनों को खारिज करता है जो कुछ उपयोगकर्ताओं से आइटम्स को छिपा देते हैं)।
अंतराल (The Gap): मौजूदा समाधान जैसे क्लस्टर रैंडमाइजेशन में कम सांख्यिकीय शक्ति (उच्च विचरण/variance) होती है, जबकि मानक आइटम-स्तरीय रैंडमाइजेशन हस्तक्षेप के कारण उच्च पक्षपात (bias) से ग्रस्त होते हैं। एक ऐसे डिजाइन की आवश्यकता है जो सुसंगतता को बनाए रखते हुए हस्तक्षेप के तहत ग्लोबल ट्रीटमेंट इफेक्ट का सटीक अनुमान लगा सके।

2. कार्यप्रणाली: टू-साइडेड प्रायोरिटाइज्ड रैंकिंग (TSPR)

लेखक TSPR का प्रस्ताव करते हैं, जो एक ऐसा प्रयोगात्मक डिजाइन है जो सुसंगतता का उल्लंघन किए बिना उपचार जोखिम (treatment exposure) में भिन्नता पैदा करने के लिए पोजीशन बायस (position bias) (शीर्ष-रैंक वाले आइटम्स पर ध्यान केंद्रित करने की प्रवृत्ति) का लाभ उठाता है।

मुख्य तंत्र (Core Mechanism)

आइटम विभाजन (Item Partitioning): आइटम्स को यादृच्छिक रूप से तीन उपसमूहों में विभाजित किया जाता है: Treated (उपचारित), Untreated (अनुपचारित), और Placebo (प्लेसबो)।
- Placebo उपसमूह यह सुनिश्चित करने के लिए महत्वपूर्ण है कि Treated और Untreated समूह तुलनीय आकार के हों, जिससे समूहों के बीच गुणवत्ता असंतुलन को रोका जा सके।
यूजर/क्वेरी रैंडमाइजेशन (User/Query Randomization): आने वाली क्वेरीज को दो समूहों, $Q_A$ और $Q_B$ में विभाजित किया जाता है।
री-रैंकिंग रणनीति (Re-Ranking Strategy):
- ग्रुप $Q_B$ (ट्रीटमेंट-प्रायोरिटाइज्ड): आइटम्स को इस तरह पुनर्व्यवस्थित किया जाता है कि Treated आइटम्स सबसे ऊपर आएं, उसके बाद Placebo, और फिर Untressed।
- ग्रुप $Q_A$ (कंट्रोल-प्रायोरिटाइज्ड): आइटम्स को इस तरह पुनर्व्यवस्थित किया जाता है कि Untreated आइटर्स सबसे ऊपर आएं, उसके बाद Placebo, और फिर Treated।
सुसंगतता संरक्षण (Coherency Preservation): सभी उपयोगकर्ता बिल्कुल समान सेट के आइटम्स और समान कीमतों पर देखते हैं। एकमात्र अंतर उनके दिखने का क्रम है, जो स्थिति पूर्वाग्रह (position bias) के कारण उपचार के संपर्क को व्यवस्थित रूप से बदल देता है।

सैद्धांतिक ढांचा (Theoretical Framework)

एस्टिमैंड (Estimand): ग्लोबल लिफ्ट ( $\Phi$ ), जिसे तब परिभाषित किया जाता है जब हम एक ऐसी दुनिया से दूसरी दुनिया में जाते हैं जहाँ सभी आइटम्स अनुपचारित थे से लेकर जहाँ सभी आइटम्स उपचारित हैं।
पहचान तर्क (Identification Logic):
- डिजाइन यह मानता है कि उपयोगकर्ता का ध्यान रैंक के साथ घटता है (अटेंशन फंक्शन $F(l)$ )।
- एक समूह के लिए उपचारित आइटम्स को प्राथमिकता देकर और दूसरे के लिए अनुपचारित आइटम्स को प्राथमिकता देकर, प्रयोग विभिन्न गहराइयों ( $l$ ) पर 'आंशिक परिणाम' (partial outcome) का कंट्रास्ट बनाता है।
- लेखक यह सिद्ध करते हैं कि गहराई $l$ पर आंशिक लिफ्ट, $\phi(l)$ , $l \to \infty$ होने पर ग्लोबल लिफ्ट $\Phi$ की ओर अभिसरित (converge) होता है।
- मान्यताएं (Assumptions):
  1. पृथक्करणीयता (Separability): उपचार परिणामों के स्तर को प्रभावित करता है लेकिन अटेंशन फंक्शन के आकार को नहीं।
  2. सममित विरूपण (Symmetric Distortion): री-रैंकिंग व्यवधान दोनों भुजाओं (arms) में ध्यान को समान रूप से प्रभावित करता है।
  3. आंशिक उपचार प्रभाव (Partial Treatment Effect): आइटम्स के एक ब्लॉक को उपचारित करने का प्रभाव ब्लॉक के आकार के साथ स्केल होता है (जिसे $\tau(l)$ फंक्शन द्वारा पकड़ा जाता है)।
  4. नगण्य संदूषण (Negligible Contamination): कंट्रोल आर्म में गहराई में दिखने वाले उपचारित आइटम्स का न्यूनतम प्रभाव होता है क्योंकि वहां ध्यान कम होता है।

अनुमान (Estimation)

दो एस्टिमेटर्स प्रस्तावित किए गए हैं जो $\Phi$ को $\phi(l)$ डेटा से प्राप्त करते हैं:

पैरामीट्रिक (Weighted Least Squares): यह स्केलिंग फैक्टर $\tau(l)$ (जैसे, $1 + 1/l$ ) के लिए एक विशिष्ट कार्यात्मक रूप मानता है और देखे गए आंशिक लिफ्ट पर एक रेखा फिट करता है।
नॉन-पैरामीट्रिक (Isotonic Regression): यह $\Phi$ का अनुमान लगाने के लिए आकार प्रतिबंधों (आंशिक लिफ्ट की $\Phi$ की ओर मोनोटोनिक अभिसरण) का उपयोग करता है, जो बिना किसी विशिष्ट कार्यात्मक रूप के मजबूती (robustness) प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

नवीन प्रयोगात्मक डिजाइन: TSPR पहला डिजाइन है जो रैंक की गई-सूची वाले मार्केटप्लेस में प्राइस पैरिटी, फुल कैटलॉग एक्सेस और इंटरफेरेंस रोबस्टनेस को एक साथ संतुष्ट करता है।
सैद्धांतिक पहचान (Theoretical Identification): यह शोध पत्र यह सिद्ध करता है कि कैसे TSPR हस्तक्षेप की उपस्थिति में भी ग्लोबल ट्रीटमेंट इफेक्ट की पहचान करता है, जिसमें पोजीशन बायस को बहिर्जात भिन्नता (exogenous variation) के स्रोत के रूप में उपयोग किया जाता है।
मजबूत अनुमान (Robust Estimation): यह आंशिक उपचार जोखिम और री-रैंकिंग विकृति से उत्पन्न पक्षपात को ठीक करने के लिए पैरामीट्रिक और नॉन-पैरामीट्रिक एस्टिमेटर्स पेश करता है।
प्लेसबो बफरिंग (Placebo Buffering): री-रैंकिंग के दौरान गुणवत्ता असंतुलन को रोकने के लिए एक "प्लेसबो" आइटम समूह का समावेश एक नवीन पद्धतिगत योगदान है।

4. परिणाम (Results)

लेखकों ने Expedia होटल सर्च डेटा (लगभग 2 मिलियन रिकॉर्ड) पर कैलिब्रेटेड सेमी-सिंथेटिक सिमुलेशन का उपयोग करके TSPR का मूल्यांकन किया। उन्होंने इसकी तुलना दो बेसलाइनों से की: बर्नौली-रैंडमाइज्ड आइटम-स्तरीय A/B टेस्ट और क्लस्टर-रैंडमाइज्ड प्रयोग।

पक्षपात में कमी (Bias Reduction):
- बर्नौली रैंडमाइजेशन: यह गंभीर डाउनवर्ड बायस (मीन $\hat{\Phi} = -0.1028$ बनाम वास्तविक $\Phi = -0.0691$ ) से ग्रस्त था क्योंकि इसने सूची के भीतर के हस्तक्षेप को अनदेखा कर दिया था।
- TSPR: इसने महत्वपूर्ण रूप से पक्षपात को कम किया। नॉन-पैरामीट्रिक एस्टिमेटर ने केवल $0.0069$ का बायस प्राप्त किया।
विचरण और दक्षता (Variance and Efficiency):
- क्लस्टर रैंडमाइजेशन: इसने कम बायस प्राप्त किया लेकिन अत्यधिक उच्च विचरण (मानक विचलन $\approx 0.1345$ ) से ग्रस्त रहा, जिससे अनुमान अविश्वसनीय हो गए।
- TSPR: इसने एक बेहतर बायस-विचरण ट्रेड-ऑफ हासिल किया। पैरामीट्रिक TSPR एस्टिमेटर में सबसे कम RMSE (0.0210) और सबसे कम मानक विचलन (0.0162) था।
प्रदर्शन मेट्रिक्स (Performance Metrics):
- TSPR ने क्लस्टर रैंडमाइजेशन की तुलना में अनुमान के मानक विचलन को लगभग 8.3 गुना कम कर दिया।
- TSPR ने मानक आइटम-स्तरीय A/B टेस्ट की तुलना में पक्षपात को लगभग 60% कम किया।

5. महत्व और निहितार्थ (Significance and Implications)

परिचालन व्यवहार्यता (Operational Feasibility): TSPR को मौजूदा रिकमेंडर सिस्टम के भीतर रैंकिंग प्राथमिकताओं को समायोजित करके लागू किया जा सकता है, जिससे उपयोगकर्ता-स्तरीय मूल्य भेदभाव या कैटलॉग विभाजन के कानूनी और प्रतिष्ठा संबंधी जोखिमों से बचा जा सकता है।
पद्धतिगत बदलाव (Methodological Shift): यह शोध पत्र दर्शाता है कि प्लेटफॉर्म संरचना (विशेष रूप से, रैंक की गई अटेंशन) को जटिल हस्तक्षेप की उपस्थिति में भी पहचान योग्य भिन्नता के स्रोत के रूप में उपयोग किया जा सकता है, जो नेटवर्क मॉडलिंग या क्लस्टर रैंडमाइजेशन पर निर्भरता को चुनौती देता है।
व्यावहारिक अनुप्रयोग: TSPR डिजाइन ई-कॉमर्स, यात्रा और राइडशेयरिंग जैसे उच्च-दांव वाले प्राइसिंग प्रयोगों के लिए विशेष रूप से मूल्यवान है जहाँ प्रतिस्थापन प्रभाव (substitution effects) मजबूत होते हैं और उपयोगकर्ता विश्वास (सुसंगतता) सर्वोपरि होता है।
सीमाएं और भविष्य का कार्य: यह डिजाइन मजबूत स्थिति पूर्वाग्रह (position bias) और पर्याप्त आपूर्ति (कोई बाध्य क्षमता बाधा नहीं) पर निर्भर करता है। भविष्य के कार्य TSPR को आपूर्ति-सीमित वातावरण या निरंतर उपचार (continuous treatments) तक विस्तारित कर सकते हैं।

निष्कर्षतः, TSPR एक व्यापक समस्या के लिए एक व्यावहारिक और सांख्यिकीय रूप से कठोर समाधान प्रदान करता है, जो प्लेटफार्मों को उपयोगकर्ता अनुभव या नियामक अनुपालन से समझौता किए बिना डेटा-संचालित मूल्य निर्धारण निर्णय लेने में सक्षम बनाता है।