📊 statistics

Experimental Assortments for Choice Estimation and Nest Identification

यह शोध पत्र $O(\log n)$ असॉर्टमेंट्स (assortments) का उपयोग करते हुए एक संरचित, गैर-अनुकूली (non-adaptive) प्रयोगात्मक डिज़ाइन प्रस्तावित करता है जो न केवल विभिन्न चॉइस मॉडल्स के अनुमान के लिए मौजूदा विधियों से बेहतर प्रदर्शन करता है, बल्कि नेस्टेड लॉजिट मॉडल्स में आइटम नेस्ट्स (item nests) को सटीक रूप से पहचानने के लिए एक नवीन एल्गोरिदम को भी सक्षम बनाता है, एक ऐसा ढांचा जिसे ड्रीम11 (Dream11) पर एक बड़े पैमाने पर तैनाती के माध्यम से सफलतापूर्वक प्रमाणित किया गया है जिसने आउट-ऑफ-सैंपल भविष्यवाणी में सुधार किया और प्रबंधन के लिए व्यावहारिक अंतर्दृष्टि प्रदान की।

मूल लेखक: Xintong Yu, Will Ma, Michael Zhao

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xintong Yu, Will Ma, Michael Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक स्टोर के मालिक हैं जो यह समझने की कोशिश कर रहे हैं कि आपके ग्राहक वास्तव में किन ड्रिंक्स को पसंद करते हैं। आपके मेनू पर 72 अलग-अलग प्रकार के ड्रिंक्स हैं। उनकी पसंद को समझने के लिए, आपको यह देखने की आवश्यकता है कि जब आप शेल्फ से कुछ ड्रिंक्स हटा देते हैं तो क्या होता है।

यदि आप हर दिन बेतरतीब ढंग से (randomly) यह तय करते हैं कि कौन से ड्रिंक्स हटाने हैं, तो हो सकता है कि आप भाग्यशाली हो जाएं, या आप भ्रमित हो जाएं। उदाहरण के लिए, यदि आप एक ही दिन में "एप्पल जूस" और "ऑरेंज जूस" हटा देते हैं, तो आप यह नहीं बता पाएंगे कि जिन लोगों को एप्पल जूस चाहिए था, वे ऑरेंज जूस पर स्विच कर गए, या वे बिना कुछ खरीदे ही घर चले गए।

यह पेपर इन "टेस्ट ऑफ टेस्ट" (प्रयोगों) को चलाने का एक चतुर, गणितीय रूप से सटीक तरीका प्रस्तावित करता है ताकि आप कम से कम दिनों में सबसे अधिक सीख सकें।

यहाँ उनके समाधान का विवरण दिया गया है:

1. "बाइनरी कोड" मेनू रणनीति

इसके बजाय कि आप रैंडम तरीके से कौन से ड्रिंक्स हटाने हैं, लेखक सुझाव देते हैं कि प्रत्येक ड्रिंक को एक गुप्त बाइनरी कोड (जैसे 0s और 1s से बना बारकोड) दिया जाए।

सादृश्य (Analogy): कल्पना कीजिए कि आपके पास 8 ड्रिंक्स हैं। आप उन्हें 000, 001, 010 से लेकर 111 तक के कोड देते हैं।
प्रयोग: हर संभव संयोजन (combination) का परीक्षण करने के बजाय (जिसमें बहुत समय लगेगा), आपको केवल 6 विशिष्ट परीक्षण करने की आवश्यकता है (और एक दिन जहाँ आप सब कुछ पेश करते हैं)।
- टेस्ट 1: वे सभी ड्रिंक्स पेश करें जिनके कोड के पहले स्थान पर 1 है।
- टेस्ट 2: वे सभी ड्रिंक्स पेश करें जिनके कोड के पहले स्थान पर 0 है।
- टेस्ट 3 और 4: कोड के दूसरे स्थान के लिए भी ऐसा ही करें।
- टेस्ट 5 और 6: कोड के तीसरे स्थान के लिए भी ऐसा ही करें।

यह जादुई क्यों है: क्योंकि प्रत्येक ड्रिंक का एक अद्वितीय कोड है, इसलिए आपके द्वारा चुने गए किन्हीं भी दो ड्रिंक्स के लिए, यह गारंटी है कि कम से कम एक ऐसा परीक्षण होगा जहाँ एक ड्रिंक शेल्फ पर होगा और दूसरा छिपा हुआ होगा। यह आपको ठीक से देखने की अनुमति देता है कि एक विशिष्ट ड्रिंक को हटाने से दूसरे की बिक्री पर क्या प्रभाव पड़ता है।

यह पेपर सिद्ध करता है कि $n$ वस्तुओं के लिए, आपको केवल लगभग $\log n$ परीक्षणों की आवश्यकता होती है। इसलिए, यदि आपके पास 1,000 आइटम हैं, तो आपको 1,000 परीक्षणों की आवश्यकता नहीं है; आपको केवल 10 या 11 की आवश्यकता होगी। यह अविश्वसनीय रूप से कुशल है।

2. "गुप्त परिवारों" को खोजना (नेस्ट पहचान)

एक बार जब आपके पास इन स्मार्ट परीक्षणों से बिक्री का डेटा आ जाता है, तो आप जानना चाहते हैं: कौन से ड्रिंक्स "करीबी विकल्प" (close substitutes) हैं?

समस्या: यदि आप "एप्पल जूस" हटा देते हैं, तो क्या लोग "ऑरेंज जूस" पर स्विच करते हैं (क्योंकि दोनों जूस हैं) या "मिल्क" पर (क्योंकि दोनों ब्रेकफास्ट ड्रिंक्स हैं)?
"बूस्ट" का सुराग: लेखक एक "बूस्ट फैक्टर" देखते हैं। यदि आप एक ड्रिंक हटाते हैं, तो उसके "सबसे अच्छे दोस्त" (उसके करीबी विकल्प) की बिक्री काफी बढ़ जाएगी। असंबंधित ड्रिंक्स की बिक्री केवल थोड़ी सी बढ़ेगी।
निष्कर्ष:
- छोटा उछाल: यदि ड्रिंक B को हटाने पर ड्रिंक A की बिक्री बहुत थोड़ी बढ़ती है, तो वे एक ही परिवार में नहीं हैं।
- बड़ा उछाल: यदि ड्रिंक B को हटाने पर ड्रिंक A की बिक्री दोगुनी हो जाती है, तो वे संभवतः करीबी विकल्प (एक ही "नेस्ट" में) हैं।

यह पेपर एक एल्गोरिदम पेश करता है जो एक जासूस की तरह काम करता है। यह सभी "उछालों" को देखता है और तार्किक रूप से पूरे उत्पाद के पारिवारिक वृक्ष (family tree) का पता लगाता है। यह उन 6 परीक्षणों का उपयोग करके 72 वस्तुओं के सही समूह को निर्धारित कर सकता है, जो एक ऐसा कार्य है जिसके लिए सैद्धांतिक रूप से हजारों रैंडम परीक्षणों की आवश्यकता होती।

3. वास्तविक दुनिया का परीक्षण: फैंटेसी स्पोर्ट्स दिग्गज

लेखकों ने इसे केवल कंप्यूटर सिमुलेशन तक सीमित नहीं रखा। उन्होंने Dream11 के साथ साझेदारी की, जो 7 करोड़ उपयोगकर्ताओं वाला एक विशाल भारतीय फैंटेसी स्पोर्ट्स प्लेटफॉर्म है।

सेटअप: Dream11 में सैकड़ों अलग-अलग "कॉन्टेस्ट" (जैसे विभिन्न प्रकार के खेल) हैं जिनमें उपयोगकर्ता शामिल हो सकते हैं। प्रबंधकों को यह नहीं पता था कि कौन से कॉन्टेस्ट एक-दूसरे के करीबी विकल्प हैं।
कार्रवाई: उन्होंने 21 दिनों के लिए "बाइनरी कोड" प्रयोग चलाया। उन्होंने उपयोगकर्ताओं के विभिन्न समूहों को कॉन्टेस्ट के अलग-अलग सेट दिखाए, जिसमें गणित के आधार पर लगभग आधे कॉन्टेस्ट को हर बार छिपा दिया गया।
परिणाम:
- उन्होंने सफलतापूर्वक उन "नेस्ट्स" की पहचान की जिन्हें उपयोगकर्ता एक-दूसरे के स्थान पर उपयोग कर सकते हैं।
- इन डेटा-संचालित समूहों ने प्रबंधकों के अपने अनुमानों (जो कि एंट्री फीस जैसे सरल फीचर्स पर आधारित थे) की तुलना में भविष्य में उपयोगकर्ता क्या चुनेंगे, इसके बारे में बेहतर भविष्यवाणी की।
- ये समूह प्रबंधकों के लिए समझ में आने वाले थे: उदाहरण के लिए, उन्होंने पाया कि उपयोगकर्ताओं ने "विजेता-एकता-ही-लेगा" (Winner-Take-All) उच्च दांव वाले कॉन्टेस्ट को एक परिवार के रूप में माना, चाहे विशिष्ट एंट्री फीस कुछ भी हो, क्योंकि पुरस्कार का ढांचा समान था।

सारांश

यह पेपर दो बड़ी समस्याओं को हल करता है:

परीक्षण कैसे करें: अंदाज़ा न लगाएं। एक बाइनरी कोड सिस्टम का उपयोग करके विशिष्ट संयोजनों के छोटे सेट का परीक्षण करें जो यह गारंटी देते हैं कि आप सब कुछ सीख लेंगे।
सीखना कैसे है: उन परीक्षणों के परिणामों का उपयोग करके, उत्पादों को उनके फीचर्स के आधार पर अनुमान लगाने के बजाय स्वचालित रूप से "परिवारों" में समूहित करें।

यह एक बड़े कीचेन में से यह पता लगाने की तरह है कि कौन सी चाबियाँ किस ताले को खोलती हैं। हर ताले में हर चाबी को आज़माने के बजाय (जिसमें बहुत समय लगता है), आप चाबियों के एक विशिष्ट पैटर्न का उपयोग करते हैं जो रिकॉर्ड समय में सही मिलान खोजने की गारंटी देता है।

तकनीकी सारांश: चॉइस एस्टीमेशन और नेस्ट आइडेंटिफिकेशन के लिए प्रयोगात्मक असॉर्टमेंट्स (Experimental Assortments)

1. समस्या की परिभाषा

यह शोध पत्र डिस्क्रीट चॉइस मॉडलिंग (discrete choice modeling) में दो परस्पर जुड़े हुए चुनौतियों को संबोधित करता है:

प्रयोगात्मक असॉर्टमेंट डिज़ाइन (Experimental Assortment Design): $n$ कुल वस्तुओं के जटिल चॉइस मॉडल्स का अनुमान लगाने के लिए डेटा एकत्र करने हेतु उत्पादों के कुछ चुनिठे हुए समूहों (assortments/subsets) को जानबूझकर कैसे डिज़ाइन किया जाए। मौजूदा साहित्य अक्सर ऑब्जर्वेशनल डेटा (जहाँ असॉर्टमेंट में भिन्नता अनियंत्रित होती है) या रैंडमाइज्ड एक्सपेरिमेंटेशन पर निर्भर करता है, जिसे लेखक समृद्ध सब्स्टीट्यूशन पैटर्न (substitution patterns) सीखने के लिए अक्षम मानते हैं।
नेस्ट आइडेंटिफिकेशन (Nest Identification): विशेष रूप से नेस्टेड लॉजिट (Nested Logit - NL) मॉडल्स के लिए, जो वस्तुओं को करीबी सब्स्टिट्यूट के रूप में "नेस्ट्स" में विभाजित करते हैं, मौजूदा अनुमान प्रक्रियाएं आमतौर पर यह मानती हैं कि नेस्ट संरचना ज्ञात और स्थिर है। यह शोध पत्र बिना किसी व्यक्तिपरक, पूर्व-निर्धारित वर्गीकरण पर निर्भर रहे, एकत्र किए गए डेटा से सही नेस्ट पार्टीशन को स्वचालित रूप से पहचानने का प्रयास करता है।

मुख्य प्रेरणा यह है कि मानक मॉडल जैसे मल्टीनोमियल लॉजिट (MNL) अक्सर वास्तविक सब्स्टीट्यूशन पैटर्न को पकड़ने में विफल रहते हैं (उदाहरण के लिए, ग्राहक एक श्रेणी के भीतर करीबी सब्स्टिट्यूट पर स्विच करने के बजाय दूर के सब्स्टिट्यूट पर स्विच करते हैं)। हालांकि नेस्टेड लॉजिट मॉडल इसे कैप्चर कर सकते हैं, लेकिन उन्हें वस्तुओं के समूहीकरण (grouping) को जानने की आवश्यकता होती है, जिसे व्यक्तिपरक रूप से निर्धारित करना कठिन है।

2. कार्यप्रणाली (Methodology)

A. कॉम्बिनेटोरियल एक्सपेरिमेंट डिज़ाइन

लेखक एक संरचित, नॉन-अडेप्टिव एक्सपेरिमेंट डिज़ाइन प्रस्तावित करते हैं जिसके लिए केवल $O(\log n)$ विशिष्ट असॉर्टमेंट्स की आवश्यकता होती है, जिसकी दर सूचना-सैद्धांतिक (information-theoretically) रूप से इष्टतम सिद्ध हुई है।

तंत्र (Mechanism): प्रत्येक $n$ वस्तुओं को लंबाई $L = \lceil \log_2 n \rceil$ का एक अद्वितीय बाइनरी एनकोडिंग दिया जाता है।
असॉर्टमेंट निर्माण: प्रत्येक बिट पोजीशन $\ell \in \{1, \dots, L\}$ $ℓ \in {1, \dots, L}$ के लिए, दो प्रयोगात्मक असॉर्टमेंट बनाए जाते हैं:
1. $S_{\ell, -0}$ : इसमें वे सभी वस्तुएं शामिल हैं जिनका $\ell$ -वें बिट में '0' है।
2. $S_{\ell, -1}$ : इसमें वे सभी वस्तुएं शामिल हैं जिनका $\ell$ -वें बिट में '1' है।
गुण (Property): यह डिज़ाइन गारंटी देता है कि किसी भी दो अलग वस्तुओं $(i, j)$ के लिए, कम से कम एक प्रयोगात्मक असॉर्टमेंट ऐसा होगा जिसमें $i$ मौजूद है लेकिन $j$ नहीं (और इसके विपरीत)। यह "सेपरेशन" गुण एल्गोरिदम को यह देखने की अनुमति देता है कि एक वस्तु को हटाने से दूसरी वस्तु की बिक्री पर क्या प्रभाव पड़ता है, जो सब्स्टीट्यूशन संबंधों की पहचान करने के लिए महत्वपूर्ण है।
दक्षता (Efficiency): यह डिज़ाइन लगभग $2 \lceil \log_2 n \rceil$ प्रयोगात्मक असॉर्टमेंट्स और एक कंट्रोल असॉर्टमेंट (सभी वस्तुओं की पेशकश करने वाला) का उपयोग करता है, जो पिछले डिज़ाइनों (जैसे "लीव-वन-आउट" या पेयरवाइज़ डिज़ाइन) द्वारा आवश्यक $O(n)$ या $O(n^2)$ असॉर्टमेंट्स की तुलना में काफी कम है।

B. नेस्ट आइडेंटिफिकेशन एल्गोरिदम

लेखक एक तार्किक निष्कर्ष (logical deduction) एल्गोरिदम विकसित करते हैं जो देखे गए चॉइस प्रोबेबिलिटी (या सेल्स डेटा) से छिपे हुए नेस्ट पार्टीशन को रिकवर करता है।

बूस्ट फैक्टर्स (Boost Factors): एल्गोरिदम असॉर्टमेंट $S$ में वस्तु $i$ के लिए "बूस्ट फैक्टर" को उसके चॉइस प्रोबेबिलिटी और फुल कंट्रोल असॉर्टमेंट $[n]$ में उसके चॉइस प्रोबेबिलिटी के अनुपात के रूप में परिभाषित करता है।
तार्किक निष्कर्ष (Logical Deductions):
- छोटा बूस्ट (Small Boost): यदि किसी वस्तु का बूस्ट फैक्टर आउटसाइड ऑप्शन (या बेसलाइन) के समान है, तो इसका तात्पर्य है कि उस वस्तु का नेस्ट पूरी तरह से $S$ के भीतर था। यह एल्गोरिदम को यह निष्कर्ष निकालने की अनुमति देता है कि वह वस्तु $S$ से गायब वस्तुओं के साथ एक ही नेस्ट में नहीं है।
- बड़ा बूस्ट (Large Boost): यदि कोई वस्तु एक बड़ा, विशिष्ट बूस्ट फैक्टर प्रदर्शित करती है, तो इसका तात्पर्य है कि उसका नेस्ट आंशिक रूप से हटाया गया था। एक ही असॉर्टमेंट के भीतर समान बड़े बूस्ट फैक्टर वाली वस्तुएं यह निष्कर्ष निकालती हैं कि वे एक ही नेस्ट में हैं।
ग्राफ-थ्योरेटिक दृष्टिकोण: एल्गोरिदम एडजेसेंसी मैट्रिक्स (adjacency matrix) बनाए रखता है जो पेयरवाइज़ नेस्ट मेंबरशिप को दर्शाता है। यह $O(\log n)$ असॉर्टमेंट्स के माध्यम से इटरेट करता है, और बूस्ट फैक्टर तुलनाओं के आधार पर मैट्रिक्स को अपडेट करता है। यह पूर्ण पार्टीशन को हल करने के लिए "वन-हॉप ट्रांसिटिविटी" और "आइडेंटिफाई मिसिंग पेयर्स" ऑपरेशन्स का उपयोग करता है।
**मजबूती (Robustness): $\text{नोइज़लेस}$ सेटिंग्स के लिए सैद्धांतिक गारंटी प्रदान की गई है। परिमित-नमूना (finite-sample) सेटिंग्स के लिए, लेखक शोर (noise) और विसंगतियों को संभालने के लिए एक सांख्यिकीय परीक्षण ढांचा (two-proportion $z$ -tests का उपयोग करके) और एक कम्युनिटी डिटेक्शन पोस्ट-प्रोसेसिंग स्टेप (Walktrap एल्गोरिदम) प्रस्तावित करते हैं।

C. पैरामीटर रिकवरी

एक बार नेस्ट पार्टीशन की पहचान हो जाने के बाद, पेपर यह प्रदर्शित करता है कि शेष नेस्टेड लॉजिट पैरामीटर्स (प्रेफरेंस वेट्स $v_i$ और डिसिमिलैरिटी पैरामीटर्स $\lambda_N$ ) को देखे गए चॉइस प्रोबेबिलिटी से प्राप्त एक लीनियर सिस्टम को हल करके रिकवर किया जा सकता है, बशर्ते कि नॉन-डीजेनरेसी धारणा (non-degeneracy assumption) बनी रहे।

3. मुख्य योगदान

इष्टतम प्रयोग डिज़ाइन: पेपर एक कॉम्बिनेटोरियल डिज़ाइन पेश करता है जो $O(\log n)$ असॉर्टमेंट्स का उपयोग करता है जो नेस्टेड लॉजिट नेस्ट संरचना की पहचान करने की गारंटी देता है। लेखक एक मैचिंग लोअर बाउंड ( $\Omega(\log n)$ ) भी सिद्ध करते हैं, जो दिखाता है कि अडैप्टिव डिज़ाइन भी इससे बेहतर नहीं कर सकते।
डेटा-ड्रिवन नेस्ट आइडेंटिफिकेशन: पूर्ववर्ती कार्यों के विपरीत जो फिक्स्ड नेस्ट्स को मानते हैं, यह पेपर डेटा से सीधे नेस्ट पार्टीशन को पहचानने के लिए एक एल्गोरिदम प्रदान करता है। एल्गोरिदम प्रस्तावित प्रयोग डिज़ाइन के विशिष्ट ढांचे का लाभ उठाता है ताकि ऐसे निष्कर्ष निकाले जा सकें जो रैंडम या छोटे-आकार के असॉर्टमेंट्स के साथ संभव नहीं हैं।
बेहतर एस्टीमेशन प्रदर्शन: प्रस्तावित डिज़ाइन संख्यात्मक बेंचमार्क में रैंडमाइज्ड और ह्यूरिस्टिक डिज़ाइनों (जैसे "लीव-वन-आउट") की तुलना में लगातार बेहतर प्रदर्शन करता है। यह अनुमान त्रुटि (RMSE) को काफी कम कर देता है, विशेष रूप से सीमित डेटा या गलत-निर्दिष्ट (mis-specified) मॉडल्स वाले सेटिंग्स में।
वास्तविक दुनिया में तैनाती: इस कार्य को एक भारतीय फैंटेसी स्पोर्ट्स प्लेटफॉर्म, Dream11 पर तैनात किया गया था, जिसमें 7 करोड़ उपयोगकर्ता और 72 कॉन्टेस्ट प्रकार शामिल थे। प्रयोग ने सार्थक नेस्ट्स की पहचान की जिसने MNL मॉडल्स और फीचर-आधारित क्लस्टरिंग वाले NL मॉडल्स की तुलना में आउट-ऑफ-सैंपल प्रेडिक्शन में सुधार किया।

4. परिणाम

संख्यात्मक बेंचमार्क

गलत-निर्दिष्ट सेटिंग्स (Mis-specified Settings): जब ग्राउंड ट्रुथ एक जटिल वितरण (Ranked List) का पालन करता है और विभिन्न मॉडल्स (MNL, NL, Markov Chain) का अनुमान लगाया जाता है, तो प्रस्तावित डिज़ाइन $O(\log n)$ असॉर्टमेंट्स के साथ, समान संख्या में असॉर्टमेंट्स वाले रैंडमाइज्ड डिज़ाइनों की तुलना में लगातार कम RMSE देता है। यह छोटे डेटा रिजीम में त्रुटि को 5.5% तक कम कर देता है।
सही-निर्दिष्ट सेटिंग्स (Well-Specified Settings): जब अनुमानित मॉडल ग्राउंड ट्रुथ (जैसे वास्तविक NL या Markov Chain) से मेल खाता है, तो प्रस्तावित डिज़ाइन रैंडमाइज्ड डिज़ाइनों की तुलना में बेहतर प्रदर्शन करता है, भले ही रैंडमाइज्ड डिज़ाइन अधिक संख्या में ( $T$ ) विशिष्ट असॉर्टमेंट्स का उपयोग कर रहे हों। मार्कोव चेन सेटिंग्स में, RMSE में कमी 16.9% तक पहुँच गई।
नेस्ट आइडेंटिफिकेशन: पूर्ण पाइपलाइन (डिज़ाइन + आइडेंटिफिकेशन एल्गोरिदम) Benson et al. (2016) के मूल डिज़ाइन के साथ उपयोग किए गए नेस्ट आइडेंटिफिकेशन एल्गोरिदम की तुलना में RMSE को 46% तक कम कर देती है। लेखक इसका श्रेय अपने $O(n/2)$ -आकार के असॉर्टमेंट्स के उच्च सूचना कंटेंट को देते हैं, जो Benson et al. द्वारा उपयोग किए गए आकार-2 या आकार-3 के असॉर्टमेंट्स की तुलना में अधिक प्रभावी है।

Dream11 पर तैनाती

प्रेडिक्शन: डेटा-ड्रिवन नेस्ट्स (एल्गोरिदम द्वारा पहचाने गए) के साथ एक नेस्टेड लॉजिट मॉडल, एक मानक MNL मॉडल और कॉन्टेस्ट फीचर्स पर $k$ -means क्लस्टरिंग द्वारा निर्धारित नेस्ट्स वाले NL मॉडल से बेहतर रहा।
व्याख्यात्मकता (Interpretability): पहचाने गए नेस्ट्स आर्थिक रूप से व्याख्या योग्य थे। उदाहरण के लिए, एल्गोरिदम ने अलग-अलग एंट्री फीस और प्राइज पूल वाले कॉन्टेस्ट्स को एक साथ समूहबद्ध किया, लेकिन समान "विनर रेश्यो" और "प्राइज रेश्यो" होने के कारण, जिससे पता चला कि उपयोगकर्ता कच्चे गुणों के बजाय नॉर्मलाइज्ड मेट्रिक्स के माध्यम से मूल्य देखते हैं। इसने "विनर-टेक-ऑल" कॉन्टेस्ट्स को भी समूहबद्ध किया और विजेताओं की संख्या की प्रासंगिकता के संबंध में सूक्ष्म व्यवहार संबंधी पैटर्न की पहचान की।

5. महत्व और दावे

पेपर का दावा है कि डेटा संग्रह चरण (प्रयोग डिज़ाइन) चॉइस एस्टीमेशन प्रदर्शन का एक प्रथम-क्रम निर्धारक (first-order determinant) है, जो संभावित रूप से चॉइस मॉडल के चयन से अधिक प्रभावशाली है।

पैराडाइम में बदलाव: लेखक तर्क देते हैं कि साहित्य ने काफी हद तक चॉइस एस्टीमेशन के लिए एक्सपेरिमेंट डिज़ाइन को अनदेखा किया है, और रैंडमाइज्ड या ऑब्जर्वेशनल डेटा का उपयोग किया है। यह कार्य प्रदर्शित करता है कि असॉर्टमेंट्स का एक जानबूझकर बनाया गया, कॉम्बिनेटोरियल अरेंजमेंट सब्स्टीट्यूशन पैटर्न के बारे में बहुत अधिक जानकारी निकाल सकता है।
दक्षता बनाम जटिलता: डिज़ाइन सूचना-सैद्धांतिक इष्टतमता ( $O(\log n)$ ) प्राप्त करता है जबकि $\approx n/2$ आकार के असॉर्टमेंट्स का उपयोग करता है, जो प्रति अवलोकन सूचना को अधिकतम करता है। यह "लीव-वन-आउट" डिज़ाइनों (जो छोटे प्रभावों के कारण डेटा-अक्षम हैं) और छोटे-पेयर डिज़ाइनों (जो पक्षपाती हैं या जिन्हें $O(n^2)$ प्रयोगों की आवश्यकता होती है) के विपरीत है।
व्यावहारिक उपयोगिता: 7 करोड़ उपयोगकर्ताओं वाले प्लेटफॉर्म पर सफल तैनाती यह दर्शाती है कि यह डिज़ाइन स्केलेबल और ऑपरेशनल रूप से व्यवहार्य है (72 वस्तुओं के लिए केवल 14 विशिष्ट असॉर्टमेंट्स की आवश्यकता है)। परिणामी नेस्ट्स ने ऐसे व्यावहारिक व्यावसायिक इनसाइट्स प्रदान किए जिन्हें केवल फीचर-आधारित क्लस्टरिंग से प्राप्त करना कठिन था।

पेपर निष्कर्ष निकालता है कि हालांकि इसके सैद्धांतिक औचित्य विशिष्ट रूप से नेस्टेड लॉजिट के लिए हैं, इसकी अनुभवजन्य सफलता सामान्य चॉइस मॉडल्स तक विस्तृत है, जो यह सुझाव देती है कि रैंडमाइजेशन की तुलना में संरचित प्रयोग (structured experimentation) चॉइस सब्स्टीट्यूशन पैटर्न को सीखने के लिए एक बेहतर रणनीति है।