Additive Control Variates Dominate Self-Normalisation in Off-Policy Evaluation

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जो एक नए, अनछुए आकाशगंगा के माध्यम से नेविगेट करने की कोशिश कर रहे हैं। आपके पास एक पिछले कप्तान का एक मानचित्र (पुराने नीति/old policy) है जो दिखाता है कि तारे कहाँ हुआ करते थे, लेकिन आपको यह जानने की ज़रूरत है कि वे अब कहाँ हैं ताकि आप टकराने से बच सकें। आप वहां जाकर देख नहीं सकते क्योंकि यह खतरनाक और महंगा होगा। इसके बजाय, आपके पास पुराने कप्तान की यात्रा का एक लॉगबुक है। आप इस लॉगबुक का उपयोग यह अनुमान लगाने के लिए करना चाहते हैं कि यदि आप जहाज चलाते तो क्या होता, बिना वास्तव में अपने वर्तमान कक्ष (orbit) को छोड़े। यही ऑफ-पॉलिसी इवैल्यूएशन (Off-Policy Evaluation) नामक क्षेत्र का सार है। यह पुराने डेटा का उपयोग करके एक "क्या-होता-अगर" सिमुलेशन करने जैसा है ताकि नई रणनीतियों को सुरक्षित रूप से परखा जा सके।

इन भविष्यवाणियों को करने के लिए, वैज्ञानिक एक उपकरण का उपयोग करते हैं जिसे इनवर्स प्रोपेंसिटी स्कोरिंग (Inverse Propensity Scoring - IPS) कहा जाता है। इसे पुराने लॉगबुक प्रविष्टियों को "री-वेट" (re-weight) करने के तरीके के रूप में सोचें। यदि पुराने कप्तान ने किसी विशेष क्षेत्र का कम दौरा किया, लेकिन आपकी नई योजना उस क्षेत्र का अक्सर दौरा करती है, तो सटीक चित्र प्राप्त करने के लिए आपको उन दुर्लभ दौरों को अधिक महत्व देना होगा। हालाँकि, यह री-वेटिंग पेचीदा है। कभी-कभी, गणित इतना अनियंत्रित हो जाता है कि आपकी भविष्यवाणी एक नंबर से दूसरे नंबर तक बहुत अधिक झूल जाती है, जिससे वह बेकार हो जाती है। इसे ठीक करने के लिए, शोधकर्ताओं ने पारंपरिक रूप रूप से एक "सेल्फ-नॉर्मलाइजिंग" (self-normalizing) ट्रिक का उपयोग किया है। यह एक डगमगाते हुए तराजू को संतुलित करने जैसा है, जहाँ आप कुल वजन को वस्तुओं की कुल संख्या से विभाजित करके उसे स्थिर करने की कोशिश करते हैं। यह पैमाने को स्थिर करता है, लेकिन यह एक ऐसा औजार है जो एक सूक्ष्म, छिपी हुई त्रुटि (error) पैदा करता है।

अब, एक नए, स्मार्ट तरीके की कल्पना करें जो उस तराजू को संतुलित करता है। केवल विभाजित करने के बजाय, आप एक "बेसलाइन" सुधार जोड़ते हैं—एक विशिष्ट, गणना किया गया ऑफसेट जो शोर (noise) को शुरू होने से पहले ही खत्म कर देता है। ओलिवियर जेउन और शशांक गुप्ता का एक नया शोध पत्र एक सरल लेकिन गहन प्रश्न पूछता है: क्या पुराना, डगमगाता हुआ "सेल्फ-नॉर्मलाइजिंग" तरीका वास्तव में सबसे अच्छा है जो हम कर सकते हैं, या यह नया "एडिटिव बेसलाइन" तरीका बेहतर है? उन्होंने केवल अनुमान नहीं लगाया; उन्होंने यह साबित करने के लिए कठोर गणित का उपयोग किया कि नया तरीका न केवल थोड़ा बेहतर है, बल्कि डेटा पर्याप्त होने पर, सटीकता में मौलिक रूप से हावी है।

शोध पत्र की बड़ी खोज

इस शोध पत्र में, लेखक डेटा विज्ञान की दुनिया में चल रही एक लंबे समय की बहस को सुलझाते हैं: हमें क्लासिक "सेल्फ-नॉर्मलाइजिंग" तरीके पर टिके रहना चाहिए, या "एडिटिव कंट्रोल वेरिएट्स" (Additive Control Variates) पर स्विच करना चाहिए?

वर्षों से, "सेल्फ-नॉर्मलाइज्ड इनवर्स प्रोपेंसिटी स्कोरिंग" (SNIPS) स्वर्ण मानक रहा है। यह एक विश्वसनीय, पैरामीटर-मुक्त वर्कहॉर्स है जिसका उपयोग हर कोई यह अनुमान लगाने के लिए करता है कि एक नया अनुशंसा तंत्र (recommendation system) या खोज इंजन वास्तव में तैनात किए बिना कैसा प्रदर्शन करेगा। यह कच्चे, शोर वाले डेटा को लेकर उसे भार के योग से विभाजित करके चीजों को सुचारू बनाता है। यह एक धुंधली फोटो पर एक सामान्य "ऑटो-फिक्स" फिल्टर लगाने जैसा है। यह मदद करता है, लेकिन यह पूर्ण नहीं है।

लेखक एक चुनौती पेश करते हैं: $\beta^*$-IPS। यह विधि एक "एडिटिव कंट्रोल वेरिएट" का उपयोग करती है, जो एक फैंसी तरीका है यह कहने का कि आप डेटा में एक विशिष्ट, गणना की गई संख्या (एक बेसलाइन) जोड़ते हैं ताकि शोर को रद्द किया जा सके। इसे एक धुंधली फोटो को ठीक करने के बजाय, फोटो लेने से पहले लाइटिंग को एडजस्ट करने के रूपach में सोचें। पेपर सिद्ध करता है कि यदि आप इस बेसलाइन की सही गणना करते हैं (इष्टतम $\beta^*$ पाते हैं), तो आपके परिणाम पुराने तरीके की तुलना में काफी स्पष्ट और सटीक होंगे।

"अहा!" क्षण: क्यों पुराना तरीका उप-इष्टतम (Sub-optimal) था

इस पेपर का सबसे रोमांचक हिस्सा वह गणितीय प्रमाण है जो बताता है कि क्यों पुराना तरीका हमें पीछे खींच रहा था। लेखक दिखाते हैं कि SNIPS वास्तव में एक एडिटिव बेसलाइन का उपयोग करने के समान है, लेकिन एक बहुत ही विशिष्ट, निश्चित बेसलाइन के साथ: पॉलिसी का वास्तविक मान ($V(\pi)$)।

यहाँ पेंच यह है: हमें पॉलिसी का वास्तविक मान नहीं पता! यही वह चीज़ है जिसे हम खोजने की कोशिश कर रहे हैं। यह एक तराजू को संतुलित करने की कोशिश करने जैसा है यह मानकर कि आप पहले से ही उस वस्तु का सटीक वजन जानते हैं जिसे आप तौल रहे हैं। क्योंकि SNIPS इस "वास्तविक मान" को अपने बेसलाइन के रूप में उपयोग करने के लिए मजबूर है (जो कि एक सैद्धांतिक स्थिरांक है, न कि एक गणना किया गया मान), यह एक उप-इष्टतम सेटिंग का उपयोग करने के लिए मजबूर है।

लेखक सिद्ध करते हैं कि नया तरीका, $\beta^*$-IPS, वास्तविक इष्टतम बेसलाइन को ढूंढता है जो त्रुटि को कम करता है। वे दिखाते हैं कि प्रदर्शन में अंतर केवल एक मामूली उतार-चढ़ाव नहीं है; यह मीन स्क्वेर्ड एरर (Mean Squared Error - MSE) में एक गारंटीकृत सुधार है। सरल शब्दों में, नए तरीके की भविष्यवाणियाँ, पुराने तरीके की भविष्यवाणियों की तुलना में, औसत रूप से सत्य के अधिक करीब होंगी।

"वैरिएंस गैप": एक गणितीय मुकाबला

पूरी तरह आश्वस्त होने के लिए, लेखकों ने केवल यह नहीं कहा कि "यह बेहतर दिखता है।" उन्होंने दोनों विधियों के बीच वैरिएंस गैप (variance gap) के लिए एक सटीक सूत्र निकाला। वैरिएंस यह मापने का एक तरीका है कि आपके परिणाम कितने इधर-उधर कूदते हैं; कम वैरिएंस का अर्थ है अधिक सुसंगत, विश्वसनीय उत्तर।

उन्होंने पाया कि पुराने SNIPS विधि का वैरिएंस नए $\beta^*$-IPS विधि के वैरिएंस से हमेशा अधिक या उसके बराबर होता है। उनके बीच का अंतर वास्तविक पॉलिसी वैल्यू और इष्टतम बेसलाइन के बीच के अंतर को शामिल करने वाले एक सरल सूत्र द्वारा निर्धारित होता है। जब तक कि वास्तविक मान बिल्कुल इष्टतम बेसलाइन के समान न हो (जो कि एक दुर्लभ, विशिष्ट संयोग है), नया तरीका कड़ाई से बेहतर है।

पेपर इस चिंता को भी संबोधित करता है: "क्या यह नया बेसलाइन जोड़ना बायस (Bias) पेश करता है?" (बायस एक व्यवस्थित त्रुटि है जहाँ आप लगातार बहुत अधिक या बहुत कम अनुमान लगाते हैं)। लेखक समझाते हैं कि हालांकि उसी डेटा से अनुमानित इष्टतम बेसलाइन का उपयोग करने से एक छोटा, परिमित-नमूना बायस (finite-sample bias) आता है, लेकिन यह उसी क्रम के परिमाण का है जो पहले से मौजूद SNIPS पद्धति में बायस है। हालाँकि, क्योंकि नया तरीका वैरिएंस को इतना कम कर देता है, इसलिए समग्र त्रुटि (MSE) अभी भी कम रहती है। यह एक बेहतर ट्रेड-ऑफ है।

एकल वस्तुओं से लेकर रैंक की गई सूचियों तक

पेपर केवल साधारण वस्तुओं तक ही सीमित नहीं रहता। यह रैंकिंग की जटिल दुनिया को भी संभालता है, जैसे कि गूगल पर दिखने वाले खोज परिणामों की सूची या टिकटॉक का "फॉर यू" फीड। इन परिदृश्यों में, आप केवल एक आइटम नहीं चुन रहे हैं; आप एक विशिष्ट क्रम में आइटम की पूरी सूची चुन रहे हैं।

लेखक इस प्रमाण को इस सेटिंग में विस्तारित करते हैं, एक विधि पेश करते हैं जिसे $\beta^*$-IPM (आइटम-पोजीशन मॉडल) कहा जाता है। वे सिद्ध करते हैं कि यह नया तरीका मौजूदा रैंकिंग एस्टिमेटर (SNIPM) को सूची के प्रत्येक स्थिति (position) पर मात देता है। चाहे वह पहला परिणाम हो या दसवां, नया तरीका यह अनुमान लगाने में अधिक सटीक है कि वह स्थिति कितनी अच्छी है। यह वास्तविक दुनिया के अनुप्रयोगों में महत्वपूर्ण है क्योंकि एक अच्छी सिफारिश और एक खराब सिफारिश के बीच का अंतर उपयोगकर्ता के रुकने या जाने के बीच का अंतर हो सकता है।

मुख्य निष्कर्ष

तो इसका भविष्य के लिए क्या अर्थ है? लेखक निष्कर्ष निकालते हैं कि समुदाय का भारी निर्भरता स्व-सामान्यीकरण (SNIPS) पर, एक डिफ़ॉल्ट, "पैरामीटर-मुक्त" समाधान के रूप में, गलत हो सकती है। जबकि SNIPS स्थिर और उपयोग में आसान है, यह गणितीय रूप से उप-इष्टतम है।

यह पेपर इष्टतम बेसलाइन सुधारों की ओर बढ़ने के लिए एक निर्णायक सैद्धांतिक औचित्य प्रदान करता है। नया तरीका, $\beta^*$-IPS, बायस और वैरिएंस के बीच एक बेहतर संतुलन प्रदान करता है। इसे काम करने के लिए बेहतर होने के लिए जटिल हाइपर-पैरामीटर ट्यूनिंग या भारी मात्रा में डेटा की आवश्यकता नहीं है; इसे बस बेसलाइन के थोड़े स्मार्ट कैलकुलेशन की आवश्यकता है।

अंत में, लेखक सुझाव देते हैं कि एक बार जब आपके पास मध्यम मात्रा में लॉग डेटा हो जाता है, तो "एडिटिव कंट्रोल वेरिएंट" दृष्टिकोण स्पष्ट विजेता है। यह एक मानक कंपास से रियल-टाइम ट्रैफिक अपडेट वाले जीपीएस में अपग्रेड करने जैसा है: पुराना तरीका आपको सही दिशा में ले जाता है, लेकिन नया तरीका आपको वहां तेज़ी से, सुचारू रूप से और गड्ढों से बचने की बहुत अधिक संभावना के साथ पहुंचाता है।