Heterogeneous Ranking in Industrial-Scale Recommender Systems: A Case Study
यह शोध पत्र गूगल डिस्कवर (Google Discover) में हेट्रोजेनियस कंटेंट फीड्स की रैंकिंग पर एक एंड-टू-एंड औद्योगिक केस स्टडी प्रस्तुत करता है, जो एडेप्टिव मल्टी-टास्क लर्निंग के लिए HA-MoE आर्किटेक्चर और ऑफलाइन मेट्रिक्स एवं ऑनलाइन यूजर एंगेजमेंट दोनों को बेहतर बनाने के साथ-साथ कंटेंट डाइवर्सिटी को प्रभावी ढंग से प्रबंधित करने के लिए LENS ऑब्जर्वेबिलिटी फ्रेमवर्क पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में प्रवेश कर रहे हैं जहाँ अलमारियाँ लगातार खुद को पुनर्गठित कर रही हैं। एक शेल्फ में गंभीर इतिहास की किताबें हैं, दूसरी में मज़ेदार बिल्ली के वीडियो हैं, तीसरी में रेसिपी हैं, और चौथी में ताज़ा खबरें हैं। एक आदर्श दुनिया में, एक लाइब्रेरियन को ठीक-ठीक पता होगा कि आप आगे क्या पढ़ना चाहते हैं, चाहे आप एक चुटकुले के मूड में हों या इतिहास की गहरी समझ लेने के। लेकिन इंटरनेट की वास्तविक दुनिया में, यह "पुस्तकालय" गूगल डिस्कवर (Google Discover) फीड है, और "लाइब्रेरियन" एक कंप्यूटर प्रोग्राम है जिसे रिकमेंडर सिस्टम (recommender system) कहा जाता है।
इन कंप्यूटर लाइब्रेरियन के लिए चुनौती यह है कि वे पहले बहुत व्यवस्थित, एकल-विषयक पुस्तकालयों में काम करते थे, जैसे कि केवल संगीत या केवल छोटे वीडियो वाली जगह। उन जगहों पर, सब कुछ एक जैसा दिखता और व्यवहार करता था। लेकिन गूगल डिस्कवर अलग है; यह पूरी खुली वेब से सामग्री निकालता है। इसका मतलब है कि कंप्यूटर को एक ही समय में एक लंबे लेख, एक 10 सेकंड के वीडियो, एक उपयोगकर्ता की व्यक्तिगत पोस्ट और एक एआई-जनरेटेड सारांश के बीच निर्णय लेना होगा। यह एक ही शेफ से एक ही ग्राहक के लिए एक परफेक्ट स्टेक, एक नाजुक सूफ़ले (soufflé) और एक मसालेदार टैको बनाने के लिए कहने जैसा है, और वह भी उन्हीं सामग्रियों और उपकरणों का उपयोग करके। यदि शेफ स्टेक पर बहुत अधिक ध्यान केंद्रित करता है, तो टैको खराब हो सकता है। यह शोध पत्र इस पेचीदा समस्या को हल करता है कि कैसे एक कंप्यूटर मस्तिष्क को इन सभी विभिन्न प्रकार की "स्वादों" वाली सामग्री को बिना भ्रमित हुए या सबसे तेज़ या लोकप्रिय चीज़ों का पक्ष लिए बिना संभालने के लिए प्रशिक्षित किया जाए।
इस शोध पत्र के लेखक, गूगल की एक टीम, एक विशिष्ट समस्या का सामना कर रहे थे: उनका वर्तमान सिस्टम एक "वन-साइज़-फिट्स-ऑल" (एक ही नियम सबके लिए) शेफ की तरह था। यह सब कुछ रैंक करने के लिए नियमों का एक ही सेट उपयोग करने की कोशिश करता था, जिससे गलतियाँ होती थीं। कभी-कभी यह कम गुणवत्ता वाले क्लिक-बेट लेखों को केवल इसलिए बढ़ावा देता था क्योंकि उन्हें बहुत सारे क्लिक मिले थे, जबकि उन उच्च-गुणवत्ता वाले वीडियो को दबा देता था जिन्हें लोग वास्तव में देखना चाहते थे। इसे ठीक करने के लिए, उन्होंने HA-MoE (हेटरोजेनिटी-एडेप्टिव मिक्सचर-ऑफ-एक्सपर्ट्स) नामक एक नया सिस्टम बनाया।
HA-MoE को एक अकेले शेफ के रूप में नहीं, बल्कि एक स्मार्ट मैनेजर और विशेषज्ञ रसोइयों की एक टीम वाले व्यस्त किचन के रूप में सोचें। पुराने सिस्टम में, एक ही रसोइया सब कुछ करने की कोशिश करता था। नए सिस्टम में, "मैनेजर" (गेटिंग नेटवर्क) ऑर्डर और भोजन के प्रकार (सामग्री) को देखता है और तय करता है कि किस विशेषज्ञ रसोइये को इसे संभालना चाहिए। यदि ऑर्डर एक वीडियो के लिए है, तो मैनेजर उसे "वीडियो स्पेशलिस्ट" के पास भेज देता है। यदि यह एक टेक्स्ट लेख है, तो वह "राइटर" के पास जाता है। महत्वपूर्ण बात यह है कि मैनेजर केवल अनुमान नहीं लगाता; यह एक विशेष "हेटरोजेनिटी सिग्नल" का उपयोग करता है—एक छोटा सा नोट जो कहता है, "हे, यह एक वीडियो है, इसके साथ अलग व्यवहार करें!" यह सुनिश्चित करता है कि वीडियो स्पेशलिस्ट को लेख स्पेशलिस्ट द्वारा दबाए जाने के बिना चमकने का मौका मिले।
लेकिन आप कैसे जानेंगे कि किचन वास्तव में अच्छा काम कर रहा है या नहीं? टीम को एहसास हुआ कि केवल खुश ग्राहकों की कुल संख्या को देखना पर्याप्त नहीं था। आपका दिन समग्र रूप से बहुत अच्छा हो सकता है, लेकिन यदि वीडियो स्पेशलिस्ट विफल हो रहा है, तो आप कुछ खो रहे हैं। इसलिए, उन्होंने सफलता को मापने का एक नया तरीका आविष्कार किया जिसे DL-AUC (ड्यूल-लेवल AUC) कहा जाता है। कल्पना कीजिए कि किचन को न केवल परोसे गए भोजन की कुल संख्या के आधार पर ग्रेड दिया जा रहा है, बल्कि इस आधार पर भी कि वीडियो स्पेशलिस्ट ने लेख स्पेशलिस्ट की तुलना में कैसा प्रदर्शन किया। यह नया स्कोर उन्हें उन समस्याओं को पकड़ने में मदद करता है जहाँ एक प्रकार की सामग्री को अनुचित रूप से अनदेखा किया जा रहा है।
यह सुनिश्चित करने के लिए कि सिस्टम समय के साथ स्वस्थ बना रहे, उन्होंने एक टूल भी बनाया जिसे LENS कहा जाता है। यह किचन के लिए एक्स-रे चश्मे की तरह है। यह इंजीनियरों को कंप्यूटर के मस्तिष्क के भीतर झांकने और यह देखने की अनुमति देता है कि कौन सा "स्पेशलिस्ट" क्या कर रहा है। यदि सिस्टम आलसी होने लगता है और सभी विशेषज्ञ एक ही तरह का काम करने लगते हैं, तो LENS इसे तुरंत पकड़ लेता है। इससे टीम को उपयोगकर्ता अनुभव को खराब करने से पहले ही समस्याओं को ठीक करने में मदद मिलती है।
परिणाम उत्साहजनक थे। जब उन्होंने वास्तविक उपयोगकर्ता इंटरैक्शन के एक विशाल डेटासेट पर इस नए सिस्टम का परीक्षण किया, तो इसने पुराने सिस्टम की तुलना में सकारात्मक कार्यों (जैसे क्लिक और लाइक) और नकारात्मक कार्यों (जैसे किसी पोस्ट को हटाना) दोनों को रैंक करने में बेहतर काम किया। इसने सफलतापूर्वक "मेजॉरिटी बायस" (बहुसंख्यक पूर्वाग्रह) को रोका, जहाँ लोकप्रिय सामग्री के प्रकार पहले कम सामान्य प्रकारों को कुचल देते थे। वास्तविक उपयोगकर्ताओं के साथ ऑनलाइन परीक्षणों में, नए सिस्टम से अधिक लोगों ने ऐप खोला, अधिक स्क्रॉल किया और विविध प्रकार की सामग्री को एक्सप्लोर किया। यह शोध पत्र सुझाव देता है कि कंप्यूटर को सामग्री के प्रकारों के अंतर का सम्मान करना सिखाकर, बजाय इसके कि उन्हें एक जैसा होने के लिए मजबूर किया जाए, हम सभी के लिए स्मार्ट, निष्पक्ष और अधिक आनंददायक फीड बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।