कल्पना कीजिए कि आप एक विशाल, अनंत पुस्तकालय में कदम रखते हैं जहाँ अलमारियों को लगातार नई किताबों से भरा जा रहा है। इस पुस्तकालय में, लाइब्रेरियन (जो वास्तव में बहुत बुद्धिमान कंप्यूटर प्रोग्राम हैं) का एक ही काम है: आपको अभी पढ़ने के लिए एकदम सही किताब थमाना। लेकिन यहाँ एक पेंच है: लाइब्रेरियन की एक बुरी आदत है। वे उन किताबों को बहुत पसंद करते हैं जिन्हें उन्होंने पहले ही लाखों बार देख लिया है। वे जानते हैं कि वे पुराने पसंदीदा कितने लोकप्रिय हैं, इसलिए वे उन्हें बार-बार आपके हाथों में थमाते रहते हैं। इस बीच, बिल्कुल नई किताबें, जिन्हें अभी तक किसी ने पढ़ा भी नहीं है, पीछे पड़ी धूल फांक रही हैं। यह एक समस्या है जिसे "कोल्ड-स्टार्ट" (cold-start) समस्या कहा जाता है। यदि एक नई किताब को कभी पढ़ने का मौका ही नहीं मिलता, तो लाइब्रेरियन यह सीख ही नहीं पाएंगे कि वह वास्तव में अच्छी है या नहीं, और फिर वे उसे कभी रिकमेंड (सिफारिश) नहीं करेंगे। पुस्तकालय एक उबाऊ चक्र में फंस जाता है जहाँ केवल वही पुरानी कहानियाँ सुनाई जाती हैं और रोमांचक नई आवाज़ों को चमकने का मौका ही नहीं मिल पाता।

यह पेपर इस बारे में है कि कैसे Pinterest के इंजीनियरों की एक टीम ने ठीक इसी समस्या को हल करने का निर्णय लिया। उन्होंने एक नया सिस्टम बनाया जिसे "PinEqualizer" कहा जाता है ताकि उनके कंप्यूटर लाइब्रेरियन को पुराने "प्रसिद्ध" कंटेंट के प्रति पक्षपाती होने के बजाय ताज़ा, नए कंटेंट को एक निष्पक्ष मौका देने में मदद मिल सके। उन्होंने केवल प्रक्रिया के एक हिस्से में बदलाव नहीं किया; बल्कि उन्होंने पूरे पाइपलाइन को पूरी तरह से बदल दिया, इस बात से लेकर कि वे किन नए किताबों को देखने के लिए चुनते हैं, उन्हें खोजने से लेकर, यह तय करने तक कि वे आपको कौन सी किताबें दिखाएंगे। उनका लक्ष्य यह सुनिश्चित करना था कि नई सामग्री को खुद को साबित करने का एक उचित मौका मिले, जिससे उन्हें पता चला कि इससे पाठक अधिक खुश होते हैं और एक बहुत अधिक विविध पुस्तकालय बनता है।

समस्या: "अमीर और अमीर होता जाता है" वाला पुस्तकालय

Pinterest एक विशाल विजुअल डिस्कवरी इंजन की तरह है जिसमें सैकड़ों अरबों अद्वितीय आइटम हैं, जिन्हें "Pins" कहा जाता है। हर दिन, लाखों नए Pins अपलोड किए जाते हैं। सिस्टम का काम इन Pins को उन उपयोगकर्ताओं से मिलाना है जो उन्हें पसंद करेंगे। लेकिन एक छिपी हुई जाल है: सिस्टम इतिहास से सीखता है। यदि किसी Pin को अतीत में बहुत अधिक क्लिक किया गया है, तो सिस्टम सोचता है, "यह बहुत बढ़िया है!" और इसे अधिक लोगों को दिखाता है। यदि किसी नए Pin का कोई इतिहास नहीं है, तो सिस्टम इसे दिखाने से डरता है क्योंकि वह नहीं जानता कि वह अच्छा है या नहीं।

यह एक "अमीर-get-richer" प्रभाव पैदा करता है। लोकप्रिय, पुराना कंटेंट और भी अधिक लोकप्रिय होता जाता है, जबकि नया, ताज़ा कंटेंट दब जाता है। समय के साथ, यह पूरे इकोसिस्टम को नुकसान पहुँचाता है। नए क्रिएटर्स आगे नहीं बढ़ पाते, और उपयोगकर्ता रोमांचक नई चीजें देखना बंद कर देते हैं। इंजीनियरों ने महसूस किया कि केवल "एक्सप्लोर" करना (यानी रैंडम तरीके से नई चीजें दिखाना) पर्याप्त नहीं था। उन्हें सिस्टम के भीतर गहराई में मौजूद पक्षपात को ठीक करने की आवश्यकता थी ताकि कंप्यूटर यह अनुमान लगा सके कि नया कंटेंट कितना अच्छा होगा, बिना पहले एक लंबे इतिहास की आवश्यकता के।

समाधान: PinEqualizer

टीम ने एक नया सिस्टम बनाया जिसे PinEqualizer कहा जाता है, जो उस पूरे "फनल" (कीप) में काम करता है जिसके माध्यम से कंटेंट एक उपयोगकर्ता तक पहुँचता है। इस फनल को एक वॉटर स्लाइड की तरह समझें। एक Pin को उपयोगकर्ता की स्क्रीन तक पहुँचने के लिए कई चरणों से गुजरना पड़ता है:

1. कॉर्पस सिलेक्शन (Corpus Selection): यह तय करना कि कौन से नए Pins को पूल में रखने लायक है।
2. रिट्रीवल (Retrieval): किसी विशिष्ट उपयोगकर्ता के लिए सही Pins खोजना।
3. रैंकिंग (Ranking): यह तय करना कि उन्हें किस सटीक क्रम में दिखाया जाए।

PinEqualizer इस स्लाइड के हर चरण में विशेष उपकरण जोड़ता है ताकि नया कंटेंट नीचे न फँस जाए।

1. सर्वश्रेष्ठ नए लोगों को चुनना (Corpus Selection)
चूँकि इतने सारे नए Pins हैं कि हर एक की जाँच करना संभव नहीं है, इसलिए सिस्टम "थॉम्पसन सैंपलिंग" (Thompson Sampling) नामक एक स्मार्ट अंदाज़ा लगाने वाले खेल का उपयोग करता है। कल्पना कीजिए कि आपके पास रहस्यमयी बक्सों का एक बैग है। कुछ बक्सों में खिलौना होने की संभावना अधिक है, और कुछ में कम। हर बॉक्स को खोलने के बजाय, सिस्टम उन बक्सों को चुनता है जो सबसे अच्छे हो सकते हैं, जो निर्माता के बारे में उसकी जानकारी और थोड़े भाग्य के मिश्रण पर आधारित है। उन्होंने ताज़ा कंटेंट के लिए एक विशेष "एक्सप्लोरेशन लाइब्रेरी" भी बनाई है, ताकि सिस्टम को तुरंत पुराने, प्रसिद्ध Pins के साथ प्रतिस्पर्धा न करनी पड़े।

2. सही मिलान खोजना (Retrieval)
एक बार जब सिस्टम के पास अच्छे नए Pins का एक पूल हो जाता है, तो उसे आपके लिए सही Pins खोजने की आवश्यकता होती है। आमतौर पर, सिस्टम देखता है कि Pins एक-दूसरे से कैसे जुड़े हुए हैं (जैसे दोस्तों का नेटवर्क)। लेकिन नए Pins के पास अभी बहुत कम दोस्त हैं! इसलिए, इंजीनियरों ने सिस्टम को "कंटेंट-बेस्ड" (सामग्री-आधारित) सुरागों का उपयोग करने के लिए प्रशिक्षित किया। उन्होंने यह समझने के लिए उन्नत AI का उपयोग किया कि तस्वीर वास्तव में कैसी दिखती है (विजुअल लैंग्वेज मॉडल जैसी चीजों का उपयोग करके), बजाय इसके कि केवल यह देखा जाए कि इसे पहले किसने सेव किया है। उन्होंने एक विशेष "डेडिकेटेड चैनल" भी बनाया ताकि यह सुनिश्चित हो सके कि नए Pins की एक निरंतर धारा स्लाइड के नीचे न फँसे।

3. अंतिम निर्णय (Ranking)
यह सबसे महत्वपूर्ण हिस्सा है। जब सिस्टम को आपको दिखाने के लिए अंतिम सूची चुननी होती है, तो यह आमतौर पर पिछले डेटा पर बहुत अधिक निर्भर करता है। यदि किसी Pin का कोई पिछला डेटा नहीं है, तो सिस्टम अक्सर उसे कम स्कोर देता है। PinEqualizer इसे इस प्रकार ठीक करता है:

• AI को अतीत को अनदेखा करना सिखाना: उन्होंने "ड्रॉपआउट" (dropout) नामक एक तकनीक का उपयोग किया, जहाँ वे प्रशिक्षण के दौरान रैंडम तरीके से "लोकप्रियता" के नंबरों को छिपा देते हैं। यह AI को मजबूर करता है कि वह Pin को उसके वास्तविक कंटेंट (तस्वीर और विवरण) के आधार पर जज करे, न कि उसकी प्रसिद्धि के आधार पर।
• आत्मविश्वास का बढ़ावा देना: उन्होंने नए आइटम्स के लिए एक "बोनस" स्कोर जोड़ा। यह कुछ ऐसा है जैसे कहना, "हम नहीं जानते कि यह अभी कितना अच्छा है, लेकिन चलिए इसे देखे जाने का एक उचित मौका देते हैं।" यह UCB (Upper Confidence Bound) नामक एक विधि का उपयोग करके किया जाता है, जो उन आइटम्स में थोड़ा अतिरिक्त उत्साह जोड़ता है जिन्हें बहुत कम देखा गया है।
• स्कोर को कैलिब्रेट करना: उन्होंने यह सुनिश्चित किया कि सिस्टम नए कंटेंट को केवल इसलिए दंडित न करे क्योंकि वह नया है। उन्होंने गणित को इस तरह समायोजित किया कि एक बेहतरीन क्षमता वाला नया Pin उसी तरह का अवसर प्राप्त करे जैसा एक पुराना, प्रसिद्ध Pin प्राप्त करता है।

उन्होंने सफलता को कैसे मापा

आप सोच सकते हैं, "आपको कैसे पता चलेगा कि यह वास्तव में काम करता है?" यदि आप केवल लोगों को नई चीजें दिखाते हैं, तो वे शुरू में कम क्लिक कर सकते हैं क्योंकि वे नई चीजों को अभी तक नहीं जानते हैं। यह "लंबे समय के लाभ के लिए अल्पकालिक दर्द" वाली समस्या है।

इसे हल करने के लिए, टीम ने एक विशेष माप ढांचा तैयार किया:

• "होल्डआउट" टेस्ट (The Holdout Test): उन्होंने एक लंबा प्रयोग चलाया जहाँ उपयोगकर्ताओं के एक समूह ने केवल पुराना कंटेंट देखा (कोई नया कंटेंट नहीं), जबकि दूसरे समूह ने नया, एक्सप्लोर किया गया कंटेंट देखा। उन्होंने पाया कि नया कंटेंट देखने वाले समूह में दीर्घकालिक जुड़ाव (engagement) बहुत बेहतर था। इसने साबित किया कि नया कंटेंट वास्तव में मूल्यवान था, भले ही उसे पहचानने में थोड़ा समय लगा हो।
• "ग्रेजुएशन" मेट्रिक (The Graduation Metric): उन्होंने एक "ग्रेजुएशन" बिंदु निर्धारित किया। एक बार जब कोई नया Pin कुछ दिनों के भीतर पर्याप्त सकारात्मक इंटरैक्शन (लाइक्स, सेव) प्राप्त कर लेता है, तो वह एक रहस्य से एक ज्ञात मात्रा में "ग्रेजुएट" हो जाता है। उन्होंने ट्रैक किया कि कितने Pins सफलतापूर्वक ग्रेजुएट हो रहे हैं।
• "अंडर-एक्सप्लोर्ड" मेट्रिक (The Under-Explored Metric): उन्होंने उस जुड़ाव को मापा जो कंटेंट से मिल रहा था जिसे अभी तक बहुत कम देखा गया था। इससे उन्हें यह देखने में मदद मिली कि क्या उनके बदलाव वास्तव में नए कंटेंट को नोटिस होने में मदद कर रहे हैं।

परिणाम

परिणाम प्रभावशाली थे। PinEqualizer को तैनात करने के बाद, Pinterest ने ताज़ा कंटेंट के इम्प्रेशंस (impressions) में 350% की वृद्धि देखी। इसका मतलब है कि उपयोगकर्ता पहले की तुलना में बहुत अधिक नए Pins देख रहे थे।

• यूजर एंगेजमेंट: इस सिस्टम से उत्तरी अमेरिका में सफल सेशन्स में 24% की वृद्धि और अंतरराष्ट्रीय स्तर पर 49% की वृद्धि हुई।
• शॉपिंग: शॉपिंग के लिए इसका प्रभाव बहुत बड़ा था। उत्तरी अमेरिका में शॉपिंग सेशन्स में 63% की वृद्धि हुई, जिससे पता चलता है कि नए उत्पादों को आखिरकार वह ध्यान मिल रहा है जिसके वे हकदार हैं।
• क्रिएटर हेल्थ: सिस्टम ने अधिक क्रिएटर्स को सफल होने में मदद की। "सफल कंटेंट प्रदाता" (वे क्रिएटर्स जिनका कंटेंट काफी ध्यान आकर्षित करता है) की संख्या साल-दर-साल 99% बढ़ी।

यह क्यों मायने रखता है

यह पेपर दिखाता है कि आपको इस बीच चुनाव करने की ज़रूरत नहीं है कि आप उपयोगकर्ताओं को वह दिखाएं जो वे अभी पसंद करते हैं या वह जो वे भविष्य में हो सकता है कि पसंद करें। सिस्टम के दिमाग में पक्षपात को ठीक करके, आप दोनों कर सकते हैं। इंजीनियरों ने पाया कि सिस्टम के हर चरण में छोटे, स्मार्ट बदलाव करके—बेहतर उम्मीदवारों को चुनकर, उन्हें बेहतर तरीके से खोजकर और उन्हें निष्पक्ष रूप से रैंक करके—वे "अमीर और अमीर होता जाता है" के चक्र को तोड़ सकते हैं।

उन्होंने यह भी सीखा कि आप केवल सिस्टम के एक हिस्से को ठीक नहीं कर सकते। यदि आप रैंकिंग को ठीक करते हैं लेकिन रिट्रीवल स्टेज अभी भी पक्षपाती है, तो नया कंटेंट रैंकिंग स्टेज तक पहुँच ही नहीं पाएगा। यह एक बेहतरीन नई किताब होने के बावजूद उसे ऐसे कमरे में बंद करने जैसा है जहाँ कोई उसे ढूँढ ही नहीं सकता। PinEqualizer ने पूरे पुस्तकालय को अनलॉक कर दिया।

अंत में, इस सिस्टम ने न केवल Pinterest को अधिक नए Pins दिखाने में मदद की; इसने एक स्वस्थ इकोसिस्टम बनाने में मदद की जहाँ नए क्रिएटर्स आगे बढ़ सकते हैं और उपयोगकर्ता सामग्री की एक व्यापक, अधिक रोमांचक दुनिया की खोज कर सकते हैं। यह पेपर सुझाव देता है कि यह "फुल-फनल" दृष्टिकोण किसी भी बड़े पैमाने के रिकमेंडेशन सिस्टम में कोल्ड-स्टार्ट समस्याओं को हल करने का एक शक्तिशाली तरीका है, जो यह साबित करता है कि निष्पक्षता और सटीकता साथ-साथ चल सकते हैं।