Predicting Custom-Feed Returns for New Bluesky Posts: A Prospective Study
यह शोध पत्र यह भविष्यवाणी करने के लिए एक नवीन कोल्ड-स्टार्ट रूटिंग कार्य प्रस्तुत करता है कि क्या नए प्रकाशित ब्लूस्काई पोस्ट विशिष्ट कस्टम फीड में दिखाई देंगे, जो एक बड़े पैमाने का बेंचमार्क डेटासेट प्रस्तुत करता है और यह प्रदर्शित करता है कि लैम्बडा रैंक (LambdaRank) उन फीड्स को रैंक करने में बेहतर प्रदर्शन करता है जिनमें नए कंटेंट के वापस आने की संभावना होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर के चौक की तरह है जहाँ हर कोई अपने विचार, चुटकुले और समाचार एक साथ चिल्लाकर सुना रहा है। इस अराजक चौक में, हजारों अलग-अलग "क्लब" या "न्यूज़स्टैंड" (जिन्हें कस्टम फीड कहा जाता है) हैं जिन्हें लोग चलाते हैं। प्रत्येक क्लब का अपना एक नियम पुस्तिका होता है जो यह तय करता है कि चौक से आने वाली कौन सी आवाज़ें इतनी दिलचस्प हैं कि उन्हें अपने बुलेटिन बोर्ड पर लगाया जा सके। आमतौर पर, जब कोई नया व्यक्ति किसी क्लब में शामिल होता है, तो क्लब को यह जानने की आवश्यकता होती है कि वह कौन है ताकि वह दोस्तों की सिफारिश कर सके। लेकिन यहाँ एक मोड़ है: इस विशिष्ट शहर में, नए चिल्लाने वाले (पोस्ट) वे हैं जिनका अभी तक कोई इतिहास नहीं है। वे "कोल्ड स्टार्ट" (cold starts) हैं। मुख्य सवाल शहर के लिए यह है: हम यह कैसे अनुमान लगाएं कि कौन से क्लब किसी नए चिल्लाने वाले को अपने बोर्ड पर लगाने के लिए उत्सुक होंगे, इससे पहले कि उसे किसी ने देखा भी हो? यह "कोल्ड-स्टार्ट रूटिंग" की पहेली है। यह कुछ ऐसा ही है जैसे यह अनुमान लगाना कि कौन से विशिष्ट पत्रिका संपादक आपकी उस कहानी को पसंद करेंगे जिसे आपने अभी-अभी लिखना समाप्त किया है, बिना यह जाने कि आपकी पिछली बिक्री का डेटा क्या था।
यह शोध पत्र ठीक इसी पहेली को सुलझाता है जो Bluesky के लिए है, जहाँ कस्टम फीड इसकी एक प्रमुख विशेषता है। शोधकर्ताओं, यिपेंग वांग और मोहित सिंघल ने एक ऐसा सिस्टम बनाने का लक्ष्य रखा जो एक अत्यंत बुद्धिमान मैचमेकर (जोड़ी बनाने वाले) की तरह काम करे। उनका लक्ष्य एक बिल्कुल नए पोस्ट को लेना और हजारों संभावित फीड्स को तुरंत रैंक करना था ताकि यह अनुमान लगाया जा सके कि वे अगले 24 घंटों के भीतर उस पोस्ट को अपने शीर्ष परिणामों में "रिटर्न" (दिखाएंगे) करेंगे या नहीं।
इसे करने के लिए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल, समय-यात्रा करने वाला प्रयोग बनाया। उन्होंने 5,000 अलग-अलग फीड्स का एक "मॉनिटरिंग पैनल" सेट किया और एक सप्ताह तक उन पर नज़र रखी। उन्होंने 17.804 मिलियन सार्वजनिक पोस्ट एकत्र किए। प्रत्येक पोस्ट के लिए, उन्होंने यह देखने के लिए प्रतीक्षा की कि क्या वह वास्तव में 24 घंटों के भीतर किसी भी फीड के शीर्ष 50 परिणामों में दिखाई देता है। यदि वह दिखाई दिया, तो उन्होंने इसे एक "हिट" (hit) के रूप में चिह्नित किया। इससे पोस्ट और फीड के बीच 1.865 मिलियन अवलोकन योग्य कनेक्शनों का एक डेटासेट बना। वे इसे "पहले एकत्र करें, बाद में लेबल करें" (collect-first, label-later) दृष्टिकोण कहते हैं क्योंकि उन्होंने पहले कच्चा डेटा एकत्र किया और केवल तभी इसे सफलता या विफलता के रूप में लेबल किया जब भविष्य वास्तव में घटित हो गया, जिससे यह सुनिश्चित हुआ कि उनके अनुमान वास्तविक परिणामों के विरुद्ध परीक्षित थे, न कि केवल अनुमान।
टीम ने इस मिलान के खेल को हल करने के लिए कई अलग-अलग कंप्यूटर दिमागों का परीक्षण किया। उन्होंने सरल नियमों से शुरुआत की, जैसे "क्या लेखक आमतौर पर इस फीड में पोस्ट करता है?" या "क्या टेक्स्ट वैसा ही है जैसा यह फीड पसंद करता है?" ये सरल तरीके ठीक थे, लेकिन बहुत अच्छे नहीं। फिर, उन्होंने अधिक जटिल मॉडल आज़माए जो केवल शब्दों को ही नहीं, बल्कि टेक्स्ट के अर्थ को भी समझ सकते थे। प्रतियोगिता का विजेता एक मॉडल था जिसे LambdaRank कहा जाता है।
यहाँ के अंक हमें बताते हैं कि यह कितना अच्छा काम कर रहा है। शोधकर्ताओं ने अपने सिस्टम का परीक्षण डेटा के दो अलग-अलग दिनों पर किया। परीक्षण किए गए सभी पोस्ट में से, उन्होंने उन पोस्टों पर ध्यान केंद्रित किया जो वास्तव में कम से कम एक फीड द्वारा चुने गए थे (कुल का लगभग 9.04%)। इन पोस्टों के लिए, LambdaRank मॉडल सही फीड को Top 10 सूची में रखने में 73.61% बार सफल रहा (एक मीट्रिक जिसे capped Recall@10 कहा जाता है)। इसने सबसे अच्छे मिलानों को क्रमबद्ध करने की सटीकता पर 0.6127 स्कोर किया (NDCG@10) और एक "हिट" (शीर्ष 10 में कम से कम एक सही फीड पाना) पाने में 77.49% बार सफल रहा।
शोध पत्र सुझाव देता है कि हालांकि मॉडल बहुत अच्छा है, लेकिन यह पूर्ण नहीं है। सबसे बड़ी बाधा स्वयं रैंकिंग दिमाग नहीं है, बल्कि पहला कदम है: सही उम्मीदवारों को खोजना। भले ही मॉडल पूर्ण हो, वह एक फीड को तब नहीं चुन सकता यदि उसने उसे पहले देखा ही न हो। शोधकर्ताओं ने पाया कि उनका सिस्टम केवल संभावित फीड्स के एक छोटे से हिस्से (कुल 4,233 रैंक किए गए फीड्स में से 370 फीड्स का एक "कैंडिडेट सेट") को ही देखता था। यदि वे प्रत्येक संभावित फीड को देख पाते, तो उनका सिस्टम और भी बेहतर प्रदर्शन कर सकता था, और एक सैद्धांतिक "सीलिंग" (ceiling) 0.8448 तक पहुँच सकता था। इसका मतलब है कि अगला बड़ा कदम दिमाग को और स्मार्ट बनाना नहीं है, बल्कि खोज को और व्यापक बनाना है।
संक्षेप में, शोध पत्र यह सिद्ध करता है कि हम सफलतापूर्वक भविष्यवाणी कर सकते हैं कि कौन से कस्टम फीड एक नए पोस्ट को चुन लेंगे, यहाँ तक कि उस पोस्ट का कोई इतिहास होने से पहले ही। यह दिखाता है कि सरल टेक्स्ट मिलान को अर्थ की गहरी समझ के साथ जोड़कर, हम नई सामग्री को सही स्थानों तक पहुँचा सकते हैं। हालाँकि, यह हमें चेतावनी भी देता है कि हम वर्तमान में एक बार में कितने फीड्स की जाँच कर सकते हैं, उससे सीमित हैं। सिस्टम एक मजबूत शुरुआत है, लेकिन जैसे-जैसे "शहर का चौक" और भी व्यस्त होगा, इसमें बढ़ने की काफी गुंजाइश है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।