HiGR: Industrial-Scale Hierarchical Generative Slate Recommendation Framework in Tencent
यह शोध पत्र HiGR प्रस्तुत करता है, जो एक औद्योगिक-स्तर का पदानुक्रमित जनरेटिव फ्रेमवर्क (hierarchical generative framework) है जो स्लेट अनुशंसा (slate recommendation) के लिए, PCRQ-VAE के माध्यम से एक संरचित SID स्पेस, कुशल नियोजन के लिए एक कोर्स-ग्रेन्डेड पदानुक्रमित स्लेट डिकोडर (Hierarchical Slate Decoder), और एक ORPO-आधारित संरेखण तंत्र (alignment mechanism) का उपयोग करके मौजूदा विधियों की सीमाओं को संबोधित करता है, जिसके परिणामस्वरूप अनुशंसा गुणवत्ता, अनुमान गति (inference speed) और टेनसेंट (Tencent) प्लेटफॉर्म्स पर वास्तविक दुनिया के उपयोगकर्ता जुड़ाव में महत्वपूर्ण सुधार हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दैनिक समाचार पत्र के संपादक हैं। आपका काम केवल फ्रंट पेज के लिए सबसे अच्छी एकल कहानी चुनना नहीं है; आपको पूरे फ्रंट पेज (एक "स्लेट") को तैयार करना है जिसमें 10 अलग-अलग कहानियाँ हों।
चुनौती क्या है? यदि आप व्यक्तिगत रूप से केवल 10 सबसे लोकप्रिय कहानियाँ चुनते हैं, तो आपके पास एक ही सेलिब्रिटी के बारे में 10 कहानियाँ, या एक ही प्रकार के अपराध के बारे में 10 कहानियाँ हो सकती हैं। इससे पाठक ऊब जाता है, या उसे लगता है कि वह एक "सूचना बुलबुले" (information bubble) में फँस गया है। आपको एक मिश्रण चाहिए: थोड़ा राजनीति, थोड़ा खेल, थोड़ा मानवीय हित (human interest), और इसे इस क्रम में व्यवस्थित करना है जो पाठक को पन्ने पलटने के लिए प्रेरित रखे।
यह बिल्कुल वही समस्या है जिसे HiGR, टेनसेंट (Tencent) जैसे न्यूज़ और वीडियो प्लेटफॉर्म्स के लिए हल करता है। यह एक नया "AI संपादक" है जो केवल एक-एक करके आइटम नहीं चुनता, बल्कि पूरे पेज की योजना एक साथ बनाता है।
यहाँ बताया गया है कि HiGR कैसे काम करता है, इसे तीन सरल चरणों में उपमाओं (analogies) का उपयोग करके समझा जा गया है:
1. व्यवस्थित पुस्तकों का पुस्तकालय (PCRQ-VAE)
AI द्वारा सूची लिखने से पहले, उसे यह समझने की आवश्यकता है कि प्रत्येक आइटम (वीडियो, समाचार लेख, उपन्यास) किस बारे में है।
- पुराना तरीका: एक ऐसे पुस्तकालय की कल्पना करें जहाँ हर किताब पर एक रैंडम नंबर टैग है। यदि आप "Sci-Fi" खोजना चाहते हैं, तो आपको हर किताब को चेक करना होगा कि नंबर मैच करता है या नहीं। यह अव्यवठित और अक्षम है।
- HiGR का तरीका: HiGR एक स्मार्ट लाइब्रेरी बनाता है। यह प्रत्येक पुस्तक को एक विशेष कोड (एक "Semantic ID") देता है जो एक पदानुक्रमित पते (hierarchical address) की तरह कार्य करता है।
- कोड का पहला भाग आपको शैली (Genre) बताता है (जैसे, "Sci-Fi")।
- दूसरा भाग आपको उप-शैली (Sub-genre) बताता है (जैसे, "Space Opera")리।
- अंतिम भाग विशिष्ट पुस्तक की पहचान करता है।
- जादू: HiGR एक विशेष प्रशिक्षण पद्धति (जिसे Prefix-Contrastive RQ-VAE कहा जाता है) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि सभी "Space Opera" पुस्तकें उनके कोड के पहले भाग को साझा करती हैं। इससे AI के लिए यह कहना आसान हो जाता है कि, "मुझे एक Space Opera चाहिए," बिना पूरे पुस्तकालय को खोजे।
2. दो-चरणीय वास्तुकार (Hierarchical Slate Decoder)
अब, AI को फ्रंट पेज बनाना होगा।
- पुराना तरीका (धीमा निर्माता): एक ऐसे निर्माता की कल्पना करें जिसे एक पूरा घर बनाने के लिए हर एक ईंट को एक-एक करके रखना पड़ता है। यदि वे पहली ईंट पर गलती करते हैं, तो उन्हें पूरी दीवार गिराकर फिर से शुरू करना पड़ता है। यह धीमा है और समग्र आकार को लेकर भ्रमित हो जाता है।
- HiGR का तरीका (वास्तुकार + राजमिस्त्री): HiGR काम को दो भूमिकाओं में विभाजित करता है:
- वास्तुकार (Coarse-Grained Planner): पहले, वास्तुकार उपयोगकर्ता को देखता है और कहता है, "ठीक है, इस व्यक्ति के लिए, फ्रंट पेज में चाहिए: 1. एक खेल की कहानी, 2. एक टेक स्टोरी, 3. एक कुकिंग स्टोरी।" वे अभी तक विशिष्ट कहानियाँ नहीं चुनते; वे केवल पेज के मिजाज (vibe) और संरचना की योजना बनाते हैं। यह तेज़ है और सुनिश्चित करता है कि पेज संतुलित दिखे।
- राजमिस्त्री (Fine-Grained Generator): एक बार जब वास्तुकार कहता है, "हमें एक स्पोर्ट्स स्टोरी चाहिए," तो राजमिस्त्री उस जगह को भरने के लिए सबसे अच्छी विशिष्ट स्पोर्ट्स स्टोरी को जल्दी से ढूँढ लेता है।
- परिणाम: क्योंकि वास्तुकार पहले पूरे लेआउट की योजना बनाता है, इसलिए AI छोटी बातों में नहीं उलझता। यह बहुत तेज़ी से (5 गुना तेज़!) पेज बनाता है जबकि संरचना एकदम सटीक रहती है।
3. संपादक की आलोचना (ORPO Preference Alignment)
अंत में, AI को यह सीखने की आवश्यकता है कि एक अच्छा फ्रंट पेज क्या होता है, न कि केवल तकनीकी रूप से सही क्या होता है।
- समस्या: यदि आप केवल एक AI को "अगला शब्द" भविष्यवाणी करने के लिए सिखाते हैं, तो वह एक ऐसा वाक्य लिख सकता है जो व्याकरण की दृष्टि से तो सही है लेकिन उबाऊ है। इसी तरह, एक AI ऐसे 10 आइटम चुन सकता है जो लोकप्रिय तो हैं लेकिन दोहराव वाले हैं।
- HiGR समाधान: HiGR ORPO (Odds Ratio Preference Optimization) नामक तकनीक का उपयोग करता है। इसे एक कठोर संपादक के रूप में सोचें जो दो संस्करणों की समीक्षा करता है:
- संस्करण A (विजेता): एक पेज जिसे उपयोगकर्ता ने वास्तव में देखा, पसंद किया और पढ़ना समाप्त किया।
- संस्करण B (हारने वाला): एक पेज जिसे बेतरतीब ढंग से व्यवस्थित किया गया था, जिसमें उबाऊ आइटम थे, या जो बहुत अधिक दोहराव वाला था।
- सबक: AI इन दोनों की तुलना करना सीखता है। वह सीखता है कि एक अच्छा पेज केवल लोकप्रियता के बारे में नहीं है; यह रैंकिंग (सबसे अच्छी चीज़ों को पहले रखना), वास्तविक रुचि (उन चीज़ों को चुनना जिन्हें उपयोगकर्ता वास्तव में पसंद करता है), और विविधता (यह सुनिश्चित करना कि पेज एक ही चीज़ के बारे में न हो) के बारे में है।
वास्तविक दुनिया का प्रभाव
पेपर रिपोर्ट करता है कि यह सिस्टम पहले से ही टेनसेंट प्लेटफॉर्म्स पर लाइव है, जो करोड़ों उपयोगकर्ताओं को सेवा दे रहा है।
- गति: यह पिछले तरीकों की तुलना में 5 गुना तेज़ चलता है, जिसका अर्थ है कि उपयोगकर्ताओं को अपना फीड लोड होने के लिए प्रतीक्षा नहीं करनी पड़ती।
- गुणवत्ता: वास्तविक दुनिया के परीक्षणों में, इसने लोगों द्वारा वीडियो देखने के समय में 1.22% की वृद्धि की और वीडियो चलाने की संख्या में 1.73% की वृद्धि की।
- पैमाना: यह बिना किसी परेशानी के भारी मात्रा में डेटा को संभालता है, जो यह साबित करता है कि यह "वास्तुकार + राजमिस्त्री" दृष्टिकोण औद्योगिक-स्तर के अनुशंसा (recommendation) के लिए कारगर है।
संक्षेप में: HiGR एक ऐसा AI है जो एक-एक करके आइटम चुनने की कोशिश करना बंद कर देता है। इसके बजाय, यह पहले पूरी सूची के लिए एक संतुलित, विविध योजना तैयार करता है, और फिर जल्दी से विवरणों को भर देता है, जिससे यह सुनिश्चित होता है कि उपयोगकर्ताओं को एक व्यक्तिगत, आकर्षक और गैर-दोहराव वाला अनुभव मिले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।