🤖 AI

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

यह शोध पत्र GenLI का प्रस्ताव करता है, जो CTR प्रेडिक्शन के लिए एक जनरेटिव लॉन्ग-टर्म यूजर इंटरेस्ट मॉडल है, जो विविध, इंटरेक्शन-अवेयर यूजर इंटरेस्ट को कैप्चर करने के लिए पारंपरिक टारगेट-सेंटर्ड रिट्रीवल को एक इंटरेस्ट जनरेशन मॉड्यूल से बदल देता है और बेहतर दक्षता एवं सटीकता के लिए $O(1)$ बिहेवियर रिट्रीवल कॉम्प्लेक्सिटी प्राप्त करता है।

मूल लेखक: Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि ग्राहक आगे क्या ऑर्डर करना चाहता है। आपके पास एक विशाल नोटबुक है जिसमें इस ग्राहक द्वारा पिछले कुछ वर्षों में देखी गई, क्लिक की गई या खरीदी गई हर एक चीज़ दर्ज है। यह "लॉन्ग-टर्म यूजर बिहेवियर" (दीर्घकालिक उपयोगकर्ता व्यवहार) है जिसके बारे में पेपर में बात की गई है।

लक्ष्य यह अनुमान लगाना है कि क्या ग्राहक किसी विशिष्ट नई वस्तु (जैसे कि कोई नया रेस्टोरेंट या उत्पाद) पर क्लिक करेगा ताकि "क्लिक-थ्रू रेट" (CTR) में सुधार किया जा सके—सरल शब्दों में, यह देखना कि लोग वास्तव में आपके द्वारा दिखाई गई चीज़ों को कितनी बार चुनते हैं।

यहाँ पुरानी पद्धति के साथ समस्या है, और कैसे यह नया पेपर, GenLI, इसे ठीक करता है।

पुराना तरीका: "टारगेट-सेंटर्ड" (लक्ष्य-केंद्रित) खोज

पहले, सिस्टम एक ऐसे लाइब्रेरियन की तरह काम करते थे जो केवल उन किताबों को खोजता है जो आपके हाथ में मौजूद किताब के सटीक शीर्षक से मेल खाती हों।

फ़िल्टर: यदि आप पिज्जा की तस्वीर देख रहे हैं, तो सिस्टम आपके पूरे इतिहास को स्कैन करता है और केवल उन 10 वस्तुओं को निकालता है जो पिज्जा जैसी दिखती हैं।
कमी: यह बड़े चित्र (बिग पिक्चर) को मिस कर देता है। हो सकता है कि आप पिज्जा पसंद करते हों, लेकिन आपको हाइकिंग, साइंस-फिक्शन फिल्में और बागवानी के उपकरण खरीदना भी पसंद हो। केवल "पिज्जा जैसी" चीजों को देखकर, सिस्टम आपकी अन्य रुचियों को अनदेखा कर देता है। यह किसी व्यक्ति को केवल उसके पसंदीदा भोजन से आंकने जैसा है और उसकी पर्सनैलिटी को पूरी तरह भूल जाने जैसा है।
गति की समस्या: उन 10 पिज्जा-जैसी वस्तुओं को खोजने के लिए, लाइब्रेरियन को आपके इतिहास की हर एक वस्तु के साथ आपकी वर्तमान वस्तु की तुलना करनी पड़ती है। जैसे-जैसे आपका इतिहास लाखों वस्तुओं तक बढ़ता है, यह अविश्वसनीय रूप से धीमा हो जाता है, जैसे घास के ढेर में सुई खोजने के लिए घास के हर एक तिनके की व्यक्तिगत रूप से जांच करना।

नया तरीका: GenLI (द "जेनरेटिव" शेफ)

लेखकों ने GenLI नामक एक नया सिस्टम प्रस्तावित किया है। केवल मिलान खोजने के बजाय, GenLI पहले ग्राहक के वर्तमान मूड और रुचियों को समझने की कोशिश करता है, और फिर प्रासंगिक इतिहास को ढूंढता है। यह तीन रचनात्मक चरणों में काम करता है:

1. इंटरेस्ट जनरेटर (IGM): माहौल को समझना

"पिज्जा जैसा क्या है?" पूछने के बजाय, GenLI आपकी हालिया गतिविधियों (पिछले कुछ क्लिक्स) को देखता है और पूछता है, "यह उपयोगकर्ता अभी किस तरह का व्यक्ति है?"

यह आपकी रुचियों के तीन अलग-अलग "मूड मैप्स" (डिस्ट्रीब्यूशंस) बनाता है:
- एक्सप्लिसिट इंटरेस्ट (स्पष्ट रुचि): जो आपने स्पष्ट रूप से क्लिक किया (जैसे, "मुझे निश्चित रूप से पिज्जा चाहिए")।
- इम्प्लिसिट इंटरेस्ट (अंतर्निहित रुचि): जो सिस्टम ने आपको दिखाया लेकिन आपने उस पर क्लिक नहीं किया, पर शायद आप उसे पसंद कर सकते थे (जैसे, "मैंने सलाद देखा, क्लिक नहीं किया, लेकिन शायद मैं अभी इसके लिए भूखा नहीं हूँ")।
- रिलेटिव इंटरेस्ट (सापेक्ष रुचि): दोनों के बीच का अंतर (जैसे, "मैं अभी सलाद के बजाय पिज्जा पसंद करता हूँ")।
उपमा: इसे रसोई में हवा को सूंघने वाले शेफ के रूप में सोचें। केवल उन सामग्रियों को पकड़ने के बजाय जो वर्तमान ऑर्डर से मिलती-जुलती हैं, शेफ महसूस करता है कि ग्राहक का "मूड तीखा (spicy)" है या वह "पुरानी यादों (nostalgic)" में है। यह आपकी विशिष्ट टारगेट वस्तु को देखे बिना ही होता है, ताकि यह छिपी हुई रुचियों को मिस न करे।

2. बिहेवियर रिट्रीवल (BRM): जादुई लुकअप

एक बार जब GenLI के पास ये "मूड मैप्स" आ जाते हैं, तो उसे आपके विशाल इतिहास से प्रासंगिक वस्तुएं ढूंढनी होती हैं।

पुराना तरीका: आपकी वर्तमान वस्तु की तुलना इतिहास की हर वस्तु से करना (धीमा!)।
GenLI का तरीका: यह एक सिंपल लुकअप का उपयोग करता है। क्योंकि "मूड मैप्स" पहले से ही कैलकुलेट किए जा चुके हैं, सिस्टम बस एक स्कोरकार्ड चेक करता है। यह एक पहले से सॉर्ट किए गए इंडेक्स की तरह है जहाँ आप तुरंत "स्पाइसी" सेक्शन या "नॉस्टैल्जिक" सेक्शन पर कूद सकते हैं।
परिणाम: यह उन टॉप वस्तुओं को चुनता है जो उन मूड्स में फिट बैठती हैं। यह अविश्वसनीय रूप से तेज़ है (गणितीय रूप से, यह $O(1)$ है, जिसका अर्थ है कि आपके पास 100 आइटम हों या 10 मिलियन, इसमें लगने वाला समय बहुत कम और समान रहता है)।

3. इंटरेस्ट फ्यूजन (IFM): स्वादों का मिश्रण

अंत में, सिस्टम उन वस्तुओं को लेता है जो उसने प्रत्येक "मूड" (तीखे वाले, नॉस्टैल्जिक वाले, आदि) के लिए पाई हैं और उन्हें आपकी वर्तमान वस्तु के साथ मिला देता है। यह अंतिम भविष्यवाणी करने से पहले यह तय करने के लिए एक "गेटिंग मैकेनिज्म" (एक स्मार्ट स्विच) का उपयोग करता है कि उसे प्रत्येक रुचि पर कितना ध्यान केंद्रित करना चाहिए।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर का परीक्षण Meituan (एक विशाल चीनी लाइफस्टाइल और डिलीवरी ऐप) और Amazon तथा Taobao जैसे सार्वजनिक डेटासेट्स पर किया गया।

सटीकता (Accuracy): GenLI सभी पिछले "स्टेट-ऑफ-द-आर्ट" मॉडल्स की तुलना में यह अनुमान लगाने में बेहतर था कि उपयोगकर्ता किस पर क्लिक करेगा। इसने भविष्यवाणी की सटीकता में काफी सुधार किया क्योंकि इसने उपयोगकर्ता की अन्य रुचियों को अनदेखा नहीं किया।
गति (Speed): क्योंकि इसने एक-एक करके तुलना करने की धीमी प्रक्रिया को रोक दिया, इसलिए यह बहुत तेज़ हो गया। यह ऑनलाइन सिस्टम के लिए बहुत महत्वपूर्ण है जिन्हें मिलीसेकंड में निर्णय लेने की आवश्यकता होती है।
वास्तविक दुनिया की सफलता: पेपर में कहा गया है कि GenLI पहले से ही Meituan के विज्ञापन सिस्टम में तैनात है। यह वर्तमान में प्रतिदिन करोड़ों उपयोगकर्ताओं को सेवा दे रहा है। एक लाइव टेस्ट (A/B टेस्टिंग) में, इसने क्लिक-थ्रू रेट में 0.776% और प्रति हजार व्यू राजस्व (revenue per thousand views) में 1.567% की वृद्धि की।

सारांश

संक्षेप में, पुराने सिस्टम एक ऐसे लाइब्रेरियन की तरह थे जो केवल उस किताब को ढूंढते थे जो आपके हाथ में पकड़ी हुई किताब के समान थी। GenLI एक ऐसे लाइब्रेरियन की तरह है जो पहले आपके वर्तमान मूड और विविध स्वादों को समझता है, और फिर बिना यह देखे कि आपके हाथ में मौजूद किताब का शीर्षक क्या है, तुरंत अलमारियों से एकदम सही किताबें निकाल लाता है। यह तेज़ है, स्मार्ट है, और प्लेटफॉर्म के लिए अधिक पैसा कमाता है।

तकनीकी सारांश: क्लिक-थ्रू रेट प्रेडिक्शन (CTR) के लिए जनरेटिव लॉन्ग-टर्म यूजर इंटरेस्ट मॉडलिंग (GenLI)

समस्या विवरण
क्लिक-थ्रू रेट (CTR) प्रेडिक्शन विज्ञापन और अनुशंसा (recommendation) प्रणालियों में एक मौलिक कार्य है, जो विशाल ऐतिहासिक व्यवहार अनुक्रमों (behavior sequences) से प्राप्त दीर्घकालिक उपयोगकर्ता हितों के सटीक मॉडलिंग पर अत्यधिक निर्भर है। वर्तमान अत्याधुनिक दृष्टिकोण आमतौर पर एक दो-चरणीय ढांचे का उपयोग करते हैं जिसमें एक जनरल सर्च यूनिट (GSU) और एक एक्ज़ैक्ट सर्च यूनिट (ESU) शामिल होती है। GSU लक्षित आइटम (target item) की समानता के आधार पर प्रासंगिक व्यवहारों के एक उपसमुच्चय (subset) को पुनर्प्राप्त (retrieve) करता है, जबकि ESU उन्हें अटेंशन मैकेनिज्म के माध्यम से एकत्रित करता है।

लेखक मौजूदा लक्ष्य-केंद्रित (target-centered) GSU दृष्टिकोणों में तीन महत्वपूर्ण सीमाओं की पहचान करते हैं:

अपूर्ण रुचि प्रतिनिधित्व (Incomplete Interest Representation): केवल विशिष्ट लक्षित आइटम से संबंधित व्यवहारों पर ध्यान केंद्रित करके, ये मॉडल अन्य अंतर्निहित उपयोगकर्ता हितों की अनदेखी करते हैं, जिससे पक्षपाती और अपूर्ण रुचि विशेषताएँ उत्पन्न होती हैं।
कंप्यूटेशनल बाधा (Computational Bottleneck): मिलान-आधारित पुनर्प्राप्ति प्रक्रिया में लक्षित आइटम और प्रत्येक ऐतिहासिक व्यवहार के बीच युग्मवार समानता स्कोर (pairwise similarity scores) की गणना करने की आवश्यकता होती है। जैसे-जैसे उपयोगकर्ता व्यवहार अनुक्रम बढ़ते हैं (अक्सर हजारों आइटम तक), यह ऑनलाइन सेवाओं के लिए एक समय लेने वाली बाधा बन जाता है।
व्यवहार संबंधी अंतःक्रियाओं की अनदेखी (Ignored Behavioral Interactions): युग्मवार आर्किटेक्चर लक्षित आइटम की तुलना व्यक्तिगत व्यवहारों के साथ अलग-थलग रूप में करता है, जिससे उपयोगकर्ता के ऐतिहासिक व्यवहारों के बीच मौजूद अंतःक्रिया जानकारी और पैटर्न की अनदेखी होती है।

कार्यप्रणाली: GenLI फ्रेमवर्क
इन मुद्दों को संबोधित करने के लिए, लेखक GenLI प्रस्तावित करते हैं, जो एक जनरेटिव लॉन्ग-टर्म यूजर इंटरेस्ट मॉडलिंग फ्रेमवर्क है। पारंपरिक पुनर्प्राप्ति-आधारित तरीकों के विपरीत, GenLI एक जनरेटिव दृष्टिकोण अपनाता है जो लक्ष्य-स्वतंत्र (target-independent) है। इस फ्रेमवर्क में तीन मुख्य मॉड्यूल शामिल हैं:

इंटरेस्ट जनरेशन मॉड्यूल (IGM):
- इनपुट: IGM लक्षित आइटम के बजाय एक शॉर्ट-टर्म व्यवहार अनुक्रम (हाल के $l$ व्यवहार) का उपयोग करता है।
- मैकेनिज्म: यह इन शॉर्ट-टर्म व्यवहारों को प्रोसेस करने के लिए मल्टी-हेड अटेंशन (MHA) का उपयोग करता है। क्वेरी वेक्टर्स में नवीनतम व्यवहार का एम्बेडिंग और इंटरेक्शन ज्ञान को कैप्चर करने के लिए एक लर्न करने योग्य क्वेरी वेक्टर शामिल है।
- आउटपुट: मॉड्यूल वास्तविक समय की उपयोगकर्ता रुचियों के विभिन्न पहलुओं का प्रतिनिधित्व करने वाले कई डिस्क्रीट इंटरेस्ट डिस्ट्रीब्यूशन जेनरेट करता है:
  - एक्सप्लिसिट इंटरेस्ट ( $\mathbf{p}_E$ ): प्रत्यक्ष इंटरैक्शन (जैसे क्लिक) से प्राप्त, जिसे क्लिक किए गए आइटम्स पर नेगेटिव लॉग-लाइक्लीहुड के माध्यम से अनुकूलित किया गया है।
  - इम्प्लिसिट इंटरेस्ट ( $\mathbf{p}_I$ ): एक्सपोज्ड आइटम्स (बिना क्लिक के इम्प्रेशन) से प्राप्त, जो स्थिर, दीर्घकालिक प्राथमिकताओं का प्रतिनिधित्व करता है।
  - रिलेटिव इंटरेस्ट ( $\mathbf{p}_R$ ): इसे एक्सप्लिसिट और इम्प्लिसिट डिस्ट्रीब्यूशन के अंतर ( $\mathbf{p}_E - \mathbf{p}_I$ ) के रूप में परिभाषित किया गया है, जो उपयोगकर्ता की बदलती प्रवृत्ति और निर्णय लेने के कंट्रास्ट को कैप्चर करता है।
- मुख्य विशेषता: यह प्रक्रिया लक्ष्य-स्वतंत्र है, जो यह सुनिश्चित करती है कि जेनरेटेड डिस्ट्रीब्यूशन विविध रेंज के उपयोगकर्ता हितों को समाहित करे।
बिहेवियर रिट्रीवल मॉड्यूल (BRM):
- मैकेनिज्म: युग्मवार समानता की गणना करने के बजाय, BRM एक सरल लुकअप ऑपरेशन करता है। प्रत्येक जेनरेटेड इंटरेस्ट डिस्ट्रीब्यूशन के लिए, ऐतिहासिक व्यवहारों को डिस्ट्रीब्यूशन इंडेक्स (मॉड्यूलर ऑपरेशन के माध्यम से) के माध्यम से मैप किए गए उनके यूनिक आईडी के आधार पर स्कोर दिया जाता है।
- दक्षता: यह प्रत्येक व्यवहार को वेट देने के लिए टाइम कॉम्प्लेक्सिटी को $O(1)$ तक कम कर देता है।
- चयन: यह मॉड्यूल तीनों इंटरेस्ट डिस्ट्रीब्यूशन ( $\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$ ) के लिए टॉप- $k$ व्यवहारों का चयन करता है, जिसके परिणामस्वरूप कुल $K$ रिट्रीव किए गए व्यवहार होते हैं। यह प्रक्रिया स्वाभाविक रूप से जनरेशन चरण से इंटरेक्शन जानकारी को शामिल करती है और शोर (noise) को फ़िल्टर करती है।
इंटरेस्ट फ्यूजन मॉड्यूल (IFM):
- एकत्रीकरण (Aggregation): प्रत्येक डिस्ट्रीब्यूशन से चयनित व्यवहारों को मल्टी-हेड अटेंशन का उपयोग करके अलग से एकत्रित किया जाता है, जहाँ लक्षित आइटम एम्बेडिंग क्वेरी के रूप में कार्य करती है।
- फ्यूजन: परिणामी इंटरेस्ट एम्बेडिंग्स को कॉन्कैटिनेट किया जाता है और अंतिम लॉन्ग-टर्म यूजर इंटरेस्ट फीचर वेक्टर ( $\mathbf{x}_l$ ) बनाने के लिए एक गेटिंग मैकेनिज्म (सिग्मॉइड एक्टिवेशन के साथ MLP) के माध्यम से प्रोसेस किया जाता है।
- प्रेडिक्शन: इस फीचर को CTR प्रेडिक्ट करने के लिए स्टैंडर्ड MLP के माध्यम से शॉर्ट-टर्म इंटरेस्ट, साइड इंफॉर्मेशन और टारगेट आइटम एम्बेडिंग के साथ कॉन्कैटिनेट किया जाता है।

प्रमुख योगदान

लॉन्ग-टर्म इंटरेस्ट के लिए पहला जनरेटिव दृष्टिकोण: लेखक दावा करते हैं कि वे विशेष रूप से CTR प्रेडिक्शन कार्यों में लॉन्ग-टर्म यूजर इंटरेस्ट को मॉडल करने के लिए जनरेटिव तरीकों को लाने वाले पहले व्यक्ति हैं, जो लक्ष्य-केंद्रित पुनर्प्राप्ति से दूर जाते हैं।
एंड-टू-एंड फ्रेमवर्क: GenLI, इंटरेस्ट जनरेशन, बिहेवियर रिट्रीवल और इंटरेस्ट फ्यूजन को एक एकीकृत, एंड-टू-एंड ट्रेन करने योग्य फ्रेमवर्क में एकीकृत करता है जिसे मौजूदा CTR मॉडल्स में आसानी से प्लग किया जा सकता है।
विविधता और दक्षता: टारगेट-स्वतंत्र डिस्ट्रीब्यूशन जेनरेट करके, मॉडल विविध और पूर्ण यूजर इंटरेस्ट को कैप्चर करता है। साथ ही, लुकअप-आधारित रिट्रीवल मैचिंग-आधारित तरीकों की तुलना में कंप्यूटेशनल जटिलता को काफी कम कर देता है।

प्रायोगिक परिणाम
लेखकों ने Amazon (Book), TaoBao और Meituan के एक बड़े पैमाने के इंडस्ट्रियल डेटासेट पर GenLI का मूल्यांकन किया।

ऑफलाइन प्रदर्शन:
- Amazon और TaoBao डेटासेट पर, GenLI ने SOTA प्रदर्शन हासिल किया, जिसने TWIN, SIM और ETA जैसे मजबूत बेसलाइन को पीछे छोड़ दिया। विशेष रूप से, इसने सर्वश्रेष्ठ बेसलाइन पर क्रमशः 0.61% (Amazon) और 1.03% (TaoBao) का एब्सोल्यूट AUC सुधार दिखाया।
- इंडस्ट्रियल डेटासेट पर, GenLI ने TWIN की तुलना में AUC में 0.22% का सुधार किया, जबकि इंफरेंस टाइम (TWIN के 7.9ms बनाम 4.6ms) को भी कम किया।
- एब्लेशन स्टडीज ने पुष्टि की कि तीनों जेनरेटेड डिस्ट्रीब्यूशन (Explicit, Implicit, Relative) प्रदर्शन में योगदान देते हैं, जिसमें एक्सप्लिसिट इंटरेस्ट का सबसे सीधा प्रभाव पड़ता है।
ऑनलाइन प्रदर्शन:
- Meituan फूड डिलीवरी प्लेटफॉर्म (जो 30% ट्रैफिक संभालता है) पर एक A/B टेस्ट में, GenLI ने प्रोडक्शन बेसलाइन की तुलना में CTR में 0.776% की वृद्धि और RPM (Revenue Per Mille) में 1.567% की वृद्धि प्रदर्शित की।
- मॉडल को वास्तविक दुनिया के विज्ञापन सिस्टम में पूरी तरह से तैनात किया गया है, जो प्रतिदिन करोड़ों उपयोगकर्ताओं को सेवा प्रदान करता है।

महत्व और दावे
पेपर का दावा है कि GenLI सफलतापूर्वक सटीकता और दक्षता के बीच संतुलन बनाता है, जो औद्योगिक CTR सिस्टम के लिए एक महत्वपूर्ण आवश्यकता है। लक्ष्य-केंद्रित पुनर्प्राप्ति प्रतिमान से जनरेटिव, लक्ष्य-स्वतंत्र मॉडलिंग दृष्टिकोण की ओर स्थानांतरित होकर, GenLI अपूर्ण इंटरेस्ट कैप्चर और उच्च कंप्यूटेशनल लेटेंसी की सीमाओं को दूर करता है। लेखक इस बात पर जोर देते हैं कि विविध, अंतर्निहित हितों को मॉडल करने की क्षमता, जो युग्मवार मिलान की बाधा के बिना संभव है, बड़े पैमाने पर अधिक मजबूत पर्सनलाइजेशन की अनुमति देती है। सफल तैनाती और सकारात्मक ऑनलाइन मेट्रिक्स लॉन्ग-टर्म यूजर इंटरेस्ट मॉडलिंग में जनरेटिव तरीकों के व्यावहारिक अनुप्रयोग मूल्य को प्रमाणित करते हैं।