💬 NLP

Self-supervised User Profile Generation for Personalization

यह शोध पत्र BUMP को पेश करता है, जो एक स्व-पर्यवेक्षित (self-supervised) फ्रेमवर्क है जो एक बड़े भाषा मॉडल (large language model) को व्यक्तिगत अनुभव (personalization) के लिए उपयोगकर्ता प्रोफाइल उत्पन्न करने हेतु प्रशिक्षित करता है, जिसमें GRPO के साथ एक द्विदिश इन-बैच रैंकिंग (bidirectional in-batch ranking) उद्देश्य का उपयोग किया गया है, जो महंगे डाउनस्ट्रीम टास्क लेबल की आवश्यकता को समाप्त करता है और पर्यवेक्षित (supervised) विधियों के तुलनीय या उनसे बेहतर प्रदर्शन प्राप्त करता है।

मूल लेखक: Clark Mingxuan Ju, Yuwei Qiu, Tong Zhao, Neil Shah

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Clark Mingxuan Ju, Yuwei Qiu, Tong Zhao, Neil Shah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा भुलक्कड़ सहायक (AI) है। आप चाहते हैं कि यह सहायक आपको इतनी अच्छी तरह से जान ले कि वह ठीक उसी तरह से ईमेल लिख सके, फिल्में सुझा सके या आपके सवालों के जवाब दे सके जैसे आप पसंद करते हैं।

समस्या यह है कि आपके पास इस सहायक के साथ वर्षों की हज़ारों बातचीत का इतिहास है। यदि आप हर बार सवाल पूछने पर सहायक को अपना पूरा इतिहास खिलाने की कोशिश करते हैं, तो वह अभिभूत (overwhelmed), धीमा और भ्रमित हो जाता है। यह एक विशिष्ट पुस्तक खोजने के लिए पूरी लाइब्रेरी पढ़ने जैसा है।

समाधान: एक "यूज़र आईडी कार्ड"
सहायक पर पूरी लाइब्रेरी डालने के बजाय, यह प्रस्ताव प्रत्येक उपयोगकर्ता के लिए एक छोटा, स्वाभाविक भाषा वाला "आईडी कार्ड" या प्रोफ़ाइल बनाने का सुझाव देता है। यह प्रोफ़ाइल इस बात का सारांश है कि आप कौन हैं और आपको क्या पसंद है। सहायक अपने सवाल का जवाब देने से पहले इस छोटे से कार्ड को पढ़ता है, जिससे ऐसा महसूस होता है कि वह आपको व्यक्तिगत रूप रूप से जानता है।

पुराना तरीका बनाम नया तरीका (BUMP)

पुराना तरीका: इन आईडी कार्डों को लिखने के लिए AI को सिखाने के लिए, शोधकर्ताओं को आमतौर पर एक शिक्षक की आवश्यकता होती थी जो हर एक कार्ड को ग्रेड दे सके। "यह कार्ड फिल्में सुझाने के लिए अच्छा है," शिक्षक कहता। "यह वाला ईमेल लिखने के लिए बुरा है।" यह महंगा, धीमा है और हर नए कार्य के लिए डेटा को लेबल करने के लिए मानव श्रम की आवश्यकता होती है।
नया तरीका (BUMP): लेखकों ने BUMP (Bidirectional User Modeling via Profiles) नामक एक प्रणाली बनाई है। यह AI को बिना किसी मानव शिक्षक या लेबल के ये प्रोफ़ाइल लिखना सिखाती है। यह एक "सेल्फ-चेक" (स्वयं-जांच) पद्धति का उपयोग करता है।

BUMP कैसे काम करता है: "दो-तरफा दर्पण" परीक्षण
कल्पना कीजिए कि लोगों से भरा एक कमरा है (उपयोगकर्ताओं का एक बैच)। AI व्यक्ति A के लिए एक प्रोफ़ाइल लिखने की कोशिश करता है। यह देखने के लिए कि क्या प्रोफ़ाइल अच्छी है, वह एक छोटे, स्थिर "जज" (Judge) AI का उपयोग करके दो परीक्षण चलाता है:

"पहचानो कौन" परीक्षण (फॉरवर्ड डायरेक्शन):
AI जज को व्यक्ति A का नया प्रोफ़ाइल और व्यक्ति A तथा कई अन्य लोगों की हालिया गतिविधियों का ढेर दिखाता है।
- प्रश्न: "इस प्रोफ़ाइल के आधार पर, इनमें से कौन सी गतिविधियाँ व्यक्ति A की हैं?"
- लक्ष्य: यदि प्रोफ़ाइल अच्छी है, तो जज को आसानी से अन्य सभी के ऊपर व्यक्ति A की गतिविधियों को चुन लेना चाहिए।
"मैं कौन हूँ?" परीक्षण (बैकवर्ड डायरेक्शन):
AI जज को व्यक्ति A की एक हालिया गतिविधि और व्यक्ति A तथा अन्य लोगों के प्रोफ़ाइलों का ढेर दिखाता है।
- प्रश्न: "इस गतिविधि के आधार पर, किसका प्रोफ़ाइल इससे सबसे अच्छी तरह मेल खाता है?"
- लक्ष्य: यदि प्रोफ़ाइल अच्छी है, तो जज तुरंत व्यक्ति A के प्रोफ़ाइल को अन्य लोगों के प्रोफ़ाइल से बेहतर चुन लेगा।

यदि AI दोनों परीक्षणों को पास कर सकता है, तो वह जानता है कि उसने वास्तव में उस विशिष्ट व्यक्ति की पहचान को कैप्चर करने वाली प्रोफ़ाइल लिखी है। वह इन परीक्षणों को बार-बार पास करने की कोशिश करके सीखता है, जिसमें "जज" का उपयोग उसे स्कोर देने के लिए किया जाता है, बिना किसी इंसान के यह कहे कि "अच्छा काम किया।"

"हार्ड मोड" अपग्रेड (BUMP+)
कभी-कभी, "जज" के लिए लोगों को अलग पहचानना बहुत आसान हो जाता है (उदाहरण के लिए, एक शेफ के प्रोफ़ाइल की तुलना रॉक स्टार से करना बहुत स्पष्ट है)। AI को स्मार्ट बनाने के लिए, BUMP+ एक "हार्ड मोड" जोड़ता है। यह विशेष रूप से उन लोगों को खोजता है जो उपयोगकर्ता के बहुत समान हैं (जैसे दो शेफ) और AI को उन्हें अलग पहचानने के लिए एक प्रोफ़ाइल लिखने के लिए मजबूर करता है। यह प्रोफ़ाइल को बहुत अधिक सटीक बनाता है।

परिणाम
शोधकर्ताओं ने एक मानक सेट (LaMP) पर इन कार्यों का परीक्षण किया। उन्होंने पाया कि:

उनकी स्व-शिक्षित प्रणाली (BUMP+) उन प्रणालियों के बराबर या उनसे बेहतर प्रदर्शन करती है जिन्हें महंगे मानव लेबलिंग की आवश्यकता होती है।
उनका सिस्टम, जो एक अपेक्षाकृत छोटे ओपन-सोर्स मॉडल पर चल रहा है, पर्सनलाइजेशन कार्यों में एक विशाल, महंगे, क्लोज्ड-सोर्स AI (Gemini-3-Pro) को भी पीछे छोड़ देता है।
यह एक उपयोगकर्ता के लंबे इतिहास को एक छोटे, उपयोगी सारांश में संकुचित करके काम करता है जो AI को एक पुराने दोस्त जैसा महसूस कराता है।

संक्षेप में
BUMP एक तरीका है जिससे आप AI को आपके लिए एक आदर्श "यूज़र बायो ग्राफी" लिखना सिखा सकते हैं, किसी इंसान द्वारा उसके काम को ग्रेड देने के बजाय, बल्कि AI को अन्य उपयोगकर्ताओं की भीड़ के खिलाफ "प्रोफ़ाइल को व्यक्ति से मिलाने" का खेल खेलने के माध्यम से। यह AI को व्यक्तिगत महसूस कराने का एक स्मार्ट, सस्ता और अधिक स्केलेबल तरीका है।

तकनीकी सारांश: प्रोफाइल के माध्यम से द्विआयामी उपयोगकर्ता मॉडलिंग (BUMP)

समस्या विवरण

पर्सनलाइजेशन (वैयक्तिकरण) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुकूलित करना एक महत्वपूर्ण चुनौती है क्योंकि इन मॉडल्स को अनुशंसा (recommendation), खोज (search), संवाद (dialogue) और सामग्री निर्माण (content generation) में तैनात किया जा रहा है। पारंपरिक उपयोगकर्ता प्रतिनिधित्व विधियाँ, जैसे कि कोलैबोरेटिव-फिल्टरिंग एम्बेडिंग्स, पारंपरिक रूप से इंस्ट्रक्शन-ट्यून्ड LLMs के साथ सहजता से इंटरफेस नहीं करती हैं, जो कंडीशनिंग के लिए प्रॉम्प्ट्स पर निर्भर करते हैं। इसके अलावा, प्रॉम्प्ट में उपयोगकर्ता के संपूर्ण इंटरेक्शन इतिहास को जोड़ना बड़े पैमाने पर अव्यवहारिक है, क्योंकि यह कॉन्टेक्स्ट विंडो की सीमाओं, लेटेंसी (विलंबता) और "लॉस्ट इन द मिडल" (lost in the middle) की घटना के कारण होता है, जहाँ लंबे कॉन्टेक्स्ट में महत्वपूर्ण संकेत क्षीण हो जाते हैं।

प्राकृतिक-भाषा उपयोगकर्ता प्रोफाइल उत्पन्न करने वाली मौजूदा पद्धतियाँ आमतौर पर लेबल किए गए डाउनस्ट्रीम कार्यों से प्राप्त स्पष्ट पुरस्कारों (explicit rewards) पर निर्भर करती हैं (जैसे कि क्लिक-थ्रू रेट या विशिष्ट वर्गीकरण लेबल)। यह निर्भरता महत्वपूर्ण बाधाएँ उत्पन्न करती है:

स्केलेबिलिटी (Scalability): पुरस्कार महंगे और विरल (sparse) होते हैं, जिनके लिए प्रत्येक लक्षित कार्य के लिए एनोटेटेड सुपरविजन की आवश्यकता होती है।
सामान्यीकरण (Generalization): विशिष्ट लेबल वाले कार्यों के लिए अनुकूलित प्रोफाइल अन्य डोमेन या ज़ीरो-शॉट परिदृश्यों में अच्छी तरह से स्थानांतरित नहीं हो सकते हैं।
पूर्वाग्रह (Bias): प्रोफाइल विशिष्ट क्लासिफायर के लिए इंजीनियर किए गए फीचर्स बन जाते हैं न कि उपयोगकर्ता का एक निष्ठावान विवरण।

यह शोध प्रस्ताव करता है कि एक मजबूत प्रोफाइल जनरेटर को बिना किसी डाउनस्ट्रीम कार्य लेबल के, केवल कच्चे उपयोगकर्ता इंटरेक्शन लॉग्स पर निर्भर रहते हुए प्रशिक्षित किया जाना चाहिए।

कार्यप्रणाली: BUMP

लेखक बाइडायरेक्शनल यूजर मॉडलिंग वाया प्रोफाइल्स (BUMP) पेश करते हैं, जो एक सेल्फ-सुपरवाइज्ड फ्रेमवर्क है जो केवल कच्चे उपयोगकर्ता इंटरेक्शन डेटा का उपयोग करके एक प्रोफाइल जनरेटर को प्रशिक्षित करता है। मुख्य अंतर्ज्ञान यह है कि एक उच्च-गुणवत्ता वाला प्रोफाइल दो पूरक गुणों को संतुष्ट करना चाहिए:

अनुमानित (Predictive): प्रोफाइल को उपयोगकर्ता के भविष्य के (held-out) इंटरेक्शन का अनुमान लगाना चाहिए।
पहचान योग्य (Identifiable): उपयोगकर्ता के इंटरेक्शन को अन्य उपयोगकर्ताओं के बीच प्रोफाइल को विशिष्ट रूप से पहचानना चाहिए।

प्रशिक्षण ढांचा

सिस्टम एक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एल्गोरिदम का उपयोग करता है ताकि एक छोटे, फ्रोजन LLM को जज ( $J$ ) के रूप में उपयोग करके एक पॉलिसी $\pi_\theta$ (प्रोफाइल जनरेटर) को प्रशिक्षित किया जा सके। प्रशिक्षण प्रक्रिया उपयोगकर्ताओं के एक बैच $\mathcal{B}$ पर संचालित होती है:

डेटा विभाजन (Data Partitioning): प्रत्येक उपयोगकर्ता $u$ के लिए, इंटरेक्शन इतिहास को एक दृश्य प्रिफिक्स ( $H^{vis}_u$ ) में विभाजित किया जाता है जिसका उपयोग जेनरेशन के लिए किया जाता है, और एक होल्ड-आउट भाग ( $H^{ho}_u$ ) में, जिसका उपयोग सुपरविजन के लिए किया जाता है।
द्विदिश पुरस्कार डिज़ाइन (Bidirectional Reward Design): फ्रोजन जज $J$ $J$ दो रैंकिंग दिशाओं के आधार पर एक सघन (dense) रिवॉर्ड की गणना करता है:
- फॉरवर्ड दिशा (प्रोफाइल $\to$ इतिहास): उत्पन्न प्रोफाइल $s_u$ का उपयोग उपयोगकर्ता के होल्ड-आउट आइटम्स ( $H^{ho}_u$ ) को बैच के अन्य उपयोगकर्ताओं के आइटम्स के विरुद्ध रैंक करने के लिए एक क्वेरी के रूप में किया जाता है। रिवॉर्ड एक मल्टी-पॉजिटिव NDCG स्कोर है।
- बैकवर्ड दिशा (इतिहास $\to$ प्रोफाइल): एक होल्ड-आउट आइटम $h^{(p)}_u$ का उपयोग उपयोगकर्ता के उत्पन्न प्रोफाइल $s_u$ को बैच के अन्य प्रोफाइल्स के विरुद्ध रैंक करने के लिए एक क्वेरी के रूप में किया जाता है। रिवॉर्ड एक सिंगल-पॉजिटिव NDCG स्कोर है।
नियमितीकरण (Regularization):
- पोजीशन डिबायसिंग (Position Debiasing): LLM लिस्ट-रैंकर पोजीशन बायस को कम करने के लिए, कैंडिडेट आइटम्स को $M$ रैंडम ऑर्डर्स में प्रस्तुत किया जाता है, और NDCG स्कोर का औसत निकाला जाता है।
- लेंथ पेनल्टी (Length Penalty): यदि प्रोफाइल टोकन थ्रेशोल्ड $T$ से अधिक हो जाता है, तो एक सॉफ्ट पेनल्टी लागू की जाती है ताकि मॉडल जेनेरिक बॉयलरप्लेट टेक्स्ट के साथ प्रोफाइल को पैडिंग करके "रिवॉर्ड हैकिंग" न कर सके।
अनुकूलन (Optimization): कुल रिवॉर्ड $R(s_u)$ फॉरवर्ड और बैकवर्ड NDCG स्कोर को घटाकर प्राप्त लेंथ पेनल्टी का संयोजन है। GRPO इस रिवॉर्ड को अधिकतम करने के लिए $\pi_\theta$ को अपडेट करता है।

BUMP+: हार्ड-नेगेटिव माइनिंग

इस समस्या को हल करने के लिए जहाँ रैंडम इन-बैच नेगेटिव्स बहुत आसान (विषयगत रूप से असंबंधित) होते हैं, लेखक BUMP+ प्रस्तावित करते हैं। यह वेरिएंट हार्डर नेगेटिव्स को खोजने के लिए एक फ्रोजन एम्बेडिंग मॉडल (BGE) का उपयोग करता है:

फॉरवर्ड: उपयोगकर्ता के उन होल्ड-आउट आइटम्स का चयन करता है जो उनके दृश्य इतिहास से विषयगत रूप से भिन्न (इतिहास सेंट्रॉइड से कम समानता) हैं।
बैकवर्ड: उन उपयोगकर्ताओं के प्रोफाइल्स का चयन करता जिनके दृश्य इतिहास लक्षित उपयोगकर्ता के समान हैं, जिससे जज को अत्यधिक समान उपयोगकर्ता प्रोफाइल्स के बीच अंतर करने के लिए मजबूर किया जा सके।

मुख्य योगदान

नया सेल्फ-सुपरवाइज्ड ऑब्जेक्टिव: शोध पत्र उपयोगकर्ता प्रोफाइल जेनरेशन को एक द्विदिश इन-बैच रैंकिंग समस्या के रूप में तैयार करता है, जो डाउनस्ट्रीम लेबल के बिना कच्चे लॉग्स से सघन सुपरविजन प्राप्त करता है।
BUMP और BUMP+: GRPO और एक फ्रोजन LLM जज का उपयोग करके इस ऑब्जेक्टिव का इंस्टेंशिएशन, जिसे लर्निंग सिग्नल को तेज करने के लिए हार्ड-नेगेटिव माइनिंग द्वारा बढ़ाया गया है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि एक 4B पैरामीटर वाला सेल्फ-सुपरवाइज्ड मॉडल, लेबल किए गए रिवॉर्ड्स पर निर्भर करने वाली पूर्व पद्धतियों और क्लोज्ड-सोर्स APIs (जैसे Gemini-3-Pro) की बराबरी कर सकता है या उनसे बेहतर प्रदर्शन कर सकता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन LaMP बेंचमार्क पर किया गया, जिसमें पांच डोमेन (वर्गीकरण, रिग्रेशन और जेनरेशन) में छह कार्य शामिल हैं।

टास्क-सुपरवाइज्ड मेथड्स बनाम प्रदर्शन: BUMP+ ने 11 मीट्रिक पंक्तियों में से 9 पर "डायरेक्ट रिवॉर्ड" बेसलाइन (जो लेबल किए गए डाउनस्ट्रीम सिग्नल्स का उपयोग करता है) की बराबरी की या उससे बेहतर प्रदर्शन किया। यह पुष्टि करता है कि सेल्फ-सुपरविजन लेबल किए गए रिवॉर्ड्स का स्थान ले सकता है।
क्लोज्ड-सोर्स APIs बनाम प्रदर्शन: BUMP+ ने सभी 11 मीट्रिक पंक्तियों पर काफी छोटे (4B) ओपन-वेट मॉडल के बावजूद क्लोज्ड-सोर्स Gemini-3-Pro को पछाड़ दिया।
रॉ हिस्ट्री (Raw History) बनाम तुलना: जबकि रॉ हिस्ट्री जेनरेशन कार्यों (जहाँ सरफेस-लेवल n-gram ओवरलैप को पुरस्कृत किया जाता है) में सबसे अच्छा प्रदर्शन करती थी, BUMP+ ने वर्गीकरण और रेटिंग कार्यों पर रॉ हिस्ट्री की तुलना में काफी बेहतर प्रदर्शन किया, जहाँ वर्टेबर टेक्स्ट की तुलना में विषयगत प्राथमिकताएं अधिक महत्वपूर्ण हैं।
एब्लेशन स्टडीज (Ablation Studies):
- फॉरवर्ड या बैकवर्ड में से किसी एक को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि दोनों आवश्यक हैं।
- केवल "फॉरवर्ड" दिशा अकेले "बैकवर्ड" दिशा की तुलना में अधिक प्रभावी थी, जो यह सुझाव देती है कि फॉरवर्ड टर्म प्राथमिक कार्य-प्रासंगिक सिग्नल को संचालित करता है जबकि बैकवर्ड टर्म जेनेरिक प्रोफाइल्स के खिलाफ एक रेगुलराइज़र के रूप में कार्य करता है।
- हार्ड-नेगेटिव माइनिंग (BUMP+) ने रैंडम नेगेटिव्स की तुलना में महत्वपूर्ण लाभ प्रदान किया, हालांकि अत्यधिक माइनिंग ने शोर (noise) भी पेश किया।

महत्व और दावे

शोध पत्र का दावा है कि सेल्फ-सुपरवाइज्ड लर्निंग टेक्स्टुअल यूजर प्रोफाइल्स को प्रशिक्षित करने के लिए लेबल किए गए डाउनस्ट्रीम रिवॉर्ड्स को प्रभावी ढंग से बदल सकती है। द्विदिश रैंकिंग के माध्यम से उपयोगकर्ता इंटरेक्शन लॉग्स की अंतर्निहित संरचना का लाभ उठाकर, BUMP ऐसे प्रोफाइल बनाता है जो हैं:

टास्क-अग्नोस्टिक (Task-Agnostic): किसी विशिष्ट क्लासिफायर के लिए फीचर होने के बजाय उपयोगकर्ता का एक निष्ठावान विवरण होने के लिए अनुकूलित, जो बिना रिट्रेनिंग के क्रॉस-टास्क ट्रांसफर को सक्षम बनाता है।
स्केलेबल (Scalable): सुपरविजन बजट मैन्युअल एनोटेशन के बजाय उपयोगकर्ता आबादी के साथ स्वतः बढ़ता है।
कुशल (Efficient): परिणामी प्रोफाइल कॉम्पैक्ट, फिक्स्ड-साइज़ रिप्रेजेंटेशन हैं जिन्हें इन्फरेंस के समय पूर्ण इंटरेक्शन इतिहास को प्रोसेस करने की लेटेंसी और मेमोरी लागतों से बचने के लिए प्री-कंप्यूट और कैश किया जा सकता है।

लेखक सीमाओं को स्वीकार करते हैं, जिनमें LLM-as-a-judge में निहित संभावित पूर्वाग्रह (जैसे वर्बोसिटी, सेल्फ-प्रेफरेंस) और हार्ड-नेगेटिव माइनिंग में कन्फ्यूसेबिलिटी के प्रॉक्सी के रूप में एम्बेडिंग समानता पर निर्भरता शामिल है। हालाँकि, परिणाम बताते हैं कि द्विदिश सेल्फ-सुपरविजन पारंपरिक सुपर्वाइज्ड प्रोफाइल जेनरेशन के लिए एक व्यवहार्य और शक्तिशाली विकल्प है।