💬 NLP

Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

यह शोध पत्र PURPLE को प्रस्तुत करता है, जो एक कॉन्टेक्स्टुअल बैंडिट फ्रेमवर्क है जो रिट्रीवल-ऑगमेंटेड LLM पर्सनलाइजेशन के लिए यूजर प्रोफाइल्स को अनुकूलित करने हेतु सिमेंटिक रेलेवेंस (semantic relevance) को जनरेशन लाइकलीहुड (generation likelihood) पर प्रशिक्षित प्लैकेट-लूस रैंकिंग मॉडल (Plackett-Luce ranking model) से बदलकर रिकॉर्ड चयन को सीधे रिस्पॉन्स क्वालिटी के साथ संरेखित करता है।

मूल लेखक: Linfeng Du, Ye Yuan, Zichen Zhao, Fuyuan Lyu, Emiliano Penaloza, Xiuying Chen, Zipeng Sun, Jikun Kang, Laurent Charlin, Xue Liu, Haolun Wu

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linfeng Du, Ye Yuan, Zichen Zhao, Fuyuan Lyu, Emiliano Penaloza, Xiuying Chen, Zipeng Sun, Jikun Kang, Laurent Charlin, Xue Liu, Haolun Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जानकार सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो दुनिया के बारे में सब कुछ जानता है लेकिन वह आपको नहीं जानता। यदि आप उससे पूछते हैं, "मुझे आज रात क्या देखना चाहिए?", तो वह शीर्ष-रेटेड फिल्मों की एक सामान्य सूची सुझा सकता है। लेकिन अगर उसे पता हो कि आपको 90 के दशक की कॉमेडी पसंद है और हॉरर फिल्में नापसंद हैं, तो वह आपको एकदम सटीक सुझाव दे सकता है।

समस्या यह है कि इस सहायक को आपकी विशिष्ट पसंद सिखाना कठिन है। आप हर बार मन बदलने पर उसके पूरे दिमाग को फिर से प्रशिक्षित (retrain) नहीं कर सकते (यह बहुत महंगा और धीमा है)। इसलिए, इसके बजाय हम उसे आपके पिछले इंटरैक्शन (इतिहास) का एक "चीट शीट" (cheat sheet) देते हैं।

यह पेपर, PURPLE, इस बात का समाधान करता है कि हम इन चीट शीट्स को कैसे बनाते हैं। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: "प्रासंगिकता" (Relevance) का मतलब "उपयोगिता" (Helpfulness) नहीं है

कल्पना कीजिए कि आप शुक्रवार की रात के लिए एक सुकून देने वाली फिल्म (relaxing movie) ढूंढ रहे हैं।

पुराना तरीका (प्रासंगिकता): सिस्टम आपके इतिहास को देखता है और देखता है कि आपने एक बार "Friday Night Lights" नामक फिल्म देखी थी। वह सोचता है, "'Friday Night' क्वेरी में है! चलो इसे दिखाते हैं!" लेकिन वह एक उच्च-तनाव वाला स्पोर्ट्स ड्रामा है। यह कीवर्ड्स के मामले में प्रासंगिक है, लेकिन आपके लक्ष्य के लिए बेकार (और वास्तव में परेशान करने वाला) है।
PURPLE का तरीका (उपयोगिता): सिस्टम गहराई से देखता है। वह देखता है कि आपने पिछले हफ्ते एक सुकून देने वाली कॉमेडी और प्रकृति पर एक डॉक्यूमेंट्री भी देखी थी। भले ही उनमें "Friday" या "Night" जैसे शब्द न हों, लेकिन वे आपके 'तनाव मुक्त होने के इरादे' (intent) को दर्शाते हैं। PURPLE उन विकल्पों को चुनता है।

उपमा (Analogy):
एक हाइक (पदयात्रा) के लिए अपना सर्वाइवल किट तैयार करने के बारे में सोचें।

प्रासंगिकता-आधारित सिस्टम केवल उन चीजों को उठा लेते हैं जो आपके अनुरोध के शब्दों से मेल खाती हैं। यदि आप कहते हैं "मुझे पानी चाहिए," तो वे कोला की बोतल उठा सकते हैं क्योंकि उसकी सामग्री सूची में "पानी" (water) है।
PURPLE एक अनुभवी गाइड की तरह काम करता है। वह जानता है कि भले ही एक फ्लैशलाइट "पानी" जैसी न दिखती हो, लेकिन वह आपके विशिष्ट हाइक के लिए कोला की तुलना में अधिक उपयोगी है। वह उन चीजों को चुनता है जो वास्तव में आपको जीवित रहने (या इस मामले में, एक अच्छा उत्तर पाने) में मदद करती हैं।

2. जाल: अधिक का मतलब हमेशा बेहतर नहीं होता

पेपर एक दूसरी समस्या की ओर इशारा करता है: "किचन सिंक" (Kitchen Sink) की समस्या।
यदि आप बस आपके इतिहास से 5 सबसे "प्रासंगिक" आइटम उठा लेते हैं, तो वे आपस में टकरा सकते हैं।

उदाहरण: आप फैमिली नाइट के लिए एक फिल्म चाहते हैं।
- आइटम A: एक कॉमेडी जो आपको पसंद है।
- आइटम B: एक हॉरर फिल्म जो आपको भी पसंद है।
- आइटम C: बच्चों का एक कार्टून।
यदि आप AI को ये तीनों देते हैं, तो वह भ्रमित हो जाएगा। "क्या उन्हें डरावना चाहिए या प्यारा?" परिणाम एक अस्त-व्यस्त, खराब सिफारिश होगी।

उपमा:
कल्पना कीजिए कि आप सूप बनाने वाले एक शेफ हैं।

यदि आप बस 5 सबसे लोकप्रिय सामग्रियां (टमाटर, चॉकलेट, नमक, काली मिर्च और आइसक्रीम) डाल देते हैं, तो सूप का स्वाद बहुत खराब होगा।
PURPLE एक मास्टर शेफ की तरह काम करता है जो जानता है कि चॉकलेट और नमक आपस में मेल नहीं खाते, लेकिन टमाटर और काली मिर्च एक साथ बेहतरीन काम करते हैं। वह केवल "सबसे अच्छे" सामग्रियां नहीं चुनता; वह उन सबसे अच्छे संयोजनों को चुनता है जो एक साथ अच्छी तरह काम करते हैं।

3. समाधान: "कॉन्टेक्स्टुअल बैंडिट" (Contextual Bandit)

PURPLE यह कैसे सीखता है कि वह इतना स्मार्ट शेफ कैसे बने? यह कॉन्टेक्स्टुअल बैंडिट की अवधारणा का उपयोग करता है।

कैसीनो की उपमा: एक कैसीनो की कल्पना करें जिसमें कई स्लॉट मशीनें (आपके इतिहास के रिकॉर्ड) हैं। आप नहीं जानते कि कौन सी मशीन सबसे अच्छा भुगतान करती है।
पुराना तरीका: आप बस उस मशीन का लीवर खींचते हैं जो सबसे चमकदार (सबसे प्रासंगिक) दिखती है।
PURPLE का तरीका: यह मशीनों के विभिन्न संयोजनों को आजमाता है। यदि रिकॉर्डों का एक विशिष्ट संयोजन एक खुश उपयोगकर्ता (एक शानदार उत्तर) की ओर ले जाता है, तो यह खुद को एक "इनाम" (reward) देता है। यदि संयोजन भ्रमित करने वाला है, तो इसे "दंड" (penalty) मिलता है।

समय के साथ, PURPLE एक रणनीति (policy) सीख जाता है जो कहती है: " 'रिलैक्सिंग मूवी' के बारे में क्वेरी के लिए, मुझे 'कॉमेडी' और 'नेचर डॉक' का लीवर खींचना चाहिए, लेकिन मुझे 'हॉरर' से बचना चाहिए, भले ही वह लोकप्रिय हो।"

4. गुप्त सूत्र: "उत्तर को महसूस करके" सीखना

अधिकांश सिस्टम सफलता का निर्णय इस बात से करते हैं कि उत्तर तथ्यात्मक रूप से सही है या नहीं (जैसे गणित का टेस्ट)। PURPLE कुछ अधिक स्मार्ट करता है।
यह AI से पूछता है: "यदि मैं आपको यह विशिष्ट प्रोफाइल दूँ, तो आपके द्वारा एकदम सही उत्तर उत्पन्न करने की कितनी संभावना है?"

उपमा:

पुराना तरीका: लाल पेन से टेस्ट ग्रेड करने वाला एक शिक्षक। "तुम्हें 10 में से 8 मिले। यह एक B है।" (बहुत अस्पष्ट)।
PURPLE: अभ्यास सत्र देखते हुए एक कोच। "यदि आप इस तरह दौड़ेंगे, तो आप जीत जाएंगे। यदि आप उस तरह दौड़ेंगे, तो आप लड़खड़ा जाएंगे।" यह प्रशिक्षण के लिए सफलता की संभावना (probability) का उपयोग करता है, जो एक बहुत अधिक समृद्ध और विस्तृत संकेत है।

सारांश

PURPLE एक नया सिस्टम है जो AI सहायकों के लिए "चीट शीट्स" बनाता है। केवल सबसे समान पिछले नोट्स उठाने के बजाय, यह एक स्मार्ट संपादक की तरह कार्य करता है:

यह सतही कीवर्ड मिलान को अनदेखा करता है।
यह आपके इतिहास के पीछे के इरादे (intent) को देखता है।
यह नोट्स को सावधानीपूर्वक चुनता है और व्यवस्थित करता है ताकि वे एक-दूसरे का विरोध न करें।
यह अंतिम परिणाम का अनुकरण करके सीखता है, जिससे यह सुनिश्चित होता है कि AI आपको सबसे अच्छा संभव उत्तर दे।

परिणाम? एक ऐसा AI जो एक सर्च इंजन के बजाय एक ऐसे दोस्त जैसा महसूस होता है जो वास्तव में आपकी पसंद को जानता है।

यहाँ शोध पत्र "Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization" (PURPLE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र फाइन-ट्यूनिंग (जैसे RLHF या LoRA) की उच्च कम्प्यूटेशनल लागत के बिना लार्ज लैंग्वेज मॉडल्स (LLMs) को व्यक्तिगत बनाने (Personalization) की चुनौती को संबोधित करता है। जबकि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) उपयोगकर्ता के इतिहास को प्रॉम्प्ट में इंजेक्ट करके एक हल्का विकल्प प्रदान करता है, मौजूदा पद्धतियाँ दो गंभीर दोषों से ग्रस्त हैं:

प्रासंगिकता $\neq$ उपयोगिता (Relevance $\neq$ Utility): वर्तमान प्रणालियाँ क्वेरी के साथ सिमेंटिक या लेक्सिकल समानता के आधार पर उपयोगकर्ता रिकॉर्ड चुनती हैं। हालाँकि, एक रिकॉर्ड सिमेंटिक रूप से समान होने के बावजूद रेडंडेंसी (अतिरेक), विरोधाभासी जानकारी, या उपयोगकर्ता के अंतर्निहित इरादे के साथ मिसअलाइनमेंट के कारण जनरेशन की गुणवत्ता के लिए हानिकारक हो सकता है।
ग्रीडी सिलेक्शन की विफलता (Greedy Selection Failure): मौजूदा दृष्टिकोण आमतौर पर स्वतंत्र रूप से शीर्ष- $k$ सबसे प्रासंगिक रिकॉर्ड चुनते हैं। यह इंटर-रिकॉर्ड डिपेंडेंसी (अंतर्-रिकॉर्ड निर्भरता) की अनदेखी करता है; व्यक्तिगत रूप से "अच्छे" रिकॉर्डों का संयोजन प्रदर्शन को खराब कर सकता है यदि वे आपस में संघर्ष करते हैं या कंडीशनिंग सिग्नल को कमज़ोर करते हैं। एक यूजर प्रोफाइल की उपयोगिता नॉन-मोनोटोनिक (गैर-एकदिष्ट) होती है—अधिक रिकॉर्ड जोड़ने से बेहतर परिणाम सुनिश्चित नहीं होते हैं।

मुख्य समस्या यह है: रिकॉर्ड्स के इतिहास से एक क्रमबद्ध यूजर प्रोफाइल कैसे बनाया जाए जो केवल सिमेंटिक प्रासंगिकता के बजाय डाउनस्ट्रीम जनरेशन की गुणवत्ता (उपयोगिता) को अधिकतम करे?

2. कार्यप्रणाली: PURPLE फ्रेमवर्क (Methodology: PURPLE Framework)

लेखक PURPLE (oPtimizes UseR Profiles for LLM pErsonalization) प्रस्तावित करते हैं, जो प्रोफाइल निर्माण को एक कॉन्टेक्स्टुअल बैंडिट (Contextual Bandit) समस्या के रूप में प्रस्तुत करता है।

A. समस्या का स्वरूप (Problem Formulation)

कॉन्टेक्स्ट ( $C$ ): वर्तमान क्वेरी ( $x$ ) और उपयोगकर्ता का पूर्ण रिकॉर्ड इतिहास ( $H$ )।
एक्शन ( $P$ ): प्रोफाइल बनाने के लिए $H$ से $K$ रिकॉर्ड्स का एक क्रमबद्ध टुपल (ordered tuple) चुनना। क्रम महत्वपूर्ण है क्योंकि LLMs प्रॉम्प्ट सीक्वेंस के प्रति संवेदनशील होते हैं।
रिवॉर्ड ( $R$ ): एक संदर्भ प्रतिक्रिया (reference response) ( $y$ ) के विरुद्ध मापा गया, प्रोफाइल और क्वेरी के दिए जाने पर LLM के जनरेशन की गुणवत्ता।
उद्देश्य: एक ऐसी पॉलिसी $\pi_\theta$ सीखना जो अपेक्षित रिवॉर्ड $E[R]$ को अधिकतम करती है।

B. मॉडल आर्किटेक्चर (Model Architecture)

प्लैकेट-लूस (Plackett-Luce - PL) रैंकिंग मॉडल:
- स्वतंत्र स्कोरिंग के बजाय, PURPLE रिकॉर्ड्स के परम्यूटेशन (permutations) को प्रायिकता (probability) देने के लिए PL मॉडल का उपयोग करता है।
- यह प्रत्येक रिकॉर्ड के लिए एक प्रोपेंसिटी स्कोर (propensity score) आउटपुट करता है, जो सभी संभावित क्रमबद्ध प्रोफाइल्स के वितरण को पैरामीटराइज़ करता है।
- यह मॉडल को इंटर-रिकॉर्ड डिपेंडेंसी को कैप्चर करने की अनुमति देता है (उदाहरण के लिए, यह पहचानना कि जब संयोजित किया जाता है तो रिकॉर्ड A और रिकॉर्ड B रेडंडेंट हैं)।
यूजर रिकॉर्ड एनकोडर ( $f_\theta$ ):
- यह एक लेट इंटरैक्शन स्ट्रैटेजी (late interaction strategy) का उपयोग करता है।
- एक प्री-ट्रेन्ड एनकोडर (Contriever) क्वेरी और रिकॉर्ड्स के लिए टोकन एम्बेडिंग्स जेनरेट करता है।
- रिकॉर्ड्स, इरादे (intent) को फ्यूज करने के लिए क्वेरी के साथ टोकन-लेवल क्रॉस-अटेंशन से गुजरते हैं।
- इसके बाद एक ट्रांसफॉर्मर एनकोडर परिणामी रिकॉर्ड एम्बेडिंग्स के बीच निर्भरता को मॉडल करता है (बायस से बचने के लिए बिना पोजीशनल एनकोडिंग के)।
पॉलिसी ग्रेडिएंट के माध्यम से प्रशिक्षण (Training via Policy Gradient):
- चूंकि रिवॉर्ड नॉन-डिफरेंशिएबल है, इसलिए PURPLE लाइक्लीहुड रेशियो ग्रेडिएंट एस्टिमेटर (REINFORCE) का उपयोग करता है।
- प्रशिक्षण के दौरान, यह PL वितरण से $M$ प्रोफाइल्स को सैंपल करता है, प्रतिक्रियाएं जेनरेट करता है, और रिवॉर्ड के आधार पर ग्रेडिएंट्स की गणना करता है।
- रिवॉर्ड फंक्शन: टास्क-विशिष्ट मेट्रिक्स (जैसे ROUGE) के बजाय, PURPLE फ्रोजन LLM द्वारा जेनरेट की गई संदर्भ प्रतिक्रिया के लॉग-लाइक्लीहुड (log-likelihood) का उपयोग करता है। यह एक सिमेंटिक रूप से समृद्ध, सूक्ष्म सिग्नल प्रदान करता है जो मोटे मेट्रिक्स की तुलना में जनरेशन की गुणवत्ता के साथ बेहतर सहसंबंध रखता है।

C. इन्फरेंस (Inference)

इन्फरेंस के समय, मॉडल सभी कैंडिडेट रिकॉर्ड्स के लिए प्रोपेंसिटी स्कोर की गणना करता है।
अंतिम यूजर प्रोफाइल बनाने के लिए इन स्कोर के आधार पर टॉप- $K$ रिकॉर्ड्स को चुना और व्यवस्थित किया जाता है, जिसे फिर फ्रोजन LLM को फीड किया जाता है।

3. मुख्य योगदान (Key Contributions)

नया स्वरूप: PURPLE पेश करता है, जो रिट्रीवल-ऑगमेंटेड पर्सनलाइजेशन को कॉन्टेक्स्टुअल बैंडिट समस्या के रूप में मानने वाला पहला फ्रेमवर्क है, जो उपयोगिता के लिए अनुकूलित है न कि केवल प्रासंगिकता के लिए।
डिपेंडेंसी मॉडलिंग: रिकॉर्ड उपयोगिता की नॉन-एडिटिव प्रकृति को संभालने के लिए प्लैकेट-लूस मॉडल का उपयोग करता है, जो उन जटिल इंटरैक्शन और ऑर्डरिंग प्रभावों को कैप्चर करता है जिन्हें ग्रीडी सिलेक्शन मिस कर देता है।
सिमेंटिकली रिच रिवॉर्ड: प्रशिक्षण सिग्नल के रूप में रेफरेंस रिस्पॉन्स के लॉग-लाइक्लीहुड का उपयोग करने का प्रस्ताव देता है, जो बारीक फीडबैक प्रदान करके पारंपरिक टास्क-विशिष्ट मेट्रिक्स (Accuracy, ROUGE) से बेहतर प्रदर्शन करता है।
व्यापक मूल्यांकन: LaMP और LongLaMP बेंचमार्क पर नौ पर्सनलाइजेशन कार्यों (वर्गीकरण, रिग्रेशन, शॉर्ट/लॉन्ग-टेक्स्ट जनरेशन) में सत्यापन किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मजबूत बेसलाइन्स के विरुद्ध फ्रोजन LLMs (Phi-4-Mini, Llama-3-8B, और Llama-3-70B) का उपयोग करके PURPLE का मूल्यांकन किया:

बेसलाइन्स: ह्यूरिस्टिक रिट्रीवर्स (BM25, Contriever), इन-कॉन्टेक्स्ट RALMs (IC-RALM, REPLUG), और ज़ीरो-शॉट रेंकर (RankGPT, ICR)।
प्रदर्शन: PURPLE ने सभी कार्यों और मॉडल आकारों में लगातार सभी बेसलाइन्स को पछाड़ दिया।
- इसने वर्गीकरण (classification) में उच्च सटीकता/F1, रिग्रेशन में कम MAE, और जनरेशन में बेहतर ROUGE/METEOR स्कोर प्राप्त किया।
- विशेष रूप से, PURABLE ने बहुत बड़े मॉडल्स (जैसे RankGPT आधारित GPT-5-nano) को भी पीछे छोड़ दिया, जबकि यह काफी अधिक कुशल था।
दक्षता (Efficiency): PURPLE उच्च कम्प्यूटेशनल थ्रूपुट बनाए रखता है, जो प्रदर्शन-थ्रूपुट ट्रेड-ऑफ में ICR और RankGPT से बेहतर है।
मानव मूल्यांकन: ट्वीट पैराफ्रेसिंग पर एक ब्लाइंड स्टडी में, मानव मूल्यांकनकर्ताओं ने सर्वश्रेष्ठ बेसलाइन (ICR) की तुलना में PURPLE के आउटपुट को 14.4% के अंतर से पसंद किया, जिसमें बेहतर यूजर पर्सोना, टोन और स्टाइल को रेखांकित किया गया।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि की कि टोकन-लेवल क्रॉस-अटेंशन, इंटर-रिकॉर्ड डिपेंडेंसी मॉडलिंग (Transformer), या मेट्रिक-आधारित रिवॉर्ड्स में स्विच करने से प्रदर्शन में काफी गिरावट आई।

5. महत्व और निष्कर्ष (Significance and Conclusion)

पैराडाइम शिफ्ट: यह पेपर RAG में मानक "प्रासंगिकता-आधारित" रिट्रीवल प्रतिमान को चुनौती देता है, यह प्रदर्शित करता है कि पर्सनलाइजेशन के लिए उपयोगिता-आधारित अनुकूलन (utility-based optimization) अत्यंत महत्वपूर्ण है।
स्केलेबिलिटी: LLM के पैरामीटर अपडेट को टालकर और एक हल्के रेंकिंग पॉलिसी का उपयोग करके, PURPLE रियल-टाइम पर्सनलाइजेशन के लिए एक स्केलेबल, पारदर्शी और तैनात करने योग्य समाधान प्रदान करता है।
सैद्धांतिक अंतर्दृष्टि: यह स्थापित करता है कि यूजर प्रोफाइल्स ऑर्डर-सेंसिटिव (क्रम-संवेदनशील) होते हैं और रिकॉर्ड उपयोगिता नॉन-मोनोटोनिक होती है, जिसके लिए इंडिपेंडेंट सिलेक्शन के बजाय लिस्ट-अवेयर रीजनिंग की आवश्यकता होती है।
भविष्य का कार्य: लेखक प्रशिक्षण (सुपरविजन) के लिए रेफरेंस रिस्पॉन्स पर निर्भरता और अनदेखे कार्यों में बेहतर सामान्यीकरण की आवश्यकता के संबंध में सीमाओं को नोट करते हैं, जो इम्प्लिसिट यूजर फीडबैक का लाभ उठाने की दिशाओं का सुझाव देते हैं।

संक्षेप में, PURPLE यूजर प्रोफाइल निर्माण को एक अनुक्रमिक निर्णय लेने वाली समस्या (sequential decision-making problem) के रूप में मानकर, डाउनस्ट्रीम जनरेशन की गुणवत्ता के लिए अनुकूलित करके LLMs को पर्सनलाइज करने का एक सिद्धांतपूर्ण, स्केलेबल और अत्यधिक प्रभावी दृष्टिकोण प्रदान करता है।