💬 NLP

Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering

यह शोध पत्र PR2 प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो अनुकूलन योग्य नीतियों को सीखने के माध्यम से व्यक्तिगत प्रश्न उत्तर प्रक्रिया को बढ़ाता है ताकि यह गतिशील रूप से निर्धारित किया जा सके कि कब और क्या व्यक्तिगत संदर्भ प्राप्त करना है, जिससे उपयोगकर्ता-विशिष्ट संकेतों के साथ बहु-चरणीय तर्क को एकीकृत किया जा सके और मौजूदा रिट्रीवल-ऑगमेंटेड जनरेशन बेसलाइनों से काफी बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Maryam Amirizaniani, Alireza Salemi, Hamed Zamani

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Maryam Amirizaniani, Alireza Salemi, Hamed Zamani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी स्मार्ट असिस्टेंट से सलाह मांग रहे हैं, जैसे कि "वजन घटाने का सबसे अच्छा तरीका क्या है?"

यदि आप एक मानक AI से बात करते हैं, तो यह इंटरनेट के आधार पर एक सामान्य उत्तर देता है: "कम खाएं, अधिक चलें।" यह तकनीकी रूप से सही है, लेकिन यह आपको नहीं जानता। यह नहीं जानता कि आपके घुटने में चोट है, आप नाइट-शिफ्ट में काम करते हैं, या आपको दौड़ना पसंद नहीं है।

यदि आप एक पर्सनलाइज्ड (व्यक्तिगत) AI से बात करते हैं, तो इसे वे विवरण पता होने चाहिए और यह कह सकता है, "चूंकि आप रात में काम करते हैं और आपके घुटने में चोट है, इसलिए सुबह तैराकी करने और रविवार को मील-प्रेप (भोजन की तैयारी) करने का प्रयास करें।"

यह पेपर PR2 (पर्सनलाइज्ड रिट्रीवल-ऑगमेंटेड रीजनिंग) नामक एक नई प्रणाली पेश करता है ताकि AI असिस्टेंट वास्तव में आपको "जान" सकें। यह कैसे काम करता है, इसे सरल भाषा में यहाँ समझाया गया है।

समस्या: "आलसी लाइब्रेरियन"

वर्तमान पर्सनलाइज्ड AI सिस्टम एक आलसी लाइब्रेरियन की तरह काम करते हैं। जब आप कोई प्रश्न पूछते हैं, तो वे आपकी व्यक्तिगत शेल्फ से कुछ किताबें जल्दी से उठाते हैं जो आपके प्रश्न से संबंधित दिखती हैं और उन्हें उत्तर में चिपका देते हैं।

दोष: वे अक्सर गलत किताबें उठाते हैं या बहुत सतही तौर से उठाते हैं। वे वास्तव में यह नहीं सोचते कि आपको क्या चाहिए; वे बस कीवर्ड से मेल खाने वाली पहली चीज़ उठा लेते हैं। इससे ऐसे उत्तर मिलते हैं जो सतह पर तो "पर्सनलाइज्ड" लगते हैं लेकिन उन गहरे, विशिष्ट विवरणों को छोड़ देते हैं जो आपके लिए मायने रखते हैं।

समाधान: "फाइलिंग कैबिनेट वाला जासूस"

लेखक PR2 का प्रस्ताव देते हैं, जो एक विशाल फाइलिंग कैबिनेट (आपका व्यक्तिगत इतिहास) वाले जासूस की तरह कार्य करता है।

केवल फाइलें उठाने के बजाय, जासूस एक सख्त, स्मार्ट प्रक्रिया का पालन करता है:

पहले सोचें: कैबिनेट खोलने से पहले, जासूस सोचने के लिए रुकता है: "यह व्यक्ति वास्तव में क्या पूछ रहा है? उन्हें एक आदर्श उत्तर देने के लिए मुझे कौन से विशिष्ट विवरण खोजने की आवश्यकता है?"
रणनीतिक रूप से खोजें: जासूस केवल रैंडम फाइलें नहीं उठाता। वे विशिष्ट खोज प्रश्न (queries) लिखते हैं (जैसे, "उपयोगकर्ता की आहार संबंधी प्रतिबंधों के बारे में दस्तावेज़ खोजें" या "उनके पिछले वर्कआउट लॉग खोजें")।
पढ़ें और तर्क दें: वे मिले हुए दस्तावेज़ों को पढ़ते हैं, कड़ियों को जोड़ते हैं, और फिर निर्णय लेते हैं: "ठीक है, अब मेरे पास जानकारी है। यह मेरे उत्तर को कैसे बदलता है?"
यदि आवश्यक हो तो दोहराएं: यदि पहली खोज से पर्याप्त सुराग नहीं मिले, तो वे कुछ और खोजने के लिए वापस जाते हैं।

असली मंत्र: "करके सीखना" (रीइन्फोर्समेंट लर्निंग)

जासूस इसमें इतना कुशल कैसे बनता है? वे केवल एक मैनुअल नहीं पढ़ते; वे अभ्यास करते हैं और ग्रेड प्राप्त करते हैं।

यह सिस्टम GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विधि का उपयोग करता है। एक ट्रेनिंग कैंप की कल्पना करें जहाँ AI एक ही प्रश्न के लिए पाँच अलग-अलग उत्तर तैयार करता है:

उत्तर A: एक सामान्य उत्तर (कोई व्यक्तिगत जानकारी नहीं)।
उत्तर B: एक पर्सनलाइज्ड उत्तर जिसने गलत फाइलें उठाईं।
उत्तर C: एक पर्सनलाइज्ड उत्तर जिसने गहराई से सोचा और सही फाइलें खोजीं।

एक "जज" (एक सुपर-स्मार्ट AI) उन सभी को ग्रेड देता है।

यदि उत्तर C, उत्तर A की तुलना में बहुत बेहतर है, तो सिस्टम सीखता है: "बहुत बढ़िया काम! विशिष्ट जानकारी खोजना सार्थक था।"
यदि उत्तर B, उत्तर A से भी बदतर है (क्योंकि वह गलत जानकारी से भ्रमित हो गया), तो सिस्टम सीखता है: "रुकिए! उस विशिष्ट जानकारी को खोजने से चीजें और खराब हो गईं। अगली बार, बस एक सामान्य उत्तर दें।"

यह AI को सिखाता है कि उसे आपके इतिहास में कब गहराई तक जाना है और कब खुदाई बंद कर देनी है। यह AI को परेशान करने वाला या अप्रासंगिक होने से रोकता है।

परिणाम: एक स्मार्ट असिस्टेंट

शोधकर्ताओं ने LaMP-QA (जो जीवनशैली, कला और संस्कृति जैसे विषयों को कवर करता है) नामक एक बेंचमार्क का उपयोग करके तीन अलग-अलग AI मॉडल पर इसका परीक्षण किया।

परिणाम: PR2 ने लगातार अन्य सभी तरीकों को पछाड़ दिया। इसने पर्सनलाइज्ड उत्तरों की गुणवत्ता में लगभग 9% से 12% का सुधार किया।
प्रमाण: एक टेस्ट केस में, जब "पोस्टडॉक पब्लिकेशन एक्सपेक्टेशन्स" के बारे में पूछा गया, तो PR2 सिस्टम ने महसूस किया कि उसे उपयोगकर्ता के विशिष्ट क्षेत्र (गणित) और संस्थान को जानने की आवश्यकता है। उसने उपयोगकर्ता के इतिहास की खोज की, गणित की पृष्ठभूमि के बारे में एक नोट पाया, और गणित प्रकाशनों के बारे में एक अनुकूलित उत्तर दिया, जबकि अन्य सिस्टम सामान्य सलाह दे रहे थे।

संक्षेप में

PR2 आपके AI को एक कीवर्ड-मैचिंग रोबोट से बदलकर एक विचारशील सलाहकार में अपग्रेड करने जैसा है। यह केवल आपके इतिहास को देखता नहीं है; यह तर्क करता है कि आपके इतिहास के कौन से हिस्से मायने रखते हैं, बुद्धिमानी से उन्हें खोजता है, और केवल तभी उनका उपयोग करता है जब वे वास्तव में उत्तर को बेहतर बनाते हैं। यह एक ऐसे रोबोट के बीच का अंतर है जो कहता है "यहाँ एक डाइट प्लान है" और एक के बीच जो कहता है, "यहाँ एक डाइट प्लान है जो आपके विशिष्ट शेड्यूल और चोटों के अनुकूल है।"

यहाँ शोध पत्र "Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

पर्सनलाइज्ड क्वेश्चन अनswering (QA) का लक्ष्य ऐसे उत्तर उत्पन्न करना है जो न केवल तथ्यात्मक रूप से सटीक हों, बल्कि उपयोगकर्ता की विशिष्ट पृष्ठभूमि, प्राथमिकताओं और ऐतिहासिक संदर्भ के साथ भी संरेखित हों। हालाँकि वर्तमान अत्याधुनिक विधियाँ Retrieval-Augmented Generation (RAG) का उपयोग करती हैं, वे अक्सर सतही वैयक्तिकरण (surface-level personalization) से ग्रस्त होती हैं।

मौजूदा विधियों की सीमा: मानक दृष्टिकोण आमतौर पर उपयोगकर्ता के प्रश्न का सीधे उपयोग करके उनके प्रोफाइल से दस्तावेज़ों को पुनर्प्राप्त (retrieve) करते हैं और उन्हें प्रॉम्प्ट में जोड़ देते हैं। यह स्थिर रिट्रीवल रणनीति सूक्ष्म वैयक्तिकरण पहलुओं (जैसे कि किसी उपयोगकर्ता का व्यवसाय या चिकित्सा इतिहास) को पहचानने में विफल रहती है, जिन्हें खोजने के लिए विशिष्ट, बहु-चरणीय (multi-step) प्रश्नों की आवश्यकता हो सकती है।
अंतराल (The Gap): प्रभावी वैयक्तिकरण के लिए यह पहचानने के लिए तर्क (reasoning) की आवश्यकता होती है कि क्या जानकारी आवश्यक है, उसके बाद उस विशिष्ट साक्ष्य को प्राप्त करने के लिए बहु-चरणीय रिट्रीवल (multi-step retrieval), और अंत में उस साक्ष्य को तर्क प्रक्रिया में एकीकृत (integration) करना। वर्तमान मॉडलों में जनरेशन प्रक्रिया के दौरान यह निर्णय लेने की क्षमता का अभाव है कि कब रिट्रीव करना है, क्या रिट्रीव करना है, और उसका उपयोग कैसे करना है।

2. कार्यप्रणाली: PR2 फ्रेमवर्क (Methodology: PR2 Framework)

लेखक PR2 (Personalized Retrieval-Augmented Reasoning) प्रस्तावित करते हैं, जो एक Reinforcement Learning (RL) फ्रेमवर्क है जो रिट्रीवल को सीधे रीजनिंग ट्रेजेक्टरी में एकीकृत करता है।

मुख्य घटक (Core Components)

आर्किटेक्चर (Architecture): PR2 रिट्रीवल प्रक्रिया को वातावरण के भीतर एक बाहरी टूल के रूप में मानता है। पॉलिसी मॉडल ( $\pi_\theta$ $π_{θ}$ ) जनरेशन के दौरान तीन प्रकार के कार्यों को इंटरलीव (interleave) कर सकता है:
1. सोचना (Thinking): आंतरिक तर्क चरणों को उत्पन्न करना ( <thought> टैग का उपयोग करके)।
2. खोजना (Searching): उपयोगकर्ता प्रोफाइल के लिए विशिष्ट क्वेरी बनाना ( <search> टैग का उपयोग करके)।
3. उत्तर देना (Answering): अंतिम प्रतिक्रिया उत्पन्न करना ( <answer> टैग का उपयोग करके)।
ऑप्टिमाइज़ेशन एल्गोरिदम (GRPO): यह फ्रेमवर्क Group Relative Policy Optimization (GRPO) का उपयोग करता है। मानक PPO के विपरीत, GRPO के लिए अलग से वैल्यू फंक्शन (क्रिटिक) की आवश्यकता नहीं होती है। इसके बजाय, यह सैंपल किए गए ट्राजेक्टरीज के समूह के सापेक्ष लाभ (relative advantage) के आधार पर पॉलिसी को ऑप्टिमाइज़ करता है।
रोलआउट सैंपलिंग (Rollout Sampling): प्रत्येक ट्रेनिंग इंस्टेंस के लिए, मॉडल $G$ पर्सनलाइज्ड ट्राजेक्टरीज के एक समूह को सैंपल करता है। महत्वपूर्ण बात यह है कि यह एक गैर-वैयक्तिकृत बेसलाइन ट्राजेक्टरी (non-personalized baseline trajectory) भी सैंपल करता है (जो रिट्रीवल के बिना जेनरेट की गई है) ताकि इसे एक कंट्रोल के रूप में उपयोग किया जा सके।

रिवॉर्ड मॉडलिंग और एडवांटेज कंप्यूटेशन (Reward Modeling & Advantage Computation)

रिवॉर्ड फंक्शन (Reward Function): एक ऑटोमैटिक जज (Qwen2.5-32B) व्यक्तिगत रूब्रिक्स ( $E_{x_i}$ ) और उपयोगकर्ता नैरेटिव ( $r_i$ ) के विरुद्ध अंतिम प्रतिक्रिया का मूल्यांकन करता है। स्कोर ($0-2 $प्रति पहलू) को$ [0, 1]$ तक नॉर्मलाइज़ किया जाता है।
ग्रुप-रिलेटिव एडवांटेज (Group-Relative Advantage): मुख्य नवाचार इस बात में निहित है कि एडवांटेज की गणना कैसे की जाती है। मॉडल को अनावश्यक रूप से रिट्रीव करने या शोर वाले संकेतों (noisy signals) पर निर्भर होने से रोकने के लिए, एक पर्सनलाइज्ड ट्राजेक्टरी के लिए एडवांटेज ( $A_i$ $A_{i}$ ) को गैर-वैयक्तिकृत बेसलाइन के सापेक्ष कंप्यूट किया जाता है:
$A_i = \frac{r_i - r_{no-per} - \mu}{\sigma}$
जहाँ $r_i$ $r_{i}$ पर्सनलाइज्ड ट्राजेक्टरी के लिए रिवॉर्ड है, $r_{no-per}$ $r_{n o - p er}$ गैर-वैयक्तिकृत बेसलाइन का रिवॉर्ड है, और $\mu, \sigma$ $μ, σ$ समूह के रिवॉर्ड्स का माध्य और मानक विचलन हैं।
- निहितार्थ: मॉडल को केवल तभी यूजर प्रोफाइल से रिट्रीव करने के लिए प्रोत्साहित किया जाता है जब रिट्रीवल एक ऐसी प्रतिक्रिया की ओर ले जाता है जो एक मानक गैर-वैयक्तिकृत जनरेशन से बेहतर हो। यह मॉडल को यह सीखने में मदद करता है कि वैयक्तिकरण कब फायदेमंद है।

3. मुख्य योगदान (Key Contributions)

प्रथम रीजनिंग-इंटीग्रेटेड पर्सनलाइजेशन: PR2 पहला फ्रेमवर्क है जो व्यक्तिगत संदर्भ को रिट्रीव करने के लिए रीजनिंग प्रक्रिया को स्पष्ट रूप से मॉडल करता है, जो सरल "क्वेरी-रिट्रीव-जेनरेट" पाइपलाइन से आगे बढ़ता है।
अनुकूली रिट्रीवल नीतियां (Adaptive Retrieval Policies): मॉडल यह निर्णय लेने में सक्षम होता है कि कब तर्क करना बंद करना है और खोज शुरू करनी है, कौन सी विशिष्ट क्वेरी बनानी है, और रिट्रीव किए गए साक्ष्य को मध्यवर्ती तर्क चरणों में कैसे शामिल करना है।
कॉन्ट्रास्टिव एडवांटेज लर्निंग (Contrastive Advantage Learning): GRPO एडवांटेज कैलकुलेशन में गैर-वैयक्तिकृत बेसलाइन्स को शामिल करके, फ्रेमवर्क वास्तविक वैयक्तिकरण लाभों और जेनेरिक जनरेशन सुधारों के बीच अंतर करना सीखता है, जिससे ओवर-रिट्रीवल से बचा जा सकता है।
ओपन-सोर्स कार्यान्वयन: लेखकों ने पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए कोड जारी किया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन LaMP-QA बेंचमार्क पर किया गया, जिसमें तीन डोमेन शामिल हैं: आर्ट एंड एंटरटेनमेंट, लाइफस्टाइल एंड पर्सनल डेवलपमेंट, और सोसाइटी एंड कल्चर। प्रयोग तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके किए गए: Qwen2.5-3B, Qwen2.5-7B, और Gemma3-4B।

प्रदर्शन लाभ (Performance Gains): PR2 ने लगातार मजबूत बेसलाइन्स (Search-R1, RAG-Personalization, PPlug, HYDRA, और PrLM सहित) को पछाड़ दिया।
- Qwen2.5-3B: सर्वश्रेष्ठ बेसलाइन पर 8.8% सापेक्ष सुधार।
- Qwen2.5-7B: 12.0% सापेक्ष सुधार।
- Gemma3-4B: 9.8% सापेक्ष सुधार।
एब्लेशन स्टडीज (Ablation Studies):
- गैर-वैयक्तिकृत बेसलाइन: एडवांटेज कैलकुलेशन से गैर-वैयक्तिकृत बेसलाइन को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई (उदाहरण के लिए, Qwen2.5-7B 0.5256 से गिरकर 0.4736 हो गया), जो कॉन्ट्रास्टिव लर्निंग सिग्नल की आवश्यकता की पुष्टि करता है।
- रिट्रीवल काउंट ( $k$ ): शीर्ष 3 दस्तावेज़ों ( $k=3$ ) को रिट्रीव करने से इष्टतम परिणाम मिले। $k=1$ ने रिकॉल को सीमित किया, जबकि $k=5$ ने शोर (noise) पेश किया जो तर्क में बाधा डालता है।
ट्रेनिंग डायनेमिक्स (Training Dynamics): विश्लेषण से पता चला कि जैसे-जैसे ट्रेनिंग आगे बढ़ी, मॉडल अधिक बार रिट्रीव करने और अधिक विस्तृत प्रतिक्रियाएं उत्पन्न करने के लिए सीखा, जो बढ़े हुए रिवॉर्ड स्कोर के साथ सह-संबंधित (correlate) था। बड़े मॉडल्स (7B) ने छोटे मॉडल्स (3B) की तुलना में रिट्रीव किए गए साक्ष्य का लाभ उठाने की बेहतर क्षमता प्रदर्शित की।

5. महत्व (Significance)

यह शोध पत्र वर्तमान पर्सनलाइज्ड AI सिस्टम की एक महत्वपूर्ण सीमा को संबोधित करता है: रिट्रीव करने से पहले यह तर्क करने में असमर्थता कि क्या व्यक्तिगत जानकारी आवश्यक है। रीजनिंग और रिट्रीवल को एक कॉन्ट्रास्टिव रिवॉर्ड सिग्नल के साथ एक रिइन्फोर्समेंट लर्निंग फ्रेमवर्क के तहत एकीकृत करके, PR2 मॉडल्स को सक्षम बनाता है:

अत्यधिक अनुकूलित (tailored) प्रतिक्रियाएं उत्पन्न करना जो जटिल उपयोगकर्ता बाधाओं (जैसे आहार संबंधी प्रतिबंध, करियर चरण) को ध्यान में रखती हैं।
"रिट्रीवल नॉइज़" की समस्या से बचना, क्योंकि मॉडल यह सीखता है कि केवल तभी रिट्रीव करना है जब यह एक मानक उत्तर की तुलना में मूल्य जोड़ता हो।
पर्सनलाइजेशन के लिए एक स्केलेबल, RL-आधारित दृष्टिकोण प्रदान करना जिसे विभिन्न LLM साइज़ और डोमेन में लागू किया जा सकता है।

यह कार्य पर्सनलाइज्ड QA के लिए एक नया प्रतिमान स्थापित करता है, जो स्टैटिक कॉन्टेक्स्ट इंजेक्शन से डायनेमिक, रीजनिंग-ड्रिवन कॉन्टेक्स्ट एक्विजिशन की ओर बढ़ता है।