तकनीकी सारांश: इरादा-जागरूक व्यक्तिगत प्रश्नोत्तर के लिए सुदृढीकरण शिक्षण (Reinforcement Learning) के साथ LLMs का प्रशिक्षण

समस्या की परिभाषा

व्यक्तिगत प्रश्नोत्तर (Personalized Question Answering - PQA) का लक्ष्य उपयोगकर्ता-अनुकूलित प्रतिक्रियाएँ उत्पन्न करना है, जो एक ऐसा कार्य है जिसके लिए उत्तरों को उपयोगकर्ता के अंतर्निहित इरादे (intent) के साथ संरेखित करने की आवश्यकता होती है—अर्थात, प्रश्न के स्पष्ट शब्दों के पीछे का निहित "क्यों"। जबकि मौजूदा दृष्टिकोण बहु-चरणीय (multi-turn) संवादात्मक संदर्भ या समृद्ध उपयोगकर्ता प्रोफाइल का उपयोग करते हैं, वे अक्सर तर्क प्रक्रिया (reasoning process) के दौरान उपयोगकर्ता के इरादे को स्पष्ट रूप से मॉडल करने में विफल रहते हैं। यह सीमा एकल-टर्न (single-turn) सेटिंग्स में विशेष रूप से गंभीर है, जहाँ मॉडल को न्यूनतम इनपुट से एक गुप्त लक्ष्य का अनुमान लगाना होता है और उसे अपने सोचने की प्रक्रिया में एकीकृत करना होता है। वर्तमान विधियाँ आमतौर पर केवल अनुमान के समय (inference time) प्रॉम्प्टिंग पर निर्भर करती हैं ताकि इरादे का पता लगाया जा सके, लेकिन वे इसे मॉडल के प्रशिक्षण उद्देश्य या तर्क पथ (reasoning trajectory) में शामिल नहीं करती हैं, और वे अक्सर 'इरादा-मुक्त' (intent-free) प्रतिक्रियाओं की भूमिका की उपेक्षा करती हैं, जिससे सामान्य आउटपुट प्राप्त होते हैं जो सुसंगत तो हो सकते हैं लेकिन उपयोगकर्ता की विशिष्ट आवश्यकताओं के साथ मेल नहीं खाते।

कार्यप्रणाली: IAP फ्रेमवर्क

लेखक IAP (Intent Aware Personalization) का प्रस्ताव करते हैं, जो एक सुदृढीकरण शिक्षण (RL) फ्रेमवर्क है जिसे बड़े भाषा मॉडलों (LLMs) को एकल-टर्न प्रश्नों से निहित उपयोगकर्ता इरादों का अनुमान लगाने और उत्तर उत्पन्न करने से पहले उन्हें तर्क प्रक्रिया में शामिल करने के लिए प्रशिक्षित करने हेतु डिज़ाइन किया गया है।

1. संरचित तर्क स्कीमा (Structured Reasoning Schema)

IAP एक टैग-आधारित स्कीमा का उपयोग करता है ताकि पीढ़ी प्रक्रिया को संरचित किया जा सके, जिससे अंतिम उत्तर देने से पहले गुप्त लक्ष्यों को स्पष्ट बनाया जा सके। दिए गए इनपुट प्रश्न $x_i$ के लिए, मॉडल एक संरचित आउटपुट उत्पन्न करता है जिसमें शामिल है:

• <thought>: प्रश्न के बारे में आंतरिक तर्क।
• <intent>: संभावित निहित इरादों की एक क्रमांकित सूची (जैसे, भावनात्मक सहायता की तलाश बनाम व्यावहारिक मार्गदर्शन)।
• <thought>: एक दूसरा तर्क चरण जो स्पष्ट रूप से अनुमानित इरादों पर आधारित होकर प्रतिक्रिया की योजना बनाता है।
• <answer>: अंतिम व्यक्तिगत प्रतिक्रिया।

2. DAPO के माध्यम से अनुकूलन

यह फ्रेमवर्क Decoupled Clip and Dynamic sAmpling Policy Optimization (DAPO) का उपयोग करता है। प्रत्येक प्रशिक्षण उदाहरण के लिए, पॉलिसी $G$ रोलआउट्स (निहित-इरादा प्रक्षेपवक्र/trajectories) का एक समूह नमूना (sample) लेती है। पॉलिसी को एक व्यक्तिगत पुरस्कार फलन (personalized reward function) का उपयोग करके अनुकूलित किया जाता है जो उत्तर के प्रक्षेपवक्र की गुणवत्ता का मूल्यांकन करता है।

3. व्यक्तिगत पुरस्कार फलन (Personalized Reward Function)

पुरस्कार डिजाइन की मुख्य नवीनता इसमें निहित है, जो तीन भारित घटकों से मिलकर बना है:

• व्यक्तिगत पुरस्कार ($r_{pers}$): LaMP-QA मूल्यांकन मीट्रिक पर आधारित, यह एक फ्रीज़्ड LLM जज (Qwen2.5-32B-Instruct) का उपयोग करके उपयोगकर्ता-विशिष्ट रूब्रिक पहलुओं (जैसे, अंतर्निहित आवश्यकताओं और लक्ष्यों को संबोधित करना) के विरुद्ध उत्पन्न उत्तर को स्कोर करता है।
• प्रतिस्पर्धी इरादा-मुक्त पुरस्कार ($r_{contrast}$): सामान्य पीढ़ी को हतोत्साहित करने के लिए, फ्रेमवर्क एक फ्रीज़्ड रेफरेंस मॉडल का उपयोग करके एक इरादा-मुक्त प्रतिक्रिया ($\bar{y}_i$) उत्पन्न करता है। यदि पॉलिसी की इरादा-जागरूक प्रतिक्रिया, इरादा-मुक्त प्रतिक्रिया के समान (BERTScore के माध्यम से) है या व्यक्तिगत गुणवत्ता में उससे बेहतर प्रदर्शन करने में विफल रहती है, तो यह फ्रेमवर्क पॉलिसी को दंडित करता है। यह मॉडल को अपने आउटपुट को गैर-संदर्भित बेसलाइन से अलग करने के लिए मजबूर करता है।
• इरादा लंबाई नियमितीकरण ($r_{length}$): एक दंड पद (penalty term) जो अत्यधिक विस्तृत इरादा विवरणों को हतोत्साहित करता है, जिससे <intent> टैग के भीतर संक्षिप्त प्रतिनिधित्व को बढ़ावा मिलता है।

कुल पुरस्कार की गणना इस प्रकार की जाती है:
$$r_{i,g} = \lambda_1 r_{pers} - \lambda_2 r_{contrast} - \lambda_3 r_{length}$$

मुख्य योगदान

1. IAP फ्रेमवर्क: एक RL-आधारित फ्रेमवर्क का परिचय जो LLMs को एकल-टर्न इनपुट से उनके निहित उपयोगकर्ता इरादों का अनुमान लगाने और केवल अनुमान-समय प्रॉम्प्टिंग पर निर्भर रहने के बजाय टैग-आधारित स्कीमा के माध्यम से उन्हें तर्क प्रक्रिया में एकीकृत करने के लिए प्रशिक्षित करता है।
2. प्रतिस्पर्धी पुरस्कार तंत्र (Contrastive Reward Mechanism): एक पुरस्कार फलन का विकास जो प्रशिक्षण के दौरान इरादा-जागरूक प्रतिक्रियाओं को इरादा-मुक्त बेसलाइन के साथ स्पष्ट रूप से तुलना करता है। यह डिज़ाइन सामान्य पीढ़ी को हतोत्साहित करता है और मॉडल को ऐसे आउटपुट की ओर धकेलता है जो उपयोगकर्ता के इरादे के प्रति संवेदनशील हों।
3. व्यापक मूल्यांकन: LaMP-QA बेंचमार्क पर छह LLMs (Qwen2.5, Gemma3, Mistral-Small) पर व्यापक मूल्यांकन, जो निरंतर सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन डोमेन: आर्ट एंड एंटरटेनमेंट, लाइफस्टाइल एंड पर्सनल डेवलपमेंट, और सोसाइटी एंड कल्चर को कवर करने वाले LaMP-QA डेटासेट पर IAP का मूल्यांकन किया।

• प्रदर्शन लाभ: IAP ने सभी बेसलाइन्स को पछाड़ दिया, जिसमें नॉन-पर्सनलाइज्ड, इम्प्लिसिट इंटेंट पर्सनलाइजेशन (CoT प्रॉम्प्टिंग), एक्सप्लिसिट इंटेंट पर्सनलाइजेशन, और सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) शामिल हैं।
• मात्रात्मक सुधार: सभी छह मॉडलों में, IAP ने सबसे मजबूत प्रतिस्पर्धी पर औसतन लगभग 7.5% मैक्रो-स्कोर लाभ प्राप्त किया।
• सांख्यिकीय महत्व: सुधार लगभग सभी मॉडलों और डोमेन में सांख्यिकीय रूप से महत्वपूर्ण ($p < 0.01$) थे।
• एब्लेशन अध्ययन (Ablation Studies):
  • इरादा गुणवत्ता: अनुमानित <intent> को बिना इरादे या यादृच्छिक इरादों से बदलने से प्रदर्शन में भारी गिरावट आई, जिससे पुष्टि हुई कि अनुमानित इरादे सिग्नल की गुणवत्ता महत्वपूर्ण है।
  • प्रतिस्पर्धी पुरस्कार: इरादा-मुक्त कंट्रास्टिव रिवॉर्ड को हटाने से प्रदर्शन में लगातार गिरावट आई, जो सामान्य प्रतिक्रियाओं को दंडित करने की आवश्यकता को प्रमाणित करता है।
  • इरादा संख्या: प्रदर्शन तब उच्चतम था जब अनुमानित इरादों की संख्या कम (1–2) थी, जो सुझाव देता है कि अत्यधिक इरादा पीढ़ी प्रतिक्रिया की गुणवत्ता को जटिल बना सकती है।
  • समूह आकार (Group Size): प्रति उदाहरण 5 रोलआउट का समूह आकार पॉलिसी ऑप्टिमाइज़ेशन के लिए इष्टतम संतुलन प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि उपयोगकर्ता के निहित इरादे को सीधे प्रशिक्षण उद्देश्य के भीतर मॉडल करना PQA के लिए एक आशाजनक दिशा है। परिणाम बताते हैं कि:

• इरादे को मॉडल की सोचने की प्रक्रिया (टैग-आधारित स्कीमा के माध्यम से) में एकीकृत करना, इसे बाहरी संकेत या प्रॉम्प्ट के रूप में मानने की तुलना में अधिक प्रभावी है।
• इरादा-मुक्त बेसलाइन के विरुद्ध प्रतिस्पर्धी शिक्षण (Contrastive learning), मॉडलों को वास्तव में व्यक्तिगत प्रतिक्रियाएं उत्पन्न करने के लिए प्रशिक्षित करने के लिए आवश्यक है, न कि केवल संदर्भगत रूप से सुसंगत होने के लिए।
• यह फ्रेमवर्क एकल-टर्न सेटिंग्स में भी प्रभावी है जहाँ समृद्ध संवादात्मक इतिहास उपलब्ध नहीं है, जो इरादा मॉडलिंग और व्यावहारिक, सिंगल-शॉट व्यक्तिगत QA के बीच के अंतर को पाटता है।

लेखक निष्कर्ष निकालते हैं कि IAP सफलतापूर्वक LLMs को उपयोगकर्ता के निहित "क्यों" को स्पष्ट रूप से मॉडल करने के लिए प्रशिक्षित करता है, जिसके परिणामस्वरूप ऐसी प्रतिक्रियाएँ प्राप्त होती हैं जो अंतर्निहित उपयोगकर्ता लक्ष्यों के साथ बेहतर ढंग से संरेखित होती हैं।