तकनीकी सारांश: दीर्घ-रूप व्यक्तिगत प्रश्नोत्तर के लिए विचारों के पथ (Pathways of Thoughts)

समस्या का निरूपण

यह शोध पत्र व्यक्तिगत प्रश्नोत्तर (Personalized Question Answering - QA) की चुनौती को संबोधित करता है, विशेष रूप से दीर्घ-रूप सामग्री निर्माण के संदर्भ में। जबकि खोज (search) और अनुशंसा (recommendation) में वैयक्तिकरण (personalization) का अच्छी तरह से अध्ययन किया गया है, QA में यह दो प्राथमिक कठिनाइयों के कारण कम खोजा गया है:

1. शोरयुक्त संदर्भ से निष्कर्ष निकालना (Inference from Noisy Context): उपयोगकर्ता की प्राथमिकताएं अक्सर अंतर्निहित होती हैं और उन्हें लंबे, शोरयुक्त और असंरचित उपयोगकर्ता प्रोफाइल (जैसे, पिछले प्रश्न और वृत्तांत) से निष्कर्ष निकालना आवश्यक होता है।
2. उपयोगकर्ता की अपेक्षाओं के साथ संरेखण (Alignment with User Expectations): एक प्रतिक्रिया जो तथ्यात्मक रूप से सटीक हो सकती है, फिर भी उपयोगकर्ता को संतुष्ट करने में विफल हो सकती है यदि वह उनकी विशिष्ट पृष्ठभूमि, सीखने की शैली या प्राथमिकताओं के साथ संरेखित नहीं होती है।

वर्तमान दृष्टिकोण अक्सर उपयोगकर्ता डेटा के साथ लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने पर निर्भर करते हैं। हालांकि, यह अक्सर अव्यवहारिक होता है क्योंकि कई LLMs 'ब्लैक बॉक्स' होते हैं जिनके पैरामीटर्स स्थिर (frozen) होते हैं, और फाइन-ट्यूनिंग के लिए व्यक्तिगत उपयोगकर्ताओं के लिए पर्याप्त कंप्यूटेशनल संसाधनों और व्यक्तिगत डेटा की आवश्यकता होती है। फलस्वरूप, लेखक अनुमान-चरण रणनीतियों (inference-stage strategies) पर ध्यान केंद्रित करते हैं जो अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता के बिना वैयक्तिकरण में सुधार कर सकती हैं।

कार्यप्रणाली: विचारों के पथ (Pathways of Thoughts - PoT)

लेखक पाथवेज़ ऑफ़ थॉट्स (PoT) प्रस्तावित करते हैं, जो एक जेनेरिक अनुमान-चरण विधि है जिसे किसी भी LLM पर लागू किया जा सकता है। PoT सोचने की प्रक्रिया को एक पुनरावृत्ति निर्णय लेने वाली प्रक्रिया (iterative decision-making process) के रूप में मॉडल करता है, जिससे मॉडल अंतिम प्रतिक्रिया उत्पन्न करने से पहले कई तर्क पथों (reasoning trajectories) का अन्वेषण कर सकता है।

1. मार्कोव निर्णय प्रक्रिया (MDP) के रूप में सोचना

PoT एक प्रतिक्रिया के निर्माण को एक MDP के रूप में औपचारिक रूप देता है जहाँ LLM ही एजेंट और वातावरण दोनों के रूप में कार्य करता है:

• अवस्था (State - $S$): अवस्था में उपयोगकर्ता के प्रश्न, उपयोगकर्ता प्रोफ़ाइल, और अब तक उत्पन्न किए गए कार्यों और आउटपुट के अनुक्रम का संयोजन शामिल है।
• कार्य (Actions - $A$): एजेंट प्रत्येक चरण में पूर्व-निर्धारित संज्ञानात्मक ऑपरेशनों के सेट में से चयन करता है। इनमें शामिल हैं:
  • योजना बनाना (Planning): प्रश्न को संबोधित करने के लिए चरण-दर-चरण योजना बनाना।
  • तर्क करना (Reasoning): प्रश्न के विशिष्ट पहलुओं के बारे में चरण-दर-चरण सोचना।
  • वैयक्तिकरण/वैयक्तिकृत करना (Personalization/Personalizing): यह जांचना कि क्या वैयक्तिकरण की आवश्यकता है और प्रासंगिक उपयोगकर्ता संदर्भ निकालना।
  • स्पष्टीकरण (Clarifying): प्रश्न में अस्पष्टताओं की पहचान करना।
  • सारांशित करना (Summarizing): उपलब्ध जानकारी को समेकित करना।
  • उत्तर देना/संशोधित करना/अंतिम रूप देना (Answering/Revising/Finalizing): प्रतिक्रिया उत्पन्न करना, उसे परिष्कृत करना या निष्कर्ष निकालना।
• संक्रमण (Transition): LLM चयनित कार्य को निष्पादित करता है, नए आउटपुट के साथ अवस्था (state) को अपडेट करता है। यह लूप तब तक जारी रहता है जब तक कि एक "फाइनलाइज" (finalizing) क्रिया नहीं चुनी जाती या अधिकतम चरण सीमा ($T$) तक नहीं पहुँच जाता।

2. बहु-दिशीय चिंतन (Multi-Directional Thinking)

एक एकल, संभावित रूप से उप-इष्टतम तर्क पथ पर अभिसरण (converge) होने से बचने के लिए, PoT $N$ विशिष्ट विचार पथों (thinking pathways) को उत्पन्न करता है। इन पथों में विविधता दो तंत्रों के माध्यम से प्राप्त की जाती है:

• प्रारंभिक अवस्था में परिवर्तन (Initial State Alteration): योजना चरण के लिए विभिन्न प्रारंभिक संदर्भ बनाने के लिए उपयोगकर्ता प्रोफ़ाइल के उपसमुच्चयों (subsets) का यादृच्छिक चयन करना।
• योजना क्रिया भिन्नता (Planning Action Variation): एक ही प्रारंभिक अवस्था से विविध रणनीतिक रूपरेखा उत्पन्न करने के लिए "प्लान" क्रिया के दौरान उच्च सैंपलिंग तापमान (sampling temperature) का उपयोग करना।

3. प्रतिक्रिया एकत्रीकरण (Response Aggregation)

एक बार जब $N$ पथ $N$ उम्मीदवार प्रतिक्रियाएँ ($R_{PoT}$) उत्पन्न कर देते हैं, तो सिस्टम उन्हें एक एकल अंतिम प्रतिक्रिया ($\hat{y}_u$) में एकत्रित करता है। शोध पत्र दो एकत्रीकरण रणनीतियों की तुलना करता है:

• बेस्ट-ऑफ-N (Best-of-N): LLM निकाले गए उपयोगकर्ता प्राथमिकताओं के आधार पर उम्मीदवारों में से सबसे अच्छी एकल प्रतिक्रिया का चयन करता है।
• मिक्सचर-ऑफ-N (Mixture-of-N): LLM सभी उम्मीदवार प्रतिक्रियाओं की शक्तियों को मिलाकर एक नई प्रतिक्रिया का संश्लेषण करता है। यह दृष्टिकोण विविध दृष्टिकोणों को एकीकृत करके मानव समस्या-समाधान की नकल करता है। शोध पत्र खुले अंत वाले टेक्स्ट जनरेशन के लिए मिक्सचर-ऑफ-N को बेहतर विधि के रूप में पहचानता है।

एकत्रीकरण प्रक्रिया एक मध्यवर्ती चरण द्वारा निर्देशित होती है जहाँ LLM यह सुनिश्चित करने के लिए उपयोगकर्ता प्रोफ़ाइल से महत्वपूर्ण पहलुओं ($I_u$) को निकालता है कि अंतिम आउटपुट विशिष्ट उपयोगकर्ता आवश्यकताओं के अनुरूप हो।

मुख्य योगदान

1. अनुमान-चरण वैयक्तिकरण (Inference-Stage Personalization): शोध पत्र बिना फाइन-ट्यूनिंग के वैयक्तिकरण को बढ़ाने की एक विधि पेश करता है, जिससे यह ब्लैक-बॉक्स या संसाधन-बाधित LLMs के लिए लागू करने योग्य हो जाता है।
2. MDP-आधारित तर्क ढांचा (MDP-Based Reasoning Framework): यह मुक्त-रूप टेक्स्ट जनरेशन के लिए मार्कोव निर्णय प्रक्रियाओं (MDP) को अनुकूलित करता है, जिसमें LLM को निर्णय लेने वाले और संज्ञानात्मक ऑपरेशनों के निष्पादक दोनों के रूप में माना जाता है।
3. बहु-दिशीय अन्वेषण (Multi-Directional Exploration): कई तर्क पथों का अन्वेषण करके और उन्हें एकत्रित करके, यह विधि उन पूरक शक्तियों को पकड़ लेती है जिन्हें एक एकल तर्क पथ छोड़ सकता है।
4. व्यापक मूल्यांकन (Comprehensive Evaluation): दृष्टिकोण का LaMP-QA बेंचमार्क पर कठोरता से परीक्षण किया गया है, जिसमें तीन विविध डोमेन शामिल हैं: कला और मनोरंजन, जीवनशैली और व्यक्तिगत विकास, तथा समाज और संस्कृति।

प्रयोगात्मक परिणाम

बैकबोन मॉडल के रूप में Gemini 1.5 Pro और GPT-4o-mini का उपयोग करके प्रयोग किए गए।

• प्रदर्शन लाभ (Performance Gains): PoT ने सभी श्रेणियों में प्रतिस्पर्धी बेसलाइन्स को लगातार पछाड़ा।
  • सर्वश्रेष्ठ प्रदर्शन करने वाले बेसलाइन (In-Context Personalization with CoT and Best-of-32) की तुलना में, PoT ने औसतन 10.8% सापेक्ष सुधार हासिल किया।
  • एकल-अनुमान (single-inference) बेसलाइन्स की तुलना में, PoT ने 7.2% सापेक्ष सुधार दिखाया।
  • t-tests के माध्यम से परिणाम सांख्यिकीय रूप से महत्वपूर्ण ($p < 0.05$) थे।
• एब्लेशन अध्ययन (Ablation Studies):
  • पथ की लंबाई (Pathway Length): 8 की सीमा ($T=8$) तक कार्यों की संख्या के साथ प्रदर्शन में सुधार हुआ; इसके बाद, "ओवरथिंकिंग" के कारण प्रदर्शन में गिरावट आई।
  • पथों की संख्या (Number of Pathways): पथों की संख्या ($N$) बढ़ाने से प्रदर्शन में सुधार हुआ, हालांकि $N$ के बड़े होने पर प्रतिफल घटते क्रम (diminishing returns) में आया।
  • एकत्रीकरण (Aggregation): मिक्सचर-ऑफ-N ने लगातार बेस्ट-ऑफ-N से बेहतर प्रदर्शन किया, जो पुष्टि करता है कि विविध प्रतिक्रियाओं का संश्लेषण करना एक एकल विजेता चुनने की तुलना में उच्च गुणवत्ता प्रदान करता है।
• सामान्यीकरण क्षमता (Generalizability): विधि ने विभिन्न बैकबोन LLMs (Gemini 1.5 Pro और GPT-4o-mini) पर प्रभावशीलता का प्रदर्शन किया, GPT-4o-mini के साथ 9.4% सापेक्ष सुधार प्राप्त किया।
• मानव मूल्यांकन (Human Evaluation): सबसे मजबूत बेसलाइन (In-Context Personalization w/ CoT & Best-of-32) के साथ आमने-सामने की तुलना में, मानव एनोटेटरों ने PoT को 66% मामलों में पसंद किया, जबकि बेसलाइन के लिए 19% और समानता (ties) के लिए 15% था।

महत्व और दावे

शोध पत्र का दावा है कि पाथवेज़ ऑफ़ थॉट्स वैयक्तिकृत QA में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है क्योंकि यह मॉडल्स को अनुमान के दौरान गतिशील रूप से उपयोगकर्ता प्राथमिकताओं के बारे में "सोचने" में सक्षम बनाता है। लेखक तर्क देते हैं कि केवल उपयोगकर्ता संदर्भ के साथ इनपुट को बढ़ाना पर्याप्त नहीं है; इसके बजाय, मॉडल्स को प्राथमिकताओं का अनुमान लगाने के लिए शोरयुक्त, अंतर्निहित डेटा पर तर्क करना होगा।

विचारों को एक बहु-दिशीय प्रक्रिया के रूप में मानकर, PoT मॉडल को विविध रणनीतियों (जैसे, स्पष्ट करने, संशोधित करने या वैयक्तिकृत करने का निर्णय लेना) का अन्वेषण करने और उन्हें एक सुसंगत, उपयोगकर्ता-अनुकूल प्रतिक्रिया में संयोजित करने की अनुमति देता है। लेखक इसे वास्तविक दुनिया के परिदृश्यों के लिए एक व्यावहारिक समाधान के रूप में देखते हैं जहाँ फाइन-ट्यूनिंग असंभव है, जो सूचना-खोज प्रणालियों में जुड़ाव और संतुष्टि में सुधार करने का एक स्केलेबल तरीका प्रदान करता है। यह कार्य सुझाव देता है कि ढांचा QA से परे अन्य दीर्घ-रूप टेक्स्ट जनरेशन कार्यों के लिए भी सामान्यीकरण योग्य है, हालांकि वर्तमान अध्ययन विशेष रूप से व्यक्तिगत प्रश्नोत्तर पर केंद्रित है।