Uncertainty as a Planning Signal: Multi-Turn Decision Making for Goal-Oriented Conversation

यहाँ शोध पत्र "Uncertainty as a Planning Signal: Multi-Turn Decision Making for Goal-Oriented Conversation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र लक्ष्य-उन्मुख संवादात्मक प्रणालियों (goal-oriented conversational systems) की चुनौती को संबोधित करता है, जहाँ एक एजेंट को बहु-चरणीय (multi-turn) बातचीत के माध्यम से उपयोगकर्ता के अंतर्निहित इरादे (intent) को पहचानना होता है और एक विशिष्ट लक्ष्य (जैसे, किसी फिल्म या उत्पाद की सिफारिश करना) के लिए प्रतिबद्ध होना होता है।

• मुख्य चुनौती: सिस्टम को उपयोगकर्ता के इरादे के संबंध में अनिश्चितता (uncertainty) के तहत क्रमिक निर्णय लेने होते हैं। इसे सूचना प्राप्ति (अनिश्चितता को कम करने के लिए प्रश्न पूछना) और लक्ष्य प्रतिबद्धता (एक सिफारिश करना) के बीच संतुलन बनाना होता है।
• मौजूदा दृष्टिकोणों की सीमाएँ:
  • संरचित विधियाँ (Structured Methods): ये बहु-चरणीय योजना को सक्षम करती हैं लेकिन कठोर, पूर्व-निर्धारित स्कीमा और सीमित डोमेन ज्ञान पर निर्भर करती हैं, जिससे वे खुले और मुक्त-रूप (free-form) उपयोगकर्ता इनपुट के अनुकूल नहीं हो पातीं।
  • LLM-आधारित विधियाँ (LLM-Based Methods): ये लचीली बातचीत तो प्रदान करती हैं लेकिन इनमें दीर्घकालिक योजना (long-horizon planning) के लिए स्पष्ट तंत्र का अभाव होता है। वे अक्सर स्थानीय या ह्यूरिस्टिक रणनीतियों पर निर्भर करती हैं, जिससे सूचना एकत्र करने में अक्षमता और समयपूर्व या गलत प्रतिबद्धता होती है।
• लक्ष्य: लक्ष्य-उन्मुख बातचीत को एक अनिश्चितता-जागरूक क्रमिक निर्णय समस्या (uncertainty-aware sequential decision problem) के रूप में तैयार करना, जो प्रभावी ढंग से कई चरणों में सूचना प्राप्ति और लक्ष्य प्रतिबद्धता का समन्वय कर सके।

2. कार्यप्रणाली: CUP ढांचा (Methodology: The CUP Framework)

लेखक Conversation Uncertainty-aware Planning (CUP) का प्रस्ताव करते हैं, जो एक ढांचा है जो बड़े भाषा मॉडल (LLMs) को संरचित योजना (structured planning) के साथ एकीकृत करता है। यह प्रणाली एक आंशिक रूप से अवलोकन योग्य क्रमिक निर्णय प्रक्रिया (partially observable sequential decision-making process) के रूप में कार्य करती है जिसके तीन मुख्य घटक हैं:

A. विश्वास और अनिश्चितता मॉडलिंग (Belief & Uncertainty Modeling)

• विश्वास अवस्था (Belief State - $b_t$): एजेंट बातचीत के इतिहास ($h_t$) के आधार पर उम्मीदवारों के एक संभावित सेट ($C_t$) पर एक संभाव्यता वितरण (probability distribution) बनाए रखता है।
• आरंभीकरण (Initialization): विश्वासों को प्रारंभिक उपयोगकर्ता क्वेरी और उम्मीदवारों के बीच सिमेंटिक समानता (एम्बेडिंग की कोसाइन समानता) का उपयोग करके आरंभीकृत किया जाता है।
• अनिश्चितता का परिमाणीकरण (Uncertainty Quantification): अनिश्चितता को विश्वास अवस्था के एन्ट्रॉपी (Entropy - $H$) का उपयोग करके मापा जाता है। उच्च एन्ट्रॉपी बिखरे हुए विश्वासों (उच्च अनिश्चितता) को दर्शाती है, जबकि निम्न एन्ट्रॉपी आत्मविश्वास को दर्शाती है।
• प्रतिबद्धता ट्रिगर (Commitment Trigger): एक प्रतिबद्धता तब ट्रिगर होती है यदि सामान्यीकृत एन्ट्रॉपी एक थ्रेशोल्ड ($\epsilon$) से नीचे गिर जाती है और अधिकतम विश्वास संभाव्यता एक थ्रेशोल्ड ($\theta$) से अधिक हो जाती है, या यदि उम्मीदवार सेट छोटा हो जाता है या टर्न की सीमा समाप्त हो जाती है।

B. अनिश्चितता-निर्देशित योजना (Uncertainty-Guided Planning - मुख्य नवाचार)

लालची चयन (greedy selection) के बजाय, CUP दीर्घकालिक प्रभाव के आधार पर कार्यों का मूल्यांकन करने के लिए मोंटे कार्लो ट्री सर्च (MCTS) का उपयोग करता है।

• एक्शन जनरेशन (Action Generation): एक LLM संभावित कार्यों ($A_t$) का एक सेट प्रस्तावित करता है, जिन्हें वर्गीकृत किया गया है:
  1. पूछना (Ask): दिए गए विकल्पों के साथ किसी विशेषता (attribute) के बारे में प्रश्न पूछना।
  2. प्रतिबद्ध होना (Commit): किसी उम्मीदवार को प्रस्तुत करने के लिए चुनना।
• अपेक्षित सूचना लाभ (Expected Information Gain - EIG): सिस्टम प्रत्येक संभावित क्रिया के लिए EIG की गणना करता है ताकि उपयोगकर्ता की प्रतिक्रिया के बाद एन्ट्रॉपी (अनिश्चितता) में अपेक्षित कमी का अनुमान लगाया जा सके।
  • $EIG(a_t, b_t) = H(b_t) - \sum p(o|a_t)H(b_t|o)$
• MCTS स्कोरिंग: कार्यों को एक अनुकूलित अपर कॉन्फिडेंस बाउंड (UCB) फॉर्मूला का उपयोग करके स्कोर किया जाता है जो संतुलित करता है:
  1. एक्सप्लॉइटेशन (Exploitation - $V$): अनुमानित संचयी पुरस्कार (सफलता, दक्षता, अनिश्चितता में कमी)।
  2. एक्सप्लोरेशन (Exploration): EIG-आधारित प्रायोरिटी ($P(a_t, b_t)$) द्वारा संचालित, जो उन कार्यों की खोज को प्रोत्साहित करता है जो अनिश्चितता को महत्वपूर्ण रूप से कम करने की संभावना रखते हैं।
• पुरस्कार फलन (Reward Function): कार्य सफलता, बातचीत की दक्षता (लंबे टर्न के लिए दंड) और अनिश्चितता में कमी के बीच संतुलन बनाता है।

C. भाषा-आधारित क्रिया निष्पादन (Language-Grounded Action Execution)

• चयनित क्रिया को LLM द्वारा प्राकृतिक भाषा के वाक्य में परिवर्तित किया जाता है।
  • Ask क्रियाओं के लिए: LLM एक प्रश्न और विकल्प उत्पन्न करता है जो उम्मीदवार सेट को विभाजित (partition) करते हैं।
  • Commit क्रियाओं के लिए: LLM एक सिफारिश उत्पन्न करता है, जो बातचीत के इतिहास के आधार पर परिष्कृत हो सकती है।
• स्टेट अपडेट (State Update): उपयोगकर्ता की प्रतिक्रिया प्राप्त होने पर, उम्मीदवार सेट को छाँटा (prune) जाता है (असंगत उम्मीदवारों को हटाकर), और विश्वास अवस्था को बेयसियन मल्टीप्लिकेटिव लॉजिक का उपयोग करके अपडेट किया जाता है, जो नई सिमेंटिक समानता के आधार पर उम्मीदवारों को पुन: भारित (reweighting) करता है।

3. प्रमुख योगदान (Key Contributions)

1. सिग्नल के रूप में अनिश्चितता (Uncertainty as a Signal): यह शोध पत्र अनिश्चितता को न केवल एक मीट्रिक के रूप में, बल्कि बहु-चरणीय निर्णय लेने के लिए एक मार्गदर्शक संकेत (guiding signal) के रूप में पहचानता है, जो केवल स्थानीय (myopic) स्कोरिंग फंक्शन से आगे बढ़ता है।
2. CUP ढांचा: एक नया आर्किटेक्चर प्रस्तावित करता है जो LLMs की लचीलापन को संरचित योजना (MCTS) और अनिश्चितता मॉडलिंग (EIG) की कठोरता के साथ जोड़ता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): कई डेटासेट्स और मॉडल बैकबोन पर प्रभावशीलता (Success Rate) और दक्षता (Average Turns) दोनों में निरंतर सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विभिन्न LLM बैकबोन (Qwen3-4B, Mistral-7B, Llama-3.1-8B) का उपयोग करके चार डेटासेट्स (Beauty, Fashion, Home, Inspired) पर किया गया।

• प्रदर्शन (Performance): CUP ने सभी बेसलाइन को लगातार पछाड़ दिया, जिसमें रिट्रीवल-आधारित (SBERT), ह्यूरिस्टिक LLM (Direct Prompting, CoT), और अनिश्चितता-जागरूक योजना विधियाँ (UoT, ATD, BED-LLM, MISQ-HF) शामिल हैं।
  • उदाहरण: Qwen3-4B के साथ Inspired डेटासेट पर, CUP ने 89.80% की सफलता दर (Success Rate) प्राप्त की, जो अगले सर्वश्रेष्ठ तरीके (MISQ-HF 67.35%) से काफी अधिक है।
• दक्षता (Efficiency): CUP ने बेसलाइन की तुलना में औसतन कम बातचीत टर्न के साथ उच्च सफलता दर प्राप्त की।
• मजबूती (Robustness): विभिन्न LLM बैकबोन के बीच प्रदर्शन का अंतर CUP के तहत LLM-केवल विधियों की तुलना में कम था, जो यह सुझाव देता है कि योजना तंत्र मॉडल की कच्ची क्षमता (raw capacity) पर निर्भरता को कम करता है।
• एब्लेशन स्टडी (Ablation Study): पुष्टि की गई कि संरचित योजना (structured planning) सफलता के लिए प्रमुख कारक है, जबकि LLM-आधारित प्रतिबद्धता अतिरिक्त लाभ प्रदान करती है। योजना हटाने (Random selection) से प्रदर्शन में भारी गिरावट आई।
• उम्मीदवार प्रभुत्व (Candidate Dominance): विश्लेषण ने दिखाया कि CUP शुरुआती टर्नों में ही लक्ष्य उम्मीदवार के "डोमिनेंस रेशियो" को तेजी से बढ़ाता है, जो खोज स्थान को कुशलतापूर्वक सीमित करने का संकेत देता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य कठोर संरचित संवाद प्रणालियों और लचीली लेकिन अल्पदृष्टि वाली (short-sighted) LLMs के बीच के अंतर को पाटता है। अनिश्चितता को एक योजना संकेत के रूप में मानकर, CUP एजेंटों को सक्षम बनाता है:

• लंबे क्षितिज (long horizons) में सूचना प्राप्ति और लक्ष्य प्रतिबद्धता को प्रभावी ढंग से समन्वयित (coordinate) करने के लिए।
• प्रश्नों के दीर्घकालिक प्रभाव के बारे में तर्क (reason) करने के लिए, जिससे टर्न बर्बाद करने वाली अल्पदृष्टि वाली रणनीतियों से बचा जा सके।
• बिना किसी पूर्व-निर्धारित स्कीमा की आवश्यकता के विविध, खुले संवादों के अनुकूल होने के लिए।

परिणाम बताते हैं कि अनिश्चितता-जागरूक योजना को LLMs के साथ एकीकृत करना मजबूत, कुशल और बुद्धिमान लक्ष्य-उन्मुख संवादात्मक एजेंट बनाने के लिए एक महत्वपूर्ण दिशा है।