तकनीकी सारांश: थिंक थ्राइस बिफोर यू स्पीक (TTBYS)

1. समस्या की परिभाषा

अनुनयपूर्ण संवाद प्रणालियों (persuasive dialogue systems) के लिए उपयोगकर्ता की अंतर्निहित मानसिक अवस्थाओं का अनुमान लगाने और तर्क करने की क्षमता आवश्यक है, जिसे 'थ्योरी ऑफ माइंड' (ToM) के रूप में जाना जाता है। हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) इस क्षेत्र में उन्नत हुए हैं, मौजूदा दृष्टिकोण अक्सर सरल प्रॉम्प्टिंग रणनीतियों पर निर्भर करते हैं और उनमें पर्याप्त ToM ज्ञान की कमी होती है। फलस्वरूप, वे मानसिक अवस्थाओं (विश्वास, इच्छा और इरादा) के बीच अंतर्निहित निर्भरताओं को पकड़ने में विफल रहते हैं, जिससे बहु-चरण (multi-turn) बातचीत में खंडित प्रतिनिधित्व और अस्थिर तर्क उत्पन्न होता है।

वर्तमान बेंचमार्क (जैसे, NegotiationToM, ToMATO, PersuasiveToM) संकेत देते हैं कि पूर्व ज्ञान की कमी के कारण LLMs विश्वसनीय मानसिक-अवस्था अनुमान में संघर्ष करते हैं। इसके अलावा, अधिकांश मौजूदा विधियाँ मानसिक अवस्थाओं को अनुक्रमिक विकास के बजाय स्वतंत्र चर मानती हैं, जो जटिल अनुनय परिदृश्यों में व्याख्यात्मकता (interpretability) और दीर्घकालिक प्रभावशीलता को सीमित करती है।

2. कार्यप्रणाली

2.1 ToM-PD कार्य और BDI ढांचा

लेखक Belief–Desire–Intention (BDI) ढांचे पर आधारित ToM-आधारित अनुनय संवाद (ToM-based Persuasive Dialogue - ToM-PD) कार्य को औपचारिक रूप देते हैं। स्वयं की अवस्थाओं के अग्रगामी विकास (Belief $\to$ Desire $\to$ Intention $\to$ Action) के विपरीत, ToM-PD कार्य को एक विपरीत, चरणबद्ध अनुमान प्रक्रिया के रूप में मॉडल किया गया है। एजेंट प्रेषिती (persuadee) के बाहरी कथनों का अवलोकन करता है और पुनरावृत्ति के साथ अनुमान लगाता है:

1. इरादा ($i_t$): कथन का तात्कालिक लक्ष्य।
2. इच्छा ($d_t$): अनुनय लक्ष्य के प्रति उपयोगकर्ता का दृष्टिकोण (इसे -1: अनिच्छुक, 0: अनिश्चित, 1: इच्छुक के रूप में मॉडल किया गया है)।
3. विश्वास ($b_t$): अंतर्निहित विचार या चिंताएं जो इच्छा को संचालित करती हैं।
4. रणनीति ($s_t$): अनुमानित अवस्थाओं के आधार पर इष्टतम अनुनय प्रतिक्रिया।

2.2 TTBYS ढांचा

अस्थिरता और ज्ञान की कमी की चुनौतियों को संबोधित करने के लिए, यह शोध पत्र थिंक थ्राइस बिफोर यू स्पीक (TTBYS) का प्रस्ताव करता है, जो एक ज्ञान-संवर्धित चरणबद्ध तर्क ढांचा है। TTBYS तीन विशिष्ट तर्क चरणों के माध्यम से LLMs को निर्देशित करने के लिए स्पष्ट और अंतर्निहित दोनों प्रकार के पूर्व अनुभवों का लाभ उठाता है:

• प्रथम विचार (इच्छा अनुमान - First Think):

  • वर्तमान संवाद को एक उच्च-स्तरीय इरादे ($i$) में संक्षेपित किया जाता है।
  • इस सारांश का उपयोग ज्ञान आधार (knowledge base) से शीर्ष-$N$ अर्थपूर्ण समान ऐतिहासिक अनुभवों को प्राप्त करने के लिए किया जाता है।
  • प्राप्त अनुभवों से इच्छाओं का एक संभाव्यता वितरण ($P_{ex}$) निर्मित किया जाता है।
  • इसे अंतिम इच्छा भविष्यवाणी ($d^*_t = \arg \max (\alpha \cdot P_{ag} + (1-\alpha) \cdot P_{ex})$) निर्धारित करने के लिए LLM के सहज संभाव्यता वितरण ($P_{ag}$) के साथ रैखिक रूप से संलयित (fuse) किया जाता है।

• द्वितीय विचार (विश्वास अनुमान - Second Think):

  • अनुमानित इच्छा ($d^*$) और संवाद सारांश का उपयोग करके, प्रणाली विश्वास संबंधी जानकारी वाले प्रासंगिक अनुभवों को प्राप्त करती है।
  • इन प्राप्त अनुभवों को स्पष्ट ज्ञान के रूप में LLM के संदर्भ (context) में सीधे इंजेक्ट किया जाता है।
  • LLM संवाद, अनुमानित इच्छा और प्राप्त उदाहरणों की स्थिति (condition) में विश्वास विवरण ($b^*$) उत्पन्न करता है।

• तृतीय विचार (रणनीति भविष्यवाणी - Third Think):

  • सिस्टम संवाद सारांश और अनुमानित विश्वास का उपयोग करके एक संयुक्त पुनर्प्राप्ति (joint retrieval) करता है।
  • प्रथम विचार के समान, अनुभव-संचालित रणनीति वितरण को एक गुणांक $\beta$ का उपयोग करके इष्टतम रणनीति चुनने के लिए LLM के वितरण के साथ संलयित किया जाता है।

2.3 ToM-BPD डेटासेट

अनुसंधान को सुगम बनाने के लिए, लेखकों ने PersuasiveToM बेंचमार्क से प्राप्त एक बड़े पैमाने के एनोटेटेड डेटासेट, ToM-आधारित व्यापक अनुनय संवाद (ToM-based Broad Persuasive Dialogues - ToM-BPD) का निर्माण किया है।

• एनोटेशन: इसमें प्रेषिती की इच्छा (विविक्त मान -1, 0, 1) और विश्वास (प्राकृतिक भाषा कथन), साथ ही प्रेषक की रणनीति के लिए सूक्ष्म लेबल शामिल हैं।
• वर्गीकरण (Taxonomy): रणनीतियों को तीन समूहों (सामाजिक-भावनात्मक, संज्ञानात्मक, संवादात्मक) और एलाबोरेशन लाइकलीहुड मॉडल (ELM) एवं मोटिवेशनल इंटरव्यूइंग पर आधारित नौ सूक्ष्म तकनीकों में वर्गीकृत किया गया है।
• गुणवत्ता नियंत्रण: डेटासेट का अर्ध-स्वचालित प्री-एनोटेशन, बहु-चरणीय मानव सत्यापन और एनोटेटर्स के लिए योग्यता परीक्षणों के माध्यम से कठोर एनोटेशन किया गया।

3. मुख्य योगदान

1. कार्य का निरूपण: ToM-PD कार्य का परिचय, जो व्याख्यात्मकता बढ़ाने के लिए मानसिक अवस्थाओं (इरादा, इच्छा, विश्वास) के बीच अनुक्रमिक निर्भरता को स्पष्ट रूप से मॉडल करता है।
2. ढांचा प्रस्ताव: TTBYS का विकास, जो एक ज्ञान-संवर्धित ढांचा है जो अनुनय संवादों में LLM तर्क की मजबूती और निरंतरता में सुधार के लिए संरचित ToM अनुभवों को एकीकृत करता है।
3. डेटासेट निर्माण: सूक्ष्म मानसिक अवस्था एनोटेशन के साथ एक बहु-डोमेन डेटासेट, ToM-BPD का विमोचन, जिसे व्यापक प्रयोगों और केस स्टडीज के माध्यम से सत्यापित किया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने छह अत्याधुनिक LLMs (जिनमें LLaMA-3.1-8B, Qwen-3-8B, Mixtral-7B और GPT-5 तथा Gemini-3-Pro जैसे क्लोज्ड-सोर्स मॉडल शामिल हैं) में TTBYS का मूल्यांकन किया।

• स्थैतिक मूल्यांकन (Static Evaluation):

  • प्रदर्शन: TTBYS से सुसज्जित Qwen-3-8B ने इच्छा भविष्यवाणी में GPT-5 से 1.20%, विश्वास भविष्यवाणी में 22.80%, और रणनीति भविष्यवाणी में 16.97% बेहतर प्रदर्शन किया।
  • तुलना: TTBYS ने सभी ओपन-सोर्स बैकबोन पर वैनिला ज़ीरो-शॉट प्रॉम्प्टिंग, चेन-ऑफ-थॉट (CoT), और अन्य ToM-संवर्धित बेसलाइन (Hypothetical Minds, Metamind) को लगातार पछाड़ दिया।
  • एब्लेशन (Ablation): अध्ययन ने पुष्टि की कि अनुभव-आधारित और LLM-आधारित संकेतों का संतुलित संलयन (गुणांक $\alpha$ और $\beta$ के माध्यम से) इष्टतम परिणाम देता है। प्राप्त अनुभवों की मात्रा बढ़ाने से विशेष रूप से प्रथम और तृतीय विचार चरणों में प्रदर्शन में सुधार हुआ।

• इंटरैक्टिव मूल्यांकन (Interactive Evaluation):

  • उत्पाद खरीद, सामुदायिक गतिविधियों और सहानुभूतिपूर्ण संवाद परिदृश्यों में सिम्युलेटेड इंटरैक्शन ने दिखाया कि TTBYS (Qwen-3-8B का उपयोग करते हुए) पहचान (मानसिक अवस्थाओं को उजागर करना) और अनुनय प्रभावशीलता में GPT-5 बेसलाइन से काफी बेहतर रहा।
  • जबकि GPT-5+CoT ने थोड़ी अधिक निरंतरता दिखाई, TTBYS ने सटीक मानसिक अवस्था अनुमान के आधार पर रणनीतियों को अनुकूलित करने की बेहतर क्षमता प्रदर्शित की।

• केस स्टडीज:

  • गुणात्मक विश्लेषण ने प्रदर्शित किया कि TTBYS उन सूक्ष्म विश्वासों (जैसे, ग्रामीण पुनरुद्धार के लिए ऑनलाइन गोपनीयता की प्रासंगिकता के बारे में अनिश्चितता) को पकड़ सकता है जिन्हें बेसलाइन मॉडल मिस कर देते हैं, जिससे अधिक सटीक इच्छा भविष्यवाणियों और उपयुक्त रणनीति चयन की ओर ले जाता है।

5. महत्व और दावे

लेख का दावा है कि TTBYS निम्नलिखित तरीकों से ToM-संचालित अनुनय संवाद में अत्याधुनिक स्थिति (state of the art) को महत्वपूर्ण रूप से आगे बढ़ाता है:

• व्याख्यात्मकता बढ़ाना: अनुनय प्रक्रिया को स्पष्ट चरणों (इच्छा $\to$ विश्वास $\to$ रणनीति) में विभाजित करके और संरचित तर्क का उपयोग करके, सिस्टम का निर्णय लेने का तरीका अधिक पारदर्शी और पता लगाने योग्य हो जाता है।
• मजबूती में सुधार: पूर्व अनुभवों का एकीकरण अंतर्निहित मानसिक अवस्थाओं का अनुमान लगाने में LLMs की अस्थिरता को कम करता है, जिससे छोटे ओपन-सोर्स मॉडल बड़े क्लोज्ड-सोर्स मॉडलों के बराबर या उनसे बेहतर प्रदर्शन करने में सक्षम होते हैं।
• एक आधार प्रदान करना: ToM-PD कार्य और ToM-BPD डेटासेट सामाजिक बातचीत में गतिशील मानसिक अवस्थाओं के मॉडलिंग के लिए भविष्य के अनुसंधान हेतु एक मानकीकृत बेंचमार्क प्रदान करते हैं।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि डेटासेट का आकार अपेक्षाकृत छोटा है और इस दृष्टिकोण को अभी तक पूरी तरह से तैनात, वास्तविक दुनिया के अनुनय सिस्टम में सत्यापित नहीं किया गया है। वे इस बात पर जोर देते हैं कि हालांकि ढांचा प्रो-सोशल अनुप्रयोगों के लिए डिज़ाइन किया गया है, फिर भी हेरफेर वाले संदर्भों में संभावित दुरुपयोग को रोकने के लिए सुरक्षा उपाय आवश्यक हैं।