Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

तकनीकी सारांश: पदानुक्रमित तर्क (Hierarchical Reasoning) और उत्त़र-स्तरीय लक्ष्य पुरस्कार (Utterance-Level Goal Rewarding) के माध्यम से LLMs में सामाजिक बुद्धिमत्ता को बढ़ाना

समस्या विवरण
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) स्थिर, नियम-आधारित कार्यों में उत्कृष्ट हैं, वे गतिशील सामाजिक अंतःक्रियाओं, विशेष रूप से दीर्घकालिक लक्ष्य समन्वय और तीव्र अनुकूलन की आवश्यकता वाले बहु-एजेंट वार्ताओं में संघर्ष करते हैं। वर्तमान अनुकूलन विधियाँ अक्सर प्रत्येक संवाद मोड़ (utterance) पर समान लक्ष्य-आधारित पुरस्कार लागू करती हैं, जो प्रत्येक संवाद के विशिष्ट उद्देश्यों की अनदेखी करती हैं और संभावित रणनीतियों के पीछे के तर्क को समझने में विफल रहती हैं। यह दृष्टिकोण एजेंटों को ऐसी "शॉर्टकट उत्त़र" (shortcut utterances) पहचानने के लिए प्रशिक्षित करने का जोखिम उठाता है जो वास्तविक मानव-समान सामाजिक अनुमान या रणनीतिक योजना सीखने के बजाय केवल सफलता मेट्रिक्स को अधिकतम करते हैं। इसके अलावा, मौजूदा पदानुक्रमित विधियाँ अक्सर रणनीति-स्तर के अनुकूलन पर ध्यान केंद्रित करती हैं, जबकि उत्त़र-स्तर के निष्पादन की स्थिरता और सुसंगतता की उपेक्षा करती हैं।

कार्यप्रणाली
लेखक सोच-रणनीति-प्रतिक्रिया (Think-Strategy-Response - TSR) ढांचे का प्रस्ताव करते हैं, जो नियोजित व्यवहार के सिद्धांत (Theory of Planned Behavior - TPB) पर आधारित है, ताकि सामाजिक संवाद को दो पदानुक्रमित चरणों में विभाजित किया जा सके:

1. उच्च-स्तरीय रणनीतिक योजना (सोचना और रणनीति): मॉडल पहले एक "सोचने" (अनुमान, अनुमान लगाना, विश्लेषण) का चरण और एक "रणनीति" (व्यवहार संबंधी इरादा) का चरण उत्पन्न करता है। यह चरण संज्ञानात्मक मूल्यांकन को एक कार्रवाई योग्य योजना में अनुवादित करता है, जिससे यह सुनिश्चित होता है कि प्रतिक्रिया एक सामान्य लक्ष्य के बजाय एक विशिष्ट, उच्च-स्तरीय रणनीति द्वारा निर्देशित हो।
2. निम्न-स्तरीय भाषाई निष्पादन (प्रतिक्रिया): उत्पन्न रणनीति के आधार पर, मॉडल वास्तविक उत्त़र (utterance) तैयार करता है। उल्लेखनीय रूप से, कंप्यूटेशनल ओवरहेड को कम करने और अत्यधिक तर्क के प्रदर्शन को बाधित करने से रोकने के लिए दूसरे चरण के इनपुट से "सोचने" की सामग्री को बाहर रखा जाता है।

इस ढांचे को अनुकूलित करने के लिए, शोध पत्र वैरिएंस-गेटेड रिवॉर्ड्स के साथ लीनियरलाइज्ड हिरार्किकल रीइन्फोर्समेंट लर्निंग (LHRL-VGR) पेश करता है। यह एल्गोरिदम एक नवीन रिवॉर्ड रूटिंग तंत्र का उपयोग करता है:

• रणनीति के लिए संयुक्त पुरस्कार (Composite Reward for Strategy): रणनीति जनरेटर को 'अनुमानित परिणाम पुरस्कारों' (लक्ष्य की ओर प्रगति का अनुमान लगाना) और 'सामग्री पूर्णता पुरस्कारों' (व्यवहार संबंधी मार्गदर्शन और उत्त़र-स्तरीय उद्देश्यों के साथ संरेखण का मूल्यांकन करना) से बने एक संयुक्त पुरस्कार का उपयोग करके अनुकूलित किया जाता है।
• प्रतिक्रिया के लिए वैरिएंस-गेटेड रिवॉर्ड (Variance-Gated Reward for Response): प्रतिक्रिया जनरेटर एक गतिशील रिवॉर्ड राउटर का उपयोग करता है। यह कई प्रतिक्रिया नमूनों में लक्ष्य प्राप्ति स्कोर के वैरिएंस (विचलन) की गणना करता है।
  • यदि वैरिएंस थ्रेशोल्ड ($\theta$) से अधिक है, जो लक्ष्य पूर्ति में अनिश्चितता का संकेत देता है, तो सिस्टम लक्ष्य-पूर्णता पुरस्कार ($r_{goal}$) को प्राथमिकता देता है।
  • यदि वैरिएंस कम (स्थिर) है, तो सिस्टम रणनीति-अनुपालन पुरस्कार ($r_{follow}$) को प्राथमिकता देता है, जिससे नियोजित रणनीति के पालन को सुनिश्चित किया जा सके।
• दो-चरणीय ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO): प्रशिक्षण प्रक्रिया GRPO एल्गोरिदम का उपयोग करके दोनों चरणों को संयुक्त रूप से अनुकूलित करती है। यह रणनीति सामग्री और हस्तांतरित लक्ष्य पूर्णता पुरस्कारों के लिए लाभ (advantages) की गणना करता है, और उन्हें हाइपरपै umumnya $\alpha$ के माध्यम से संतुलित करता है।

प्रमुख योगदान

1. TSR ढांचा: एक लीनियरलाइज्ड पदानुक्रमित प्रतिमान जो रणनीतिक योजना को भाषाई निष्पादन से स्पष्ट रूप से अलग करता है, जिससे अधिक तर्कसंगत और व्याख्या योग्य संवाद निर्माण संभव होता है।
2. LHRL-VGR एल्गोरिदम: एक नवीन प्रशिक्षण एल्गोरिदम जिसमें एक वैरिएंस-गेटेड रिवॉर्ड राउटर है जो गतिशील रूप से प्रतिक्रिया जनरेटर को लक्ष्य-पूर्णता या रणनीति-अनुपालन पुरस्कारों में से किसी एक को आवंटित करता है, जबकि एक संयुक्त रणनीतिक पुरस्कार के माध्यम से दोनों नीति स्तरों को संयुक्त रूप से प्रशिक्षित करता है।
3. स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि SOTOPIA बेंचमार्क पर उत्कृष्ट परिणाम प्राप्त करती है, जो यह प्रदर्शित करती है कि LHRL-VGR के साथ फाइन-ट्यून किया गया Qwen2.5-7B एजेंट GPT-4o बेसलाइन से बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम
प्रयोग SOTOPIA और SOTOPIA-Hard बेंचमार्क पर किए गए, जिसमें GPT-4o को भागीदार के रूप में रखते हुए बहु-चरणीय संवादों में एजेंटों का मूल्यांकन किया गया।

• प्रदर्शन: LHRL-VGR द्वारा फाइन-ट्यून किए गए Qwen2.5-7B एजेंट ने SOTOPIA बेंचमार्क पर GPT-4o बेसलाइन के मुकाबले लक्ष्य पूर्णता सफलता में 7.32% सापेक्ष सुधार प्राप्त किया।
• एब्लेशन अध्ययन (Ablation Studies): रणनीति पूर्णता पुरस्कार या हस्तांतरित लक्ष्य पूर्णता पुरस्कार को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो संयुक्त अनुकूलन की आवश्यकता की पुष्टि करता है।
• प्रशिक्षण प्रतिमान: दोनों चरणों के समन्वित संयुक्त प्रशिक्षण ने क्रमिक प्रशिक्षण (पहले चरण 1 फिर चरण 2, या इसके विपरीत) और एकल-चरण RL दृष्टिकोणों की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से रणनीति और प्रतिक्रिया गुणवत्ता के लिए मानव-मूल्यांकित मेट्रिक्स पर।
• रिवॉर्ड रूटिंग: वैरिएंस-गेटेड रूटिंग तंत्र ने पूर्व-निर्धारित संवाद मोड या रणनीति-अनुमानित मोड पर आधारित वैकल्पिक रूटिंग रणनीतियों की तुलना में काफी बेहतर प्रदर्शन किया।

महत्व और दावे
शोध पत्र का दावा है कि प्रस्तावित दृष्टिकोण LLMs के लिए सामाजिक बुद्धिमत्ता बढ़ाने की दो मुख्य चुनौतियों का समाधान करता है:

1. वास्तविक सामाजिक अनुमान: रणनीति को स्पष्ट रूप से उत्पन्न और अनुकूलित करके, यह विधि मॉडल्स को शॉर्टकट उत्त़रों को सीखने से रोकती है, बल्कि मानव-समान क्षमताओं जैसे कि इरादे के तर्क और रणनीतिक योजना को बढ़ावा देती है।
2. गतिशील रिवॉर्ड अनुकूलन: वैरिएंस-गेटेड तंत्र समान लक्ष्य-आधारित पुरस्कार लागू करने की सीमा को दूर करता है, जिससे मॉडल को लक्ष्य पूर्णता और रणनीति अनुपालन के बीच संतुलन बनाकर विभिन्न उत्त़रों के विशिष्ट उद्देश्यों के अनुकूल होने की अनुमति मिलती है।

लेखक निष्कर्ष निकालते हैं कि उनकी विधि जटिल सामाजिक वार्ता कार्यों में अधिक मानव-समान और बुद्धिमान LLM-आधारित एजेंटों के लिए एक आशाजनक मार्ग प्रदान करती है, जो संरचित TSR ढांचे के माध्यम से व्याख्यात्मकता बनाए रखते हुए स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करती है।