Emergence of Hierarchical Emotion Organization in Large Language Models

समस्या विवरण
जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) बहु-मोडल इंटरैक्शन में सक्षम संवादात्मक एजेंटों को शक्ति प्रदान कर रहे हैं, यह समझना कि ये मॉडल उपयोगकर्ता की भावनात्मक अवस्थाओं का प्रतिनिधित्व और प्रसंस्करण कैसे करते हैं, नैतिक तैनाती के लिए महत्वपूर्ण है। जबकि पूर्व कार्य मानक भावना वर्गीकरण के बेंचमार्किंग पर केंद्रित रहे हैं, इस बात को समझने में एक अंतराल है कि क्या LLMs मानव मनोवैज्ञानिक ढांचों के समान उभरती हुई, संरचित समझ विकसित करते हैं। विशेष रूप से, यह स्पष्ट नहीं है कि क्या LLMs स्वाभाविक रूप से मानव "इमोशन व्हील" (भावना चक्र) के समान भावनाओं का पदानुक्रमित संगठन (hierarchical organization) बनाते हैं और क्या ये मॉडल विविध जनसांख्यिकीय व्यक्तित्वों (demographic personas) में भावना पहचान के मामले में मानव व्यवस्थित पूर्वाग्रहों को दोहराते हैं।

कार्यप्रणाली
लेखक मॉडल आउटपुट वितरण में भावनात्मक अवस्थाओं के बीच संभावabilistic निर्भरता का विश्लेषण करने के लिए 'इमोशन व्हील' ढांचे (Shaver et al., 1987) से प्रेरित एक नवीन मूल्यांकन पाइपलाइन प्रस्तावित करते हैं।

1. पदानुक्रम निर्माण एल्गोरिदम (Hierarchy Construction Algorithm): मुख्य विधि में एक सिचुएशनल प्रॉम्प्ट्स का डेटासेट तैयार करना शामिल है (GPT-4o द्वारा उत्पन्न 5,000 परिदृश्य)। प्रत्येक प्रॉम्प्ट के लिए, LLM को वाक्यांश "The emotion in this sentence is," को पूरा करने के लिए कहा जाता है, और अगले टोकन (विशेष रूप से Shaver et al. के 135 इमोशन वर्ड्स) पर संभाव्यता वितरण (probability distribution) निकाला जाता है।

   • एक मैचिंग मैट्रिक्स $C = Y^T Y$ बनाया जाता है, जहाँ $Y$ में संभाव्यता वितरण शामिल हैं। यह मैट्रिक्स उन भावनाओं को कैप्चर करता है जो विभिन्न संदर्भों में सह-घटित (co-occur) होती हैं।
   • इमोशन पेयर्स के बीच कंडीशनल प्रोबेबिलिटी की गणना की जाती है ताकि पैरेंट-चाइल्ड संबंधों का अनुमान लगाया जा सके। एक भावना $a$ को $b$ का 'चाइल्ड' तब माना जाता है जब कंडीशनल प्रोबेबिलिटी $P(b|a)$ एक थ्रेशोल्ड $t$ से अधिक हो और $P(a|b)$ की तुलना में काफी अधिक हो, जो यह दर्शाता है कि $b$ एक अधिक सामान्य श्रेणी है जो विशिष्ट भावना $a$ द्वारा निहित है।
   • यह प्रक्रिया एक निर्देशित अचक्रीय ग्राफ (Directed Acyclic Graph - DAG) उत्पन्न करती है जो मॉडल के आंतरिक भावनात्मक संगठन का प्रतिनिधित्व करती है।

2. स्केल विश्लेषण (Scale Analysis): विधि को मॉडल पैरामीटर्स के साथ पदानुक्रम की जटिलता को देखने के लिए विभिन्न आकारों के LLMs (GPT-2, Llama 3.1 8B, 70B, और 405B) पर लागू किया जाता है।

3. पूर्वाग्रह और व्यक्तित्व विश्लेषण (Bias and Persona Analysis): पहचान पूर्वाग्रह का मूल्यांकन करने के लिए, लेखक विविध जनसांख्यिकीय व्यक्तित्वों (लिंग, जाति, सामाजिक-आर्थिक स्थिति, आयु, धर्म और क्षमता के आधार पर भिन्न) को प्रॉम्प्ट में पेश करते हैं (जैसे, "एक [जनसांख्यिकीय] के रूप में, मुझे लगता है कि इसमें शामिल भावना...")। परिदृश्यों में भावनाओं को सही ढंग से पहचानने की मॉडल की क्षमता को मापा जाता है, और व्यवस्थित गलत वर्गीकरण का पता लगाने के लिए कन्फ्यूजन मैट्रिसेस का विश्लेषण किया जाता है।

4. मानव तुलना (Human Comparison): मानव गलत वर्गीकरण पैटर्न और मानव प्रदर्शन के विरुद्ध LLM के प्रदर्शन की तुलना करने के लिए 60 मानव प्रतिभागियों वाला एक यूजर स्टडी आयोजित किया गया है।

प्रमुख योगदान

• पदानुक्रमित संगठन का उद्भव (Emergence of Hierarchical Organization): अध्ययन प्रदर्शित करता है कि LLMs स्वाभाविक रूप से भावनात्मक अवस्थाओं के पदानुक्रमित वृक्ष (hierarchical trees) बनाते हैं जो स्थापित मानव मनोवैज्ञानिक मॉडलों के साथ संरेखित होते हैं। यह पदानुक्रम स्पष्ट रूप से प्रोग्राम नहीं किया गया है, बल्कि मॉडल के प्रशिक्षण से उभरता है।
• स्केल-निर्भर जटिलता (Scale-Dependent Complexity): शोध पाता है कि जैसे-जैसे मॉडल का स्केल बढ़ता है, उनके आंतरिक भावना पदानुक्रम अधिक जटिल होते जाते हैं, जो अधिक गहराई और ब्रांचिंग प्रदर्शित करते हैं, जो मानव मनोवैज्ञानिक संरचनाओं के साथ मजबूत संरेखण से सह-संबंधित है।
• व्यवस्थित पूर्वाग्रह का प्रतिबिंब (Systematic Bias Mirroring): पेपर यह उजागर करता है कि LLMs भावना पहचान में मानव व्यवस्थित पूर्वाग्रहों को दोहराते हैं। विशेष रूप से, मॉडल कम प्रतिनिधित्व वाले समूहों (जैसे, अश्वेत, महिला, कम आय, कम शिक्षा वाले व्यक्तित्व) के लिए कम सटीकता दिखाते हैं।
• इंटरसेक्शनल पूर्वाग्रह प्रवर्धन (Intersectional Bias Amplification): अध्ययन रेखांकित करता है कि इंटरसेक्शनल पहचानों (जैसे, कम आय वाले अश्वेत महिलाएं) में पूर्वाग्रह बढ़ते हैं, जिससे सबसे कम पहचान सटीकता और विशिष्ट गलत वर्गीकरण पैटर्न (जैसे, उदासी को क्रोध या भय के रूप में गलत वर्गीकृत करना) उत्पन्न होते हैं।
• प्रदर्शन के ज्यामितीय भविष्यवक्ता (Geometric Predictors of Performance): लेखक दिखाते हैं कि निर्मित भावना वृक्षों के ज्यामितिक मेट्रिक्स (जैसे, कुल पथ लंबाई और औसत गहराई) विशिष्ट व्यक्तित्वओं के लिए मॉडल की भावना पहचान सटीकता के विश्वसनीय भविष्यवक्ता के रूप में कार्य करते हैं।

प्रमुख परिणाम

• पदानुक्रमित संरेखण (Hierarchical Alignment): विजुअल और मात्रात्मक विश्लेषण (Shaver et al. इमोशन व्हील के साथ सहसंबंध का उपयोग करके) पुष्टि करता है कि बड़े मॉडल (जैसे, Llama 405B) ऐसे क्लस्टरिंग स्ट्रक्चर वाले इमोशन ट्री बनाते हैं जो मानव-एनोटेटेड फ्रेमवर्क के अत्यधिक समान हैं। छोटे मॉडल (जैसे, GPT-2) सार्थक ट्री स्ट्रक्चर की कमी रखते हैं।
• मात्रात्मक जटिलता (Quantitative Complexity): बड़े मॉडल अपने इमोशन ट्री में काफी उच्च "कुल पथ लंबाई" (total path length) और "औसत गहराई" (average depth) प्रदर्शित करते हैं, जो समृद्ध आंतरिक संगठन का संकेत देते हैं।
• पहचान सटीकता अंतराल (Recognition Accuracy Gaps): Llama 405B न्यूट्रल पर्सना लोगों के लिए छह व्यापक श्रेणियों में भावनाओं को समूहित करते समय 87.1% सटीकता प्राप्त करता है, लेकिन कम प्रतिनिधित्व वाले व्यक्तित्वों के लिए सटीकता काफी गिर जाती है। उदाहरण के लिए, मॉडल श्वेत और पुरुष व्यक्तित्वों की तुलना में अश्वेत और महिला व्यक्तित्वों के लिए भावनाओं को पहचानने में अधिक संघर्ष करता है।
• गलत वर्गीकरण पैटर्न (Misclassification Patterns):
  • एशियाई व्यक्तित्व (Asian Personas): नकारात्मक भावनाओं (क्रोध, भय, उदासी) को अक्सर "शर्म" (shame) के रूप में गलत वर्गीकृत किया जाता है।
  • हिंदू व्यक्तित्व (Hindu Personas): नकारात्मक भावनाओं को अक्सर "अपराधबोध" (guilt) के रूप में गलत वर्गीकृत किया जाता है।
  • शारीरिक रूप से अक्षम व्यक्तित्व (Physically Disabled Personas): एक महत्वपूर्ण पूर्वाग्रह मौजूद है जहाँ 26.5% भावनाओं को "हताशा" (frustration) के रूप में गलत वर्गीकृत किया जाता है।
  • इंटरसेक्शनलिटी (Intersectionality): कम आय वाले अश्वेत महिला व्यक्तित्वों में नस्ल, लिंग और आय के संयुक्त पूर्वाग्रह होते हैं, जिसके परिणामस्वरूप सबसे कम समग्र सटीकता प्राप्त होती है।
• मानव-LLM समानताएं (Human-LLM Parallels): यूजर स्टडी प्रकट करती है कि LLMs मानव गलत वर्गीकरण पैटर्न को दोहराते हैं (जैसे, दोनों अश्वेत मानव और LLM द्वारा मॉडल किए गए अश्वेत व्यक्तित्व भय को क्रोध के रूप में व्याख्या करने की प्रवृत्ति रखते हैं)। हालांकि, एक उल्लेखनीय विचलन लिंग पूर्वाग्रह में है: जबकि मानव महिलाएं पहचान में पुरुषों से बेहतर प्रदर्शन करती हैं, Llama इसके विपरीत रुझान दिखाता है, पुरुष व्यक्तित्वों का पक्ष लेता है।
• सुदृढीकरण लर्निंग का प्रभाव (Reinforcement Learning Impact): सामाजिक संपर्क कार्यों (वार्ता/अनुनय) के माध्यम से सुदृढीकरण लर्निंग द्वारा मॉडलों को फाइन-ट्यून करने से "आश्चर्य" (surprise) की पहचान में महत्वपूर्ण सुधार होता है (20.0% से 33.3% तक), जो इस परिकल्पना का समर्थन करता है कि प्रेडिक्शन-एरर-आधारित प्रशिक्षण इस विशिष्ट भावना के प्रति संवेदनशीलता को बढ़ाता है।

महत्व और दावे
पेपर का दावा है कि इसके परिणाम दर्शाते हैं कि LLMs में भावनात्मक तर्क का उद्भव सरल वर्गीकरण से परे है, जो यह सुझाव देता है कि ये मॉडल सामाजिक धारणा और मानव संज्ञानात्मक संरचनाओं के पहलुओं को आत्मसात करते हैं। लेखक तर्क देते हैं कि भावनाओं का पदानुक्रमित संगठन एक उभरता हुआ गुण है जो मॉडल के आकार के साथ स्केल होता है, जो संभावित रूप से अधिक भावनात्मक रूप से बुद्धिमान और संदर्भ के प्रति जागरूक एजेंटों की ओर ले जाता है।

इसके अलावा, यह कार्य न केवल सटीकता के लिए, बल्कि मानव पूर्वाग्रहों के प्रतिकृति के लिए भी LLMs के मूल्यांकन के नैतिक महत्व को रेखांकित करता है। लेखक तर्क देते हैं कि उनका मूल्यांकन पाइपलाइन, जो संज्ञानात्मक-आधारित सिद्धांतों (जैसे, इमोशन व्हील) पर आधारित है, बेहतर मॉडल मूल्यांकन विकसित करने के लिए एक मजबूत तरीका प्रदान करता है। वे सुझाव देते हैं कि इन उभरते हुए पदानुक्रमों और पूर्वाग्रहों को समझना परामर्श और चिकित्सा जैसे संवेदनशील डोमेन में LLMs की सुरक्षित तैनाती के लिए महत्वपूर्ण है, साथ ही यह चेतावनी भी देते हैं कि बेहतर भावनात्मक समझ का उपयोग हेरफेर (manipulation) के लिए किया जा सकता है यदि मॉडल मिस-अलाइन्ड हों। अध्ययन निष्कर्ष निकालता है कि मानव व्यवहार के संज्ञानात्मक सिद्धांत LLM घटकों, जैसे कि आउटपुट लॉजिट्स और मध्यवर्ती निरूपणों (intermediate representations) के लिए भविष्य कहनेवाला परीक्षण विकसित करने के लिए कार्यशील परिकल्पना के रूप में काम कर सकते हैं।