Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

यहाँ रोलैंड मुलेनबर्न (Roland Mühlenbernd) के शोध पत्र "Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने मानव जैसे व्यावहारिक और सामाजिक तर्क (जैसे, सही संवादात्मक निहितार्थों की पहचान करना) को गुणात्मक रूप से पुनरुत्पादित करने की क्षमता प्रदर्शित की है, लेकिन उनके मात्रात्मक (quantitative) प्रदर्शन को समझने में एक महत्वपूर्ण अंतर है। मौजूदा मूल्यांकन अक्सर दिशात्मक सहमति (क्या मॉडल "सही" उत्तर देता है?) या श्रेणीबद्ध रैंकिंग पर ध्यान केंद्रित करते हैं, जो सामाजिक निष्कर्षों की क्रमबद्ध शक्ति (graded strength) की अनदेखी करते हैं।

यह शोध पत्र दो मुख्य प्रश्नों को संबोधित करता है:

1. मात्रात्मक निष्ठा (Quantitative Fidelity): क्या LLMs केवल दिशा में ही नहीं, बल्कि परिमाण (magnitude) में भी मानव सामाजिक अर्थ के करीब पहुँचते हैं? (अर्थात, क्या वे मानव निर्णयों की तुलना में सामाजिक निर्णयों की शक्ति को बढ़ा-चढ़ाकर पेश करते हैं या कम करके दिखाते हैं?)
2. हस्तक्षेप (Intervention): क्या व्यावहारिक सिद्धांत (pragmatic theory) पर आधारित प्रॉम्प्टिंग रणनीतियाँ इस मात्रात्मक सन्निकटन (approximation) में सुधार कर सकती हैं?

लेखक एक "संरचना-परिमाण पृथक्करण" (structure–magnitude dissociation) का परिकल्पना करते हैं, जहाँ मॉडल प्रभाव की दिशा को तो सही पहचान लेते हैं (जैसे, सटीक भाषा सक्षमता का संकेत देती है) लेकिन उस प्रभाव के परिमाण को व्यवस्थित रूप से विकृत कर देते हैं।

2. कार्यप्रणाली (Methodology)

प्रयोगात्मक डिज़ाइन

• कार्य (Task): यह अध्ययन संख्यात्मक (अ)सटीकता (numerical imprecision) पर एक केस स्टडी का उपयोग करता है। यह मूल्यांकन करता है कि सटीक (जैसे, "$500") और अनुमानित (जैसे, "लगभग$500") संख्यात्मक अभिव्यक्तियों के बीच का चुनाव सामाजिक धारणाओं (सक्षमता, ज्ञानशीलता, सहायकता, आदि) को कैसे प्रभावित करता है।
• संदर्भ (Contexts): अध्ययन 'उत्पत्ति के रूप' (utterance form) और संदर्भगत सटीकता आवश्यकताओं को क्रॉस करता है:
  • उच्च-सटीकता (High-Precision - HP): औपचारिक संदर्भ (जैसे, बीमा दावे) जहाँ सटीकता अपेक्षित है।
  • निम्न-सटीकता (Low-Precision - LP): अनौपचारिक संदर्भ (जैसे, मित्र के साथ बातचीत) जहाँ अनुमान स्वीकार्य है।
• मानव बेंचमार्क (Human Benchmark): मूल्यांकन सोल्ट एट अल. (2025) के प्रयोग 1 पर आधारित है, जिसने 10 महत्वपूर्ण प्रभावों (5 मुख्य प्रभाव, 5 फॉर्म × कॉन्टेक्स्ट इंटरैक्शन) में मानव सामाजिक निष्कर्षों का मात्रात्मक आधार स्थापित किया था।

मॉडल और प्रोटोकॉल

• मॉडल: तीन फ्रंटियर LLMs का API के माध्यम से मूल्यांकन किया गया: GPT-4o-mini, Claude-sonnet-4, और Gemini-2.5-pro।
• प्रॉम्प्टिंग स्थितियाँ (Prompting Conditions): व्यावहारिक तर्क तंत्रों की जांच के लिए चार अलग-अलग प्रॉम्प्टिंग व्यवस्थाओं का परीक्षण किया गया:
  1. न्यूनतम (MIN): मानव प्रयोग की नकल करने वाले आधारभूत निर्देश।
  2. विकल्प-जागरूक (Alternative-Aware - ALT): इसमें एक 'चेन-ऑफ-थॉट' (CoT) उदाहरण शामिल है जो मॉडल को भाषाई विकल्पों पर तर्क करने के लिए मजबूर करता है (ग्राइसियन सिद्धांत)।
  3. ज्ञान-और-उद्देश्य-जागरूक (Knowledge-and-Motives-Aware - KMA): यह मॉडल को रेटिंग देने से पहले वक्ता की संभावित ज्ञान अवस्थाओं और संचार संबंधी उद्देश्यों पर विचार करने का निर्देश देता है।
  4. संयुक्त (Combined - COM): यह ALT और KMA दोनों घटकों को एकीकृत करता है।

मूल्यांकन मेट्रिक्स

शोध पत्र संरचनात्मक निष्ठा को परिमाण अंशांकन (magnitude calibration) से अलग करने के लिए दो नए मेट्रिक्स पेश करता है:

1. प्रभाव आकार अनुपात (Effect Size Ratio - ESR): $ESR = |\Delta_M| / |\Delta_H|$। यह मॉडल के प्रभाव आकार और मानव प्रभाव आकार के अनुपात को मापता है। $ESR=1$पूर्णता है;$ESR>1$ अतिरंजना (exaggeration) को दर्शाता है; $ESR<1$ क्षीणन (attenuation) को दर्शाता है।
2. कैलिब्रेशन विचलन स्कोर (Calibration Deviation Score - CDS): सभी महत्वपूर्ण प्रभावों में ESR का 1 से माध्य निरपेक्ष विचलन। कम स्कोर बेहतर परिमाण अंशांकन को दर्शाता है।

• सहायक मेट्रिक्स: स्पीयरमैन रैंक सहसंबंध ($\rho$), कॉनकॉर्डेंस कोरिलेशन कोएफिशिएंट (CCC), और रूट मीन स्क्वायर एरर (RMSE)।

3. मुख्य योगदान

1. नए मेट्रिक्स: ESR और CDS का परिचय LLMs में "संरचना-परिमाण पृथक्करण" को मात्रात्मक रूप देने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जो सरल सटीकता या रैंकिंग मेट्रिक्स से आगे जाता है।
2. सैद्धांतिक ढांचा: यह अध्ययन दो मुख्य व्यावहारिक धारणाओं (विकल्पों पर तर्क और वक्ता का ज्ञान/उद्देश्य) को विशिष्ट प्रॉम्प्टिंग हस्तक्षेपों में संचालित करता है ताकि मॉडल व्यवहार को नियंत्रित किया जा सके।
3. पृथक्करण का अनुभवजन्य प्रमाण: यह इस बात का पुख्ता प्रमाण देता है कि LLMs सामाजिक निष्कर्षों की दिशा को विश्वसनीय रूप से सीख लेते हैं लेकिन उन निष्कर्षों की क्रमबद्ध शक्ति को पकड़ने में विफल रहते हैं, और अक्सर प्रभाव के परिमाण को 2-10 गुना तक बढ़ा देते हैं।

4. परिणाम

संरचनात्मक बनाम परिमाण संरेखण

• संरचनात्मक निष्ठा (Structural Fidelity): सभी मॉडल्स ने पूर्ण दिशात्मक सहमति (DAS = 1.0, ISS = 1.0) और उच्च रैंक सहसंबंध ($\rho \approx 0.83–0.95$) प्राप्त किया। उन्होंने सही ढंग से पहचाना कि कौन से निष्कर्ष निकालने हैं।
• परिमाण अंशांकन (Magnitude Calibration): महत्वपूर्ण विफलताएं देखी गईं।
  • Gemini: इसमें गंभीर परिमाण अतिरंजना (RMSE 1.07–1.42) देखी गई, जो अक्सर मानव आधार रेखा से 2-3 गुना अधिक प्रभाव दिखाती है।
  • Claude: इसमें मध्यम लेकिन असमान गलत अंशांकन देखा गया, जो प्रॉम्प्टिंग के प्रति अत्यधिक संवेदनशील था।
  • GPT: समग्र रूप से सर्वश्रेष्ठ प्रदर्शन किया, जिसमें लगभग-अंशांकित परिमाण (RMSE 0.55–0.81) था।

प्रॉम्प्टिंग रणनीतियों का प्रभाव

• ज्ञान-और-उद्देश्य-जागरूक (KMA): अतिरंजना करने वाले मॉडल्स (Claude और Gemini) में परिमाण विचलन को कम करने के लिए यह सबसे लगातार प्रभावी हस्तक्षेप था। इसने कैलिब्रेशन डेविएशन स्कोर (CDS) को काफी कम कर दिया, जो यह सुझाव देता है कि वक्ता की अनिश्चितता को स्पष्ट रूप से मॉडल करने से सामाजिक निष्कर्ष संतुलित होते हैं।
• विकल्प-जागरूक (ALT): इसके मिश्रित या प्रतिकूल प्रभाव देखे गए। जबकि इसने GPT की थोड़ी मदद की, इसने Gemini में परिमाण अतिरंजना को बढ़ा दिया और Claude में समग्र अंशांकन को खराब कर दिया। यह सुझाव देता है कि वक्ता की एपिस्टेमिक अवस्थाओं (epistemic states) को आधार दिए बिना विकल्पों पर विचार करने के लिए मजबूर करना कंट्रास्ट प्रभावों को बढ़ा सकता है।
• संयुक्त (COM): यह एकमात्र स्थिति थी जिसने तीनों मॉडल्स में सभी अंशांकन-संवेदनशील मेट्रिक्स (CCC, RMSE, CDS) में सुधार किया। हालांकि, इसने Gemini के लिए अंशांकन अंतराल को पूरी तरह से हल नहीं किया, जो दर्शाता है कि दोनों व्यावहारिक घटक पूरी तरह से योगात्मक (additive) नहीं हैं और विशिष्ट आर्किटेक्चर में एक-दूसरे के साथ हस्तक्षेप कर सकते हैं।

5. महत्व और निष्कर्ष

• सैद्धांतिक निहितार्थ: परिणाम रेशनल स्पीच एक्ट (RSA) ढांचे का समर्थन करते हैं, यह सुझाव देते हुए कि मानव-समान व्यावहारिक निष्कर्ष के लिए विकल्पों पर तर्क करने और वक्ता की अवस्थाओं का अनुमान लगाने के एक साथ संचालन की आवश्यकता होती है। इन घटकों को अलग करने (प्रॉम्प्टिंग के माध्यम से) से अक्सर उप-इष्टतम या विकृत तर्क उत्पन्न होता है।
• मूल्यांकन में बदलाव: यह शोध पत्र तर्क देता है कि सामाजिक तर्क के लिए LLMs का मूल्यांकन केवल "क्या इसने सही उत्तर दिया?" से आगे बढ़कर "यह उत्तर कितनी मजबूती से मानता है?" तक जाना चाहिए। प्रस्तावित ESR और CDS मेट्रिक्स इस अंतर को निदान करने के लिए आवश्यक हैं।
• व्यावहारिक सीमाएं: हालांकि व्यावहारिक प्रॉम्प्टिंग एक आंशिक समाधान प्रदान करती है, यह आर्किटेक्चर-निर्भर और अपूर्ण है। अध्ययन रेखांकित करता है कि वर्तमान LLMs सामाजिक अर्थ के अनुमानित ढांचे को तो पकड़ लेते हैं, लेकिन वे अनुमानित शक्ति को भिन्न रूप से विकृत करते हैं, जो consequential निर्णय लेने वाले संदर्भों में मानव सामाजिक निर्णय के पूर्ण सिम्युलेटर के रूप में उनकी विश्वसनीयता को सीमित करता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि जबकि LLMs ने सामाजिक निष्कर्ष के तर्क (logic) में महारत हासिल कर ली है, वे सामाजिक शक्ति के अंशांकन (calibration) के लिए संघर्ष करते हैं, और व्यावहारिक सिद्धांत (pragmatic theory) इन त्रुटियों को कम करने के लिए एक उपयोगी, हालांकि वर्तमान में अपूर्ण, टूलकिट प्रदान करता है।