Strategic Dialogue Assessment: The Crooked Path to Innocence

तकनीकी सारांश: रणनीतिक संवाद मूल्यांकन (Strategic Dialogue Assessment - SDA)

समस्या विवरण
प्रैग्मैटिक्स (Pragmatics) और लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन में वर्तमान शोध मुख्य रूप से सहयोगात्मक विमर्श (Cooperative Discourse) की धारणा पर आधारित है, जो ग्राइसियन सिद्धांतों (Gricean principles) पर आधारित है जहाँ वार्ताकार साझा लक्ष्यों को साझा करते हैं। हालाँकि, यह धारणा उच्च-दांव वाले, प्रतिकूल परिवेशों (जैसे, अदालती जिरह) में विफल हो जाती है जहाँ वार्ताकारों के लक्ष्य परस्पर विरोधी होते हैं। ऐसे गैर-सहयोगात्मक संदर्भों में, वक्ता रणनीतिक रूप से भाषा का हेरफेर करते हैं—अक्सर सहयोगात्मक प्रतीत होते हुए भी अपने स्वार्थ-प्रेरित लक्ष्यों को पूरा करने के लिए, ताकि वे अपनी प्रतिबद्धताओं (commitments) को प्रबंधित कर सकें, विश्वसनीयता बनाए रख सकें और विमर्श के उद्देश्यों को आगे बढ़ा सकें। मौजूदा ढांचे, जैसे कि सिग्नलिंग गेम्स (Signaling Games) और रेशनल स्पीच एक्ट (RSA) थ्योरी, अक्सर सहयोगात्मक उपयोगिता कार्यों या अमूर्त संरचनाओं (जैसे, विश्वसनीयता वितरण) पर निर्भर करते हैं जिन्हें अनुभवजन्य रूप से अनुमानित करना कठिन होता है। इसके अलावा, वर्तमान LLMs प्रतिकूल सेटिंग्स में रणनीतिक भाषा को पहचानने में सीमित क्षमता प्रदर्शित करते हैं, जो अक्सर टालमटोल (evasion) या हेजिंग (hedging) को हानिकारक मानने के बजाय रणनीतिक रूप से लाभकारी समझने में विफल रहते हैं, या सतही स्तर के 'डैमेज कंट्रोल' और वास्तविक रणनीतिक लाभ के बीच अंतर करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
इन कमियों को दूर करने के लिए, लेखक रणनीतिक संवाद मूल्यांकन (SDA) पेश करते हैं, जो वास्तविक डेटा में रणनीतिक भाषा के उपयोग का आकलन करने के लिए मैसेज एक्सचेंज (ME) गेम्स से "ज्यूरी फंक्शन" (jury function) को संचालित करता है। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. द क्रूक्ड पाथ डेटासेट (The Crooked Path Dataset - CPD): एक नया एनोटेटेड डेटासेट जिसमें तीन प्रमुख अमेरिकी मुकदमों (वेस्ट मेमफिस थ्री, ओ.जे. सिमसन, और एनरॉन) की जिरह से 4,452 टर्न शामिल हैं। यह डेटासेट उन प्रतिकूल अंतःक्रियाओं पर केंद्रित है जहाँ लक्ष्य पूरी तरह से विपरीत होते हैं।
2. सैद्धांतिक अनुकूलन (Theoretical Adaptation): लेखक ME गेम ज्यूरी फंक्शन को दो प्रमुख संशोधनों को एकीकृत करके अनुकूलित करते हैं ताकि इसे अनुभवजन्य रूप से अनुमानित बनाया जा सके:
   • प्रतिबद्धता-आधारित वर्गीकरण (Commitment-Based Taxonomy): केवल अमूर्त सामंजस्य संबंधों पर निर्भर रहने के बजाय, ढांचा वर्तमान प्रश्न के अधीन (Question Under Discussion - QUD) के सापेक्ष प्रतिबद्धताओं की सामग्री के आधार पर विमर्श के मूव्स को वर्गीकृत करता है। प्रतिबद्धताओं को लाभदायक (Beneficial), हानिकारक (Detrimental), तटस्थ (Neutral), या कोई नहीं (None) (अर्थपूर्ण प्रतिबद्धता का अभाव) के रूप में वर्गीकृत किया गया है।
   • विश्वसनीयता के लिए ग्राइसियन प्रॉक्सी (Gricean Proxies for Credibility): $P_k(Good_i)$ के अमूर्त विश्वसनीयता शब्द को संचालित करने के लिए, ढांचा ग्राइसियन मैक्सिम्स (प्रासंगिकता, शैली, और गुणवत्ता) के अवलोकन योग्य उल्लंघनों को प्रॉक्सी के रूप में उपयोग करता है। उल्लंघन प्रतिबद्धता के रणनीतिक मूल्य को संशोधित करते हैं; उदाहरण के लिए, एक लाभदायक प्रतिबद्धता जिसे अप्रासंगिक या अस्पष्ट कथन के माध्यम से व्यक्त किया गया है, उसे दंडित किया जाता है, जबकि एक हानिकारक प्रतिबद्धता जिसे अप्रत्यक्ष रूप से (जैसे, हेजिंग के माध्यम से) व्यक्त किया गया है, वह कम नुकसानदेह हो सकती है।
3. मीट्रिक परिभाषा (Metric Definition): SDA रणनीतिक प्रभावों को मापने के लिए तीन व्याख्या योग्य मीट्रिक परिभाषित करता है:
   • टर्न पर लाभ ($BAT_i$): मैक्सिम उल्लंघनों के लिए समायोजित, लाभदायक या तटस्थ प्रतिबद्धताओं से होने वाले तत्काल लाभ को मापता है।
   • टर्न पर दंड ($PAT_i$): निरंतरता और मैक्सिम उल्लंघनों के लिए समायोजित, हानिकारक या गैर-प्रतिबद्ध प्रतिक्रियाओं से होने वाले तत्काल नुकसान को मापता है।
   • टर्न पर सामान्यीकृत सापेक्ष लाभ ($NRBAT_i$): संवाद के दौरान शुद्ध रणनीतिक लाभ ($\sum BAT - \sum PAT$) का एक संचयी, z-स्कोर वाला माप।

इस ढांचे को भाषाई रूप से प्रशिक्षित तीन एनोटेटरों द्वारा CPD के एक उपसमुच्चय (लगभग 800 टर्न) के मानव एनोटेशन के माध्यम से मान्य किया गया था, जिसके बाद ज़ीरो-शॉट प्रॉम्प्टिंग का उपयोग करके विभिन्न अत्याधुनिक LLMs (7B से 70B पैरामीटर तक, जिनमें रीजनिंग-एन्हांस्ड वेरिएंट भी शामिल हैं) का मूल्यांकन किया गया।

मुख्य परिणाम

• मानव एनोटेशन वैधता: SDA मीट्रिक्स ने मानव एनोटेटरों के बीच उच्च इंटर-एनोटेटर सहमति (BAT, PAT, और NRBAT के लिए स्पियरमैन का $\rho$ 0.65–0.83) प्रदर्शित की, जो कच्चे परिणाम निर्णयों (फ्लेस का $\kappa$ 0.29) की तुलना में काफी बेहतर प्रदर्शन करती है। यह सुझाव देता है कि मीट्रिक व्यक्तिपरक परिणामों के बजाय वस्तुनिष्ठ, विमर्श-आंतरिक गुणों को बेहतर ढंग से पकड़ते हैं।
• पूर्वानुमान शक्ति (Predictive Power): $BAT$और$PAT$ को भविष्यवक्ता के रूप में उपयोग करने वाले लॉजिस्टिक रिग्रेशन मॉडल ने मानव एनोटेटरों के परिणाम निर्णयों की भविष्यवाणी करने में 74.6% सटीकता और 0.80 का AUC प्राप्त किया। मीट्रिक विशेष रूप से तब प्रभावी थे जब एनोटेटरों का तर्क व्यक्तिगत भावनाओं के बजाय तार्किक तर्कों पर आधारित था।
• LLM प्रदर्शन:
  • मॉडल का आकार: बड़े मॉडल आमतौर पर रणनीतिक मीट्रिक्स पर मानव निर्णयों के साथ छोटे मॉडलों की तुलना में अधिक निकटता से संरेखित होते हैं, विशेष रूप से रणनीतिक लाभों की पहचान करने में।
  • तर्क संबंधी सीमाएं (Reasoning Limitations): विरोधाभासी रूप से, स्पष्ट तर्क तंत्र (Chain-of-Thought) से लैस मॉडल अक्सर अपने गैर-तर्क समकक्षों की तुलना में खराब प्रदर्शन करते हैं, विशेष रूप से रणनीतिक नुकसान ($PAT$) की पहचान करने में। तर्क के निशानों के विश्लेषण से पता चला कि ये मॉडल कार्य को बहुत जटिल बनाने की प्रवृत्ति रखते हैं, सतही स्तर के डैमेज कंट्रोल रणनीतियों (जैसे, हेजिंग) को तटस्थ या लाभकारी मान लेते हैं, और व्यापक प्रतिकूल लक्ष्यों को एकीकृत करने में विफल रहते हैं।
  • ग्राइसियन बनाम रणनीतिक: जबकि LLMs ग्राइसियन मैक्सिम्स के उल्लंघन की पहचान करने में अच्छा प्रदर्शन करते हैं (प्रासंगिकता, शैली और गुणवत्ता पर उच्च सहमति), वे प्रतिबद्धताओं के रणनीतिक प्रकार ($\mu \approx 0.14$) को पहचानने और परिणामी रणनीतिक मीट्रिक्स की गणना करने में काफी संघर्ष करते हैं।

महत्व और दावे
यह पेपर दावा करता है कि SDA गैर-सहयोगात्मक सेटिंग्स में रणनीतिक संचार के मूल्यांकन के लिए एक सैद्धांतिक रूप से सुदृढ़ लेकिन अनुभवजन्य रूप से संचालित करने योग्य ढांचा प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. सिद्धांत और डेटा के बीच सेतु बनाना: यह अनोखसे (unobservable) निर्माणों को अनुमानित प्रॉक्सी (ग्राइसियन उल्लंघन) और एक प्रतिबद्धता-आधारित वर्गीकरण से बदलकर, ME गेम के अमूर्त ज्यूरी फंक्शन को वास्तविक दुनिया के उच्च-दांव वाले विमर्श के लिए सफलतापूर्वक अनुकूलित करता है।
2. LLM की सीमाओं को उजागर करना: अध्ययन यह प्रदर्शित करता है कि वर्तमान LLMs, यहाँ तक कि बड़े और रीजनिंग-एन्हांस्ड मॉडल भी, प्रतिकूल संदर्भों में रणनीतिक भाषा की मजबूत समझ की कमी रखते हैं। वे अक्सर सहयोगात्मक 'फ्लौटिंग' (flouting) और रणनीतिक टालमटोल के बीच अंतर करने में विफल रहते हैं, और उनकी तर्क क्षमताएं इन सेटिंग्स में स्पष्टता के बजाय भ्रम पैदा कर सकती हैं।
3. विमर्श की विषमता (Asymmetry of Discourse): ढांचा यह रेखांकित करता है कि सहयोगात्मक और गैर-सहयोगात्मक विमर्श विषम होते हैं; गैर-सहयोगात्मक विमर्श में हानिकारक प्रतिबद्धताओं और मैक्सिम उल्लंघनों की उच्च आवृत्ति होती है, फिर भी ये संचार की विफलता के बजाय नुकसान को कम करने के लिए रणनीतिक उपकरण के रूप में उपयोग किए जाते हैं।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि फ्रेमवर्क परिणामों (जो पूर्वाग्रह जैसे कारकों पर निर्भर करते हैं) की सटीक भविष्यवाणी नहीं करता है और वर्तमान एनोटेशन दीर्घकालिक रणनीतिक योजना के बजाय स्थानीय, टर्न-स्तरीय प्रभावों पर केंद्रित है। वे SDA को प्रतिकूल वातावरण में काम करने वाले AI एजेंटों के लिए बेहतर संरेखण (alignment) और सुरक्षा निगरानी की दिशा में एक आवश्यक कदम के रूप में देखते हैं।