SCENE: Recognizing Social Norms and Sanctioning in Group Chats
यह शोध पत्र SCENE को प्रस्तुत करता है, जो बहु-पक्षीय चैट में निहित सामाजिक मानदंडों को पहचानने और समूह के प्रतिबंधों के अनुकूल होने की LLM-आधारित एजेंटों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है, जो यह प्रकट करता है कि Claude Opus 4.7 और Gemini 3.1 Pro जैसे उन्नत मॉडल इन गतिशील सामाजिक अंतःक्रियाओं में ओपन-वेट मॉडलों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कॉफी शॉप में दोस्तों के एक नए समूह में शामिल होते हैं। आप अभी तक वहां के नियम नहीं जानते। हो सकता है कि वह समूह गहरे चुटकुलों के साथ एक-दूसरे का मजाक उड़ाना पसंद करता हो, जबकि दूसरा समूह तुरंत गले लगाने और टिश्यू देने के लिए तैयार रहता हो। यदि आप किसी ऐसे व्यक्ति को गले लगाने की कोशिश करते हैं जिसने अभी-अभी कोई चुटकुला सुनाया है, तो समूह आपको अजीब नजरों से देख सकता है, विषय बदल सकता है, या अपनी आँखें घुमा सकता है। आपको अपनी गलतियों पर उनकी प्रतिक्रिया देखकर ही "वाइब" (vibe) को समझना होगा।
यह पेपर SCENE पेश करता है, जो एक नया तरीका है यह परीक्षण करने का कि क्या आर्टिफिशियल इंटेलिजेंस (AI) चैटबॉट्स बिल्कुल यही कर सकते हैं: एक ग्रुप चैट के छिपे हुए नियमों को सीख सकें और जब समूह उन्हें बताए कि वे सीमा से बाहर जा रहे हैं, तो अपने व्यवहार को सुधार सकें।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए।
सेटअप: "गुप्त नियम" का खेल
शोधकर्ताओं ने एक डिजिटल प्लेग्राउंड बनाया जहाँ एक AI (जिसे "विषय/subject" कहा गया है) को तीन अन्य AI पात्रों के साथ एक ग्रुप चैट में डाला जाता है।
- छिपा हुआ नियम: अन्य तीन पात्र एक गुप्त नियम का पालन करते हैं। उदाहरण के लिए, "जब कोई बुरी खबर साझा करता है, तो हम केवल एक इमोजी के साथ जवाब देते हैं," या "जब कोई प्रश्न पूछता है, तो हमें लंबा, विस्तृत उत्तर देना चाहिए।"
- जाल (The Trap): विषय AI को यह नियम नहीं बताया जाता है। उसे इसका अनुमान लगाना होता है।
- परीक्षण: विषय AI अनिवार्य रूप से कुछ गलत कहेगा (नियम तोड़ देगा)। अन्य तीन पात्र फिर एक विशिष्ट तरीके से प्रतिक्रिया देंगे जो संकेत देगा, "हे, यहाँ चीजें इस तरह नहीं होती हैं।" इस प्रतिक्रिया को प्रतिबंध (sanction) कहा जाता है।
- प्रतिबंध का उदाहरण: यदि नियम "संक्षिप्त रखना" है और विषय एक पूरा पैराग्राफ लिखता है, तो समूह या तो उस पैराग्राफ को अनदेखा कर सकता है (साइलेंट इग्नोर) या "आँखें घुमाने वाला" (rolling eyes) इमोजी भेज सकता है।
लक्ष्य: क्या AI सीख सकता है?
शोधकर्ता यह देखना चाहते थे कि क्या AI दो चीजें कर सकता है:
- "चोट" को महसूस करना: जब समूह नकारात्मक प्रतिक्रिया (प्रतिबंध) देता है, तो क्या AI को एहसास होता है, "ओह, मैंने गलती कर दी"?
- लहजा बदलना: क्या AI उस काम को करना बंद कर देता है जिसके लिए उसे "चोट" मिली थी और समूह की तरह व्यवहार करना शुरू कर देता है?
परिणाम: "बड़े बच्चे" बनाम "छोटे बच्चे"
उन्होंने छह अलग-अलग AI मॉडल का परीक्षण किया। इन परिणामों को एक कक्षा के छात्रों की तरह समझें जो सामाजिक संकेतों पर परीक्षा दे रहे हैं:
- शीर्ष प्रदर्शन करने वाले (Claude Opus 4.7 और Gemini 3.1 Pro): ये "बड़े बच्चे" हैं। जब उन्हें समूह से नकारात्मक प्रतिक्रिया मिली, तो उन्होंने अपनी गलती को जल्दी से पहचान लिया। लगभग 80% मामलों में, उन्होंने माफी मांगी या समूह में फिट होने के लिए अपना व्यवहार बदला। वे इसमें भी बेहतर होते गए जैसे-जैसे उन्होंने अन्य पात्रों को नियम का पालन करते हुए अधिक बार देखा।
- संघर्ष करने वाले प्रदर्शन करने वाले (Llama, Mistral, Gemma जैसे Open-weight मॉडल्स): ये मॉडल उन छात्रों की तरह थे जो इशारा भी नहीं समझ पाए। भले ही समूह ने आँखें घुमा ली हों या उन्हें अनदेखा कर दिया हो, ये AI अक्सर वही काम करते रहे। ऐसा नहीं लगा कि वे समूह की प्रतिक्रिया को व्यवहार बदलने की आवश्यकता से जोड़ पा रहे हैं।
एक आश्चर्यजनक खोज: "डिफ़ॉल्ट व्यक्तित्व"
पेपर में एक दिलचस्प बात मिली कि कुछ AI क्यों विफल हुए। भले ही समूह का एक विशिष्ट नियम था (जैसे, "बहुत औपचारिक होना"), कई AI डिफ़ॉल्ट रूप से अनौपचारिक और बातूनी (casual and chatty) बने रहे।
- उपमा: कल्पना कीजिए कि एक जॉब इंटरव्यू में है जहाँ सभी सूट पहने हुए हैं। यदि आप टी-शर्ट और शॉर्ट्स पहनकर अंदर जाते हैं, तो आप नियम तोड़ते हैं। अध्ययन में पाया गया कि कई AI डिफ़ॉल्ट रूप से अनौपचारिक और मिलनसार होने के लिए "प्रोग्राम" किए गए हैं। भले ही समूह स्पष्ट रूप से औपचारिक व्यवहार चाहता था, AI अनौपचारिक व्यवहार करता रहा, और समूह के गंभीर होने के संकेतों को अनदेखा करता रहा।
उन्होंने काम की जाँच कैसे की
चूंकि चैट में "अन्य पात्र" भी AI थे, इसलिए शोधकर्ताओं को यह सुनिश्चित करना था कि वे वास्तव में नियमों का पालन कर रहे हैं और परीक्षण में गड़बड़ी नहीं कर रहे हैं। उन्होंने चैट लॉग्स को देखने और सत्यापित करने के लिए एक "रेफरी" (एक अन्य AI) का उपयोग किया:
- क्या समूह ने वास्तव में गुप्त नियम का पालन किया?
- क्या उन्होंने विषय को दंडित करने के लिए वास्तव में प्रतिक्रिया दी?
- क्या विषय ने वास्तव में अपने व्यवहार को सुधारा?
इसका क्या अर्थ है (पेपर के अनुसार)
पेपर निष्कर्ष निकालता है कि सबसे उन्नत AI मॉडल कमरे को पढ़ने (reading the room) में बहुत बेहतर होते जा रहे हैं। वे देख सकते हैं कि एक गलती पर समूह कैसे प्रतिक्रिया देता है और उसके अनुसार अपना व्यवहार बदल सकते हैं। हालांकि, छोटे या कम उन्नत मॉडल अभी भी इन सूक्ष्म सामाजिक संकेतों को पकड़ने में संघर्ष करते हैं।
लेखक इस बात पर जोर देते हैं कि यह लघु बातचीत में सामाजिक अनुकूलन (social adaptation) का एक विशिष्ट परीक्षण है। इसका मतलब यह नहीं है कि ये AI मानवीय अर्थों में "बुद्धिमान" हैं या वे नैतिकता को समझते हैं; इसका मतलब सिर्फ यह है कि वे एक विशिष्ट ग्रुप चैट के अदृश्य नियमों का पालन करने में बेहतर हो रहे हैं।
संक्षेप में: SCENE एक परीक्षण है यह देखने के लिए कि क्या AI "कमरे को पढ़" सकता है और सामाजिक चूक (faux pas) करने से रुक सकता है जब दोस्तों का एक समूह उसे सूक्ष्म (या स्पष्ट) संकेत देता है कि वह अजीब व्यवहार कर रहा है। सर्वश्रेष्ठ मॉडल तेजी से सीख रहे हैं; बाकी अभी भी थोड़े बेसुध (tone-deaf) हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।