LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations
यह शोध पत्र LoSoNA को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जिसे मल्टी-पार्टी ग्रुप चैट्स में निहित स्थानीय सामाजिक मानदंडों का अनुमान लगाने और उनके अनुकूल होने की LLM-आधारित एजेंटों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि हालांकि स्पष्ट प्रॉम्प्टिंग (explicit prompting) Gemini 3.1 Pro और Claude Fable 5 जैसे शीर्ष मॉडलों के प्रदर्शन में सुधार करती है, फिर भी अधिकांश मॉडल नैव प्रॉम्प्टिंग (naive prompting) के तहत इस कार्य में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कॉफी शॉप में दोस्तों के एक नए समूह में जाते हैं। आप उन्हें नहीं जानते, लेकिन आप उन्हें बात करते हुए सुन सकते हैं। कुछ मिनटों के बाद, आप एक पैटर्न देखते हैं: जब भी कोई बुरी खबर साझा करता है, तो समूह सहानुभूति या "मुझे बहुत दुख हुआ" जैसा कुछ नहीं कहता। इसके बजाय, वे तुरंत पूछते हैं, "इसे ठीक करने की योजना क्या है?" या "क्या आपने मैनुअल चेक किया?"
यदि आप बीच में कूदकर एक गर्मजोशी भरा, सामान्य "मुझे यह सुनकर बहुत दुख हुआ" कहना शुरू कर देते, तो आपको अजीब महसूस हो सकता था क्योंकि आपने समूह के अनकहे नियम को मिस कर दिया था। यह शोध पत्र, LoSoNA, यह देखने का एक परीक्षण है कि क्या AI चैटबॉट्स बिना बताए इन छिपे हुए नियमों को केवल सुनकर समझ सकते हैं।
यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के मुख्य बिंदुओं का विवरण दिया गया है:
1. समस्या: "अनकहा नियम पुस्तिका" (The Unwritten Rulebook)
वास्तविक जीवन में, हर समूह के अपने "स्थानीय सामाजिक मानदंड" होते हैं। ये अनकहे नियम हैं कि कैसे व्यवहार करना है, कैसे बोलना है और कैसे प्रतिक्रिया देनी है।
- शोध पत्र का दावा: अधिकांश AI मॉडल विनम्र पर्यटकों की तरह हैं जो हमेशा "मानक" विनम्र बात कहते हैं (जैसे कि एक सामान्य "मुझे खेद है")। उन्हें यह नोटिस करने में संघर्ष होता है कि किसी विशिष्ट समूह के पास एक अलग, छिपा हुआ नियम है (जैसे कि "केवल व्यावहारिक सलाह दें")।
- लक्ष्य: शोधकर्ता यह देखना चाहते थे कि क्या एक AI एक पर्यटक के बजाय एक स्थानीय व्यक्ति की तरह काम कर सकता है। क्या वह समूह के इतिहास को सुनकर, छिपे हुए नियम को समझकर, और समूह में फिट होने के लिए अपने व्यवहार को बदल सकता है?
2. परीक्षण: "मिस्ट्री पार्टी" (The Mystery Party)
शोधकर्ताओं ने एक बेंचमार्क बनाया जिसे LoSoNA (लोकल सोशल नॉर्म अडैप्टेशन) कहा जाता है। इसे AI के लिए एक मिस्ट्री पार्टी गेम की तरह समझें।
- सेटअप: AI को एक समूह बातचीत का ट्रांसक्रिप्ट (चैट लॉग) दिया जाता है। चैट में अन्य लोग एक गुप्त नियम का पालन करते हैं (जैसे, "हम कभी इमोजी का उपयोग नहीं करते," या "हम केवल 'हाँ' या 'नहीं' में उत्तर देते हैं")।
- जाल: AI को नियम नहीं बताया जाता है। वह केवल चैट देखता है।
- चुनौती: चैट एक प्रश्न (इलिसिटर) के साथ समाप्त होती है। AI को उत्तर देना होता है।
- यदि AI एक सामान्य, विनम्र उत्तर देता है, तो वह विफल हो जाता है (क्योंकि उसने नियम को नोटिस नहीं किया)।
- यदि AI एक ऐसा उत्तर देता है जो समूह की अजीब, छिपी हुई शैली से मेल खाता है, तो वह जीत जाता है।
उपमा: कल्पना कीजिए कि आप एक डिनर पार्टी में हैं जहाँ हर कोई हाथों से खाना खाता है, लेकिन कोई इसके बारे में कुछ नहीं कहता। यदि आप एक कांटा (fork) निकालते हैं क्योंकि आपको सिखाया गया है कि "उचित शिष्टाचार" क्या है, तो आप फेल हो जाते हैं। यदि आप देखते हैं कि हर कोई हाथों का उपयोग कर रहा है और आप भी वैसा ही करते हैं, तो आप पास हो जाते हैं।
3. प्रयोग: विभिन्न "संकेतों" का परीक्षण करना
शोधकर्ताओं ने चार अलग-अलग "निर्देश" परिदृश्यों के तहत 8 अलग-अलग AI मॉडलों (जैसे GPT-5.5, Claude, Gemini, आदि) का परीक्षण किया ताकि यह देखा जा सके कि वे कैसा प्रदर्शन करते हैं:
- नेइव (Naive): "बस अंतिम संदेश का उत्तर दें।" (कोई संकेत नहीं)।
- इलिसिटर ओनली (Elicitor Only): "केवल अंतिम संदेश का उत्तर दें, बाकी को अनदेखा करें।"
- स्टाइल अडैप्टेशन (Style Adaptation): "समूह के लहजे और शैली से मेल बिठाने का प्रयास करें।"
- नॉर्म इन्फॉर्म्ड (Norm Informed): "इस चैट में एक छिपा हुआ पैटर्न या नियम हो सकता है। इसे खोजने और इसका पालन करने का प्रयास करें।"
4. परिणाम: कुछ AI समझ गए, अन्य नहीं समझ पाए
परिणाम "बहुत अच्छा काम" और "अभी भी सीख रहे हैं" का मिश्रण थे।
- संघर्ष: जब उन्हें कोई संकेत नहीं दिया गया (Naive), तो अधिकांश AI मॉडल बुरी तरह विफल रहे। वे सामान्य, विनम्र उत्तर देते रहे जिससे समूह के छिपे हुए नियमों का उल्लंघन हुआ। यह ऐसा था जैसे AI की आँखों पर पट्टी बंधी हो।
- ब्रेकथ्रू: जब शोधकर्ताओं ने "नॉर्म इन्फॉर्म्ड" संकेत दिया (AI को पैटर्न खोजने के लिए कहना), तो कुछ मॉडल अचानक बहुत अच्छे हो गए।
- Gemini 3.1 Pro और Claude Fable 5 "चैंपियन" बन गए, जो विफल होने से बढ़कर लगभग 80-84% उत्तर सही देने लगे। वे उन छात्रों की तरह थे जिन्हें, एक बार यह बताने के बाद कि "पैटर्न को खोजो," तुरंत पहेली सुलझाने में सक्षम हो गए।
- अन्य मॉडल: कुछ मॉडल (जैसे Mistral) संकेत मिलने पर वास्तव में बदतर हो गए। यह ऐसा था जैसे संकेत ने उन्हें भ्रमित कर दिया हो, जिससे वे ज़रूरत से ज़्यादा सोचने लगे और उन उत्तरों को भी बिगाड़ दिया जो वे डिफ़ॉल्ट रूप से सही दे सकते थे।
5. इसका क्या अर्थ है (और क्या नहीं है)
- यह क्या साबित करता है: यह शोध पत्र दिखाता है कि यदि आप उसे सही धक्का दें, तो AI स्थानीय समूह व्यवहारों के अनुकूल हो सकता है। यह साबित करता है कि AI केवल एक रोबोट नहीं है जो हमेशा एक ही विनम्र बात कहता है; यह एक "गिरगिट" (chameleon) हो सकता है जो भीड़ के आधार पर अपना व्यवहार बदल लेता है।
- यह क्या साबित नहीं करता: शोध पत्र बहुत सावधानी से कहता है कि यह एक सीमित परीक्षण है। इसका मतलब यह नहीं है कि AI मानवीय अर्थों में "सामाजिक रूप से बुद्धिमान" है, या वह गहरे मानवीय भावनाओं को समझता है। इसका मतलब केवल यह है कि वह चैट लॉग में एक पैटर्न को पहचान सकता है और एक एकल उत्तर के लिए उसकी नकल कर सकता है।
- सीमा: यह परीक्षण काल्पनिक चैट परिदृश्यों का उपयोग करता है, वास्तविक मानवीय बातचीत का नहीं। साथ भी, यह केवल एक एकल उत्तर को देखता है, लंबे समय की दोस्ती को नहीं।
सारांश
LoSoNA AI की "कमरे को पढ़ने" (read the room) की क्षमता पर एक रिपोर्ट कार्ड है।
- बिना मदद के: अधिकांश AI बहरे हैं और अपने डिफ़ॉल्ट विनम्र स्क्रिप्ट पर टिके रहते हैं।
- एक संकेत के साथ: सबसे स्मार्ट AI समूह के गुप्त हैंडशेक को समझ सकते हैं और घुलमिल सकते हैं।
- निष्कर्ष: हम ऐसे AI के करीब पहुँच रहे हैं जो मानव समूहों में घुलमिल सकता है, लेकिन इसे "रोबोट पर्यटक" बनने के बजाय "स्थानीय" बनने के लिए अभी भी थोड़े मार्गदर्शन की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।