BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction
यह शोधपत्र BANGLASOCIALBENCH प्रस्तुत करता है, जो बांग्ला में सामाजिक-व्यावहारिक (sociopragmatic) क्षमता का मूल्यांकन करने के लिए 1,719 सांस्कृतिक रूप से आधारित उदाहरणों वाला पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान बड़े भाषा मॉडल अपनी बहुभाषी प्रवाह के बावजूद भाषा के जटिल सामाजिक पदानुक्रमों, नातेदारी तर्क और संवादात्मक मानदंडों को समझने में व्यवस्थित रूप से विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ BANGLASOCIALBENCH पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) के माध्यम से समझाया गया है।
मुख्य विचार: प्रवाह (Fluency) बनाम "सामाजिक समझ" (Social Smarts)
कल्पना कीजिए कि आपने एक रोबोट बटलर (नौकर) को काम पर रखा है जो एकदम सटीक अंग्रेजी बोलता है। उसके पास एक विशाल शब्दावली है और वह कविता भी सुना सकता है। हालाँकि, यदि आप उससे किसी अंतिम संस्कार में चुटकुला सुनाने को कहें, या यदि वह आपके सख्त बॉस को उनके नाम से पुकारे, तो वह रोबोट आपदा बन जाता है। वह शब्दों को तो जानता है, लेकिन वह कमरे के नियमों (rules of the room) को नहीं समझता।
यह पेपर तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs), जैसे कि चैटबॉट्स को चलाने वाले मॉडल, वर्तमान में उसी रोबोट बटलर की तरह हैं। वे कई भाषाओं में कुशल हैं, जिसमें बांग्ला (जो बांग्लादेश में बोली जाती है) भी शामिल है, लेकिन वे अक्सर सोशियोप्रैग्मैटिक्स (sociopragmatics) में विफल रहते हैं—यानी यह जानने की कला कि कैसे, किससे, किस स्थिति में बात करनी है, ताकि विनम्र और सांस्कृतिक रूप से सही सुनाई दे।
समस्या: "तीन-शब्दों" का जाल
अंग्रेजी में, हमारे पास "you" के लिए मुख्य रूप से एक ही शब्द होता है। बांग्ला में, "you" के लिए तीन अलग-अलग शब्द हैं, और गलत शब्द चुनना वैसा ही है जैसे किसी बीच पार्टी (beach party) में टक्सीडो पहनकर जाना या शादी में स्विमवियर पहनकर जाना।
- Apni: "सम्मानजनक आप"। बुजुर्गों, बॉस या अजनबियों के लिए उपयोग किया जाता है। (जैसे "सर/मैम" कहना)।
- Tumi: "दोस्ताना आप"। साथियों, दोस्तों या थोड़े छोटे लोगों के लिए उपयोग किया जाता है। (जैसे "हे बडी" कहना)।
- Tui: "घनिष्ठ/बचकाना आप"। बहुत करीबी दोस्तों, भाई-बहनों या बच्चों के लिए उपयोग किया जाता है। (जैसे "नन्हे" या बहुत अनौपचारिक तरीके से "बडी" कहना)।
गलती: यदि कोई AI किसी बुजुर्ग अजनबी से बात करते समय Tui का उपयोग करता है, तो यह बेहद असभ्य लगता है। यदि वह 5 साल के बच्चे से बात करते समय Apni का उपयोग करता है, तो यह अजीब रूप से औपचारिक और दूर का लगता है। पेपर ने पाया कि वर्तमान AI मॉडल संदर्भ (context) के आधार पर यह अनुमान लगाने में खराब हैं कि किस "You" का उपयोग करना चाहिए।
समाधान: BANGLASOCIALBENCH
शोधकर्ताओं ने विशेष रूप से बांग्ला सामाजिक कौशल के लिए एक टेस्ट ड्राइव (एक बेंचमार्क) बनाया है। इसे सांस्कृतिक शिष्टाचार के लिए ड्राइविंग टेस्ट की तरह समझें।
AI से यह पूछने के बजाय कि, "बांग्लादेश की राजधानी क्या है?" (जो एक तथ्य है), वे पूछते हैं:
"आप मेट्रो स्टेशन पर एक बुजुर्ग व्यक्ति हैं। एक किशोर लड़का लाइन काट रहा है। आप उसे विनम्रता से अपनी बारी का इंतजार करने के लिए कैसे कहेंगे?"
AI को सही शब्द और लहजा चुनना होगा।
- गलत उत्तर: "ए लड़के, लाइन में लग!" (बहुत असभ्य)।
- सही उत्तर: "बेटा, कृपया लाइन में खड़े हो जाओ।" (विनम्र, सही रिश्ते के संबोधन के साथ)।
यह परीक्षण तीन मुख्य क्षेत्रों को कवर करता है:
- संबोधन शब्द (Address Terms): सही "You" (Apni/Tumi/Tui) या उपाधि (चाचा, बहन, सर) चुनना।
- नातेदारी तर्क (Kinship Reasoning): पारिवारिक वंशावली को समझना। बांग्ला में, "अंकल" केवल "अंकल" नहीं है। पिता के छोटे भाई और माता के भाई के लिए विशिष्ट शब्द होते हैं। AI अक्सर यहाँ भ्रमित हो जाता है, हिंदू और मुस्लिम पारिवारिक शब्दों को मिला देता है।
- सामाजिक रीति-रिवाज (Social Customs): यह जानना कि कैसा व्यवहार करना है। उदाहरण के लिए, यदि कोई अतिथि कहता है "मेरा पेट भर गया है," तो एक बांग्लादेशी मेजबान उन्हें और खाने के लिए ज़ोर देगा (आतिथ्य)। एक AI शायद सिर्फ कह देगा, "ठीक है, कोई बात नहीं," जो सांस्कृतिक स्क्रिप्ट को मिस कर देता है।
उन्होंने क्या पाया: "अत्यधिक विनम्र" रोबोट
शोधकर्ताओं ने 12 अलग-अलग AI मॉडल्स का परीक्षण किया (GPT-4, Gemini और Llama जैसे बड़े नामों सहित)। यहाँ उनकी खोज है:
- "सुरक्षित" रणनीति: मॉडल्स बदतमीज होने से डरते हैं। इसलिए, वे लगभग हमेशा सबसे औपचारिक, सख्त विकल्प (Apni) चुनते हैं। वे किसी पार्टी में दोस्त बनने के बजाय किसी अंतिम संस्कार में रोबोट की तरह सुनाई देना पसंद करेंगे।
- "नीचे की ओर" विफलता (The "Downward" Failure): AI तब ठीक होता है जब एक छोटा व्यक्ति बड़े व्यक्ति से बात करता है (क्योंकि वह हमेशा औपचारिक होता है)। लेकिन जब एक बड़ा व्यक्ति छोटे व्यक्ति से बात करता है, तो AI भ्रमित हो जाता है। वह यह नहीं समझ पाता कि कब लहजे को ढीला छोड़ना है और दोस्ताना होना है।
- धार्मिक मिश्रण: मॉडल्स अक्सर हिंदू और मुस्लिम पारिवारिक शब्दों को मिला देते हैं। यदि कहानी किसी हिंदू परिवार का संकेत देती है, तो AI गलती से मुस्लिम शब्द का उपयोग कर सकता है, जो दर्शाता है कि वह सांस्कृतिक बारीकियों को वास्तव में नहीं समझता, केवल शब्दों को जानता है।
- "एक ही आकार सबके लिए" वाला दिमाग (One-Size-Fits-All Brain): भले ही इंसान इस बात पर सहमत हों कि किसी स्थिति में दो अलग-अलग शब्द सही हो सकते हैं, AI एक को चुनता है और 100% आत्मविश्वास के साथ उस पर टिका रहता है। उसमें यह कहने की मानवीय क्षमता की कमी है कि, "खैर, आप इसे इस तरह या उस तरह कह सकते हैं।"
निष्कर्ष (The Takeaway)
यह पेपर एक चेतावनी है। हम केवल AI को किसी संस्कृति के बारे में अधिक तथ्य नहीं सिखा सकते। हमें उसे सामाजिक अंतर्ज्ञान (social intuition) सिखाना होगा।
वर्तमान में, AI एक ऐसे पर्यटक की तरह है जिसने एक वाक्यांश पुस्तिका (phrasebook) रट ली है लेकिन स्थानीय रीति-रिवाजों को नहीं समझता। वह "नमस्ते" कह सकता है, लेकिन वह नहीं जानता कि दादी माँ बनाम एक बिजनेस पार्टनर को नमस्ते कैसे कहना है। जब तक हम इसे ठीक नहीं करते, AI उच्च-संदर्भ (high-context) वाली संस्कृतियों, जैसे कि बांग्लादेश में, वास्तविक लोगों के साथ बातचीत करते समय थोड़ा "अजीब" महसूस होगा।
संक्षेप में: AI डिक्शनरी तो जानता है, लेकिन उसने अभी तक 'डांस' (सामाजिक व्यवहार का तालमेल) नहीं सीखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।