SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses
यह शोध पत्र SPLIT को प्रस्तुत करता है, जो एक 500-प्रॉम्प्ट बेंचमार्क है जो अंग्रेजी और यूक्रेनी एलएलएम (LLM) प्रतिक्रियाओं में क्रॉस-लिंगुअल सहानुभूति और सांस्कृतिक आधार का मूल्यांकन करता है, जो कुछ मॉडलों के लिए यूक्रेनी में महत्वपूर्ण प्रदर्शन गिरावट, मानव और एआई मूल्यांकनकर्ताओं के बीच कमजोर सहमति, और यूक्रेनी पाठ उत्पन्न करने तथा सांस्कृतिक रूप से उपयुक्त भावनात्मक सहायता प्रदान करने के बीच महत्वपूर्ण अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "SPLIT" पेपर का स्पष्टीकरण दिया गया है, जो शोध को सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके समझाता है।
मुख्य विचार: भाषा बोलना बनाम संस्कृति को महसूस करना
कल्पना कीजिए कि आपके पास एक रोबोट है जो अंग्रेजी बोलने में अविश्वसनीय रूप से कुशल है। वह एक आदर्श अंग्रेजी में चुटकुला सुना सकता है, कविता लिख सकता है, या आपको निर्देश दे सकता है। अब, कल्पना कीजिए कि आप उसी रोबोट से किसी ऐसे व्यक्ति से यूक्रेनी में बात करने के लिए कहते हैं जो एक भयानक संकट से गुजर रहा है—जैसे कि पैनिक अटैक, अकेलापन, या अपने घर को छोड़ने के लिए मजबूर होना।
यह शोध एक सरल लेकिन डरावना सवाल पूछता है: सिर्फ इसलिए कि रोबोट यूक्रेनी शब्द बोल सकता है, क्या वह वास्तव में यह समझता है कि एक यूक्रेनी व्यक्ति को सांत्वना कैसे दी जाए?
लेखक इसे टेक्स्ट उत्पन्न करने (सही शब्द कहना) और भावनात्मक सहायता उत्पन्न करने (सही भावना और सांस्कृतिक समझ के साथ सही शब्द कहना) के बीच के अंतर के रूप में देखते हैं। उनका निष्कर्ष सीधा है: ये दोनों एक ही चीज़ नहीं हैं।
प्रयोग: "SPLIT" टेस्ट
इसका उत्तर खोजने के लिए, शोधकर्ताओं ने SPLIT नामक एक परीक्षण बनाया। इसे रोबोटिक सहानुभूति के लिए एक "तनाव परीक्षण" (stress test) के रूप में समझें।
- परिदृश्य (Scenario): उन्होंने 500 अलग-अलग संकट की स्थितियाँ बनाईं (जैसे "मुझे घबराहट महसूस हो रही है," "मैं अकेला हूँ," या "मुझे अपने घर से विस्थापित कर दिया गया है")।
- सेटअप: उन्होंने तीन अलग-अलग उन्नत AI रोबोटों (DeepSeek, LLaMA, और Gemini) से इन परिदृश्यों का अंग्रेजी और यूक्रेनी दोनों में उत्तर देने के लिए कहा।
- जज (Judges): उन्होंने केवल रोबोट्स को खुद को ग्रेड करने के लिए नहीं छोड़ा। उन्होंने दो प्रकार के जजों का उपयोग किया:
- मानवीय जज (Human Judges): एक मूल यूक्रेनी वक्ता जो अंग्रेजी में भी निपुण है, जो एक सख्त लेकिन निष्पक्ष शिक्षक की तरह कार्य करता है।
- AI जज (AI Judges): अन्य शक्तिशाली रोबोट जो जवाबों को ग्रेड करने के लिए एक "जूरी" के रूप में कार्य करते हैं।
उन्होंने रोबोट्स को तीन चीजों पर ग्रेड किया:
- सहानुभूतिपूर्ण सटीकता (Empathetic Accuracy): क्या रोबोट ने वास्तव में व्यक्ति के दर्द को "समझा", या उसने केवल "सब ठीक हो जाएगा" जैसी सामान्य बातें कहीं?
- भाषाई स्वाभाविकता (Linguistic Naturalness): क्या यूक्रेनी एक वास्तविक इंसान की तरह लग रही थी, या यह ऐसा लग रहा था जैसे कोई रोबोट डिक्शनरी पढ़ रहा हो?
- सांस्कृतिक आधार (Cultural Grounding): क्या रोबोट विशिष्ट सांस्कृतिक संदर्भ को समझता था? (उदाहरण के लिए, यह जानना कि यूक्रेन में दुख व्यक्त करने के कुछ तरीके सामान्य हैं, जबकि अमेरिका में वे अजीब लग सकते हैं)।
उन्हें क्या मिला: "अनुवाद का जाल" (The Translation Trap)
परिणामों ने दिखाया कि अंग्रेजी बनाम यूक्रेनी में रोबोट्स के प्रदर्शन के बीच एक बड़ा अंतर था।
1. "भटकाव वाले" रोबोट (Gemini और LLaMA)
कल्पना कीजिए कि एक छात्र ने अंग्रेजी में परीक्षा के लिए कड़ी मेहनत की है, लेकिन अचानक उससे उसी परीक्षा को एक ऐसी भाषा में देने के लिए कहा गया जिसे वह बहुत कम जानता है।
- Gemini और LLaMA अंग्रेजी में बहुत अच्छा प्रदर्शन करते हैं। लेकिन जब वे यूक्रेनी में स्विच हुए, तो उनकी "सहानुभूति" काफी कम हो गई।
- समस्या: वे रोबोटिक लगने लगे। उन्होंने ऐसे कठोर, औपचारिक वाक्यांशों का उपयोग किया जो एक वास्तविक यूक्रेनी व्यक्ति संकट के समय उपयोग नहीं करेगा। वे क्लिच (clichés) (जैसे "मजबूत बने रहें") पर वापस आ गए जो महसूस किए गए शब्दों के बजाय ठंडे और अनुवादित लगे।
- उपमा: यह एक ऐसे व्यक्ति की तरह है जो दुख के बारे में मेडिकल टेक्स्टबुक पढ़कर अपने रोते हुए दोस्त को सांत्वना देने की कोशिश कर रहा है। शब्द तकनीकी रूप से सही हैं, लेकिन भावना पूरी तरह से गलत है।
2. "स्थिर" रोबोट (DeepSeek)
- DeepSeek अलग था। जब इसने अंग्रेजी से यूक्रेनी में स्विच किया, तो इसने अपना संयम नहीं खोया। इसने अपनी सहानुभूति के स्कोर को उच्च रखा और भाषा को स्वाभाविक बनाए रखा।
- क्यों? शोधकर्ताओं का मानना है कि ऐसा इसलिए है क्योंकि DeepSeek को अलग तरह से बनाया गया है। यह सब कुछ करने के लिए एक विशाल मस्तिष्क होने के बजाय, इसके अंदर विशेष "विशेषज्ञ" (experts) हैं। जब कोई यूक्रेनी संकट संबंधी प्रश्न आता है, तो यह प्रश्न को उस विशिष्ट विशेषज्ञ के पास भेज देता है जो उस भाषा और भावना को संभालने के बारे में जानता है, न कि केवल एक सामान्य अंग्रेजी उत्तर का अनुवाद करता है।
"AI जूरी" की समस्या
पेपर का सबसे दिलचस्प हिस्सा वह था जो तब हुआ जब उन्होंने AI जजों को रोबोट्स को ग्रेड करने के लिए छोड़ा।
- मेल न खाना (The Mismatch): मानवीय जज और AI जज अक्सर असहमत थे।
- AI की अंध बिंदु (Blind Spot): AI जज रोबोट्स के प्रति बहुत उदार थे। उन्होंने "अच्छी व्याकरण" और "विनम्र वाक्यों" के लिए उच्च अंक दिए। उन्होंने सोचा, "वाह, यह वाक्य एकदम सटीक है!"
- मानवीय वास्तविकता: मानवीय जज ने उसी वाक्य को देखा और सोचा, "यह व्याकरणिक रूप से एकदम सही है, लेकिन यह एक ऐसे रोबोट जैसा लगता है जो इंसान बनने की कोशिश कर रहा है। यह वास्तविक नहीं लगता।"
- परिणाम: AI जूरी सांस्कृतिक आधार (Cultural Grounding) को परखने में बहुत खराब थी। वे एक सांस्कृतिक रूप से उपयुक्त सांत्वना और एक अजीब, अनुवादित वाक्यांश के बीच अंतर नहीं कर सके। वास्तव में, सांस्कृतिक आधार के लिए, AI और मानवीय स्कोर लगभग पूरी तरह से असंबंधित थे।
मुख्य निष्कर्ष
यह पेपर संकट सहायता के लिए AI बनाने वाले किसी भी व्यक्ति के लिए एक चेतावनी है:
प्रवाह (Fluency) सहानुभूति नहीं है।
सिर्फ इसलिए कि एक AI पूर्ण यूक्रेनी व्याकरण के साथ 500 शब्द उत्पन्न कर सकता है, इसका मतलब यह नहीं है कि वह संकट में फंसे एक यूक्रेनी व्यक्ति को गर्मजोशी भरी, सांस्कृतिक रूप से संवेदनशील संवेदना दे सकता है। AI भाषा को "बोल" रहा हो सकता है, लेकिन वह संस्कृति में "ग्राउंडेड" (स्थापित) नहीं है।
लेखकों का तर्क है कि हम केवल स्वचालित परीक्षणों (AI जजों) पर भरोसा नहीं कर सकते कि ये रोबोट सुरक्षित या सहायक हैं या नहीं। हमें वास्तविक मनुष्यों की आवश्यकता है जो यह जांच सकें कि क्या रोबोट वास्तव में दर्द और सांत्वना के सांस्कृतिक बारीकियों को समझते हैं, विशेष रूप से यूक्रेनी जैसी भाषाओं में जहाँ भावनात्मक परिदृश्य अद्वितीय है।
संक्षेप में: आप एक रोबोट को भाषा बोलना सिखा सकते हैं, लेकिन उसे उस संस्कृति के हृदय को समझना सिखाना एक बहुत कठिन, और वर्तमान में अनसुलझी समस्या है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।