MasalBench: A Benchmark for Contextual and Cross-Cultural Understanding of Persian Proverbs in LLMs
यह शोध पत्र MasalBench प्रस्तुत करता है, जो बड़े भाषा मॉडलों (large language models) में फारसी कहावतों की प्रासंगिक और अंतर-सांस्कृतिक समझ का मूल्यांकन करने के लिए एक बेंचमार्क है, जो यह प्रकट करता है कि जहाँ ये मॉडल अपने मूल संदर्भ के भीतर कहावतों को पहचानने में उत्कृष्ट हैं, वहीं वे अंग्रेजी के समकक्ष कहावतों को खोजने में काफी संघर्ष करते हैं, जिससे उनके सांस्कृतिक ज्ञान और सादृश्य तर्क क्षमताओं (analogical reasoning capabilities) की सीमाएं उजागर होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय बातचीत समझना सिखा रहे हैं। आप यह देखना चाहते हैं कि क्या यह रोबोट वास्तव में उन चुटकुलों, मुहावरों और पुरानी कहावतों को "समझ" पाता है जो लोग रोज़ाना इस्तेमाल करते हैं, या यह केवल एक ऐसे शब्दकोश की तरह है जिसने परिभाषाएँ रट ली हैं।
यह शोध पत्र MasalBench नामक एक नया परीक्षण पेश करता है ताकि यह देखा जा सके कि AI मॉडल (यानी "रोबोट") फारसी कहावतों (Persian proverbs) को कितनी अच्छी तरह समझते हैं। फारसी कहावतों को भाषा का "मसाला" मान लीजिए—छोटी, रंगीन बातें जो गहरी बुद्धिमत्ता समेटे होती हैं, जैसे कि "मुर्गियाँ पैदा होने से पहले ही उन्हें गिनना नहीं चाहिए," लेकिन वे ईरानी संस्कृति के लिए विशिष्ट हैं।
यहाँ बताया गया है कि शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "लो-रिसोर्स" (कम संसाधन) का अंतर
अधिकांश AI मॉडल ऐसे छात्रों की तरह हैं जिन्होंने लाखों अंग्रेजी किताबें पढ़ी हैं। वे अंग्रेजी के विशेषज्ञ हैं। लेकिन फारसी जैसी भाषाओं के लिए, AI ने बहुत कम किताबें पढ़ी हैं। शोधकर्ता यह जानना चाहते थे: क्या ये स्मार्ट रोबोट उस भाषा के "मसाले" को समझ सकते हैं जिसका उन्होंने उतना अध्ययन नहीं किया है?
2. परीक्षण: MasalBench (द "प्रोवर्ब जिम")
टीम ने AI की मांसपेशियों का परीक्षण करने के लिए दो अलग-अलग प्रकार के व्यायामों वाला एक जिम बनाया:
अभ्यास A: प्रासंगिक समझ (The "Conversation Test")
- सेटअप: उन्होंने 1,000 छोटी कहानियाँ (संवाद) बनाईं जहाँ दो लोग आपस में बात कर रहे हैं। एक व्यक्ति एक फारसी कहावत का उपयोग करता है, और AI को यह अनुमान लगाना होता है कि उसने ऐसा क्यों कहा।
- जाल: इसे कठिन बनाने के लिए, उन्होंने केवल सही उत्तर नहीं दिया। उन्होंने तीन गलत उत्तर भी दिए:
- शाब्दिक जाल (The Literal Trap): शब्दों को बहुत गंभीरता से लेना (जैसे, "मुँह जलने" की कहावत को वास्तव में गर्म सूप के बारे में समझना)।
- तर्कसंगत जाल (The Plausible Trap): एक ऐसा अनुमान जो सुनने में स्मार्ट और तार्किक लगता है लेकिन वास्तव में गलत है।
- अप्रासंगिक जाल (The Irrelevant Trap): एक ऐसा अनुमान जिसका कहानी से कोई लेना-देना नहीं है।
- परिणाम: AI मॉडल इसमें बहुत अच्छे थे। उन्होंने 90% से अधिक स्कोर किया। यह एक ऐसे छात्र की तरह है जिसने कड़ी मेहनत की है और बातचीत में चुटकुला सुनते ही उसे आसानी से समझ लेता है।
अभ्यास B: क्रॉस-कल्चरल समझ (The "Translation Puzzle")
- सेटअप: उन्होंने AI को एक फारसी कहावत दी और पूछा: "कौन सी अंग्रेजी कहावत वही अर्थ देती है?"
- चुनौती: यह किसी से यह पूछने जैसा है कि दूसरे देश में अपना जुड़वां ढूँढें। "जुड़वां" अलग दिख सकते हैं (अलग शब्द या चित्र), लेकिन उनकी आत्मा एक ही होती है।
- परिणाम: AI यहाँ संघर्ष करता रहा। उनके स्कोर में काफी गिरावट आई (सबसे अच्छे मॉडल ने लगभग 79% प्राप्त किया)। यह एक ऐसे छात्र की तरह है जो अंग्रेजी में चुटकुला तो समझ सकता है लेकिन भ्रमित हो जाता है जब उसे फ्रांसीसी में समकक्ष चुटकुला खोजने के लिए कहा जाता है। वे शब्दों को जानते हैं, लेकिन सांस्कृतिक "वाइब" (भाव) को मिस कर देते हैं।
3. मुख्य निष्कर्ष
- आकार मायने रखता है, लेकिन सब कुछ नहीं: बड़े AI मॉडल आम तौर पर बेहतर प्रदर्शन करते हैं, लेकिन हमेशा नहीं। कभी-कभी, एक मॉडल जिसे विशेष रूप से "निर्देशों का पालन करने के लिए प्रशिक्षित" किया गया था, वह एक विशाल मॉडल से बेहतर प्रदर्शन करता है जो केवल "सोचने के लिए प्रशिक्षित" था।
- "स्मार्ट" गलती: जब AI बातचीत वाले परीक्षण में गलत होता था, तो वह आमतौर पर "तर्कसंगत जाल" (Plausible Trap) चुनता था। इसका मतलब है कि AI तर्कसंगत होने और कहानी का अर्थ निकालने की कोशिश कर रहा था, लेकिन वह विशिष्ट सांस्कृतिक बारीकी को चूक गया। वह बहुत अधिक सोच रहा था और विश्लेषण कर रहा था, बजाय इसके कि बस उस "एहसास" को समझ ले।
- सांस्कृतिक दीवार: सबसे बड़ी बाधा फारसी बुद्धिमत्ता को अंग्रेजी बुद्धिमत्ता से जोड़ना था। AI उस भाषा को समझने में बहुत अच्छा है जिसमें वह है, लेकिन वह एक भाषा से दूसरी भाषा में जाकर उसके सांस्कृतिक "आध्यात्मिक जुड़वां" को खोजने में उतना अच्छा नहीं है।
संक्षेप में
शोध पत्र यह निष्कर्ष निकालता है कि जबकि आधुनिक AI यह समझने में बहुत अच्छा हो रहा है कि दैनिक बातचीत में फारसी कहावतों का कैसे उपयोग किया जाता है, फिर भी उसे यह समझने में कठिनाई होती है कि जब आप उनके सार को अंग्रेजी में अनुवाद करने की कोशिश करते हैं तो उनका अर्थ क्या होता है। यह एक ऐसे व्यक्ति की तरह है जो लहजे की पूरी तरह से नकल तो कर सकता है लेकिन स्थानीय हास्य को पूरी तरह से नहीं समझ पाता।
शोधकर्ताओं ने इस परीक्षण को दूसरों के उपयोग के लिए उपलब्ध कराया है, इस उम्मीद में कि यह बेहतर AI बनाने में मदद करेगा जो न केवल शब्दों को, बल्कि उनके पीछे की संस्कृति को भी समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।