Multilingual Idioms in Sentences and Conversations Across High-, Medium-, and Low-Resource Languages
यह शोध पत्र MIDI को प्रस्तुत करता है, जो उच्च-, मध्यम- और निम्न-संसाधन वाली भाषाओं में फैला एक नया बहुभाषी डेटासेट है जो वाक्यों और संवादात्मक संदर्भों में मुहावरों को समाहित करता है ताकि यह प्रकट किया जा सके कि वर्तमान मॉडल संदर्भ संबंधी संकेतों के उपलब्ध होने पर भी, शाब्दिक व्याख्याओं और निम्न-संसाधन वाली भाषाओं के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय बातचीत समझना सिखा रहे हैं। आप उसे एक शब्दकोश और हजारों किताबें देते हैं, और वह कई भाषाएं धाराप्रवाह बोलना सीख जाता है। लेकिन फिर, आप उससे एक सरल प्रश्न पूछते हैं: "जब कोई कहता है कि 'raining cats and dogs' (कुत्ते-बिल्लियों की बारिश हो रही है), तो उसका क्या अर्थ है?"
यदि रोबोट उत्तर देता है, "जानवरों की बारिश हो रही है," तो वह विफल रहा है। उसने मुहावरे (idiom) को मिस कर दिया—एक ऐसा वाक्यांश जहाँ शब्दों का अर्थ उनके शाब्दिक अर्थ से बिल्कुल अलग होता है।
यह शोध पत्र MIDI (Multilingual Idiom Dataset) नामक एक नया टूल पेश करता है ताकि यह परीक्षण किया जा सके कि आधुनिक AI मॉडल इन पेचीदा वाक्यांशों को 18 विभिन्न भाषाओं में कितनी अच्छी तरह संभालते हैं, जिसमें प्रमुख वैश्विक भाषाओं (जैसे चीनी और जापानी) से लेकर कम डिजिटल वाली छोटी भाषाओं (जैसे योरूबा और जावानीस) तक शामिल हैं।
यहाँ शोधकर्ताओं द्वारा किए गए निष्कर्षों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. समस्या: "शाब्दिक जाल" (The "Literal Trap")
मुहावरे सांस्कृतिक अंदरूनी चुटकुलों (cultural inside jokes) की तरह होते हैं। उन्हें समझने के लिए, आप केवल शब्दों को नहीं देख सकते; आपको उस संस्कृति के "वाइब" (vibe) को जानने की आवश्यकता है।
- अध्ययन: शोधकर्ताओं ने 2,000 से अधिक मुहावरों के साथ एक विशाल परीक्षण बैंक (MIDI) बनाया। उन्होंने AI को केवल वाक्यांश नहीं दिया; उन्होंने इसे दो अलग-अलग सेटिंग्स में रखा:
- वाक्य (The Sentence): पाठ की एक एकल पंक्ति (जैसे एक फ्लैशकार्ड)।
- बातचीत (The Conversation): दो लोगों के बीच एक छोटी सी चैट (जैसे किसी फिल्म का एक दृश्य)।
- लक्ष्य: यह देखना कि क्या AI एक वाक्यांश का उपयोग लाक्षणिक रूप से (figuratively) (मजाक वाले अर्थ में) और शाब्दिक रूप से (literally) (वास्तविक अर्थ में) करने के बीच अंतर कर सकता है।
2. परिणाम: "अमीर बनाम गरीब" का अंतर
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडलों का परीक्षण किया (दोनों महंगे, "प्रोप्राइटरी" और मुफ्त, "ओपन-सोर्स" मॉडलों का)।
- भाषा का विभाजन: भाषा के संसाधनों को इंटरनेट बैंडविड्थ की तरह समझें।
- उच्च-संसाधन वाली भाषाएँ (जैसे अंग्रेजी, चीनी): इन भाषाओं के लिए इंटरनेट पर डेटा की भारी मात्रा उपलब्ध है। AI मॉडल यहाँ काफी अच्छा प्रदर्शन करते हैं, जैसे कि एक छात्र जिसने बहुत सारी पाठ्यपुस्तकें पढ़ी हों।
- कम-संसाधन वाली भाषाएँ (जैसे योरूबा, मिनांकाबाउ): इन भाषाओं के लिए ऑनलाइन डेटा बहुत कम है। मॉडल यहाँ बुरी तरह संघर्ष करते हैं, और अक्सर उनका प्रदर्शन रैंडम अनुमान लगाने से भी खराब होता है। यह एक छात्र से ऐसी भाषा में टेस्ट देने के लिए कहने जैसा है जिसे उसने पहले कभी नहीं देखा।
- शाब्दिक संघर्ष (The Literal Struggle): सबसे अच्छे मॉडलों को भी शाब्दिक अर्थों को समझना बहुत कठिन लगा।
- उपमा: यदि आप कहते हैं, "I'm breaking a leg" (मैं पैर तोड़ रहा हूँ), तो AI यह जानने में माहिर है कि आपका मतलब "गुड लक" से है (लाक्षणिक)। लेकिन यदि आप वास्तव में अस्पताल में हैं और कहते हैं, "I am breaking a leg," तो AI भ्रमित हो जाता है और अभी भी सोचता है कि आपका मतलब "गुड लक" है। उसे यह समझने में कठिनाई होती है कि कब वह बात मजाक नहीं है।
3. "स्मृति" बनाम "तर्क" का परीक्षण
शोधकर्ताओं ने जानना चाहा: क्या AI वास्तव में सोच रहा है, या यह केवल एक तोते की तरह उत्तरों को रट रहा है?
- स्मृति परीक्षण (The Memory Test): उन्होंने AI से पूछा, "इस वाक्यांश का क्या अर्थ है?" बिना किसी संदर्भ (context) के।
- परिणाम: बड़े, महंगे मॉडल इसमें बहुत अच्छे थे। उन्होंने परिभाषाओं को "रट" लिया था।
- तर्क परीक्षण (The Reasoning Test): उन्होंने AI को वाक्यांश के साथ अंग्रेजी परिभाषा दी और कहानी के आधार पर सही अर्थ चुनने के लिए कहा।
- परिणाम: इससे ओपन-सोर्स मॉडलों को बहुत मदद मिली, लेकिन "अमीर" और "गरीब" भाषाओं के बीच का अंतर बना रहा।
- "पूर्वाग्रह" की खोज (The "Bias" Discovery): AI में मजाक की ओर एक मजबूत झुकाव (bias) होता है। संदेह होने पर, यह मान लेता है कि वाक्यांश लाक्षणिक है।
- उपमा: यह उस व्यक्ति की तरह है जो हमेशा मानता है कि आप मजाक कर रहे हैं, भले ही आप गंभीर हों। यह उन्हें मुहावरों को पहचानने में तो अच्छा बनाता है लेकिन यह पहचानने में बुरा बनाता है कि कोई व्यक्ति शाब्दिक रूप से बात कर रहा है।
4. "स्टीयरिंग" प्रयोग (द रिमोट कंट्रोल)
शोधकर्ताओं ने एक्टिवेशन स्टीयरिंग (Activation Steering) नामक एक मजेदार तकनीक आजमाई। कल्पना कीजिए कि AI का मस्तिष्क एक रेडियो है, और उन्होंने एक विशिष्ट "नॉब" (knob) खोजा जो यह नियंत्रित करता है कि AI "रटी हुई तथ्यों" के बारे में सोच रहा है या "तार्किक तर्क" के बारे में।
- उन्होंने क्या किया: उन्होंने AI को बेहतर तर्क की ओर धकेलने के लिए इस नॉब को थोड़ा घुमाया।
- परिणाम: यह काम कर गया! AI थोड़ा बेहतर हो गया, विशेष रूप से कम-संसाधन वाली भाषाओं के लिए। यह एक छात्र को एक छोटा सा संकेत या दिशा देने जैसा है, जिसने उन्हें उस पहेली को हल करने में मदद की जिसमें वे फंसे हुए थे। दिलचस्प बात यह है कि उन्होंने पाया कि एक पूरी तरह से अलग डेटासेट (MMLU-Pro) पर प्रशिक्षित "नॉब" इस इडियम टेस्ट पर भी उतना ही प्रभावी था, जो यह सुझाव देता है कि AI द्वारा स्मृति और तर्क को संभालने का तरीका विभिन्न कार्यों के लिए एक सार्वभौमिक "मांसपेशी" (muscle) है।
5. मनुष्य बनाम मशीनें
अंत में, उन्होंने वास्तविक मनुष्यों को भी वही टेस्ट लेने के लिए कहा।
- मनुष्यों का स्कोर: मनुष्यों ने 94% सही उत्तर दिए।
- AI का स्कोर: सबसे अच्छे AI मॉडलों ने लगभग 81% (प्रोप्राइटरी) और 72% (ओपन-सोर्स) प्राप्त किया।
- अंतर: सबसे बड़ा अंतर कम-संसाधन वाली भाषाओं में था। उदाहरण के लिए, योरूबा में, सबसे अच्छे ओपन-सोर्स मॉडल ने केवल 23% स्कोर किया, जबकि मनुष्यों ने 96% स्कोर किया।
सारांश
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि AI भाषाओं में बहुत अच्छा हो रहा है, फिर भी वह भाषा की "आत्मा" के साथ संघर्ष करता है: मुहावरे (idioms)।
- यह बहुत अधिक रटने (memorization) पर निर्भर करता है।
- यह भ्रमित हो जाता है जब किसी वाक्यांश का अर्थ शाब्दिक रूप से लिया जाना होता है।
- यह उन भाषाओं में खराब प्रदर्शन करता है जहाँ इसने पर्याप्त डेटा नहीं देखा है।
- यहाँ तक कि सबसे स्मार्ट मॉडल भी सांस्कृतिक अभिव्यक्तियों की बारीकियों को समझने में मनुष्यों से बहुत पीछे हैं।
शोधकर्ताओं ने यह दावा नहीं किया कि इससे तुरंत अनुवाद ऐप ठीक हो जाएंगे या नए चिकित्सा उपकरण बन जाएंगे। इसके बजाय, उन्होंने केवल एक बेहतर "जिम" (MIDI डेटासेट) बनाया है ताकि हमें यह दिखाया जा सके कि AI कहाँ कमजोर है, ताकि हम भविष्य में अधिक मजबूत मॉडल बना सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।