Left Behind: Cross-Lingual Transfer as a Bridge for Low-Resource Languages in Large Language Models
यह शोध पत्र प्रकट करता है कि बड़े भाषा मॉडल अंग्रेजी की तुलना में कज़ाख और मंगोलियाई जैसी कम-संसाधन वाली भाषाओं के लिए एक महत्वपूर्ण सटीकता अंतराल प्रदर्शित करते हैं, जो यह दर्शाता है कि क्रॉस-लिंगुअल ट्रांसफर प्रॉम्प्टिंग केवल द्विभाषी आर्किटेक्चर के लिए प्रदर्शन में सुधार करती है जबकि अंग्रेजी-प्रधान मॉडलों को लाभ पहुँचाने में विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास सुपर-स्मार्ट रोबोट्स (लार्ज लैंग्वेज मॉडल्स, या LLMs) की एक टीम है जो निबंध लिख सकते हैं, गणित की समस्याएं हल कर सकते हैं और चुटकुले सुना सकते हैं। आपने उन्हें मुख्य रूप से अंग्रेजी में लिखी गई किताबों पर प्रशिक्षित किया है। वे मूल रूप से अंग्रेजी बोलने वाले हैं जिनके पास फोटोग्राफिक मेमोरी है।
अब, आप इन रोबोट्स को वही कार्य करने के लिए कहते हैं, लेकिन इस बार, आप उनसे कज़ाख या मंगोलियाई में बात करते हैं—ऐसी भाषाएं जो लाखों लोगों द्वारा बोली जाती हैं लेकिन ऑनलाइन उनके लिए बहुत कम किताबें और डेटा उपलब्ध है।
यह पेपर एक रिपोर्ट कार्ड की तरह है कि ये रोबseits भाषा बदलने पर कैसा प्रदर्शन करते हैं। यहाँ बताया गया है कि उन्होंने क्या पाया, जिसे सरल भाषा में समझाया गया है:
1. "प्रवाह का भ्रम": चिकनी बातचीत का जाल (The Fluency Illusion)
जब रोबोट अंग्रेजी बोलते हैं, तो वे शानदार होते हैं। लेकिन जब वे कज़ाख या मंगोलियाई में स्विच करते हैं, तो कुछ अजीब होता है।
- उपमा: एक ऐसे छात्र की कल्पना करें जिसने एक ऐसी विदेशी भाषा में भाषण रटा है जिसे वह मुश्किल से समझता है। वह शब्दों को बेहतरीन लहजे और सटीक व्याकरण के साथ बिल्कुल सही ढंग से सुना सकता है। वे एक नेटिव स्पीकर की तरह लगते हैं! लेकिन अगर आप उनसे पूछें कि उस भाषण का वास्तव में क्या अर्थ है, तो वे तथ्य मनगढ़ंत बना लेते हैं या तर्क गलत कर देते हैं।
- निष्कर्ष: रोबोट कज़ाख और मंगोलियाई में बहुत धाराप्रवाह (एक चिकने वक्ता की तरह) लगे, लेकिन उनके उत्तर अक्सर तथ्यात्मक रूप से गलत थे। वे आत्मविश्वास के साथ "भ्रमित" (hallucinating) हो रहे थे। पेपर इसे "फ्लुएंसी इल्यूजन" (प्रवाह का भ्रम) कहता है—सतह पर यह अच्छा दिखता है, लेकिन सामग्री टूटी हुई होती है।
2. "ब्रिज" रणनीति (क्रॉस-लिंगुअल ट्रांसफर)
शोधकर्ताओं ने रोबोट की मदद करने के लिए एक चतुर तरकीब आजमाई। उन्हें सीधे कज़ाख में सोचने के बजाय, उन्होंने कहा:
- प्रश्न का अंग्रेजी में अनुवाद करें।
- अंग्रेजी में सोचें और उत्तर दें (जहाँ वे स्मार्ट हैं)।
- उत्तर को वापस कज़ाख में अनुवाद करें।
- उपमा: इसे एक विदेशी देश में घूमते पर्यटक की तरह समझें। यदि वे केवल टूटी-फूटी स्थानीय भाषा का उपयोग करके खाना ऑर्डर करने की कोशिश करते हैं, तो वे गलत हो सकते हैं। लेकिन यदि उनके पास एक द्विभाषी मित्र है जो मेनू को अंग्रेजी में अनुवाद करता है, पर्यटक को अंग्रेजी में ऑर्डर करने देता है, और फिर ऑर्डर को वापस वेटर के पास अनुवाद करता है, तो ऑर्डर के सही होने की संभावना बहुत अधिक होती है।
- परिणाम: यह "ब्रिज" रणनीति काम कर गई, लेकिन केवल कुछ रोबोटों के लिए।
- "द्विभाषी" रोबोट: ये मॉडल (जो अंग्रेजी और किसी अन्य प्रमुख भाषा जैसे चीनी पर प्रशिक्षित थे) को महत्वपूर्ण बढ़ावा मिला। ब्रिज ने उन्हें स्पष्ट रूप से सोचने में मदद की।
- "केवल अंग्रेजी" वाले रोबोट: ये मॉडल (जो मुख्य रूप से अंग्रेजी पर प्रशिक्षित थे) में बहुत अधिक सुधार नहीं हुआ। वे पहले से ही अपने "दिमाग" के अंदर अंग्रेजी में ही सोच रहे थे, इसलिए अतिरिक्त अनुवाद चरणों ने उन्हें या तो भ्रमित कर दिया या धीमा कर दिया।
3. "एक ही आकार सबके लिए" की आपदा (The "One-Size-Fits-All" Disaster)
इस अध्ययन में एक ऐसा रोबोट था जिसे विशेष रूप से 100+ भाषाओं को बोलने के लिए बनाया गया था, जिसमें कज़ाख और मंगोलियाई भी शामिल हैं। आप उम्मीद करेंगे कि यह रोबोट हीरो होगा, है ना?
- उपमा: एक ऐसे शेफ की कल्पना करें जो दावा करता है कि वह दुनिया के हर व्यंजन का मास्टर है। आप उससे एक पारंपरिक कज़ाख व्यंजन बनाने के लिए कहते हैं, और वह आपके सामने किर्गिज़ भोजन की एक प्लेट लाता है (पड़ोसी का व्यंजन जो दिखने में समान है लेकिन स्वाद में अलग है)। यह करीब है, लेकिन यह वह नहीं है जो आपने ऑर्डर किया था।
- परिणाम: यह "बहुभाषी" (Multilingual) रोबोट बहुत खराब प्रदर्शन कर गया। इसने अक्सर कज़ाख को किर्गिज़ के साथ भ्रमित किया और मंगोलियाई के लिए निरर्थक शब्द (gibberish) पैदा किए। यह सच है कि सिर्फ इसलिए कि एक रोबोट ने कई भाषाएं देखी हैं, इसका मतलब यह नहीं है कि वह उनमें से किसी को भी अच्छी तरह जानता है।
4. बड़ी सीख (The Big Takeaway)
पेपर निष्कर्ष निकालता है कि वर्तमान में, ये AI मॉडल उन लोगों को व्यवस्थित रूप से विफल कर रहे हैं जो कम-संसाधन वाली भाषाएं बोलते हैं।
- अंतर: अंग्रेजी बोलने बनाम कज़ाख या मंगोलियाई बोलने के बीच प्रदर्शन का एक बड़ा अंतर (लगभग 15%) है।
- समाधान: कोई जादुई बटन नहीं है। "ब्रिज" रणनीति कुछ मॉडलों की मदद करती है लेकिन दूसरों की नहीं। "बहुभाषी" लेबल अक्सर केवल मार्केटिंग का दिखावा है।
- भविष्य: हम केवल इन मॉडलों पर भरोसा नहीं कर सकते कि वे सभी के प्रति निष्पक्ष होंगे। हमें उन्हें अलग तरह से बनाना होगा और विशेष रूप से इन भाषाओं के लिए उनका परीक्षण करना होगा, न कि केवल यह मान लेना चाहिए कि वे काम करते हैं क्योंकि वे अंग्रेजी में काम करते हैं।
संक्षेप में: यदि आप अंग्रेजी बोलते हैं, तो AI आपका बुद्धिमान सहायक है। यदि आप कज़ाख या मंगोलियाई बोलते हैं, तो AI अक्सर एक आत्मविश्वासी झूठा है जो सुनने में तो बहुत अच्छा लगता है लेकिन तथ्यों को गलत बताता है, जब तक कि आप एक विशिष्ट "ब्रिज" ट्रिक का उपयोग न करें जो केवल कुछ प्रकार के AI के लिए काम करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।