English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training
यह शोध पत्र व्यवस्थित रूप से प्रदर्शित करता है कि एलएलएम (LLM) पोस्ट-ट्रेनिंग के दौरान बहुभाषी डेटा को शामिल करना अंग्रेजी सहित सभी भाषाओं में प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, और यहाँ तक कि न्यूनतम गैर-अंग्रेजी समावेश भी केवल अंग्रेजी वाले दृष्टिकोणों की तुलना में बेहतर है, विशेष रूप से कम-संसाधन वाली भाषाओं के लिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जो पहले से ही बहुत बुद्धिमान है क्योंकि उसने अंग्रेजी में लाखों किताबें पढ़ी हैं। यह छात्र एक "लार्ज लैंग्वेज मॉडल" (LLM) है। अब, आप इस छात्र को कुछ विशिष्ट नए कौशल सिखाना चाहते हैं, जैसे जटिल गणित की समस्याओं को हल करना या नए उपकरणों (APIs) का उपयोग करना सीखना।
पारंपरिक रूप से, शिक्षकों (डेवलपर्स) ने इस छात्र को केवल अंग्रेजी-आधारित सामग्री के माध्यम से सिखाया है, भले ही छात्र को अंततः उन लोगों की मदद करने की आवश्यकता होगी जो स्पेनिश, जापानी, स्वाहिली और कई अन्य भाषाएं बोलते हैं। परिणाम यह हुआ कि छात्र अंग्रेजी कार्यों में तो बहुत अच्छा हो जाता है लेकिन जब उसे अन्य भाषाओं में वही कार्य करने के लिए कहा जाता है, तो वह संघर्ष करता है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या होगा यदि हम केवल अंग्रेजी में पढ़ाना बंद कर दें और इस "विशेष प्रशिक्षण" चरण के दौरान अन्य भाषाओं को मिलाना शुरू कर दें?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है:
1. "केवल अंग्रेजी" का जाल
सोचिए कि छात्र एक ऐसा शेफ है जो केवल अंग्रेजी व्यंजनों (recipes) का उपयोग करके खाना बनाना जानता है। यदि आप उनसे एक फ्रांसीसी अतिथि के लिए व्यंजन बनाने के लिए कहते हैं, तो वे शायद अपने दिमाग में रेसिपी का अनुवाद करने की कोशिश करेंगे, लेकिन परिणाम अक्सर अस्त-व्यस्त होता है।
- पुराना तरीका: शिक्षकों ने सोचा, "यदि हम शेफ को अंग्रेजी में बहुत अच्छी तरह से सिखा दें, तो वे बाद में बाकी चीजें खुद समझ लेंगे।"
- वास्तविकता: यह शोध पत्र दिखाता है कि यह एक गलती है। केवल अंग्रेजी में पढ़ाना छात्र को बहुभाषी दुनिया के लिए तैयार करने का सबसे खराब तरीका है। यह उन्हें उनके अंग्रेजी कार्यों में भी कमजोर छोड़ देता है।
2. "जिम" वाला उदाहरण: अधिक भाषाएँ जोड़ने से कैसे मदद मिलती है
शोधकर्ताओं ने छात्र को 220 अलग-अलग परिदृश्यों के साथ एक कठोर प्रशिक्षण शिविर (Post-Training) में डाला। उन्होंने परीक्षण किया कि जब वे मिश्रण में अधिक भाषाएँ जोड़ते हैं तो क्या होता है।
- निष्कर्ष: प्रशिक्षण आहार में एक अतिरिक्त भाषा (जैसे स्पेनिश) जोड़ने से छात्र हर चीज़ में बेहतर हो गया, जिसमें अंग्रेजी भी शामिल है।
- उदाहरण: कल्पना कीजिए कि छात्र वजन उठा रहा है। यदि वह केवल अपने दाहिने हाथ (अंग्रेजी) से वजन उठाता है, तो वह उस तरफ मजबूत हो जाता है। लेकिन यदि वह बाएं हाथ (स्पेनिश) से भी वजन उठाना शुरू करता है, तो उसका पूरा शरीर (मस्तिष्क) अधिक संतुलित और स्थिर हो जाता है। "बाएं हाथ" का प्रशिक्षण वास्तव में "दाहिने हाथ" को भी मजबूत बनाता है।
- परिणाम: छात्र भ्रमित या धीमा नहीं हुआ; वह और अधिक बुद्धिमान हो गया। यहाँ तक कि वे भाषाएँ भी बेहतर हो गईं जिन्हें उन्होंने सीधे नहीं पढ़ा था (जैसे स्वाहिली), क्योंकि छात्र ने अधिक लचीले तरीके से "सोचना" सीख लिया था।
3. "स्विस आर्मी नाइफ" बनाम "विशेष उपकरण"
शोध पत्र ने दो प्रकार के कार्यों का परीक्षण किया:
- गणितीय तर्क (Math Reasoning): जैसे किसी लॉजिक पहेली को हल करना।
- API कॉलिंग: जैसे किसी USB ड्राइव को प्लग करने के लिए सख्त निर्देश पुस्तिका का पालन करना।
उन्होंने पाया कि "पहेली" वाले कार्यों के लिए, अधिक भाषाएँ जोड़ने का मतलब छात्र को एक स्विस आर्मी नाइफ देना था। उन्हें जितनी अधिक भाषाएँ पता थीं, समस्या को हल करने के लिए उनके मानसिक टूलकिट में उतने ही अधिक उपकरण थे, भले ही समस्या किसी ऐसी भाषा में हो जिसे उन्होंने पहले नहीं देखा था।
- आश्चर्य: "सख्त निर्देश" वाले कार्यों (APIs) के लिए, छात्र थोड़ा भ्रमित हो गया यदि वे बहुत छोटे (जैसे एक छोटा 0.6B पैरामीटर मॉडल) थे और एक साथ बहुत सारी भाषाएँ सीखने की कोशिश कर रहे थे। लेकिन बड़े, अधिक बुद्धिमान मॉडलों के लिए, भाषाएँ जोड़ना हमेशा फायदेमंद रहा।
4. "जादुई ट्रांसफर" प्रभाव
सबसे दिलचस्प निष्कर्षों में से एक ज़ीरो-शॉट ट्रांसफर (Zero-Shot Transfer) के बारे में है।
- परिदृश्य: कल्पना कीजिए कि आपने छात्र को अंग्रेजी, स्पेनिश और फ्रेंच पर प्रशिक्षित किया है। फिर, आप उनसे जर्मन में एक कार्य करने के लिए कहते हैं (एक ऐसी भाषा जिसे उन्होंने प्रशिक्षण के दौरान कभी नहीं देखा)।
- परिणाम: यदि छात्र के पास एक विविध प्रशिक्षण मिश्रण (कई अलग-अलग भाषाएँ) था, तो वे अक्सर जर्मन उत्तर का अनुमान लगभग उतना ही सटीक लगा सकते थे जितना कि यदि आपने उन्हें स्पष्ट रूप से जर्मन नहीं सिखाया होता।
- चेतावनी: यह "जादू" उन भाषाओं के लिए बहुत अच्छा काम करता है जो आपस में संबंधित हैं (जैसे स्पेनिश और फ्रेंच) या जिनमें बहुत अधिक डेटा है (High-Resource)। लेकिन बहुत दूर की, दुर्लभ भाषाओं (जैसे स्वाहिली या तेलुगु) के लिए, छात्र को अभी भी थोड़े प्रत्यक्ष मार्गदर्शन की आवश्यकता होती है। आप किसी पूरी तरह से पराई भाषा के नियमों का अनुमान तब तक नहीं लगा सकते जब तक कि आपने उसे कम से कम एक बार न देख लिया हो।
5. मुख्य बात: "अंग्रेजी ही सब कुछ नहीं है"
इस शोध पत्र का शीर्षक प्रसिद्ध वाक्यांश "English is all you need" पर एक कटाक्ष है। लेखक कह रहे हैं: नहीं, यह नहीं है।
- बड़ी तस्वीर के लिए: यदि आप एक ऐसा AI चाहते हैं जो सभी के लिए अच्छी तरह से काम करे, तो आप इसे केवल अंग्रेजी में प्रशिक्षित नहीं कर सकते।
- सही संतुलन: आपको इसे दुनिया की हर भाषा में प्रशिक्षित करने की आवश्यकता नहीं है। लेकिन विविध भाषाओं का मिश्रण (भले ही केवल कुछ ही क्यों न हो) जोड़ना एक "सुपरचार्जर" की तरह काम करता है। यह AI को अंग्रेजी में स्मार्ट बनाता है, गणित में बेहतर बनाता है, और इसे अन्य भाषाओं में लोगों की मदद करने में बहुत अधिक सक्षम बनाता है, बिना इसके कि इसे हर एक भाषा को स्पष्ट रूप से सिखाया जाए।
संक्षेप में: अपने AI को केवल अंग्रेजी न सिखाएं। इसे एक वैश्विक शिक्षा दें। यह आपको आश्चर्यचकित कर देगा क्योंकि यह हर उस चीज़ में बेहतर हो जाएगा, जिसे आप सोचते थे कि वह पहले से ही जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।