Ensemble Self-Training for Unsupervised Machine Translation
यह शोध पत्र अनसुपरवाइज्ड न्यूरल मशीन ट्रांसलेशन के लिए एक एन्सेम्बल-ड्रिवन सेल्फ-ट्रेनिंग फ्रेमवर्क प्रस्तावित करता है जो उच्च गुणवत्ता वाले सूडो-ट्रांसलेशंस उत्पन्न करने के लिए सहायक भाषाओं से स्ट्रक्चर्ड डाइवर्सिटी का लाभ उठाता है, जिससे सिंगल-मॉडल इन्फरेंस लागत को बनाए रखते हुए ट्रांसलेशन प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं, लेकिन आपके पास न तो कोई शिक्षक है, न कोई पाठ्यपुस्तक और न ही कोई बातचीत करने वाला साथी। आपके पास केवल उस भाषा में लिखी हुई किताबों का एक ढेर है और आपकी मातृभाषा में लिखी हुई किताबों का एक ढेर है। यह अनसुपरवाइज्ड मशीन ट्रांसलेशन (UNMT) की चुनौती है: एक कंप्यूटर को दो भाषाओं के बीच अनुवाद करना सिखाना, बिना उसे कभी भी एक ही वाक्य के दोनों भाषाओं वाले जोड़े दिखाए।
पेपर "एनसेम्बल सेल्फ-ट्रेनिंग फॉर अनसुपरवाइज्ड मशीन ट्रांसलेशन" इस क्षेत्र के एक सामान्य समाधान का प्रस्ताव करता है: कंप्यूटर को गलत चीजें सीखने से कैसे रोका जाए।
सरल उपमाओं का उपयोग करके इसका विवरण यहाँ दिया गया है:
समस्या: "इको चैंबर" (गूँज कक्ष) प्रभाव
पारंपरिक तरीकों में, आप एक ही AI मॉडल को प्रशिक्षित करते हैं। वह एक अनुवाद का अनुमान लगाता है, और फिर वह अपने ही अनुमान से सीखने की कोशिश करता है।
- उपमा: कल्पना कीजिए कि आप खुद द्वारा लिखे गए शब्दकोश को पढ़कर फ्रेंच सीखने की कोशिश कर रहे हैं। यदि आप अपने पहले अनुमान में गलती करते हैं (जैसे, आप सोचते हैं कि "cat" का अर्थ "dog" है), तो आप उसे लिख देते हैं। बाद में, आप अपनी ही किताब पढ़ते हैं, देखते हैं कि "cat = dog", और सोचते हैं, "आह, यही नियम है!" आप अपनी ही गलती को पुख्ता करते हैं।
- परिणाम: AI एक लूप में फंस जाता है, अपनी ही गलतियों को दोहराता रहता है और अंततः निरर्थक बातें करने लगता है या बस इनपुट शब्द को शब्द-दर-शब्द कॉपी करने लगता है।
समाधान: "स्टडी ग्रुप" (अध्ययन समूह) दृष्टिकोण
लेखक "अकेले जीनियस" वाले दृष्टिकोण को रोकने और एक स्टडी ग्रुप शुरू करने का सुझाव देते हैं।
समूह बनाना (द एनसेम्बल):
केवल एक AI को प्रशिक्षित करने के बजाय, वे 10 अलग-अलग AI को प्रशिक्षित करते हैं।- ट्विस्ट: प्रत्येक AI को एक "साइडकिक" भाषा (एक सहायक भाषा) दी जाती है जो दूसरों के पास नहीं है।
- उपमा: कल्पना कीजिए कि 10 छात्र फ्रेंच सीखने की कोशिश कर रहे हैं। छात्र A स्पेनिश भी जानता है, छात्र B जर्मन जानता है, छात्र C इतालवी जानता है। भले ही वे सभी एक ही फ्रेंच-अंग्रेजी अनुवाद करने की कोशिश कर रहे हों, उनकी "साइडकिक" भाषाएं उन्हें व्याकरण और शब्दावली के बारे में सोचने के थोड़े अलग दृष्टिकोण और तरीके देती हैं। यह विविधता (diversity) पैदा करता है।
ग्रुप प्रोजेक्ट (एनसेम्बल डिकोडिंग):
जब समूह को एक वाक्य का अनुवाद करने की आवश्यकता होती है, तो वे केवल एक छात्र को अनुमान लगाने के लिए नहीं छोड़ते। वे वोट करते हैं।- उपमा: यदि छात्र A कहता है "apple," छात्र B कहता है "apple," और छात्र C कहता है "fruit," तो समूह की सहमति "apple" है।
- यह क्यों काम करता है: यदि एक छात्र का "बुरा दिन" चल रहा है और वह एक अजीब सी गलती करता है, तो अन्य नौ छात्र आमतौर पर सही उत्तर पर सहमत होते हैं। समूह का संयुक्त अनुमान किसी भी एकल छात्र के अनुमान की तुलना में बहुत अधिक विश्वसनीय होता है।
फीडबैक लूप (सेल्फ-ट्रेनिंग):
यही जादुई कदम है। समूह अपने सबसे अच्छे संयुक्त अनुमान को लेता है और उसे "सही उत्तर" (स्वर्ण मानक) के रूप में मानता है।- उपमा: शिक्षक (प्रशिक्षण प्रणाली) कहता है, "ठीक है, यह वह उत्तर है जिस पर पूरा समूह सहमत हुआ है। अब, प्रत्येक छात्र को इस उत्तर का अध्ययन करना चाहिए और इससे सीखना चाहिए।"
- लाभ: क्योंकि "उत्तर" एक समूह के वोट से आया है, इसलिए इसकी गलती होने की संभावना कम है। छात्र एक उच्च-गुणवत्ता वाले स्रोत से सीखते हैं यदि वे केवल अपने स्वयं के एकल अनुमानों से सीखते।
फाइनल एग्जाम (डिप्लॉयमेंट):
यहाँ सबसे अच्छी बात है। हालांकि उन्होंने एक टीम के रूप में प्रशिक्षण लिया है, केवल एक छात्र अंतिम परीक्षा देता है।- उपमा: अध्ययन समूह ने सभी को बेहतर बनाने में मदद करने के बाद, शिक्षक समूह में से सबसे अच्छे छात्र को चुनता है ताकि वह दुनिया में जाकर आपके लिए अनुवाद कर सके।
- परिणाम: आपको "सबसे अच्छे छात्र" का उच्च-गुणवत्ता वाला अनुवाद मिलता है, लेकिन आपको एक ही समय में 10 कंप्यूटर चलाने की लागत नहीं उठानी पड़ती। आप केवल एक ही चलाते हैं।
यह क्यों मायने रखता है
पेपर दिखाता है कि यह "स्टडी ग्रुप" विधि अविश्वसनीय रूप से अच्छी तरह से काम करती है, विशेष रूप से कठिन भाषाओं के लिए या जब AI बहुत कम ज्ञान के साथ शुरू होता है।
- यह "कॉपीकैट" समस्या को ठीक करता है: कभी-कभी, एक अकेला AI इनपुट को शब्द-दर-शब्द कॉपी करता है क्योंकि वह अनुमान लगाने से डरता है। समूह का दबाव इसे रोकता है।
- यह प्रदर्शन को बढ़ाता है: औसतन, इस पद्धति ने अनुवाद की गुणवत्ता में महत्वपूर्ण अंतर (एक मानक पैमाने पर लगभग 1.2 अंक) से सुधार किया है, जो AI की दुनिया में एक बड़ी बात है।
संक्षेप में
एक अकेले AI को शून्य में अपनी गलतियों से सीखने देने के बजाय, लेखक विविध AI की एक टीम को सही उत्तरों पर वोट करने और फिर उन वोटों का उपयोग करके एक-दूसरे को सिखाने के लिए कहते हैं। यह एक स्टडी ग्रुप की तरह है जो अपनी खुद की परफेक्ट टेक्स्टबुक बनाता है, यह सुनिश्चित करता है कि जब अंतिम छात्र काम पर जाए, तो वह जितना संभव हो सके उतना स्मार्ट हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।