Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair
यह शोध पत्र न्यूरल क्वालिटी एस्टीमेशन मॉडल्स को प्रशिक्षित करने के लिए एक अर्ध-सिंथेटिक अंग्रेजी-से-हिब्रू समानांतर डेटासेट बनाने की कार्यप्रणाली प्रस्तुत करता है, जो भाषाई विशेषज्ञों द्वारा स्कोर किए गए पेशेवर अनुवादों को नियंत्रित त्रुटियों वाले एमटी-जनरेटेड (MT-generated) उदाहरणों के साथ जोड़कर कम-संसाधन वाले, रूपात्मक रूप से जटिल भाषा युग्मों के लिए संसाधनों की कमी को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक रोबोट अनुवादक है जो अंग्रेजी और हिब्रू बोलता है। यह काफी अच्छा हो रहा है, लेकिन कभी-कभी यह मूर्खतापूर्ण गलतियाँ कर देता है, जैसे किसी व्यक्ति का लिंग (gender) गलत कर देना या एकवचन और बहुवचन शब्दों को आपस में मिला देना।
समस्या यह है: आप कंप्यूटर को यह कैसे सिखाएं कि रोबोट अनुवादक कब गलती कर रहा है, बिना किसी इंसान द्वारा हर वाक्य को पढ़े?
यही "क्वालिटी एस्टीमेशन" (QE) है। यह मशीन अनुवाद के लिए एक ट्रैफिक पुलिस की तरह है। हर कार (अनुवाद) को एक आदर्श मानचित्र (मानवीय अनुवाद) के विरुद्ध जांचने के बजाय, पुलिस वाला बस कार को देखता है और कहता है, "यह सुरक्षित लग रही है, जाओ!" या "यह खतरनाक लग रही है, रुको और इसे ठीक करो!"
आपने जो पेपर साझा किया है, वह इस "ट्रैफिक पुलिस" के लिए एक बेहतर "प्रशिक्षण स्कूल" बनाने के बारे में है, विशेष रूप से कठिन अंग्रेजी-से-हिब्रू मार्ग के लिए। यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल भाषा में।
1. समस्या: "खाली क्लासरूम"
आमतौर पर, कंप्यूटर को अनुवादों को ग्रेड देने के लिए सिखाने हेतु, आपको उदाहरणों के एक विशाल पुस्तकालय की आवश्यकता होती है जहाँ मनुष्यों ने पहले से ही उन्हें ग्रेड दिया हो। लेकिन हिब्रू के लिए, यह पुस्तकालय बहुत छोटा है। यह एक छात्र को रेस कार चलाना सिखाने जैसा है, लेकिन आपके पास केवल तीन अभ्यास ट्रैक हैं। छात्र (AI मॉडल) भ्रमित हो जाता है और बारीकियों को नहीं सीख पाता।
हिब्रू एक "रूपात्मक रूप से समृद्ध" (morphologically rich) भाषा भी है। सोचिए कि अंग्रेजी के शब्द लेगो (Lego) ईंटों की तरह हैं जो ज्यादातर एक जैसे रहते हैं। हिब्रू के शब्द आकार बदलने वाली मिट्टी की तरह हैं; वे पूरी तरह से अपना आकार बदल लेते हैं यदि कोई क्रिया कर रहा है (लिंग), कितने लोग हैं (संख्या), और कब हुआ (काल)। यदि रोबोट आकार गलत करता है, तो वाक्य टूट जाता है।
2. समाधान: एक "नकली" पुस्तकालय बनाना
चूंकि उनके पास पर्याप्त वास्तविक उदाहरण नहीं थे, इसलिए शोधकर्ताओं ने एक विशाल, अर्ध-नकली पुस्तकालय बनाने का निर्णय लिया। उन्होंने इसे "सेमी-सिंथेटिक डेटासेट" कहा।
यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया, चरण-दर-चरण:
- चरण 1: ब्लूप्रिंट (द प्रॉम्प्ट): उन्होंने एक शिक्षार्थी के शब्दकोश (जैसे "The men wore carnations") से सरल अंग्रेजी वाक्य लिए। उन्होंने एक AI (ChatGPT) से इन नियमों का पालन करते हुए नए वाक्य लिखने के लिए कहा जो लंबे और अधिक जटिल हों।
- चरण 2: अनुवाद फैक्ट्री: उन्होंने इन नए वाक्यों को तीन अलग-अलग रोबोट अनुवादकों (Google, Yandex, Microsoft) में डाला।
- चरण 3: गुणवत्ता फिल्टर: उन्होंने जांचा कि क्या रोबोट सहमत थे। यदि दो रोबोटों ने बहुत अलग अनुवाद दिए, तो उन्होंने उस वाक्य को फेंक दिया। यदि वे सहमत थे, तो उन्होंने उसे रख लिया, यह मानते हुए कि वह शायद अच्छा है।
- चरण 4: मानव निरीक्षक: एक वास्तविक भाषाविद् ने इनमें से हजारों को पढ़ा और उन्हें 1 (कचरा) से 5 (परफेक्ट) तक का स्कोर दिया।
परिणाम: उनके पास एक ठीक-ठाक डेटा का ढेर था, लेकिन यह अभी भी बहुत छोटा और असंतुलित था। AI मॉडल जो इस पर प्रशिक्षित थे, वे बहुत खराब थे। वे हर चीज़ के लिए "3" (औसत) का अनुमान लगाते रहते थे क्योंकि उन्होंने पर्याप्त "बुरे" उदाहरण नहीं देखे थे कि वास्तव में बुरा क्या होता है।
3. "मैड साइंटिस्ट" चरण: जानबूझकर गलतियाँ पैदा करना
यह सबसे रचनात्मक हिस्सा है। शोधकर्ताओं को एहसास हुआ, "हमें AI को यह सिखाने के लिए कि किससे बचना है, बुरे अनुवादों के अधिक उदाहरणों की आवश्यकता है।"
इसलिए, वे डिजिटल मैड साइंटिस्ट बन गए। उन्होंने अपने अच्छे अनुवादों को लिया और उन्हें विशिष्ट तरीकों से जानबूझकर बिगाड़ दिया:
- जेंडर बेंडर (लिंग बदलने वाला): उन्होंने "वह" (he) के बारे में एक वाक्य लिया और हिब्रू क्रिया को इस तरह बदल दिया जैसे वह "वह" (she) के बारे में हो।
- नंबर मिक्सर (संख्या मिलाने वाला): उन्होंने "एक बिल्ली" को "कई बिल्लियों" में बदल दिया लेकिन क्रिया को एकवचन ही रखा।
- शब्दों का बिखराव: उन्होंने हिब्रू वाक्य के शब्दों को इस तरह इधर-उधर कर दिया जिससे उसका कोई अर्थ न रहे।
हर बार जब उन्होंने एक वाक्य को बिगाड़ा, तो उन्होंने उसका स्कोर कम कर दिया।
- 1 गलती = स्कोर 1 से कम।
- 2 गलतियाँ = स्कोर 2 से कम।
- पूरी तरह से निरर्थक (gibberish) = स्कोर 0।
उन्होंने एक ट्रिक भी जोड़ी: उन्होंने एक अंग्रेजी वाक्य लिया और उसे एक पूरी तरह से रैंडम हिब्रू वाक्य के साथ जोड़ा जिसका उससे कोई लेना-देना नहीं था। उन्होंने इन्हें "स्कोर 0" के रूप में लेबल किया ताकि AI को सिखाया जा सके: "यदि वाक्य आपस में बिल्कुल मेल नहीं खाते, तो वह सबसे खराब ग्रेड है।"
इस तरह, उन्होंने अपने डेटासेट को कुछ हजार उदाहरणों से बढ़ाकर 4,00,000 उदाहरणों तक पहुँचा दिया।
4. प्रशिक्षण: सही संतुलन खोजना
अब उनके पास एक विशाल पुस्तकालय था। लेकिन उन्हें AI को यह कैसे खिलाना चाहिए? उन्होंने तीन अलग-अलग "आहार" आजमाए:
- प्राकृतिक आहार (Normal Distribution): उन्होंने AI को एक ऐसा मिश्रण दिया जो वास्तविक जीवन जैसा दिखता है (ज्यादातर अच्छे अनुवाद, कम बुरे वाले)।
- परिणाम: AI ठीक-ठाक था (65% सटीकता)। यह अभी भी थोड़ा आलसी था और अक्सर "औसत" का अनुमान लगाता था।
- संतुलित आहार (Uniform Distribution): उन्होंने AI को मजबूर किया कि वह बराबर संख्या में परफेक्ट, औसत और भयानक अनुवाद देखे।
- परिणाम: बहुत बेहतर (88% सटीकता)। AI ने "औसत" और "बुरे" के बीच अंतर करना सीख लिया क्योंकि उसने उन्हें समान रूप से देखा था।
- दावत (Large Scale): उन्होंने बस 1 मिलियन से 4 मिलियन उदाहरण AI के सामने डाल दिए, जिससे प्राकृतिक मिश्रण होने दिया गया लेकिन भारी मात्रा के साथ।
- परिणाम: विजेता! (92% सटीकता)।
सबक: यह पता चला कि, मात्रा ही सर्वोपरि है। भले ही डेटा थोड़ा अस्त-व्यस्त या "नकली" हो, लेकिन इतनी अधिक मात्रा में होने के कारण कि AI हर संभव प्रकार की गलती को बार-बार देखता है, वह एक जीनियस बना देता है।
5. भविष्य: मुहावरे की चुनौती
पेपर भविष्य की ओर देखते हुए समाप्त होता है। AI अब व्याकरण और शब्द क्रम में बहुत अच्छा है, लेकिन वह अभी भी मुहावरों (idioms) के साथ संघर्ष करता है।
- उदाहरण: यदि आप कहते हैं "It's raining cats and dogs," तो एक शाब्दिक अनुवादक (literal translator) सोच सकता है कि आसमान से जानवर गिर रहे हैं।
- योजना: वे अब एक विशेष "इडियम लाइब्रेरी" बना रहे हैं ताकि AI को सिखाया जा सके कि कभी-कभी, आपको शब्दों का नहीं, बल्कि भावना का अनुवाद करना होता है।
सारांश उपमा
कल्पना कीजिए कि आप एक बच्चे को नकली पेंटिंग पहचानना सिखा रहे हैं।
- पुराना तरीका: आप उसे 10 असली पेंटिंग और 2 नकली पेंटिंग दिखाते हैं। बच्चा भ्रमित हो जाता है और सोचता है कि सब कुछ असली है।
- नया तरीका (यह पेपर): आप 10 असली पेंटिंग लेते हैं, उनकी फोटोकॉपी करते हैं, और फिर 500 उन पर मार्कर से मूंछें बना देते हैं, 200 पर लकीरें खींच देते हैं, और 100 को जला देते हैं। आप बच्चे को 1,000 पेंटिंग दिखाते हैं, जिनमें से आधी असली और आधी "बर्बाद" हैं।
- परिणाम: बच्चा एक मास्टर आर्ट क्रिटिक बन जाता है क्योंकि उसने देखा है कि एक पेंटिंग गलत होने के कितने सारे तरीके हो सकते हैं।
यह पेपर दिखाता है कि हिब्रू जैसी भाषाओं के लिए, जहाँ नियम जटिल हैं, आप केवल प्रकृति द्वारा दिए गए डेटा पर निर्भर नहीं रह सकते। आपको अपना स्वयं का प्रशिक्षण डेटा बनाना होगा, चीजों को जानबूझकर बिगाड़कर, ताकि आपका AI उन्हें ठीक करना सीख सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।