Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl
यह शोध पत्र इस बात की जांच करता है कि क्या नियंत्रित डेटा दोहराव (controlled data duplication) कम-संसाधन वाली भाषाओं के लिए प्राकृतिक भाषा प्रसंस्करण (Natural Language Processing) को प्रभावी ढंग से बढ़ा सकता है, यह प्रदर्शित करते हुए कि नहुआटल (Nahuatl) कॉर्पस पर लागू एक वृद्धिशील दोहराव तकनीक वाक्य-स्तरीय अर्थ संबंधी समानता कार्यों में मध्यम सुधार प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।
बड़ी समस्या: "खाली पुस्तकालय" (The "Empty Library")
कल्पना कीजिए कि आप एक रोबोट को नाहुआत्ल (Nahuatl) बोलना सिखाना चाहते हैं, जो मेक्सिको में दस लाख से अधिक लोगों द्वारा बोली जाने वाली एक सुंदर स्वदेशी भाषा है। किसी आधुनिक AI (जैसे कि Large Language Model) को सिखाने के लिए, आपको आमतौर पर किताबों के एक विशाल पुस्तकालय की आवश्यकता होती है—अरबों शब्द—ताकि आप रोबोट को दिखा सकें कि वह भाषा कैसे काम करती है।
लेकिन नाहुआत्ल के लिए, पुस्तकालय लगभग खाली है। डिजिटल पुस्तकें बहुत कम हैं, और यह भाषा अविश्वसनीय रूप से जटिल है। यह एक एग्लूटिनेटिव (agglutinative) भाषा है, जिसका अर्थ है कि बोलने वाले अर्थ के कई छोटे टुकड़ों को जोड़कर एक विशाल शब्द बनाते हैं।
- उपमा: अंग्रेजी में, आप कह सकते हैं, "I am going to the store" (मैं दुकान जा रहा हूँ)। नाहुआत्ल में, वह पूरा वाक्य एक ही, अत्यंत लंबे शब्द में समाया हो सकता है। इस कारण से, और क्योंकि डिजिटल टेक्स्ट बहुत कम है, AI के पास सीखने के लिए बहुत कम डेटा है। यह वैसा ही है जैसे किसी को केवल तीन सामग्रियाँ देकर खाना बनाना सिखाना।
विवादास्पद विचार: "कॉपी-पेस्ट" कुकिंग
आमतौर पर, जब कंप्यूटर वैज्ञानिक AI बनाते हैं, तो वे डुप्लीकेशन हटाने (deduplication) के प्रति जुनूनी होते हैं। वे समान वाक्यों को हटाने में घंटों बिताते हैं क्योंकि उनका मानना है कि दोहराव AI को "आलसी" या भ्रमित बना देता है। वे सोचते हैं, "यदि AI एक ही वाक्य को 100 बार देखता है, तो वह कुछ भी नया नहीं सीखेगा।"
यह शोध पत्र एक पागल कर देने वाला सवाल पूछता है: क्या होगा अगर, उन भाषाओं के लिए जिनके पास लगभग कोई डेटा नहीं है, टेक्स्ट को दोहराना वास्तव में एक अच्छी चीज़ हो?
शोधकर्ताओं ने छोटे नाहुआत्ल पुस्तकालय के साथ एक फोटोकॉपी मशीन की तरह व्यवहार करने का निर्णय लिया। डुप्लिकेट्स को फेंकने के बजाय, उन्होंने अपने छोटे से नाहुआत्ल संग्रह को बार-बार फोटोकॉपी किया।
- उन्होंने मूल टेक्स्ट लिया (मान लीजिए 1x)।
- उन्होंने 2 प्रतियां बनाईं (2x)।
- उन्होंने 4 प्रतियां बनाईं (4x)।
- वे 30 प्रतियों तक गए।
वे देखना चाहते थे कि क्या AI को एक ही कहानी 30 बार खिलाने से वह भाषा को एक बार पढ़ने की तुलना में बेहतर समझ पाता है।
प्रयोग: AI को प्रशिक्षित करना
उन्होंने इस "फैले हुए" (stretched) पुस्तकालय का उपयोग तीन अलग-अलग प्रकार के AI मॉडल (सोचिए कि ये अलग-अलग छात्र सीखने की शैलियाँ हैं) को प्रशिक्षित करने के लिए किया:
- FastText (विस्तृत शिक्षार्थी जो शब्दों के छोटे हिस्सों को देखता है)।
- Word2Vec (पैटर्न खोजने वाला)।
- GloVe (सांख्यिकीय कैलकुलेटर)।
उन्होंने इन मॉडलों का परीक्षण सिमेंटिक सिमिलरिटी (Semantic Similarity) नामक कार्य पर किया।
- परीक्षण: उन्होंने AI को एक वाक्य दिया और पूछा कि पाँच विकल्पों की सूची में से सबसे समान वाक्य कौन सा है।
- लक्ष्य: क्या टेक्स्ट को 30 बार देखने के बाद AI शब्दों के अर्थ को समझने में बेहतर हुआ?
परिणाम: "गोल्डिलॉक्स ज़ोन" (The "Goldilocks" Zone)
परिणाम आश्चर्यजनक थे और उन्होंने दिखाया कि "अधिक दोहराव" हमेशा "अधिक भ्रम" नहीं होता है।
विजेता: FastText और Word2Vec मॉडल टेक्स्ट को दोहराने के बाद नाहुआत्ल को समझने में काफी बेहतर हो गए।
- FastText तब शिखर पर पहुँचा जब टेक्स्ट को लगभग 10 बार कॉपी किया गया।
- Word2Vec तब शिखर पर पहुँचा जब टेक्स्ट को 22 बार कॉपी किया गया।
- उपमा: कल्पना कीजिए कि एक छात्र एक कठिन गाना सीखने की कोशिश कर रहा है। संगीत की शीट को एक बार पढ़ना पर्याप्त नहीं है। इसे 10 बार पढ़ने से उसे लय (rhythm) समझने में मदद मिलती है। इसे 20 बार पढ़ने से वह नोट्स में महारत हासिल करता है। लेकिन इसे 100 बार पढ़ने से शायद वह ऊब जाए और ध्यान हटा ले। शोधकर्ताओं ने वह "स्वीट स्पॉट" (सही बिंदु) खोज निकाला जहाँ दोहराव सबसे अधिक मददगार था।
हारने वाला: GloVe मॉडल को दोहराव बिल्कुल पसंद नहीं आया; इसका प्रदर्शन वास्तव में खराब हो गया।
तुलना: इस "दोहराए गए" नाहुआत्ल टेक्स्ट पर प्रशिक्षित AI, अन्य उपलब्ध नाहुआत्ल डेटा (जैसे कि नाहुआत्ल विकिपीडिया) पर प्रशिक्षित AI मॉडलों की तुलना में बेहतर प्रदर्शन करता है। भले ही वह डेटा उसी चीज़ की प्रतियां थीं, लेकिन भारी मात्रा ने AI को भाषा की संरचना सीखने में मदद की।
यह क्यों मायने रखता है?
यह शोध पत्र "संसाधन-विहीन" (resource-poor) भाषाओं (ऐसी भाषाएँ जिनके पास बहुत कम डिजिटल डेटा है) के लिए एक नया नियम सुझाता है:
- समृद्ध भाषाओं के लिए (जैसे अंग्रेजी या स्पेनिश): हमें डेटा को साफ और विविध रखने के लिए डुप्लिकेट्स को हटा देना चाहिए।
- गरीब भाषाओं के लिए (जैसे नाहुआत्ल): हमें AI को नियमों को सीखने के लिए पर्याप्त "अभ्यास" देने के लिए अपने सीमित डेटा को डुप्लिकेट करने की आवश्यकता हो सकती है।
निष्कर्ष
शोधकर्ताओं ने पाया कि अपने छोटे से नाहुआत्ल डेटासेट को सावधानीपूर्वक 30 बार कॉपी करके, वे एक AI को पहले की तुलना में भाषा के अर्थ को बहुत बेहतर ढंग से समझने के लिए सिखा सकते हैं। यह दर्पण के सामने भाषण देने का अभ्यास करने जैसा है: यदि आपके पास केवल एक दर्पण है, तो आप अपनी सभी गलतियों को नहीं देख पाएंगे। लेकिन यदि आप 30 दर्पणों वाले कमरे में खड़े होते हैं, तो आप हर कोण देख सकते हैं और अपने प्रदर्शन को पूर्ण बना सकते हैं।
संक्षेप में: जब आपके पास बहुत कम डेटा होता है, तो कभी-कभी सीखने का सबसे अच्छा तरीका है—दोहराना, दोहराना, दोहराना—जब तक कि आप दोहराव की सही मात्रा न पा लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।