Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts
यह शोधपत्र ओपन कोरियन हिस्टोरिकल कॉर्पस का परिचय देता है, जो 1,300 वर्षों और कई लेखन प्रणालियों में फैला एक बड़े पैमाने का, खुले लाइसेंस वाला डेटासेट है, जो कोरियाई में प्रमुख भाषाई परिवर्तनों के मात्रात्मक विश्लेषण को सक्षम बनाता है और बड़े भाषा मॉडलों को प्रशिक्षित करने के लिए एक आधारभूत संसाधन के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कोरियाई भाषा की कल्पना एक विशाल, प्राचीन पुस्तकालय के रूप में करें जो एक हजार वर्षों से धीरे-धीरे अपनी वास्तुकला बदल रही है। सदियों तक, किताबें एक विदेशी भाषा (चीनी अक्षरों) में लिखी गई थीं, फिर उन्होंने उस विदेशी लिपि को एक नई स्वदेशी वर्णमाला (हंगुल) के साथ मिलाना शुरू किया, और अंततः, वे लगभग पूरी तरह से स्वदेशी वर्णमाला में बदल गए।
समस्या क्या है? अधिकांश आधुनिक कंप्यूटर प्रोग्राम (AI) जो इस पुस्तकालय को पढ़ने की कोशिश कर रहे हैं, वे केवल नवीनतम किताबें पढ़ना जानते हैं। वे पुरानी, मिश्रित या विदेशी दिखने वाले पन्नों को देखकर पूरी तरह भ्रमित हो जाते हैं। अब तक, इस इतिहास में नेविगेट करने में मदद करने के लिए कोई एकल, खुला मानचित्र नहीं था।
प्रस्तुत है "ओपन कोरियन हिस्टोरिकल कॉर्पस" (OKHC)।
इस शोध पत्र को एक विशाल, मुफ्त, डिजिटल टाइम मशीन की घोषणा के रूप में समझें। शोधकर्ताओं ने 7वीं शताब्दी से लेकर 2025 तक के 17.7 मिलियन दस्तावेज़ (जैसे 5.1 बिलियन शब्द) एकत्र किए हैं। उन्होंने केवल आधुनिक समाचार ही नहीं जुटाए; उन्होंने प्राचीन शाही डायरियां, पुराने कानूनी कोड, औपनिवेशिक काल के समाचार पत्र और यहाँ तक कि उत्तर कोरियाई राज्य मीडिया को भी खोज निकाला।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, कुछ रोजमर्रा के उपमाओं का उपयोग करते हुए:
1. "समय यात्रा करने वाली बुकशेल्फ़" (The Time-Traveling Bookshelf)
इस परियोजना से पहले, यदि कोई शोधकर्ता यह अध्ययन करना चाहता था कि समय के साथ कोरियाई भाषा कैसे बदली, तो उसे 19 अलग-अलग पुस्तकालयों में जाना पड़ता था, अनुमति मांगनी पड़ती थी और यह उम्मीद करनी पड़ती थी कि किताबें डिजिटल रूप में उपलब्ध भी होंगी या नहीं। यह एक ऐसे पहेली को बनाने जैसा था जिसके टुकड़े दुनिया भर में बंद बक्सों में बिखरे हुए हों।
टीम ने इन सभी टुकड़ों को एकत्र किया और उन्हें एक विशाल, खुले बक्से में रख दिया।
- संग्रह: इसमें शास्त्रीय चीनी (पूर्वी एशिया की "लैटिन"), इडु (एक जटिल प्रणाली जहाँ कोरियाई व्याकरण लिखने के लिए चीनी अक्षरों का उपयोग किया जाता था), मिश्रित लिपि (हनजा + हंगुल), और शुद्ध हंगुल शामिल हैं।
- लाइसेंस: उन्होंने सुनिश्चित किया कि यह "बक्सा" अनुसंधान के लिए उपयोग करने के लिए सभी के लिए खुला है, बशर्ते वे इसे लाभ के लिए न बेचें।
2. डेटा ने क्या खुलासा किया (जासूसी कार्य)
एक बार जब उनके पास यह विशाल डेटासेट आ गया, तो उन्होंने यह देखने के लिए इसे कंप्यूटर के माध्यम से चलाया कि भाषा कैसे विकसित हुई। यहाँ उनकी तीन सबसे बड़ी खोजें हैं:
"इडु" का सूर्यास्त:
- उपमा: एक विशिष्ट प्रकार की स्लैंग की कल्पना करें जो 1800 के दशक में बहुत लोकप्रिय थी लेकिन जल्दी ही खत्म हो गई।
- निष्कर्ष: उन्होंने पाया कि इडु नामक एक लेखन प्रणाली (कोरियाई ध्वनियों को लिखने के लिए चीनी अक्षरों का उपयोग) 1860 के दशक में अपने चरम पर थी। फिर, यह अचानक गिर गई। क्यों? क्योंकि सरकार ने 1890 के दशक में नए कानून पारित किए जिससे लोगों को स्वदेशी वर्णमाला का उपयोग करने के लिए मजबूर किया गया। डेटा दिखाता है कि यह एक धीमी गिरावट नहीं थी; यह एक अचानक बदलाव था।
"स्क्रिप्ट स्विच" की तीव्र गति (The Script Switch Speed Run):
- उपमा: इसे सड़क के बाईं ओर चलने से दाईं ओर जाने के लिए देश के स्विच करने जैसा समझें। आप उम्मीद कर सकते हैं कि इसमें दशकों का भ्रम पैदा होगा, लेकिन कोरिया में, यह बहुत तेजी से हुआ।
- निष्कर्ष: सैकड़ों वर्षों तक, लगभग सब कुछ चीनी अक्षरों में लिखा गया था। लेकिन 1890 के आसपास, कोरियाई वर्णमाला (हंगुल) की ओर स्विच अविश्वसनीय रूप से तेजी से हुआ। 1980 के दशक तक, 93% से अधिक टेक्स्ट शुद्ध हंगुल था। "मिश्रित" युग एक संक्षिप्त, तीव्र संक्रमण काल था।
"उत्तर बनाम दक्षिण" शब्दावली अंतराल:
- उपमा: कल्पना करें कि दो चचेरे भाई अलग-अलग देशों में पले-बढ़े हैं। वे एक ही भाषा बोलते हैं, लेकिन एक चचेरा भाई "ट्रक" को "लॉरी" कहता है और "सरकार" के लिए अलग शब्दों का उपयोग करता है। यदि आप एक-दूसरे को पत्र का अनुवाद करने का प्रयास करते हैं, तो आपका डिक्शनरी भ्रमित हो सकता है।
- निष्कर्ष: चूंकि उत्तर और दक्षिण कोरिया दशकों से अलग रहे हैं, इसलिए उनकी शब्दावली अलग हो गई है। शोधकर्ताओं ने पाया कि आधुनिक AI उपकरण, जो दक्षिण कोरियाई टेक्स्ट पर प्रशिक्षित हैं, उत्तर कोरियाई समाचार पढ़ते समय 51 गुना अधिक भ्रमित हो जाते हैं। वे शब्दों को पहचान नहीं पाते क्योंकि उत्तर कोरिया विदेशी शब्दों के लिए अद्वितीय वर्तनी का उपयोग करता है (जैसे जर्मनी को मानक "दो-इल-ब्यून" के बजाय "दोइचवोलैंड" कहना)।
3. यह क्यों महत्वपूर्ण है
वर्तमान AI मॉडल (जैसे चैटबॉट्स को शक्ति देने वाले) को उन छात्रों के रूप में सोचें जो केवल पिछले 20 वर्षों में स्कूल गए हैं। वे आधुनिक टेक्स्ट पढ़ने में माहिर हैं लेकिन जब वे किसी पुरानी डायरी या मिश्रित लिपियों वाले दस्तावेज़ का सामना करते हैं, तो वे विफल हो जाते हैं।
यह नया कॉर्पस उन छात्रों को इतिहास की पाठ्यपुस्तक देने जैसा है।
- इतिहासकारों के लिए: यह उन्हें केवल अनुमान लगाने के बजाय गणित और सटीकता के साथ भाषा परिवर्तन का अध्ययन करने की अनुमति देता है।
- AI डेवलपर्स के लिए: यह वह "प्रशिक्षण डेटा" प्रदान करता है जिसकी आवश्यकता कंप्यूटर को प्राचीन कोरियाई, मिश्रित लिपियों और यहाँ तक कि उत्तर कोरियाई बोलियों को पढ़ने के लिए सिखाने हेतु है। यह संस्कृति को संरक्षित करने और AI को भाषा के पूर्ण इतिहास के बारे में स्मार्ट बनाने में मदद कर सकता है, न कि केवल आधुनिक संस्करण के बारे में।
कमी (सीमाएं)
लेखक अपनी खामियों के बारे में ईमानदार हैं।
- सर्वाइवरशिप बायस (Survivorship Bias): यह पुस्तकालय आधुनिक पुस्तकों पर भारी है क्योंकि अधिक पुस्तकें जीवित रहीं और डिजिटल की गईं। प्राचीन पुस्तकें दुर्लभ हैं, इसलिए बहुत दूर के अतीत के लिए "टाइम मशीन" थोड़ी धुंधली है।
- कोई बोले गए शब्द नहीं: यह लिखित टेक्स्ट का एक पुस्तकालय है। इसमें यह रिकॉर्डिंग शामिल नहीं है कि लोग वास्तव में कैसे बोलते थे, इसलिए हम इतिहास की "ध्वनि" का अध्ययन नहीं कर सकते, केवल उसके "रूप" का कर सकते हैं।
संक्षेप में: यह शोध पत्र एक विशाल, ओपन-एक्सेस डिजिटल संग्रह का निर्माण है जो हमें अंततः कोरियाई भाषा की पूरी कहानी देखने की अनुमति देता है, प्राचीन काल से लेकर आज तक, जिससे मनुष्यों और कंप्यूटरों दोनों को यह समझने में मदद मिलती है कि भाषा कैसे बदली, विभाजित हुई और जीवित रही।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।