Curation of a Palaeohispanic Dataset for Machine Learning
यह शोध पत्र विशेष रूप से इस अल्प-अनुसंधान वाले क्षेत्र में मशीन लर्निंग तकनीकों के अनुप्रयोग को सक्षम बनाने के लिए डिज़ाइन किए गए एक संरचित डेटासेट का निर्माण करके, पैलियोहिस्पैनिक भाषाओं के अध्ययन के लिए उपयुक्त संसाधनों की कमी को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, धूल भरा अटारी (attic) है जो हजारों प्राचीन पत्रों से भरा हुआ है, जो एक ऐसी भाषा में लिखे गए हैं जिसे अब कोई नहीं बोलता। ये पत्र स्पेन और फ्रांस में बिखरे हुए हैं, पत्थरों पर उकेरे गए हैं, मिट्टी के बर्तनों पर पेंट किए गए हैं, या धातु पर खुरच कर लिखे गए हैं। वे उन लोगों की कहानियाँ बताते हैं जो 2,000 साल पहले जीवित थे, लेकिन अक्षर अस्त-व्यस्त हैं: कुछ टूटे हुए हैं, कुछ उल्टे लिखे गए हैं, और कुछ की स्याही फीकी पड़ गई है।
यह पेलियोहिस्पैनिक भाषाओं (Palaeohispanic languages) की दुनिया है—इबेरियन प्रायद्वीप की वे प्राचीन भाषाएँ जो रोमनों के आने से पहले बोली जाती थीं। दशकों से, इतिहासकार और भाषाविद् इन अक्षरों के रहस्य को सुलझाने की कोशिश करने वाले "जासूस" रहे हैं। उन्होंने बहुत अच्छा काम किया है, लेकिन वे ज्यादातर कागजी नोट्स और स्प्रेडशीट्स के साथ काम कर रहे थे जिन्हें कंप्यूटर आसानी से पढ़ नहीं सकता।
समस्या: एक विदेशी भाषा में पुस्तकालय
मौजूदा डेटा को एक ऐसे पुस्तकालय की तरह समझें जहाँ हर किताब अलग-अलग लिखावट में है, कुछ पन्ने फटे हुए हैं, और किताबें अव्यवस्थित ढेर के रूप में रखी हुई हैं। यदि आप एक सुपर-स्मार्ट रोबोट (एक आर्टिफिशियल इंटेलिजेंस) का उपयोग इन किताबों को पढ़ने और पैटर्न खोजने के लिए करना चाहते हैं, तो रोबोट भ्रमित हो जाएगा। वह "हाथ से लिखे नोट्स" या "अव्यवस्थित ढेरों" को नहीं समझ सकता। उसे संख्याओं की एक साफ, व्यवस्थित सूची और स्पष्ट श्रेणियों की आवश्यकता होती है।
समाधान: एक महान संगठित परियोजना
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं की एक टीम ने इन प्राचीन अवशेषों और आधुनिक कंप्यूटर विज्ञान के बीच एक डिजिटल पुल (digital bridge) बनाने का निर्णय लिया। उन्होंने केवल अक्षरों को स्कैन नहीं किया; उन्होंने जानकारी को साफ किया, छाँटा और इसे एक ऐसे प्रारूप (format) में अनुवादित किया जिसे मशीन लर्निंग (AI) वास्तव में उपयोग कर सके।
उन्होंने यह सब कैसे किया, इसके लिए यहाँ कुछ रोजमर्रा के उदाहरण दिए गए हैं:
1. सुराग इकट्ठा करना (डेटा संग्रह)
टीम ने "हेस्पेरिया डेटा बैंक" (Hesperia Data Bank) से शुरुआत की, जो एक विशाल, केंद्रीय संग्रहालय संग्रह की तरह है। इसमें हजारों रिकॉर्ड थे, लेकिन वे अव्यवस्थित थे।
- फ़िल्टर: उन्हें "नकली" अक्षरों (जालसाजी) को अनदेखा करना था और केवल असली अक्षरों पर ध्यान केंद्रित करना था।
- लक्ष्य: वे संग्रहालय के धूल भरे कैटलॉग को एक साफ, डिजिटल स्प्रेडशीट में बदलना चाहते थे।
2. गंदगी की सफाई (डेटा रूपांतरण)
यह सबसे कठिन हिस्सा है। कल्पना कीजिए कि आपके पास पतों की एक सूची है जो कहती है "नदी के पास वाला बड़ा घर नीले शहर में।" एक कंप्यूटर नहीं जानता कि इसका क्या मतलब है। शोधकर्ताओं को इसे GPS निर्देशांक (अक्षांश और देशांतर) में अनुवादित करना पड़ा।
- स्थान: "वेलेंसिया" लिखने के बजाय, उन्होंने इसे
39.48और-0.38जैसे नंबरों में बदल दिया। इससे AI यह समझ सकता है कि दो शहर एक-दूसरे के कितने करीब हैं, ठीक वैसे ही जैसे एक मैप ऐप करता है। - समय: तारीखें "तीसरी शताब्दी ईसा पूर्व की शुरुआत" जैसे वाक्यांशों में लिखी गई थीं। टीम ने इन्हें गणितीय श्रेणियों (जैसे, "-300 और -200 के बीच") में बदल दिया ताकि कंप्यूटर समय के अंतर की गणना कर सके।
- पाठ (Text): प्राचीन शिलालेखों में बहुत सारा "शोर" (noise) था—विद्वानों की टिप्पणियाँ, कोष्ठक में चिह्नित छूटे हुए अक्षर, और अजीब प्रतीक। टीम ने एक "सफाई रोबोट" बनाया जिसने विद्वानों के नोट्स को हटा दिया और टूटे हुए अक्षरों को ठीक कर दिया, जिससे केवल मूल प्राचीन पाठ ही बचा।
3. परिणाम: समय यात्रियों के लिए एक नया उपकरण
अंत में जो परिणाम निकला वह एक डेटासेट (एक विशाल डिजिटल टेबल) है जिसमें 1,751 प्रविष्टियाँ (entries) हैं।
- पहले: एक इतिहासकार को एक PDF पढ़ना पड़ता था, तारीख का अनुमान लगाना पड़ता था, और स्थान को मैन्युअल रूप से एक मानचित्र पर टाइप करना पड़ता था।
- अब: एक कंप्यूटर तुरंत 1,751 प्रविष्टियों को देख सकता है, शब्दों के लिखने के तरीके में पैटर्न खोज सकता है, अनुमान लगा सकता है कि कोई पाठ अपने स्थान के आधार पर कहाँ से आया होगा, या यहाँ तक कि उस शब्द का अनुवाद करने की कोशिश कर सकता है जिसे उसने पहले कभी नहीं देखा है।
यह क्यों मायने रखता है?
इस डेटासेट को एक अंधे रोबोट को चश्मा देने के रूप में सोचें।
- पहले: रोबोट इन प्राचीन भाषाओं के प्रति अंधा था। वह इनसे सीख नहीं सकता था क्योंकि डेटा बहुत अव्यवस्थित था।
- अब: रोबोट पैटर्न को "देख" सकता है। वह खोज सकता है कि एक विशिष्ट प्रकार के मिट्टी के बर्तन पर हमेशा एक विशिष्ट प्रकार की लिखावट होती है, या उत्तर में दक्षिण की तुलना में एक निश्चित शब्द अधिक बार दिखाई देता है।
इसका मतलब यह नहीं है कि भाषाएँ अभी पूरी तरह से सुलझ गई हैं। यह एक खोजकर्ता के लिए एक नए, पूरी तरह से व्यवस्थित मानचित्र को खोजने जैसा है। खोजकर्ता (AI) को अभी भी क्षेत्र को समझना बाकी है, लेकिन अब उनके पास इसे करने के लिए सर्वोत्तम उपकरण मौजूद हैं।
संक्षेप में: लेखकों ने प्राचीन, टूटे हुए अक्षरों के एक अराजक ढेर को एक व्यवस्थित, कंप्यूटर-अनुकूल निर्देश पुस्तिका में बदल दिया है। यह AI के लिए उन लोगों की आवाजों को अंततः समझने का द्वार खोलता है जो 2,000 साल पहले जीवित थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।