Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation

डिजिटल इतिहास के शांत कोनों में, प्राकृतिक भाषा प्रसंस्करण (नेचुरल लैंग्वेज प्रोसेसिंग) नामक कंप्यूटर विज्ञान की एक विशेष शाखा मशीनों के लिए अतीत को पठनीय बनाने के लिए काम कर रही है। यह क्षेत्र कंप्यूटर को मानव भाषा को केवल शब्दों की एक श्रृंखला के रूप में नहीं, बल्कि एक संरचित प्रणाली के रूप में समझना सिखाता है जहाँ विशिष्ट नाम—लोग, स्थान और समूह—एक अलग अर्थ रखते हैं। आधुनिक भाषाओं के लिए, यह कार्य उल्लेखनीय रूप से सटीक हो गया है, जिससे सॉफ्टवेयर को समाचार लेखों या सोशल मीडिया फीड को तुरंत स्कैन करने और किसी विशिष्ट शहर या व्यक्ति के हर उल्लेख को निकालने की अनुमति मिलती है। हालाँकि, वही तकनीक ऐतिहासिक ग्रंथों का सामना करने पर संघर्ष करती है। ये दस्तावेज़ अक्सर ऐसी वर्तनी और व्याकरण का उपयोग करते हैं जो दैनिक बोलचाल से लुप्त हो चुके हैं, और वे आधुनिक लेखन की तुलना में बहुत कम मात्रा में मौजूद हैं। जब भाषा दुर्लभ होती है और डेटा कम होता है, तो वे कंप्यूटर जो आज के समाचारों में उत्कृष्ट हैं, सदियों पुराने शब्दों पर लड़खड़ा जाते हैं। यह उन इतिहासकारों और संग्रहकर्ताओं के लिए एक बाधा पैदा करता है जो अपने संग्रहों का अन्वेषण करने के लिए डिजिटल उपकरणों का उपयोग करना चाहते हैं, क्योंकि सॉफ्टवेयर मध्यकालीन चार्टर में एक राजा के नाम और एक सामान्य संज्ञा के बीच विश्वसनीय रूप से अंतर नहीं कर पाता है।

शोधकर्ताओं की एक टीम ने उन्नत कंप्यूटर मॉडलों को पूर्व-आधुनिक सर्बियाई सिरिलिक ग्रंथों में नाम पहचानने के लिए प्रशिक्षित करके इस अंतर को पाटने के लिए हाथ बढ़ाया। उन्होंने एक विशिष्ट चुनौती पर ध्यान केंद्रित किया: इन मॉडलों को इतना मजबूत कैसे बनाया जाए कि वे उन दस्तावेजों को संभाल सकें जिन्हें उन्होंने पहले कभी नहीं देखा है, जो उनके प्रशिक्षण के उदाहरणों से वर्तनी, शैली या समय अवधि में भिन्न हो सकते हैं। ऐसा करने के लिए, उन्होंने 'जेनरेटिव डेटा ऑग्मेंटेशन' नामक एक तकनीक का सहारा लिया। इतिहासकारों द्वारा हजारों नए दस्तावेजों को मैन्युअल रूप से लेबल करने की प्रतीक्षा करने के बजाय—जो एक धीमी और महंगी प्रक्रिया है—शोधकर्ताओं ने एक शक्तिशाली आर्टिफिशियल इंटेलिजेंस से नए, सिंथेटिक (कृत्रिम) प्रशिक्षण उदाहरण लिखने के लिए कहा। उन्होंने इस एआई को मध्यकालीन चार्टर और कानूनी दस्तावेजों की शैली की नकल करने के लिए निर्देशित किया, जिससे हजारों नकली वाक्य बनाए गए जो वास्तविक चीजों की तरह दिखते और सुनाई देते थे, जिनमें नामों और स्थानों के सही लेबल भी शामिल थे। इसके बाद, उन्होंने दो अलग-अलग प्रकार के आधुनिक भाषा मॉडलों का परीक्षण किया, एक जो क्षेत्र के लिए विशिष्ट था और दूसरा जो कई भाषाओं पर प्रशिक्षित था, यह देखने के लिए कि कौन सा वास्तविक और सिंथेटिक डेटा के इस मिश्रण से बेहतर सीख सकता है।

शोधकर्ताओं ने चौदहवीं शताब्दी के शाही चार्टर और पत्रों सहित वास्तविक मध्यकालीन दस्तावेजों के संग्रह से शुरुआत की। इन ग्रंथों को मानव विशेषज्ञों द्वारा सावधानीपूर्वक एनोटेट (चिह्नित) किया गया था जिन्होंने व्यक्ति के नाम, स्थान या किसी विशिष्ट समूह के संदर्भ के प्रत्येक उदाहरण को चिह्नित किया था। यह मूल संग्रह छोटा था, जिसमें केवल तीन हजार से अधिक वाक्य थे, जो एक परिष्कृत कंप्यूटर मॉडल को प्रशिक्षित करने के लिए सीमित सामग्री है। इस आधार का विस्तार करने के लिए, टीम ने एक जेनरेटिव एआई सिस्टम का उपयोग करके नए वाक्य बनाए जो मूल ग्रंथों के पैटर्न का अनुसरण करते थे। उन्होंने प्रशिक्षण डेटा के तीन अलग-अलग संस्करण तैयार किए: एक जहाँ सिंथेटिक वाक्य कुल का तीस प्रतिशत हिस्सा थे, दूसरा जहाँ वे पचास प्रतिशत हिस्सा थे, और तीसरा जहाँ सिंथेटिक उदाहरणों ने मूल डेटासेट के आकार को दोगुना कर दिया। इसने उन्हें यह परीक्षण करने की अनुमति दी कि क्या कंप्यूटर को अधिक उदाहरण खिलाना, भले ही उनमें से कुछ कृत्रिम रूप से उत्पन्न किए गए हों, उसे ऐतिहासिक भाषा की बारीकियों को बेहतर ढंग से समझने में मदद करेगा।

जब टीम ने इन मॉडलों का परीक्षण उन्हीं प्रकार के दस्तावेजों पर किया जिन पर उन्हें प्रशिक्षित किया गया था, तो परिणाम प्रभावशाली थे। वास्तविक और सिंथेटिक डेटा के मिश्रण के साथ प्रशिक्षित मॉडल ने, विशेष रूप से वह संस्करण जिसमें तीस प्रतिशत सिंथेटिक उदाहरण शामिल थे, उच्च स्तर की सटीकता प्राप्त की, जिसने अधिकांश मामलों में नामों और स्थानों की सही पहचान की। यह एक पुराने शैली के कंप्यूटर मॉडल की तुलना में काफी बेहतर था जो अलग गणितीय संरचनाओं पर निर्भर था। हालाँकि, असली परीक्षा तब हुई जब शोधकर्ताओं ने मॉडलों को पूरी तरह से नए ऐतिहासिक दस्तावेजों को पढ़ने के लिए कहा जो उनके प्रशिक्षण का हिस्सा नहीं थे। इन नए ग्रंथों में वर्ष 1500 का एक वसीयतनामा, वियना के एक चर्च का एक पांडुलिपि (जो 1778 में लिखी गई थी), और मध्यचौदहवीं शताब्दी के शाही चार्टर शामिल थे। ये दस्तावेज़ विभिन्न युगों और लेखन शैलियों का प्रतिनिधित्व करते थे, जो मॉडलों को यह देखने के लिए प्रेरित करते थे कि क्या उन्होंने वास्तव में भाषा सीखी है या केवल प्रशिक्षण के उदाहरणों को याद किया है।

परिणामों ने दिखाया कि सिंथेटिक डेटा पर प्रशिक्षित मॉडल पुराने सिस्टम की तुलना में बहुत अधिक अनुकूलन योग्य थे। पचास प्रतिशत सिंथेटिक डेटा का उपयोग करने वाला मॉडल सभी नए दस्तावेजों में सबसे विश्वसनीय साबित हुआ, जिसने सबसे पुराने और शैलीगत रूप से भिन्न ग्रंथों का सामना करने पर भी उच्च स्तर की सटीकता बनाए रखी। जबकि तीस प्रतिशत सिंथेटिक डेटा के साथ प्रशिक्षित मॉडल ने परिचित ग्रंथों पर थोड़ा बेहतर प्रदर्शन किया, पचास प्रतिशत वाले संस्करण ने अपरिचित ग्रंथों को अधिक निरंतरता के साथ संभाला। यह सुझाव देता है कि सिंथेटिक उदाहरणों की एक मध्यम मात्रा जोड़ने से कंप्यूटर को भाषा की अधिक लचीली समझ बनाने में मदद मिलती है, जिससे वह पैटर्न को पहचान सकता है भले ही वर्तनी या संदर्भ बदल जाए। शोधकर्ताओं ने पाया कि मॉडल लोगों के नाम पहचानने में विशेष रूप से अच्छे थे, जो प्रशिक्षण डेटा में बार-बार आते थे, लेकिन वे स्थान के नामों और समूह के संदर्भों के साथ थोड़ा संघर्ष करते थे, जो दुर्लभ और अधिक विविध थे।

अध्ययन यह निष्कर्ष निकालता है कि सिंथेटिक उदाहरण उत्पन्न करना कंप्यूटर को ऐतिहासिक ग्रंथों को पढ़ना सिखाने के लिए एक शक्तिशाली उपकरण है, लेकिन यह कोई सरल समाधान नहीं है। सिंथेटिक डेटा की मात्रा मायने रखती है; बहुत कम होने पर यह पर्याप्त मदद नहीं करेगा, जबकि बहुत अधिक होने पर यह शोर (नॉइज़) पैदा कर सकता है जो मॉडल को भ्रमित कर दे। सर्वोत्तम परिणाम एक संतुलित दृष्टिकोण से आए, जहाँ सिंथेटिक डेटा ने वास्तविक ऐतिहासिक रिकॉर्ड को प्रभावित किए बिना उनका पूरक बनाया। अपने प्रशिक्षित मॉडलों और उपयोग किए गए डेटा को सार्वजनिक रूप से उपलब्ध कराकर, शोधकर्ताओं ने डिजिटल मानविकी के लिए एक नया उपकरण प्रदान किया है। यह कार्य प्रदर्शित करता है कि ऐतिहासिक विशेषज्ञता और आधुनिक आर्टिफिशियल इंटेलिजेंस के सही संयोजन के साथ, हम सदियों पुराने हस्तलिखित दस्तावेजों के भीतर छिपे नामों और स्थानों को अनलॉक करना शुरू कर सकते हैं, जिससे अतीत विद्वानों और जिज्ञासु जनता दोनों के लिए अधिक सुलभ हो जाता है।