The Annotation Bottleneck in Persian Text NLP: Persian as an Annotation-Scarce Language
यह शोध पत्र तर्क देता है कि फारसी को वैश्विक स्तर पर कम-संसाधन वाली भाषा के बजाय एक "एनोटेशन-दुर्लभ" (annotation-scarce) भाषा के रूप में वर्णित किया जाना चाहिए, जो यह दर्शाता है कि इसकी एनएलपी (NLP) चुनौतियाँ लेबल किए गए डेटा की मात्रा की साधारण कमी के बजाय असमान कार्य कवरेज, असंगत योजनाओं और पहुंच संबंधी बाधाओं से उत्पन्न होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटरों की दुनिया में जो मानव भाषा को समझते हैं, वहाँ एक निरंतर यह विश्वास बना हुआ है कि कुछ भाषाएँ दूसरों की तुलना में सिखाने में कठिन होती हैं। इस कठिनाई का दोष अक्सर डिजिटल टेक्स्ट की कमी पर मढ़ा जाता है, जैसे कि किसी भाषा को कार्य करने के लिए बिना लेबल वाली किताबों के विशाल पुस्तकालय की आवश्यकता हो। हालाँकि, आर्टिफिशियल इंटेलिजेंस के लिए वास्तविक चुनौती केवल शब्दों की नहीं, बल्कि उन शब्दों के साथ निर्देशों के रूप में सावधानीपूर्वक अंकित जानकारी की है। एक ऐसी लाइब्रेरी की कल्पना करें जहाँ हर किताब एक विदेशी भाषा में लिखी गई हो; यदि आप चाहते हैं कि कंप्यूटर उनसे सीखे, तो आप उसे केवल कच्चा टेक्स्ट (raw text) नहीं दे सकते। आपको एक मार्गदर्शिका प्रदान करनी होगी जो समझा सके कि प्रत्येक वाक्य का अर्थ क्या है, कौन बोल रहा है, और भावनाएँ क्या हैं। निर्देशों को जोड़ने की इस प्रक्रिया को 'एनोटेशन' (annotation) कहा जाता है। कई भाषाओं के लिए, यह मार्गदर्शिका प्रचुर मात्रा में मौजूद है। अन्य भाषाओं के लिए, यह गायब है, जिससे पर्याप्त कच्चा टेक्स्ट होने के बावजूद विश्वसनीय सिस्टम को प्रशिक्षित करना लगभग असंभव हो जाता है।
यही वह विशिष्ट पहेली है जिसकी तेहरान के शोधकर्ता फारसी (Persian), जिसे फ़ारसी भी कहा जाता है, के संबंध में जांच कर रहे हैं। वर्षों से, कंप्यूटर विज्ञान के क्षेत्र में फारसी का मानक विवरण यह रहा है कि यह एक "लो-रिसोर्स" (low-resource) भाषा है, एक ऐसा लेबल जो यह सुझाव देता है कि इसमें मौलिक रूप से डेटा की कमी है। लेकिन एक नया विश्लेषण बताता है कि यह लेबल बहुत ही सतही और अस्पष्ट है। शोधकर्ताओं का तर्क है कि फारसी में कच्चे माल की कमी नहीं है; वास्तव में, इसकी एक विशाल डिजिटल उपस्थिति है, जो दुनिया की ज्ञात वेबसाइटों के लगभग एक प्रतिशत हिस्से में दिखाई देती है और समाचारों, ब्लॉगों और साहित्य के विशाल संग्रहों में मौजूद है। असली समस्या, वे पाते हैं, शब्दों की कमी नहीं है, बल्कि उपयोगी मार्गदर्शिकाओं की कमी है। उपलब्ध निर्देश बिखरे हुए, असंगत या विशिष्ट कार्यों के लिए पूरी तरह से गायब हैं, जिससे एक ऐसी बाधा उत्पन्न होती है जहाँ कंप्यूटर भाषा तो जानता है लेकिन चिकित्सा रिपोर्ट, एक अनौपचारिक बातचीत या एक जटिल तार्किक तर्क की बारीकियों को विश्वसनीय रूप से समझने में असमर्थ रहता है।
इस निष्कर्ष पर पहुँचने के लिए, तेहरान विश्वविद्यालय की टीम ने केवल डेटासेट की गिनती नहीं की। इसके बजाय, उन्होंने फारसी के डिजिटल परिदृश्य का एक विस्तृत मानचित्र बनाया, जिसमें 2026 के मध्य तक उपलब्ध तैंतीस विशिष्ट टेक्स्ट संसाधनों को सूचीबद्ध किया गया। उन्होंने प्राचीन कविता संग्रहों से लेकर आधुनिक सोशल मीडिया फीड तक, और समाचार अभिलेखागार से लेकर भाषण रिकॉर्डिंग तक, सब कुछ देखा। उन्होंने अकादमिक दायरे से बाहर निकलकर यह भी मापा कि खुले वेब पर वास्तव में कितनी फारसी मौजूद है, जिसके लिए उन्होंने लाखों पृष्ठों को स्कैन करने के लिए स्वतंत्र उपकरणों का उपयोग किया। उनका लक्ष्य यह देखना था कि क्या लेबल किए गए डेटा की मात्रा उपलब्ध टेक्स्ट की कुल मात्रा से मेल खाती है। उन्होंने पाया कि संबंध समान नहीं है। कुछ क्षेत्रों में, जैसे समाचार लेखों में नाम पहचानने या मानक वाक्यों के व्याकरण को समझने में, लेबल किए गए डेटा की मात्रा आश्चर्यजनक रूप से अधिक है, यहाँ तक कि अंग्रेजी की तुलना में भी। इन विशिष्ट द्वीपों में, फारसी अच्छी तरह से सुसज्जित है।
हालाँकि, तस्वीर नाटकीय रूप से बदल जाती है जब शोधकर्ताओं ने अन्य कार्यों को देखा। जब उन्होंने तार्किक तर्कों को समझने या संदर्भ से अर्थ निकालने के संसाधनों की जांच की, तो लेबल किए गए डेटा की मात्रा काफी कम हो गई, जो वेब पर भाषा की उपस्थिति को देखते हुए अपेक्षित स्तर से बहुत नीचे गिर गई। अध्ययन ने यह भी रेखांकित किया कि जो डेटा मौजूद है, वह अक्सर घर्षण (friction) से ग्रस्त होता है। विभिन्न परियोजनाएं टेक्स्ट को मार्क करने के लिए अलग-अलग नियमों का उपयोग करती हैं, जिससे उन्हें आपस में जोड़ना कठिन हो जाता है। कुछ संसाधन अस्पष्ट लाइसेंस के पीछे बंद हैं, जबकि अन्य में उन्हें सही ढंग से उपयोग करने के लिए आवश्यक दस्तावेजीकरण की कमी है। इसका अर्थ यह है कि भले ही कोई डेटासेट मौजूद हो, वह एक नए शोधकर्ता के लिए अनुपयोगी हो सकता है जो किसी अलग उद्देश्य के लिए सिस्टम बनाने की कोशिश कर रहा है, जैसे कि कानूनी अनुबंधों का विश्लेषण करना या क्षेत्रीय बोलियों को समझना।
शोधकर्ताओं ने अपने जांच का विस्तार मौखिक भाषा तक किया ताकि यह देखा जा सके कि क्या यह पैटर्न ऑडियो के लिए भी सत्य है। उन्होंने एक समान कहानी पाई: हालांकि अब फारसी भाषण के हजारों घंटों के रिकॉर्ड उपलब्ध हैं, लेकिन उनके साथ जुड़ी निर्देशों की गहराई बहुत भिन्न है। कुछ रिकॉर्डिंग में विस्तृत ध्वन्यात्मक (phonetic) विवरण हैं, जबकि अन्य में केवल बुनियादी ट्रांसक्रिप्ट हैं। यह पुष्टि करता है कि समस्या डेटा की पूर्ण अनुपस्थिति नहीं है, बल्कि विभिन्न कार्यों के लिए आवश्यक विशिष्ट, उच्च-गुणवत्ता वाले पर्यवेक्षण (supervision) का असमान वितरण है। अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि फारसी वैश्विक स्तर पर लेबल किए गए वॉल्यूम में अक्षम है। इसके बजाय, यह एक अधिक सटीक निदान प्रस्तावित करता है: फारसी एक "एनोटेशन-स्कार्स" (annotation-scarce) भाषा है। यह शब्द एक ऐसी स्थिति का वर्णन करता है जहाँ कमी शब्दों की कुल संख्या में नहीं, बल्कि उन कार्यों की पूरी श्रृंखला में सुसंगत, सुलभ और अच्छी तरह से प्रलेखित निर्देशों की उपलब्धता में है जिन्हें एक कंप्यूटर को करने की आवश्यकता हो सकती है।
इस निष्कर्ष के निहितार्थ महत्वपूर्ण हैं कि यह क्षेत्र कैसे आगे बढ़ता है। यदि समस्या केवल टेक्स्ट की कमी होती, तो समाधान अधिक वेबसाइटों को खुरचना (scrape करना) होता। लेकिन चूंकि समस्या उपयोगी मार्गदर्शिकाओं की कमी है, इसलिए समाधान के लिए रणनीति में बदलाव की आवश्यकता है। शोधकर्ता सुझाव देते हैं कि समुदाय को प्रत्येक नए डेटासेट को एक स्वतंत्र जीत के रूप में मानना बंद करना चाहिए और मौजूदा संसाधनों को खोजने, मिलाने और उन पर भरोसा करने में आसान बनाने पर ध्यान केंद्रित करना चाहिए। वे एक सार्वजनिक रजिस्ट्री का आह्वान करते हैं जो न केवल एक डेटासेट के आकार को ट्रैक करती है, बल्कि उसके लाइसेंस, उसके विशिष्ट नियमों और अन्य संसाधनों के साथ उसके ओवरलैप को भी ट्रैक करती है। वे बेहतर दस्तावेजीकरण और इन एनोटेशन को बनाने वाले लोगों के संरक्षण की भी आवश्यकता पर जोर देते हैं, ताकि यह सुनिश्चित हो सके कि डेटा केवल एक मानक बोली के बजाय भाषा की विविधता को दर्शाता है।
अंततः, यह शोध पत्र एक लंबे समय से चली आ रही धारणा के सुधार के रूप में कार्य करता है। यह स्पष्ट करता है कि फारसी डिजिटल युग में अपनी आवाज़ खोजने के लिए संघर्ष करने वाली भाषा नहीं है; यह एक ऐसी भाषा है जिसकी उपस्थिति मुखर और दृश्यमान है जो वर्तमान में निर्देशों के खंडित बुनियादी ढांचे के कारण बाधित है। आगे का रास्ता केवल अधिक कच्चा डेटा एकत्र करना नहीं है, बल्कि जो डेटा पहले से मौजूद है उसे व्यवस्थित करना, उन विशिष्ट अंतरालों को भरना जहाँ निर्देश गायब हैं, और यह सुनिश्चित करना है कि हमारे द्वारा बनाई गई मार्गदर्शिकाएँ मानवीय संचार की जटिलता को संभालने के लिए पर्याप्त मजबूत हों। मात्रा के बजाय गुणवत्ता और उपयोगिता पर ध्यान केंद्रित करके, यह क्षेत्र बाधा को पार कर सकता है और ऐसे सिस्टम बना सकता है जो वास्तव में फारसी भाषा की समृद्धि को समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।