Using Morphological Lexicons for Weakly Supervised Subword Vocabulary Learning and Bias-Aware Evaluation

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर शब्दों को उस तरह से नहीं पढ़ते जैसे इंसान पढ़ते हैं। वे टेक्स्ट को अक्षरों की एक लंबी स्ट्रिंग के रूप में देखते हैं, और इसे समझने के लिए, उन्हें इस स्ट्रिंग को छोटे, प्रबंधनीय टुकड़ों में तोड़ना पड़ता है। इन टुकड़ों को सबवर्ड्स (subwords) कहा जाता है। कल्पना कीजिए कि एक कंप्यूटर "unhappiness" शब्द को समझने की कोशिश कर रहा है। यह इसे "un," "happi," और "ness" में विभाजित कर सकता है, या शायद पूरे "unhappiness" को एक ही टुकड़े के रूप में ले सकता है। कंप्यूटर यह कैसे तय करता है कि इन शब्दों को कहाँ से काटना है, उसे टोकनाइज़ेशन (tokenization) कहा जाता है। वर्षों से, मानक तरीका यह रहा है कि कंप्यूटर को भारी मात्रा में टेक्स्ट में कुछ विशेष अक्षर संयोजनों के कितनी बार आने के आधार पर, खुद ही ये कट सीखने दिया जाए। यह सांख्यिकीय दृष्टिकोण कुशल तो है, लेकिन इसमें एक कमी है: यह अक्सर शब्द के सार्थक हिस्सों के बीच से ही कट लगा देता है, जैसे कि प्रीफ़िक्स (prefix) और रूट (root), या रूट और सफ़िक्स (suffix) के बीच, केवल इसलिए क्योंकि वे कट डेटा में आम होते हैं। यह कंप्यूटर की भाषा की समझ को कम पारदर्शी और कभी-कभी कम सटीक बनाता है, विशेष रूप से जटिल शब्दों के मामले में।

शंघाई के टोंगजी विश्वविद्यालय के शोधकर्ताओं की एक टीम ने एक अलग रास्ता अपनाया है। उन्होंने यह सवाल उठाया कि क्या एक कंप्यूटर अधिक भाषाई रूप से समझदारी भरे स्थानों पर शब्दों को काटना सीख सकता है, यदि उसे शब्द के हिस्सों के एक शब्दकोश से थोड़ा सा मार्गदर्शन दिया जाए। केवल कच्चे आंकड़ों (raw statistics) पर निर्भर रहने के बजाय, उन्होंने एक ऐसी प्रणाली पेश की जो एक मॉर्फोलॉजिकल लेक्सिकॉन (morphological lexicon) का उपयोग करती है—जो हजारों अंग्रेजी शब्दों के लिए प्रीफ़िक्स, रूट और सफ़िक्स की सूची वाला एक विशेष डेटाबेस है—सीखने की प्रक्रिया के दौरान एक मार्गदर्शक के रूप में। शोधकर्ताओं ने कंप्यूटर को शब्दकोश का पूरी तरह से पालन करने के लिए मजबूर नहीं किया, न ही उन्होंने अपने प्रशिक्षण डेटा के हर एक शब्द को मैन्युअल रूप से लेबल करने की आवश्यकता रखी। इसके बजाय, उन्होंने शब्दकोश को एक 'कमजोर संकेत' (weak signal) के रूप में माना, एक सूक्ष्म संकेत जो कहता है, "यदि आप यहाँ एक शब्द को काटने वाले हैं, और यह कट एक ज्ञात प्रीफ़िक्स या सफ़िक्स से मेल खाता है, तो आपको इसे बनाए रखने पर विचार करना चाहिए।" उन्होंने इस विचार का परीक्षण तीन अलग-अलग प्रकार के कंप्यूटर टोकनाइज़र पर किया, जो शब्दों को काटने वाले उपकरण हैं। परिणामों ने दिखाया कि इस सरल मार्गदर्शन ने कंप्यूटर को शब्दों के वास्तविक निर्माण खंडों (building blocks) के साथ तालमेल बिठाने में बहुत बेहतर मदद की, जितना कि वे अपने आप कर पाते।

अध्ययन उन तीन विशिष्ट विधियों पर केंद्रित था जिनका उपयोग कंप्यूटर शब्दों को विभाजित करने के तरीके सीखने के लिए करते हैं। पहली विधि, जिसे बाइट पेयर एनकोडिंग (Byte Pair Encoding) के रूप में जाना जाता है, एक बहुत ही लोकप्रिय विधि है जो सबसे अधिक बार आने वाले अक्षरों के जोड़ों को मिलाने से शुरू होती है। दूसरी विधि प्रशिक्षण की एक शैली है जो कई बड़े भाषा मॉडलों (large language models) को शक्ति प्रदान करती है, जो इस बात पर ध्यान देती है कि अक्षरों के संयोजन उनके जुड़ाव के आधार पर कितनी अच्छी तरह फिट बैठते हैं। तीसरी एक संभाव्यता आधारित (probabilistic) विधि है जो विभिन्न शब्द खंडों की संभावना की गणना करती है। शोधकर्ताओं ने एक बड़ा डेटाबेस लिया जिसे MorphoLex कहा जाता है, जिसमें लगभग 70,000 अंग्रेजी शब्दों का विश्लेषण शामिल है, और इसे तीन सरल सूचियों में बदल दिया: एक प्रीफ़िक्स के लिए, एक रूट या स्टेम (stem) के लिए, और एक सफ़िक्स के लिए। प्रशिक्षण चरण के दौरान, जब कंप्यूटर अपनी शब्दावली में अक्षर संयोजनों को रखने का निर्णय ले रहा होता था, तो सिस्टम इन सूचियों की जाँच करता था। यदि कोई संभावित कट किसी ज्ञात प्रीफ़िक्स, रूट या सफ़िक्स से मेल खाता था, तो कंप्यूटर ने उस विकल्प को उसकी रैंकिंग में थोड़ा बढ़ावा दिया। इसका अर्थ यह था कि भाषाई रूप से सार्थक इकाइयाँ चुने जाने के लिए थोड़ी अधिक संभावित थीं, लेकिन कंप्यूटर अभी भी टेक्स्ट के सांख्यिकीय पैटर्न का पालन करने के लिए स्वतंत्र था यदि डेटा पर्याप्त मजबूत था।

इस प्रयोग के परिणाम तीनों विधियों में स्पष्ट और सुसंगत थे। जब शोधकर्ताओं ने यह मापा कि कंप्यूटर के कट शब्दों की वास्तविक मॉर्फोलॉजिकल सीमाओं से कितनी अच्छी तरह मेल खाते हैं, तो गाइडेड (निर्देशित) संस्करण मानक संस्करणों की तुलना में बेहतर प्रदर्शन करते रहे। सुधार सबसे नाटकीय रूप से बाइट पेयर एनकोडिंग विधि के लिए देखा गया, जिसकी सही शब्द सीमाओं की पहचान करने की सटीकता में पांच प्रतिशत अंकों का उछाल आया। संभाव्यता आधारित विधि में भी तीन प्रतिशत अंकों से अधिक का महत्वपूर्ण लाभ हुआ। तीसरी, एसोसिएशन-आधारित पद्धति ने एक प्रतिशत अंक से थोड़ा अधिक का छोटा लेकिन सकारात्मक सुधार दिखाया। ये लाभ केवल परीक्षण सेटअप का कोई संयोग नहीं थे। शोधकर्ताओं ने अपने मूल्यांकन को सावधानीपूर्वक डिज़ाइन किया ताकि यह सुनिश्चित हो सके कि परिणाम केवल इसलिए नहीं हैं क्योंकि कंप्यूटर ने उन विशिष्ट शब्दों को याद कर लिया था जिनका परीक्षण किया जा रहा था। उन्होंने दो अलग-अलग टेस्ट सेट बनाए: एक जिसमें उनके गाइड से प्रत्येक संभावित प्रीफ़िक्स और सफ़िक्स शामिल था, और दूसरा जिसमें वे नहीं थे। उन्होंने अपने शब्दकोश को भी दो भागों में विभाजित किया, एक भाग का उपयोग कंप्यूटर को सिखाने के लिए किया और दूसरे का उपयोग परीक्षण के लिए किया। यहाँ तक कि जब कंप्यूटर का परीक्षण उन शब्दों पर किया गया जिन्हें उसने शब्दकोश में कभी नहीं देखा था, तब भी सुधार बरकरार रहे, जिससे पता चलता है कि सिस्टम ने वास्तव में शब्दों को विभाजित करने का एक बेहतर तरीका सीख लिया था।

सबसे दिलचस्प निष्कर्षों में से एक यह था कि विभिन्न कंप्यूटर विधियों ने एक ही मार्गदर्शन पर कैसी प्रतिक्रिया दी। शुद्ध आवृत्ति (frequency) पर निर्भर करने वाली विधि ने अपनी शब्दावली को सबसे अधिक बदला, अपने कई मानक कट्स को नए, भाषाई रूप से निर्देशित कट्स के साथ बदला, और इससे सटीकता में सबसे बड़ा सुधार हुआ। संभाव्यता आधारित विधि ने अपनी शब्दावली को कम बदला लेकिन फिर भी प्रदर्शन में मजबूत बढ़त हासिल की। एसोसिएशन-आधारित पद्धति, जिसमें पहले से ही शब्दों के जुड़ने का कुछ आंतरिक तर्क था, ने अपनी शब्दावली को सबसे अधिक नाटकीय रूप से बदला लेकिन सटीकता में सबसे कम लाभ देखा। यह सुझाव देता है कि शब्दकोश के मार्गदर्शन का मूल्य इस बात पर निर्भर करता है कि कंप्यूटर मूल रूप से कैसे सीखने की कोशिश कर रहा था। एक कंप्यूटर के लिए जो केवल गिनती के आधार पर सीखता है, शब्दकोश वह महत्वपूर्ण संरचना प्रदान करता है जिसकी उसे कमी थी। एक ऐसे कंप्यूटर के लिए जो पहले से ही जुड़ाव के पैटर्न तलाश रहा है, शब्दकोश एक सहायक लेकिन कम परिवर्तनकारी सुधार प्रदान करता है।

शोधकर्ताओं ने यह भी देखा कि सिस्टम साधारण शब्दों बनाम जटिल शब्दों को कितनी अच्छी तरह संभालता है। फ्रीक्वेंसी-आधारित विधि के लिए, सुधार बिल्कुल वैसा ही था चाहे शब्द में एक भाग हो या तीन भाग। संभाव्यता आधारित विधि के लिए, सुधार मुख्य रूप से सरल शब्दों में देखा गया, जबकि जटिल शब्दों को मानक विधि द्वारा पहले से ही अच्छी तरह से संभाला जा रहा था। यह विस्तृत विवरण दिखाता है कि मॉर्फोलॉजिकल लेक्सिकॉन का लाभ समान नहीं है; यह इस बात के साथ परस्पर क्रिया करता है कि कंप्यूटर वास्तव में कैसे सीख रहा है। अध्ययन निष्कर्ष निकालता है कि ये भाषाई संसाधन दोहरे उद्देश्य की पूर्ति कर सकते हैं। वे महंगे, मैन्युअल रूप से लेबल किए गए डेटा की आवश्यकता के बिना कंप्यूटर को बेहतर शब्दावली संरचनाएं सीखने में मदद करने के लिए एक हल्के गाइड के रूप में कार्य कर सकते हैं। साथ ही, वे इन प्रणालियों का अधिक निष्पक्षता से मूल्यांकन करने का एक तरीका भी प्रदान करते हैं, यह सुनिश्चित करते हुए कि सुधार वास्तविक हैं और केवल शिक्षण और परीक्षण के लिए एक ही डेटा का उपयोग करने का परिणाम नहीं हैं। यह कार्य प्रदर्शित करता है कि शब्दकोश से मिलने वाला एक सरल, गैर-दखल देने वाला संकेत भी आर्टिफिशियल इंटेलिजेंस को मानव भाषा के निर्माण खंडों को अधिक स्पष्टता से समझने में मदद कर सकता है।