The Multilingual FrameNet Corpus
यह शोध पत्र मल्टीलिंगुअल फ्रेमनेट कॉर्पस (mFNC) को प्रस्तुत करता है, जो एक सामंजस्यपूर्ण संसाधन है जो अंग्रेजी फ्रेमनेट को नौ अतिरिक्त भाषाओं तक विस्तारित करता है, जो बहुभाषी और क्रॉस-लिंगुअल फ्रेम सिमेंटिक पार्सिंग कार्यों में अत्याधुनिक प्रदर्शन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल शब्दों का एक संग्रह नहीं है; यह साझा अवधारणाओं की एक प्रणाली है जो यह तय करती है कि हम दुनिया को कैसे देखते हैं। जब कोई व्यक्ति कहता है कि वह किसी चीज़ को "पसंद" करता है, या वह किसी शक्ति के विरुद्ध "संघर्ष" कर रहा है, तो वे केवल एक क्रिया का वर्णन नहीं कर रहे होते; वे एक विशिष्ट मानसिक ढांचे, यानी इस बारे में अपेक्षाओं के एक सेट को सक्रिय कर रहे होते हैं कि कौन, किसके साथ, क्या कर रहा है। कंप्यूटर विज्ञान के क्षेत्र में, शोधकर्ताओं ने लंबे समय से मशीनों को इन छिपे हुए ढांचों को समझना सिखाने का प्रयास किया है, जिसे 'फ्रेम सिमेंटिक पार्सिंग' (frame semantic parsing) के रूप में जाना जाता है। दशकों तक, यह कार्य लगभग पूरी तरह से अंग्रेजी पर निर्भर रहा है, जिसमें 'बर्कले फ्रेमनेट' (Berkeley FrameNet) नामक एनोटेटेड वाक्यों के एक विशाल डिजिटल पुस्तकालय का उपयोग किया गया। जबकि इस संसाधन ने कंप्यूटर को अंग्रेजी पाठ समझने में मदद की है, इसने एक बड़ा अंतर छोड़ दिया है: मशीनें अन्य भाषाओं में इन्हीं अवधारणाओं को समझने में संघर्ष करती हैं क्योंकि विभिन्न संस्कृतियों द्वारा वास्तविकता को प्रस्तुत करने का तरीका काफी भिन्न हो सकता है। एक शब्द जो एक भाषा में निष्क्रिय पीड़ित का संकेत देता है, वह दूसरी भाषा में एक सक्रिय नायक का संकेत दे सकता है, और इन बारीकियों को सिखाने के लिए डेटा के बिना, उनकी समझ उथली और एक ही भाषा तक सीमित रहती है।
इस अंतर को पाटने के लिए, इटली और जर्मनी के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने 'मल्टीलिंगुअल फ्रेमनेट कॉर्पस' (Multilingual FrameNet Corpus) नामक एक नया, विस्तृत संसाधन बनाया है। यह केवल अंग्रेजी लाइब्रेरी का अनुवाद नहीं है; यह दस अलग-अलग भाषा-विशिष्ट डेटासेट्स का एक सावधानीपूर्वक सामंजस्यपूर्ण संग्रह है, जो ब्राज़ीलियाई पुर्तगाली, चीनी, डच, फ्रांसीसी, जर्मन, इतालवी, कोरियाई, लातवियाई और स्वीडिश के संसाधनों को एक साथ लाता है। शोधकर्ताओं को इन स्रोतों को मिलाने में एक महत्वपूर्ण चुनौती का सामना करना पड़ा, क्योंकि प्रत्येक भाषा टीम ने पाठ को एनोटेट करने के लिए अपने स्वयं के तरीके विकसित किए थे, ठीक वैसे ही जैसे अलग-अलग वास्तुकार अलग-अलग ब्लूप्रिंट के साथ घरों को डिजाइन करते हैं। कुछ टीमों ने अंग्रेजी वाक्यों से शुरुआत की और उनका अनुवाद किया, जबकि अन्य ने मूल ग्रंथों को एकत्र किया और उन्हें ज़मीनी स्तर से अंग्रेजी अवधारणाओं के अनुरूप बनाया। टीम को इन विविध दृष्टिकोणों को संरेखित करना पड़ा, विसंगतियों को दूर करना पड़ा और यह सुनिश्चित करना पड़ा कि जर्मन में एक "फ्रेम" का वही अर्थ हो जो कोरियाई में एक "फ्रेम" का है, और यह सब करते हुए प्रत्येक भाषा के अद्वितीय सांस्कृतिक और व्याकरणिक स्वरूप को भी संरक्षित करना पड़ा। अंतिम परिणाम लगभग 1.5 मिलियन शब्दों और 2 लाख से अधिक एनोटेटेड सिमेंटिक भूमिकाओं वाला एक एकीकृत डेटासेट है, जो इस बात की एक दुर्लभ झलक देता है कि दस अलग-अलग भाषाएं समान मानवीय अनुभवों को कैसे समझती हैं।
शोधकर्ताओं ने फिर इस नए संसाधन को परीक्षण में डालने के लिए कंप्यूटर मॉडल को 'फ्रेम सिमेंटिक पार्सिंग' करने के लिए प्रशिक्षित किया। उन्होंने केवल मूल अंग्रेजी डेटा पर प्रशिक्षित मॉडलों की तुलना इस नए, बहुभाषी मिश्रण पर प्रशिक्षित मॉडलों से की। परिणाम स्पष्ट और सुसंगत थे: बहुभाषी डेटा पर प्रशिक्षित मॉडल न केवल उन अन्य नौ भाषाओं में पाठ पढ़ने में, बल्कि अंग्रेजी पढ़ने में भी काफी बेहतर प्रदर्शन करते थे। यह निष्कर्ष बताता है कि कंप्यूटर को समान विचारों को व्यक्त करने के विभिन्न तरीकों के संपर्क में लाने से वास्तव में उसकी मूल अवधारणाओं को समझने की क्षमता तेज होती है, यहाँ तक कि उसकी अपनी मातृभाषा में भी। अध्ययन में पाया गया कि मॉडल ने जितने अधिक भाषाओं को देखा, वह वाक्य की अंतर्निहित संरचना को पहचानने में उतना ही बेहतर होता गया, जिससे यह सिद्ध हुआ कि व्यापक प्रशिक्षण आहार एक अधिक मजबूत भाषाई समझ की ओर ले जाता है।
हालाँकि, अध्ययन ने यह भी खुलासा किया कि यह प्रगति सभी भाषाओं में एक समान नहीं है। जबकि मॉडलों ने जर्मन, फ्रांसीसी और डच जैसी भाषाओं में नाटकीय सुधार दिखाया, स्वीडिश के लिए लाभ कम स्पष्ट थे। शोधकर्ता संदेह करते हैं कि ऐसा इसलिए है क्योंकि उनके द्वारा उपयोग किया गया स्वीडिश डेटासेट असाधारण रूप से बड़ा था और इसमें विषयों की एक बहुत विस्तृत श्रृंखला शामिल थी, जिसने शायद मॉडल के लिए अन्य भाषाओं में पाए जाने वाले कम सामान्य, अधिक विशिष्ट परिदृश्यों में सामान्यीकरण करना कठिन बना दिया। यह क्षेत्र में एक शेष जटिलता को उजागर करता है: हालांकि अधिक डेटा आम तौर पर बेहतर होता है, लेकिन उस डेटा का विशिष्ट संतुलन और प्रकृति बहुत मायने रखती है। शोधकर्ताओं ने यह भी नोट किया कि उनका दृष्टिकोण, जो अन्य भाषाओं को अंग्रेजी ढांचे से जोड़ने पर निर्भर करता है, सीमाओं से मुक्त नहीं है। वे स्वीकार करते हैं कि कुछ अवधारणाओं का पूर्ण अनुवाद नहीं हो सकता है, और जिस तरह से विभिन्न मानव एनोटेटरों ने एक ही वाक्य की व्याख्या की, उससे सूक्ष्म पूर्वाग्रह आ सकते हैं। फिर भी, एक एकीकृत, ओपन-एक्सेस डेटासेट प्रदान करके और यह प्रदर्शित करके कि बहुभाषी प्रशिक्षण काम करता है, यह कार्य एक ठोस मार्ग प्रशस्त करता है। यह क्षेत्र को एकल-भाषा परिप्रेक्ष्य से आगे ले जाता है, यह दिखाते हुए कि मनुष्यों द्वारा भाषा के उपयोग को वास्तव में समझने के लिए, कंप्यूटर को एक साथ कई आवाजों को सुनना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।