An empirical investigation into the properties of standard word embeddings
यह शोध पत्र वर्ड एम्बेडिंग्स की गणना करने के विभिन्न तंत्रों की समीक्षा करता है, लोकप्रिय सार्वजनिक टूलकिट और मैट्रिसेस का परीक्षण करता है, और इन मानक वर्ड एम्बेडिंग कार्यान्वयनों की विशेषताओं को बेहतर ढंग से समझने के लिए प्रयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि हम जो लिखते हैं उसे पढ़कर मानवीय भावनाओं को कैसे समझा जाए। इंसान इसमें माहिर होते हैं; हम जानते हैं कि "मुझे यह फिल्म पसंद है" (I love this movie) खुशी भरा लगता है, जबकि "यह फिल्म भयानक है" (This movie is terrible) दुख भरा लगता है। लेकिन कंप्यूटर पढ़ने में बहुत खराब होते हैं। कंप्यूटर के लिए, टेक्स्ट केवल प्रतीकों का एक ढेर है, जैसे बिना किसी चाबी के कोई गुप्त कोड। लंबे समय तक, वैज्ञानिकों ने कंप्यूटर को सख्त नियम लिखकर सिखाने की कोशिश की, जैसे "यदि 'लव' शब्द आता है, तो एक खुशी का अंक जोड़ें।" लेकिन भाषा अव्यवस्थित है और इसमें बहुत सारे अपवाद हैं, इसलिए यह नियम पुस्तिका वाला दृष्टिकोण बहुत विशाल और प्रबंधित करने में बहुत भ्रमित करने वाला हो गया।
फिर, एक स्मार्ट विचार उभरा: कंप्यूटर को नियम पुस्तिका देने के बजाय, उसे एक ऐसा शब्दकोश दें जहाँ हर शब्द का एक गुप्त "पता" या एक विशाल, अदृश्य मानचित्र में निर्देशांकों (coordinates) का एक सेट हो। इस मानचित्र में, वे शब्द जो समान अर्थ रखते हैं या समान स्थितियों में दिखाई देते हैं, पड़ोसी होते हैं। "किंग" (राजा) और "क्वीन" (रानी) एक ही सड़क पर रह सकते हैं, जबकि "किंग" और "बनाना" (केला) अलग-अलग शहरों में रहते हैं। इसे "वर्ड एम्बेडिंग" (word embedding) कहा जाता है। यह शब्दों को नंबरों में बदल देता है जिन्हें कंप्यूटर प्रोसेस कर सकता है, जिससे वह शब्दों के स्थान को देखकर एक वाक्य का अर्थ समझने में सक्षम होता है। यही उस शोध पत्र की कहानी का सार है जिसे आप अब पढ़ने जा रहे हैं: क्या हम इन पहले से बने हुए "शब्द मानचित्रों" का उपयोग करके एक साधारण कंप्यूटर मस्तिष्क को यह बताने के लिए प्रशिक्षित कर सकते हैं कि एक मूवी रिव्यू खुश है या दुखी?
मूवी रिव्यू डिटेक्टिव की कहानी
यह शोध पत्र सालोमन कबोंगो कबेनामुलु द्वारा किया गया एक अन्वेषण है, जो अफ्रीकन इंस्टीट्यूट फॉर मैथमैटिकल साइंसेज के एक छात्र हैं, जो यह देखना चाहते थे कि ये "शब्द मानचित्र" वास्तविक दुनिया में कितनी अच्छी तरह काम करते हैं। विशेष रूप से, उन्होंने एक जासूसी खेल सेट किया: क्या एक कंप्यूटर इंटरनेट मूवी डेटाबेस (IMDb) से 50,000 मूवी रिव्यू देख सकता है और पता लगा सकता है कि लिखने वाले व्यक्ति को फिल्म पसंद आई या नहीं?
इस खेल को खेलने के लिए, सालोमन को कंप्यूटर को पढ़ना सिखाना था। उन्होंने टेक्स्ट को नंबरों में अनुवाद करने के लिए तीन अलग-अलग तरीके आजमाए, जो तीन अलग-अलग अनुवादकों की तरह कार्य कर रहे थे।
अनुवादक 1: "बैग ऑफ वर्ड्स" (द क्लुलैस सैक - बेसमझ थैला)
सबसे पहले, उन्होंने "बैग ऑफ वर्ड्स" (विशेष रूप से TF-IDF नामक चीज़ का उपयोग करते हुए) नामक पुराने स्कूल के तरीके को आजमाया। कल्पना कीजिए कि आपके पास स्क्रैबल टाइल्स का एक बैग है। आप एक वाक्य के अक्षरों को बैग में डाल देते हैं और उन्हें हिला देते हैं। आप गिनते हैं कि "अच्छा" कितनी बार आया और "बुरा" कितनी बार आया, लेकिन आप क्रम को फेंक देते हैं। आपको यह नहीं पता कि वाक्य "फिल्म अच्छी थी" था या "अच्छी थी फिल्म"।
सालोमन ने पाया कि यह तरीका शुरू में ठीक था। इसने नए, अनदेखे रिव्यू पर लगभग 79.9% सही उत्तर दिए। लेकिन एक पेंच था: कंप्यूटर धोखाधड़ी कर रहा था। उसने ट्रेनिंग रिव्यू को इतनी अच्छी तरह से याद कर लिया कि वह नए रिव्यू देखते ही विफल हो गया। यह एक ऐसे छात्र की तरह था जिसने अभ्यास टेस्ट के उत्तर रट लिए थे लेकिन नई समस्या को हल नहीं कर सका। कंप्यूटर "ओवरफिटिंग" (overfitting) कर रहा था, जिसका अर्थ था कि वह ट्रेनिंग डेटा के विशिष्ट शब्दों पर बहुत अधिक केंद्रित था और बड़े चित्र को समझने में चूक गया।
अनुवादक 2: "फास्टटेक्स्ट" मैप (द नेबरहुड गाइड - पड़ोस का मार्गदर्शक)
इसके बाद, सालोमन ने "फास्टटेक्स्ट" (fastText) नामक एक स्मार्ट अनुवादक का परीक्षण किया। पूरे शब्दों को देखने के बजाय, यह विधि शब्दों के छोटे टुकड़ों (जैसे "un-" या "-ing") को देखती है और समझती है कि "unhappy" (नाखुश) "happy" (खुश) से संबंधित है। यह एक पहले से बने मानचित्र का उपयोग करता है जहाँ शब्दों को लाखों अन्य वाक्यों में उनके उपयोग के आधार पर रखा जाता है।
जब उन्होंने इस विधि का उपयोग किया, तो कंप्यूटर की सटीकता वास्तव में गिरकर 66.35% हो गई। क्यों? क्योंकि इस विशिष्ट मानचित्र को मूवी रिव्यू के कुछ शब्द (जैसे स्लैंग या गलत वर्तनी वाले शब्द) नहीं पता थे। यह एक ऐसे शहर में नेविगेट करने की कोशिश करने जैसा था जिसका नक्शा आधे रास्तों के बिना गायब है। कंप्यूटर उन शब्दों से भ्रमित हो गया जिन्हें वह नहीं जानता था और हार मान गया।
अनुवादक 3: "गूगल" मैप (द सुपर नेविगेटर - महा-पथ प्रदर्शक)
अंत में, सालोमन ने "टेन्सरफ्लो हब" (TensorFlow Hub) नामक लाइब्रेरी द्वारा होस्ट किए गए गूगल द्वारा बनाए गए एक विशाल, प्री-ट्रेंड मैप का उपयोग करके तीसरे दृष्टिकोण का परीक्षण किया। यह मानचित्र पूरे अंग्रेजी विकिपीडिया को पढ़कर बनाया गया था। यह बहुत बड़ा था और लगभग हर शब्द को जानता था।
इस बार, कंप्यूटर ने केवल शब्दों को नहीं पढ़ा; इसने एक "वेटेड एवरेज" (विशेष रूप से एक वेटेड कंटीन्यूअस बैग ऑफ वर्ड्स) का उपयोग करके उनके अर्थों को एक एकल सारांश वेक्टर में संयोजित किया। हालांकि यह दृष्टिकोण शब्दों को एक एकल प्रतिनिधित्व में एकत्रित करता है, शोध पत्र में उल्लेख है कि इस अनुक्रम को एम्बेडिंग्स के वेटेड सम (weighted sum) में एनकोडिंग करने से मॉडल के फीचर्स के संयोजन और निर्भरता को पकड़ने में मदद मिली। यह रंगों को एक पैलेट पर मिलाने जैसा था ताकि "उदासी" या "खुशी" की सटीक छाया प्राप्त की जा सके, जो इस बात पर निर्भर करती है कि कौन से रंग मौजूद हैं और वे कैसे परस्पर क्रिया करते हैं, न कि केवल उन्हें सूचीबद्ध करना।
परिणाम? कंप्यूटर ने टेस्ट रिव्यू पर 86.5% सही उत्तर दिए। यह सर्वश्रेष्ठ प्रदर्शन था। कन्फ्यूजन मैट्रिक्स (एक चार्ट जो दिखाता है कि कंप्यूटर ने कहाँ गलतियाँ कीं) ने दिखाया कि यह अन्य तरीकों की तुलना में सकारात्मक और नकारात्मक रिव्यू के बीच अंतर करने में बहुत बेहतर था।
उन्होंने क्या सीखा?
मुख्य खोज यहाँ यह है कि इन पहले से बने "शब्द मानचित्रों" (एम्बेडिंग्स) का उपयोग करना एक गेम-चेंजर है। भले ही सालोमन द्वारा उपयोग किया गया कंप्यूटर मॉडल अपेक्षाकृत सरल (केवल कुछ डिजिटल न्यूरॉन्स की परतें) था, लेकिन एक अच्छा मानचित्र देने से उसे टेक्स्ट में "भावनाओं" को समझने में पुराने "बैग ऑफ वर्ड्स" तरीके की तुलना में बहुत बेहतर मदद मिली।
शोध पत्र सुझाव देता है कि "सीक्रेट सॉस" यह था कि कंप्यूटर ने केवल शब्दों को नहीं देखा; इसने शब्दों के सामूहिक अर्थ को देखा, जो उनके महत्व के आधार पर भारित (weighted) थे। "गूगल" मैप इतना अच्छा था कि यह उन शब्दों को भी संभाल सकता था जिन्हें कंप्यूटर ने पहले कभी नहीं देखा था, जिससे खाली जगहों को भरने में मदद मिली ताकि कंप्यूटर अटक न जाए।
निष्कर्ष
सालोमन निष्कर्ष निकालते हैं कि जहाँ सरल तरीकों की अपनी जगह है, वहीं टेक्स्ट को समझने का भविष्य इन गहरे, प्री-ट्रेंड मानचित्रों में निहित है। वह एक छोटी समस्या की ओर भी इशारा करते हैं: कई शक्तिशाली उपकरण बड़ी कंपनियों द्वारा बनाए जाते हैं और युवा शोधकर्ताओं के लिए उन्हें बदलना या सुधारना कठिन है। वह आशा करते हैं कि भविष्य में, इनमें से अधिक उपकरण सभी के उपयोग और निर्माण के लिए खुले होंगे।
संक्षेप में, यह शोध पत्र दिखाता है कि यदि आप चाहते हैं कि एक कंप्यूटर मानवीय भावना को समझे, तो आपको उसे केवल एक शब्दकोश नहीं देना चाहिए; आपको उसे दुनिया का एक मानचित्र देना चाहिए, और उसे खुद अपनी यात्रा सीखने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।