Semantic Hashtag LDA for Clustering Short Texts: Twitter Use Case
यह शोध पत्र सिमेंटिक हैशटैग एलडीए (SHLDA) का प्रस्ताव करता है, जो एक नवीन टॉपिक मॉडलिंग दृष्टिकोण है जो साझा विषयों द्वारा संक्षिप्त ट्विटर टेक्स्ट को एकत्रित करता है और मौजूदा विधियों की तुलना में क्लस्टरिंग प्रदर्शन में उल्लेखनीय सुधार करने और त्रुटि दरों को कम करने के लिए उपयोगकर्ता-जनित हैशटैग का लाभ उठाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सोशल मीडिया ने हमारे जीवन को साझा करने के तरीके को बदल दिया है, जिससे हर क्षण एक संभावित प्रसारण में बदल गया है। ट्विटर जैसे प्लेटफार्मों पर, उपयोगकर्ता समाचार, राय या दैनिक अवलोकन साझा करने के लिए संक्षिप्त संदेश पोस्ट करते हैं, जो अक्सर केवल कुछ वाक्यों के होते हैं। क्योंकि ये पोस्ट बहुत छोटे होते हैं, इनमें अक्सर लंबे लेखों या पुस्तकों में मिलने वाला संदर्भ नहीं होता, जिससे कंप्यूटर के लिए यह समझना मुश्किल हो जाता है कि वे वास्तव में किस बारे में हैं। इस सूचना की बाढ़ को व्यवस्थित करने में मदद करने के लिए, उपयोगकर्ता अक्सर हैशटैग नामक विशेष लेबल जोड़ते हैं—जो कि हैश (pound) चिह्न द्वारा पूर्ववर्ती शब्द हैं जो पोस्ट के विषय का त्वरित सारांश के रूप में कार्य करते हैं। हालाँकि, ये लेबल मशीनों द्वारा नहीं, बल्कि लोगों द्वारा बनाए जाते हैं, जिसका अर्थ है कि एक ही घटना को दर्जनों अलग-अलग तरीकों से टैग किया जा सकता है, या एक ही टैग का उपयोग पूरी तरह से असंबंधित विषयों के लिए किया जा सकता है। डेटा विज्ञान के क्षेत्र में शोधकर्ता इन छोटी, अराजक संदेशों को सार्थक श्रेणियों में समूहित करने के बेहतर तरीकों की तलाश में लगातार जुटे रहते हैं, जिसे क्लस्टरिंग (clustering) कहा जाता है, ताकि अंतर्निहित कहानियों और रुझानों को खोजा और समझा जा सके।
उर्मिया विश्वविद्यालय और फ्री यूनिवर्सिटी ऑफ बोज़ेन-बोल्ज़ानो की शोधकर्ताओं की एक टीम ने इन लघु संदेशों को छांटने के लिए एक नया तरीका विकसित करके इस चुनौती का सामना किया। उन्होंने एक विशिष्ट समस्या पर ध्यान केंद्रित किया: मानक कंप्यूटर मॉडल, जो लंबे दस्तावेजों के लिए अच्छी तरह से काम करते हैं, अक्सर छोटे टेक्स्ट को समूहित करने का प्रयास करते समय विफल हो जाते हैं क्योंकि एक एकल ट्वीट में विषय निर्धारित करने के लिए पर्याप्त जानकारी नहीं होती है। शोधकर्ताओं ने महसूस किया कि जबकि एक एकल ट्वीट बहुत संक्षिप्त हो सकता है, एक ही हैशटैग साझा करने वाले ट्वीट्स का संग्रह एक स्पष्ट विषय प्रकट करने के लिए पर्याप्त संदर्भ प्रदान कर सकता है। उनका लक्ष्य एक ऐसा सिस्टम बनाना था जो इन संबंधित संदेशों को एकत्र कर सके, शोर (noise) को साफ कर सके, और हैशटैग का उपयोग एक मार्गदर्शक के रूप में करके टेक्स्ट के बड़े, अधिक सूचनात्मक समूह बना सके।
अपने विचार का परीक्षण करने के लिए, टीम ने अक्टूबर 2017 के दस दिनों की अवधि में लगभग नौ मिलियन ट्वीट्स एकत्र किए। उन्होंने जल्दी ही महसूस किया कि इस पूरे डेटा में से सभी डेटा उपयोगी नहीं था। अधिकांश ट्वीट्स, लगभग 81 प्रतिशत, में कोई हैशटैग नहीं था, जिससे वे उनके विशिष्ट तरीके के लिए असंभव हो गए। उन्हें स्पैम और निम्न-गुणवत्ता वाली पोस्ट से भी निपटना पड़ा, जैसे कि ऐसे संदेश जिनमें केवल हैशटैग थे या अत्यधिक संख्या में हैशटैग थे। डेटा को फ़िल्टर करने के लिए, उन्होंने इन आउटलेर्स (outliers) को हटाने के लिए नियमों का एक सेट लागू किया। उन्होंने बिना हैशटैग वाले ट्वीट्स, दस से अधिक हैशटैग वाले ट्वीट्स, और उन ट्वीट्स को हटा दिया जो वास्तविक टेक्स्ट के बिना केवल लेबल से बने थे। उन्होंने उन हैशटैग्स की पहचान करने और उन्हें हटाने के लिए भी एक गणितीय माप का उपयोग किया जो बहुत सामान्य थे, जैसे कि "Friday" जैसे सामान्य शब्द, जो इतने विभिन्न संदर्भों में दिखाई देते थे कि वे किसी विशिष्ट विषय को परिभाषित करने में मदद नहीं करते थे। हालाँकि, उन्होंने एक विशिष्ट, अल्पकालिक घटना के लिए ट्रेंड होने वाले हैशटैग के लिए अपवाद बनाया, जिससे यह सुनिश्चित हुआ कि महत्वपूर्ण, समय-संवेदनशील बातचीत खो न जाए। इस कठोर सफाई प्रक्रिया के बाद, उनके पास 684,000 से अधिक उच्च-गुणवत्ता वाले ट्वीट्स का डेटासेट बचा।
उनके नए दृष्टिकोण का मुख्य हिस्सा, जिसे उन्होंने 'सिमेंटिक हैशटैग LDA' (Semantic Hashtag LDA) नाम दिया, इन साफ किए गए ट्वीट्स को व्यवस्थित करने का एक चतुर तरीका है। प्रत्येक ट्वीट को एक अलग, अलग-थलग दस्तावेज़ के रूप में मानने के बजाय, सिस्टम उन सभी ट्वीट्स को एक साथ समूहित करता है जो एक ही हैशटैग साझा करते हैं। यह कंप्यूटर के विश्लेषण के लिए एक बहुत बड़ा "दस्तावेज़" बनाता है, जो एक ही घटना के बारे में बात करने वाले कई अलग-अलग उपयोगकर्ताओं के शब्दों को जोड़ता है। शोधकर्ताओं ने फिर इस समूहीकरण में बुद्धिमत्ता की एक परत जोड़ी। उन्होंने सिस्टम को यह पहचानने के लिए प्रशिक्षित किया कि इन समूहों में अक्सर एक साथ उपयोग किए जाने वाले शब्द सिमेंटिक रूप से समान होते हैं, जिसका अर्थ है कि वे एक सामान्य अर्थ या संदर्भ साझा करते हैं, भले ही वे बिल्कुल एक जैसे न हों। इन बड़े, हैशटैग-आधारित समूहों की शक्ति को शब्दों के संबंधों की समझ के साथ जोड़कर, सिस्टम चर्चा किए जा रहे विषयों की बहुत स्पष्ट तस्वीर बना सका।
परिणामों ने दिखाया कि यह नई विधि पिछले तकनीकों की तुलना में काफी अधिक प्रभावी थी। जब शोधकर्ताओं ने अपने सिस्टम की तुलना छोटे टेक्स्ट के अन्य मानक क्लस्टरिंग तरीकों से की, तो उनके दृष्टिकोण ने बहुत अधिक सुसंगत और तार्किक रूप से सुसंगत समूह तैयार किए। सरल शब्दों में, कंप्यूटर द्वारा पहचाने गए विषय अधिक स्पष्ट और कम भ्रमित थे। सिस्टम ने त्रुटि दर में महत्वपूर्ण कमी प्रदर्शित की, जिसके परिणाम बताते हैं कि इसमें -0.02 तक की कमी आई, जिसका अर्थ है कि इसके असंबंधित विषयों को मिलाने या बातचीत के मुख्य विषय को चूक जाने की संभावना बहुत कम थी। शोधकर्ताओं ने पाया कि हैशटैग को एक मार्गदर्शक के रूप में उपयोग करके और डेटा को सावधानीपूर्वक साफ करके, वे लघु टेक्स्ट की सीमाओं को पार कर सकते थे, जिससे लाखों संक्षिप्त संदेशों की अराजक धारा को व्यवस्थित, समझने योग्य सूचना समूहों में बदला जा सका। यह कार्य प्रदर्शित करता है कि अपने स्वयं के कंटेंट को स्वाभाविक रूप से लेबल करने के तरीके का लाभ उठाकर, कंप्यूटर सोशल मीडिया की शोर भरी, तेज़ दुनिया को समझने में सक्षम हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।