Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM
यह शोध पत्र 70,155 स्वच्छ इंडोनेशियाई स्पॉटिफ़ाई (Spotify) समीक्षाओं पर क्लासिकल मशीन लर्निंग और BiLSTM डीप लर्निंग मॉडलों का बेंचमार्किंग करता है, जिसमें यह पाया गया है कि जहाँ BiLSTM उच्चतम समग्र भारित F1-स्कोर (weighted F1-score) प्राप्त करता है, वहीं SMOTE के साथ डेसिजन ट्री (Decision Trees) तीनों भावना श्रेणियों में से सभी के लिए बेहतर संतुलित प्रदर्शन प्रदान करते हैं, विशेष रूप से अल्पसंख्यक न्यूट्रल श्रेणी के लिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप Spotify जैसे एक विशाल संगीत स्ट्रीमिंग ऐप के मालिक हैं, और आपके पास अपने इंडोनेशियाई उपयोगकर्ताओं के 100,000 पत्रों का एक पहाड़ है। कुछ प्रेम पत्र हैं ("सकारात्मक"), कुछ गुस्से वाले शब्द हैं ("नकारात्मक"), और कुछ ऐसे हैं जो न तो पूरी तरह सकारात्मक हैं और न ही नकारात्मक, बस साधारण शिकायतें या उदासीन बातें हैं ("तटस्थ")। आपका लक्ष्य एक ऐसा रोबोट बनाना है जो इन पत्रों को पढ़ सके और उन्हें स्वचालित रूप से सही ढेरों में छाँट सके।
यह शोध पत्र दो अलग-अलग प्रकार के रोबोटों के बीच हुई एक "दौड़" की रिपोर्ट कार्ड है, जो इस छंटनी के काम को करने की कोशिश कर रहे हैं।
दो दावेदार
- "क्लासिकल" टीम (मशीन लर्निंग): इन्हें तीन बहुत बुद्धिमान, अनुभवी पुस्तकालयाध्यक्षों (सपोर्ट वेक्टर मशीन, मल्टीनोमियल नाइव बेयस, और डिसीजन ट्री) के रूप में सोचें। वे व्यक्तिगत शब्दों को देखने और यह गिनने में माहिर हैं कि वे कितनी बार आते हैं। वे तेज़, कुशल हैं और उन्हें सुपरकंप्यूटर की आवश्यकता नहीं है।
- "डीप लर्निंग" टीम (BiLSTM): यह एक एकल, अत्यधिक परिष्कृत रोबोट है जो एक न्यूरल नेटवर्क (बाइडायरेक्शनल लॉन्ग शॉर्ट-टर्म मेमोरी) से बना है। इस फैंसी रोबोट की कल्पना एक जासूस के रूप में करें जो न केवल शब्दों को देखता है, बल्कि वाक्य की कहानी और उसके प्रवाह को समझने की भी कोशिश करता है, जो पूर्ण संदर्भ को पकड़ने के लिए बाएं से दाएं और दाएं से बाएं पढ़ता है।
सेटअप: असमान ट्रैक के साथ एक दौड़
शोधकर्ताओं ने दौड़ आयोजित की, लेकिन एक पेच था: खेल का मैदान बिल्कुल एक समान आकार का नहीं था।
- क्लीनिंग क्रू: दौड़ से पहले, सभी पत्रों को साफ किया गया था। स्लैंग (बोलचाल की भाषा) को ठीक किया गया (जैसे "gak" को "tidak" में बदलना), गलतियों को हटाया गया, और अनावश्यक शब्दों को हटा दिया गया। यह सभी के लिए एक जैसा था।
- क्लासिकल टीम का ट्रैक: तीनों पुस्तकालयाध्यक्षों को सभी 70,000+ साफ किए गए पत्र पढ़ने को मिले। उनके पास सीखने के लिए पूरा डेटासेट था।
- डीप लर्निंग रोबोट का ट्रैक: इस फैंसी रोबोट को केवल 20,000 पत्रों के एक छोटे नमूने को पढ़ने की अनुमति दी गई थी। क्यों? क्योंकि शोधकर्ता एक मानक कंप्यूटर (CPU) पर काम कर रहे थे जिसमें कोई शक्तिशाली ग्राफिक्स कार्ड नहीं था। इस बड़े रोबोट को डेटा के पूरे पहाड़ पर प्रशिक्षित करने में बहुत लंबा समय लग जाता, इसलिए उन्होंने इसे एक छोटा, प्रतिनिधि हिस्सा दिया।
परिणाम: कौन जीता?
1. क्लासिकल टीम का प्रदर्शन
तीनों पुस्तकालयाध्यक्षों में से, डिसीजन ट्री (Decision Tree) स्पष्ट विजेता था।
- यह कैसे काम करता था: इसने पत्रों को छाँटने के लिए नियमों का एक फ्लोचार्ट बनाया।
- स्कोर: इसने 0.727 का "वेटेड एफ1-स्कोर" (Weighted F1-Score) प्राप्त किया।
- पेंच: यह तीनों श्रेणियों (सकारात्मक, नकारात्मक और तटस्थ) को काफी समान रूप से छाँटने में काफी अच्छा था। इसने "तटस्थ" पत्रों को नज़रअंदाज़ नहीं किया।
2. डीप लर्निंग रोबोट का प्रदर्शन
BiLSTM रोबोट एक शक्तिशाली मशीन था, लेकिन इसकी एक कमजोरी थी।
- स्कोर: इसने 0.807 का उच्च समग्र स्कोर प्राप्त किया।
- समस्या: यह "सकारात्मक" और "नकारात्मक" पत्रों को पहचानने में अद्भुत था, लेकिन यह "तटस्थ" श्रेणी में पूरी तरह विफल रहा। इसका "तटस्थ" के लिए स्कोर 0.000 था। इसने मूल रूप से उस ढेर को पूरी तरह से अनदेखा कर दिया, जो संभवतः इसके प्रशिक्षण नमूने में अन्य श्रेणियों की तुलना में बहुत कम "तटस्थ" पत्रों की मौजूदगी के कारण हुआ।
मुख्य निष्कर्ष: एक समझौता (Trade-Off)
शोध पत्र एक सरल उपमा के साथ समाप्त होता है:
- यदि आप यह जानने के लिए सर्वोत्तम समग्र सटीकता चाहते कि कोई समीक्षा आम तौर पर खुश है या दुखी, तो डीप लर्निंग रोबोट (BiLSTM) बेहतर विकल्प है। यह एक स्पोर्ट्स कार की तरह है जो सीधी सड़क पर अविश्वसनीय रूप से तेज़ है लेकिन तीखे मोड़ नहीं संभाल सकती।
- यदि आपको तीनों श्रेणियों (कठिन "तटस्थ" सहित) के प्रति निष्पक्ष होना है, तो क्लासिकल डिसीजन ट्री बेहतर विकल्प है। यह एक भरोसेमंद SUV की तरह है जो सबसे तेज़ तो नहीं है, लेकिन हर प्रकार के रास्तों को संभाल लेती है और किसी यात्री को पीछे नहीं छोड़ती।
ऐसा क्यों हुआ?
- "तटस्थ" की समस्या: "तटस्थ" समीक्षाएं अल्पसंख्यक थीं (डेटा का केवल लगभग 6%)। डीप लर्निंग रोबोट, जिसे एक छोटे नमूने पर प्रशिक्षित किया गया था, ने अपने समग्र स्कोर को अधिकतम करने के लिए अल्पसंख्यक समूह को अनदेखा करना सीख लिया। क्लासिकल टीम ने SMOTE तकनीक का उपयोग किया (जो कि कृत्रिम रूप से अधिक "तटस्थ" उदाहरण बनाने जैसा है), जिसने उन्हें सभी समूहों के साथ निष्पक्ष होने में मदद की।
- डेटा का अंतर: डीप लर्निंग रोबोट के पास सीखने के लिए कम उदाहरण थे (14,000 बनाम 70,000)। कम उदाहरणों के बावजूद, इसने क्लासिकल मॉडलों की तुलना में "सकारात्मक/नकारात्मक" विभाजन में बेहतर प्रदर्शन किया, जिससे पता चलता है कि शब्दों के क्रम को समझना लघु इंडोनेशियाई समीक्षाओं के लिए बहुत शक्तिशाली है।
निचोड़
शोधकर्ताओं ने केवल नंबरों तक ही सीमित नहीं रहे; उन्होंने दोनों रोबोटों को ऑनलाइन भी रखा ताकि कोई भी उनका परीक्षण कर सके। उन्होंने पाया कि हालांकि फैंसी डीप लर्निंग मॉडल समग्र रूप से अधिक शक्तिशाली है, लेकिन सरल मशीन लर्निंग मॉडल अधिक संतुलित और विश्वसनीय है जब आपको केवल शोर मचाने वाली आवाजों को ही नहीं, बल्कि हर प्रकार की समीक्षा को पकड़ने की आवश्यकता होती है।
संक्षेप में: फैंसी रोबोट तेज़ और अधिक शक्तिशाली है, लेकिन सरल पुस्तकालयाध्यक्ष भीड़ में दबी हुई शांत आवाजों के प्रति अधिक निष्पक्ष है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।