Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data
यह शोध पत्र प्रदर्शित करता है कि इंडोबर्ट (IndoBERT) मॉडल को फाइन-ट्यून करना शास्त्रीय पायकेरेट (PyCaret) ऑटोएमएल (AutoML) दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है, जो इबु कोटा नुसंतारा (IKN) के संबंध में अनौपचारिक इंडोनेशियाई ट्विटर टिप्पणियों के बाइनरी सेंटीमेंट विश्लेषण के लिए 77.57% के मुकाबले 89.59% सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सार्वजनिक चौक में एक विशाल, शोर-शराबे वाली भीड़ के मिजाज को समझने की कोशिश कर रहे हैं। यह भीड़ एक बड़े नए प्रोजेक्ट, इंडोनेशिया की नई राजधानी, IKN के बारे में बात कर रही है। लोग ट्विटर पर अपनी राय चिल्ला रहे हैं—कुछ खुशियाँ मना रहे हैं, तो कुछ शिकायत कर रहे हैं। आपका काम यह पता लगाना है कि भीड़ सामान्य रूप से खुश है या दुखी।
यह पेपर दो अलग-अलग "जासूसों" के लिए एक रिपोर्ट कार्ड की तरह है, जिन्हें इस मूड-बदलने वाली पहेली को सुलझाने के लिए काम पर रखा गया है।
दो जासूस
जासूस 1: "ऑटो-ऑर्गनाइज़र" (PyCaret और मशीन लर्निंग)
यह जासूस एक बहुत ही कुशल, नियम का पालन करने वाले सहायक की तरह है। वे PyCaret नामक एक टूल का उपयोग करते हैं, जो एक "स्मार्ट टूलबॉक्स" की तरह है जो ट्वीट्स को स्वचालित रूप से छाँटता है।
- वे कैसे काम करते हैं: वे ट्वीट्स को देखते हैं और इस बात की गिनती करते है कि विशिष्ट शब्द कितनी बार आते हैं (जैसे कि वर्ड फ्रीक्वेंसी काउंटर)। वे तीन अलग-अलग रणनीतियों का प्रयास करते हैं:
- लॉजिस्टिक रिग्रेशन (Logistic Regression): एक सीधी रेखा से अनुमान लगाने वाला।
- नेव बेयस (Naive Bayes): शब्द पैटर्न के आधार पर संभावना का अनुमान लगाने वाला।
- एसवीएम (SVM): एक सीमा बनाने वाला जो खुश और दुखी ट्वीट्स को अलग करने की कोशिश करता है।
- परिणाम: "सीधी रेखा से अनुमान लगाने वाला" (लॉजिस्टिक रिग्रेशन) सबसे अच्छा रहा। इसने लगभग 77.5% ट्वीट्स को सही पहचाना। यह एक ठोस, भरोसेमंद कार्यकर्ता है, लेकिन यह कभी-कभी स्लैंग (बोलचाल की भाषा) या कटाक्ष (sarcasm) की बारीकियों को समझने में चूक जाता है।
जासूस 2: "सुपर-रीडर" (IndoBERT और डीप लर्निंग)
यह जासूस एक जीनियस है जिसने एक भी ट्वीट देखने से पहले इंडोनेशियाई भाषा में लाखों किताबें और लेख पढ़े हैं। यह IndoBERT है, एक "ट्रांसफॉर्मर" मॉडल।
- वे कैसे काम करते हैं: केवल शब्दों को गिनने के बजाय, यह जासूस संदर्भ (context) को समझता है। वे जानते हैं कि "sakit" (बीमार) शब्द का अर्थ यह हो सकता है कि "मैं शारीरिक रूप से बीमार हूँ" या "यह प्रोजेक्ट बहुत बुरा है", यह वाक्य पर निर्भर करता है। उन्हें विशेष रूप से इंडोनेशियाई भाषा पर प्रशिक्षित किया गया है, इसलिए वे स्थानीय स्लैंग, संक्षिप्त शब्दों और सोशल मीडिया पर लोगों के लिखने के अव्यवस्थित तरीके को समझते हैं।
- परिणाम: इस जासूस ने लगभग 89.6% ट्वीट्स को सही पहचाना। वे काफी अधिक सटीक थे, उन्होंने उन सूक्ष्म अंतरों को पकड़ लिया जिन्हें पहला जासूस छोड़ गया था।
मुकाबला: स्कोरबोर्ड
शोधकर्ताओं ने नई राजधानी के बारे में 1,472 वास्तविक ट्वीट्स का उपयोग करके एक निष्पक्ष दौड़ आयोजित की। उन्होंने ट्वीट्स को ट्रेनिंग (सीखने) और टेस्टिंग (परीक्षा) सेटों में विभाजित किया।
- मशीन लर्निंग टीम (PyCaret): वे अधिकतम 77.57% सटीकता तक पहुँच सके।
- डीप लर्निंग टीम (IndoBERT): उन्होंने 89.59% सटीकता प्राप्त की।
अंतर: "सुपर-रीडर" ने "ऑटो-ऑर्गनाइज़र" को 12 प्रतिशत अंक से अधिक से पीछे छोड़ दिया। भावनाओं का अनुमान लगाने की दुनिया में, यह एक बड़ी जीत है।
"सुपर-रीडर" क्यों जीता?
पेपर इस बात की व्याख्या एक सरल उपमा के माध्यम से करता है:
- ऑटो-ऑर्गनाइज़र उस व्यक्ति की तरह है जो केवल शब्दों की शब्दकोश परिभाषा जानता है। यदि आप कहते हैं, "यह प्रोजेक्ट sick (शानदार/बुरा) है," तो वे सोच सकते हैं कि आप वास्तव में बीमारी की बात कर रहे हैं, या वे भ्रमित हो सकते हैं क्योंकि स्लैंग में "sick" का अर्थ "कूल" भी हो सकता है।
- सुपर-रीडर एक नेटिव स्पीकर की तरह है जो इंटरनेट पर पला-बढ़ा है। वे जानते हैं कि एक ट्वीट में "sick" का अर्थ लहजे के आधार पर आमतौर पर "शानदार" या "भयानक" होता है। वे केवल शब्दों को नहीं, बल्कि वाक्य के मिजाज (vibe) को समझते हैं।
एक पेच: स्मार्ट होने की कीमत
यहाँ एक समझौता (trade-off) है।
- ऑटो-ऑर्गनाइज़र हल्का है। यह एक मानक लैपटॉप पर तेज़ी से चलता है और इसे सुपरकंप्यूटर की आवश्यकता नहीं होती। यदि आपके पास सीमित संसाधन हैं, तो यह बेहतरीन है।
- सुपर-रीडर भारी है। इसके लिए बहुत अधिक कंप्यूटिंग पावर की आवश्यकता होती है और इसे प्रशिक्षित करने में अधिक समय लगता है। यह एक फेरारी चलाने जैसा है: यह तेज़ और अधिक सटीक है, लेकिन इसमें पेट्रोल अधिक लगता है और इसे एक बड़े गैरेज की आवश्यकता होती है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि यदि आप सबसे सटीक रूप से समझना चाहते हैं कि सोशल मीडिया पर इंडोनेशियाई लोग अपनी नई राजधानी के बारे में कैसा महसूस कर रहे हैं, तो आपको IndoBERT मॉडल का उपयोग करना चाहिए। यह पारंपरिक तरीकों की तुलना में ट्विटर के अव्यवस्थित, अनौपचारिक और स्लैंग से भरे स्वभाव को बहुत बेहतर तरीके से संभालता है।
हालाँकि, यदि आपके पास शक्तिशाली कंप्यूटर नहीं है या आपको त्वरित, सरल उत्तर चाहिए, तो लॉजिस्टिक रिग्रेशन मॉडल (पारंपरिक उपकरणों में सबसे अच्छा) अभी भी एक ठीक विकल्प है, भले ही यह थोड़ा कम सटीक हो।
संक्षेप में: जटिल, चंचल और स्लैंग से भरी इंडोनेशियाई इंटरनेट को समझने के लिए, "सुपर-रीडर" (डीप लर्निंग) स्पष्ट विजेता है, जो "ऑटो-ऑर्गनाइज़र" (मशीन लर्निंग) को बहुत पीछे छोड़ देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।