IndoBERT-Sentiment: Context-Conditioned Sentiment Classification for Indonesian Text
यह शोध पत्र IndoBERT-Sentiment को प्रस्तुत करता है, जो IndoBERT Large पर निर्मित एक संदर्भ-सशर्त (context-conditioned) क्लासिफायर है, जो उन अस्पष्टताओं को दूर करने के लिए विषयात्मक संदर्भ (topical context) को शामिल करता है जिनके कारण संदर्भ-मुक्त दृष्टिकोण विफल हो जाते हैं और यह मौजूदा इंडोनेशियाई सेंटिमेंट मॉडलों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी बातचीत के मूड को समझने की कोशिश कर रहे हैं, लेकिन आप केवल एक व्यक्ति को एक वाक्य बोलते हुए सुनते हैं और यह नहीं जानते कि वह किससे बात कर रहा है या वह किस बारे में बात कर रहा है।
समस्या: "संदर्भ-रहित" भ्रम (The "Out-of-Context" Confusion)
मानक सेंटीमेंट एनालिसिस मॉडल (जो वर्तमान में लोकप्रिय हैं) को एक शब्दशः समझने वाले रोबोट के रूप में सोचें। यदि आप उसे बताते हैं, "संख्याएँ ऊपर जा रही हैं," तो वह भ्रमित हो सकता है।
- यदि आप मुद्रास्फीति (inflation) (बढ़ती कीमतें) के बारे में बात कर रहे हैं, तो रोबोट कहेगा, "यह बुरी खबर है!" (नकारात्मक)।
- यदि आप आर्थिक विकास (economic growth) (पैसा कमाना) के बारे में बात कर रहे हैं, तो रोबोट कहेगा, "यह बहुत अच्छी खबर है!" (सकारात्मक)।
लेकिन बिना विषय जाने, रोबोट केवल "संख्याएँ" और "ऊपर" शब्दों को देखता है और अनुमान लगाता है। वह अक्सर "तटस्थ" (Neutral) मानकर चलता है क्योंकि उसके पास पूरी तस्वीर नहीं होती। यह एक चुटकुले को बिना उसका पंचलाइन जाने समझने की कोशिश करने जैसा है; आप केवल सेटअप सुनते हैं और सोचते हैं, "क्या यह मजेदार है? मुझे नहीं पता।"
समाधान: IndoBERT-Sentiment
लेखकों ने इस मॉडल को बनाया जिसे IndoBERT-Sentiment कहा जाता है। केवल वाक्य को सुनने के बजाय, यह मॉडल एक चतुर जासूस की तरह काम करता है जो निर्णय लेने से पहले पूछता है, "रुको, हम किस बारे में बात कर रहे हैं?"
उन्होंने मॉडल को दो प्रकार की जानकारी दी:
- संदर्भ (विषय): "हम मुद्रास्फीति के बारे में बात कर रहे हैं।"
- टेक्स्ट (पाठ): "संख्याएँ ऊपर जा रही हैं।"
अब, जासूस को पता है कि वाक्य की व्याख्या कैसे करनी है। यह केवल अनुमान नहीं लगा रहा है; यह विषय और शब्दों के बीच के संबंध को समझ रहा है।
उन्होंने इसे कैसे बनाया
टीम ने एक विशाल, प्री-ट्रेन्ड मस्तिष्क (IndoBERT) लिया और उसे एक नया हुनर सिखाया।
- प्रशिक्षण डेटा (Training Data): उन्होंने 31,000 से अधिक उदाहरणों का उपयोग किया। कल्पना कीजिए कि एक शिक्षक एक छात्र को 31,000 फ्लैशकार्ड दिखा रहा है। एक तरफ एक विषय (जैसे "भ्रष्टाचार" या "जंगल की आग") है, और दूसरी तरफ एक समाचार हेडलाइन है।
- लेबलिंग (Labeling): उन्होंने इन कार्डों को विशेष रूप से उस विषय के लिए "अच्छा," "बुरा," या "तटस्थ" के रूप में लेबल करने के लिए एक सुपर-स्मार्ट AI (GPT-4) का उपयोग किया।
- परिणाम: मॉडल ने सीखा कि "भ्रष्ट अधिकारी गिरफ्तार हुआ" यदि विषय "भ्रष्टाचार विरोधी" है, तो यह अच्छा है, लेकिन यदि विषय "राजनीतिक स्थिरता" है, तो यह बुरा हो सकता है (दृष्टिकोण के आधार पर)।
बड़ी जीत: प्रतियोगिता को पछाड़ना
शोधकर्ताओं ने अपने नए "जासूस मॉडल" को इंडोनेशिया में वर्तमान में उपयोग किए जाने वाले तीन सबसे लोकप्रिय "शब्दशः रोबोटों" के साथ आमने-सामने रखा।
- स्कोर: नए मॉडल ने 88.1% सटीकता प्राप्त की, जबकि सबसे अच्छे पुराने मॉडल ने केवल 62.8% स्कोर किया।
- "सकारात्मक" चमत्कार: सबसे बड़ा आश्चर्य यह था कि पुराने मॉडल अच्छी खबर को पहचानने में कितने खराब थे। वे 20% से भी कम बार सकारात्मक समाचार सही पहचान पाए। क्यों? क्योंकि इंडोनेशियाई समाचारों में, "अच्छा" अक्सर "तथ्यात्मक" लगता है।
- उदाहरण: "डेंगू बुखार के मामले 200% बढ़ गए।"
- पुराना रोबोट: "हम्म, 'बढ़े' एक बड़ा शब्द है। शायद तटस्थ?" (गलत! यह बहुत बुरी खबर है)।
- नया जासूस: "संदर्भ: सार्वजनिक स्वास्थ्य। मामले बढ़ना = बुरा।" (सही!)
यह क्यों मायने रखता है
पुराने मॉडलों को शब्दकोश देखने वाले (dictionary lookups) के रूप में सोचें। वे शून्य में एक शब्द को "खुश" या "दुखी" के रूप में देखते हैं।
नया मॉडल एक सांस्कृतिक अनुवादक (cultural translator) है। यह समझता है कि शब्दों का भावनात्मक वजन स्थिति के आधार पर बदल जाता है।
"बाइनरी" विकल्प
लेखकों ने अपने मॉडल का एक "लाइटवेट" संस्करण भी बनाया। कभी-कभी, आपको "तटस्थ" की परवाह नहीं होती। आप बस जानना चाहते हैं: "क्या यह मेरे ब्रांड के लिए अच्छा है या बुरा?"
- उन्होंने एक ऐसा संस्करण बनाया जो "तटस्थ" विकल्प को पूरी तरह से अनदेखा कर देता है।
- यह संस्करण केवल अच्छी और बुरी खबर के बीच अंतर बताने में अविश्वसनीय रूप से सटीक है, जो 96% सटीकता प्राप्त करता है।
निष्कर्ष
यह पेपर साबित करता है कि चीजों (विशेष रूप से समाचार और सोशल मीडिया में) के बारे में लोग वास्तव में कैसा महसूस करते हैं, इसे समझने के लिए, आप केवल शब्दों को नहीं देख सकते। आपको संदर्भ को देखना होगा।
AI को जवाब देने से पहले यह पूछना सिखाकर कि, "हम किस बारे में बात कर रहे हैं?", उन्होंने एक ऐसा उपकरण बनाया है जो बहुत अधिक स्मार्ट, बहुत अधिक सटीक और दुनिया को समझने में पहले की तुलना में बहुत बेहतर है। यह एक ऐसे रोबोट के बीच का अंतर है जो स्क्रिप्ट पढ़ता है और एक ऐसे इंसान के बीच का अंतर है जो कहानी को समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।