Class-Aware Semantic Hybrid Data Augmentation for Imbalanced Sentiment Classification Using Multiple Transformer Models
यह शोध पत्र एक क्लास-अवेयर सिमेंटिक हाइब्रिड डेटा ऑग्मेंटेशन (CSHDA) फ्रेमवर्क प्रस्तावित करता है जो अल्पसंख्यक वर्गों (minority classes) पर चयनात्मक रूप से विविध, सिमेंटिक रूप से मान्य ऑग्मेंटेशन तकनीकों को लागू करता है, जिससे क्लास इम्बैलेंस प्रभावी रूप से कम होता है और असंतुलित सेंटीमेंट क्लासिफिकेशन कार्यों पर कई ट्रांसफार्मर-आधारित मॉडलों के प्रदर्शन और मजबूती में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट के विशाल डिजिटल परिदृश्य में, लोग लगातार अपनी राय साझा करते हैं, चाहे वह किसी स्थानीय रेस्तरां की समीक्षा हो या किसी देरी से उड़ने वाली उड़ान के बारे में शिकायत। कंप्यूटर इन टेक्स्टों को पढ़ने और यह समझने में उल्लेखनीय रूप से सक्षम हो गए हैं कि उनके पीछे की भावना खुश, दुखी या कहीं बीच की है। यह क्षमता, जिसे सेंटिमेंट एनालिसिस (sentiment analysis) कहा जाता है, व्यवसायों को अपने ग्राहकों को समझने और संगठनों को सार्वजनिक मनोदशा को ट्रैक करने में मदद करती है। हालाँकि, इस कौशल को सीखने के लिए, कंप्यूटर को उदाहरणों की एक विशाल मात्रा पर प्रशिक्षित होने की आवश्यकता होती है। एक महत्वपूर्ण बाधा तब उत्पन्न होती है जब ये उदाहरण समान रूप से वितरित नहीं होते हैं। कल्पना कीजिए कि एक कक्षा में नब्बे छात्र लाल वस्तुओं को पहचानने के लिए सीख रहे हैं, लेकिन केवल दस छात्र नीली वस्तुओं को पहचानने के लिए सीख रहे हैं। शिक्षक, लाल उदाहरणों से अभिभूत होकर, यह अनुमान लगाना शुरू कर सकता है कि सब कुछ लाल है, क्योंकि वह यही सबसे अधिक देखता है। डेटा की दुनिया में, इसे क्लास इम्बैलेंस (class imbalance) कहा जाता है, और यह कंप्यूटर मॉडलों को बहुमत के पक्ष में अल्पसंख्यक विचारों, जैसे कि तटस्थ या नकारात्मक भावनाओं को अनदेखा करने के लिए प्रेरित करता है।
इसे ठीक करने के लिए, शोधकर्ता अक्सर अल्पसंख्यक समूहों के लिए अधिक उदाहरण बनाने का प्रयास करते हैं, जिसे डेटा ऑगमेंटेशन (data augmentation) की प्रक्रिया के रूप में जाना जाता है। वे मौजूदा वाक्यों को लेते हैं और उनमें छोटे बदलाव करते हैं, जैसे कि किसी शब्द को उसके पर्यायवाची से बदलना या कुछ अक्षर हटा देना, इस उम्मीद में कि नए, वैध प्रशिक्षण डेटा उत्पन्न किए जा सकें। हालांकि इसने अतीत में मदद की है, एक नया अध्ययन सुझाव देता है कि यदि बदलाव अंधे होकर किए जाते हैं, तो केवल अधिक प्रतियां बनाना पर्याप्त नहीं है। शोधकर्ताओं ने पाया कि प्रत्येक प्रकार के वाक्य पर समान यादृच्छिक परिवर्तन लागू करने से वास्तव में कंप्यूटर भ्रमित हो सकता है, जिससे ऐसे उदाहरण बन सकते हैं जो मूल भावना के बिल्कुल विपरीत हों, या इससे भी बुरा, बस एक ही वाक्य को बार-बार दोहराते हों।
प्रशांत उपाध्याय, जी.एल. सैनी और अतुल मककरिया के नेतृत्व में शोधकर्ताओं की एक टीम ने इस समस्या को संभालने का एक स्मार्ट तरीका प्रस्तावित किया है। उन्होंने एक प्रणाली विकसित की जिसे वे 'क्लास-अवेयर सिमेंटिक हाइब्रिड डेटा ऑगमेंटेशन' (Class-Aware Semantic Semantic Hybrid Data Augmentation) कहते हैं। सभी विचारों के साथ एक जैसा व्यवहार करने के बजाय, यह प्रणाली एक सतर्क संपादक की तरह कार्य करती है जो प्रत्येक समूह की विशिष्ट आवश्यकताओं को समझता है। जब यह प्रणाली एक अल्पसंख्यक भावना का सामना करती है, जैसे कि सकारात्मक समीक्षाओं के समुद्र में एक दुर्लभ तटस्थ राय, तो यह केवल यादृच्छिक रूप से शब्दों को काटती या बदलती नहीं है। इसके बजाय, यह विशिष्ट तकनीकों का चयन करती है जो इस आधार पर होती हैं कि उस विशेष प्रकार के वाक्य को अपने अर्थ को बनाए रखने के लिए क्या चाहिए। कुछ वाक्यों के लिए, यह वाक्य को एक अलग तरीके से फिर से लिखने के लिए एक शक्तिशाली लैंग्वेज मॉडल का उपयोग कर सकती है जबकि सटीक भावना को बरकरार रखा जाए। दूसरों के लिए, यह केवल एक शब्द हटा सकती है या एक नया शब्द डाल सकती है। महत्वपूर्ण रूप से, प्रणाली द्वारा बनाया गया प्रत्येक नया वाक्य मूल वाक्य के विरुद्ध जांचा जाता है ताकि यह सुनिश्चित हो सके कि अर्थ भटक नहीं गया है। यदि एक नया वाक्य बहुत अलग लगता है या यह पहले से बनाई गई किसी चीज़ की केवल एक प्रति (duplicate) है, तो सिस्टम उसे हटा देता है।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण वास्तविक दुनिया के डेटा के दो बहुत अलग सेटों पर किया: एक विश्वविद्यालय के फूड कोर्ट की समीक्षाओं का संग्रह और एयरलाइंस के बारे में ट्वीट्स का एक विशाल डेटासेट। दोनों मामलों में, डेटा अत्यधिक विषम था, जिसमें एक भावना अन्य पर हावी थी। उन्होंने चार अलग-अलग उन्नत कंप्यूटर मॉडलों को प्रशिक्षित किया, जिन्हें ट्रांसफॉर्मर्स (transformers) के रूप में जाना जाता है, जो भाषा को समझने के लिए वर्तमान अत्याधुनिक उपकरण हैं। सबसे पहले, उन्होंने इन मॉडलों को मूल, असंतुलित डेटा पर प्रशिक्षित किया ताकि यह देखा जा सके कि वे कैसा प्रदर्शन करते हैं। जैसा कि अपेक्षित था, मॉडल अल्पसंख्यक विचारों को सही ढंग से पहचानने में संघर्ष करते रहे, और अक्सर नकारात्मक या तटस्थ टिप्पणियों को सकारात्मक के रूप में गलत लेबल करते रहे। फिर, उन्होंने अपने नए ऑगमेंटेशन मेथड को प्रशिक्षण डेटा पर लागू किया, जिससे केवल अल्पसंख्यक समूहों के लिए उच्च-गुणवत्ता वाले, विविध उदाहरण उत्पन्न हुए।
परिणाम आश्चर्यजनक थे। जब मॉडलों को इस बेहतर डेटा पर पुन: प्रशिक्षित किया गया, तो अल्पसंख्यक भावनाओं को पहचानने की उनकी क्षमता काफी बढ़ गई। फूड रिव्यू डेटासेट पर, मॉडलों की समग्र सटीकता में बड़े अंतर से सुधार हुआ, जिसमें नकारात्मक समीक्षाओं को पहचानने की क्षमता बहुत निम्न स्तर से बढ़कर एक मजबूत बहुमत तक पहुँच गई। एयरलाइन ट्वीट डेटासेट पर, जो अपने संक्षिप्त और अनौपचारिक स्वभाव के कारण कुख्यात रूप से कठिन है, कुछ मॉडलों के लिए सुधार और भी नाटकीय था। एक मॉडल, जो पहले तटस्थ ट्वीट्स को लगभग पूरी तरह से पहचानने में विफल रहा था, उसने उन्हें आधे से अधिक समय तक सही ढंग से पहचानना शुरू कर दिया। शोधकर्ताओं ने पुष्टि की कि ये सुधार केवल भाग्यशाली अनुमान नहीं थे बल्कि सांख्यिकीय रूप से महत्वपूर्ण थे, जिसका अर्थ है कि परिणाम विश्वसनीय और दोहराने योग्य थे।
जो इस कार्य को विशेष रूप से मूल्यवान बनाता है, वह यह है कि इसके लिए कंप्यूटर मॉडलों को बदलने की आवश्यकता नहीं है। यह एक प्रारंभिक चरण के रूप में कार्य करता है जो सीखने की शुरुआत से पहले डेटा को साफ और समृद्ध करता है। अध्ययन ने यह भी दिखाया कि यह विधि विभिन्न प्रकार के मॉडलों, बहुत बड़े और जटिल से लेकर छोटे और तेज़ मॉडलों तक, अच्छी तरह से काम करती है। अर्थ को बरकरार रखने के सख्त चेकों के साथ नए डेटा के निर्माण को सावधानीपूर्वक संतुलित करके, शोधकर्ताओं ने प्रदर्शित किया कि गुणवत्ता मात्रा से कहीं अधिक महत्वपूर्ण है। उन्होंने साबित किया कि कंप्यूटर को दुर्लभ विचारों के कुछ अधिक, लेकिन बहुत बेहतर उदाहरण देकर, यह सभी की बात सुनने में सक्षम हो सकता है, न कि केवल कमरे में सबसे तेज़ आवाज़ों की। यह दृष्टिकोण मानव भावना के पूर्ण स्पेक्ट्रम को समझने के लिए कृत्रिम बुद्धिमत्ता (AI) को अधिक निष्पक्ष और सटीक बनाने के लिए एक व्यावहारिक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।