The Classics at SemEval-2026 Task 3: Combining Transformer Models and LLM-Generated Annotations for Dimensional Aspect-Based Sentiment Analysis
यह शोध पत्र SemEval-2026 टास्क 3 के लिए एक हाइब्रिड दृष्टिकोण प्रस्तुत करता है जो रूसी सेंटीमेंट रिग्रेशन के लिए भारित ट्रांसफार्मर एनसेम्बल्स (weighted transformer ensembles) को LLM-जनरेटेड सिंथेटिक एनोटेशन्स और सूक्ष्म-स्तरीय वैलेंस (valence) और अराउज़ल (arousal) स्कोर की भविष्यवाणी करने के लिए फाइन-ट्यून्ड डिकोडर LLMs के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि लोग किसी उत्पाद के बारे में कैसा महसूस करते हैं, जैसे कि एक लैपटॉप या रेस्टोरेंट का भोजन। पारंपरिक कंप्यूटर प्रोग्राम ट्रैफिक लाइट की तरह होते हैं: वे केवल तीन रंग देखते हैं—लाल (नकारात्मक), पीला (तटस्थ), या हरा (सकारात्मक)। लेकिन मानवीय भावनाएं शायद ही कभी इतनी सरल होती हैं। कभी-कभी कोई समीक्षा "ज्यादातर खुश लेकिन थोड़ी निराश" होती है, या "बहुत तीव्र क्रोध" वाली होती है।
यह शोध पत्र एक टीम द्वारा Semical-2026 के लिए एक स्मार्ट सिस्टम बनाने के प्रयास का वर्णन करता है, जो AI शोधकर्ताओं के लिए एक बड़ी प्रतियोगिता है। उनका लक्ष्य इस सरल "ट्रैफिक लाइट" प्रणाली से आगे बढ़कर भावनाओं को एक निरंतर पैमाने (continuous scale) पर मापना था, जैसे कि प्रकाश के लिए डिमर स्विच या ध्वनि के लिए वॉल्यूम नॉब। उन्होंने दो विशिष्ट "नॉब्स" पर ध्यान केंद्रित किया:
- वैलेंस (Valence): भावना कितनी सकारात्मक या नकारात्मक है (मूड)।
- अराउज़ल (Arousal): भावना कितनी तीव्र या शांत है (ऊर्जा)।
यहाँ बताया गया है कि उन्होंने कुछ रचनात्मक उपमाओं का उपयोग करके प्रतियोगिता के दो मुख्य चुनौतियों को कैसे हल किया:
चुनौती 1: "थर्मोस्टेट" (सबटास्क 1)
लक्ष्य: आप कंप्यूटर को वाक्य का एक विशिष्ट भाग देते हैं (जैसे "बैटरी लाइफ") और पूछते हैं, "लेखक इसके बारे में कैसा महसूस करता है, और कितनी तीव्रता से?" कंप्यूटर को दो नंबर देने होंगे (जैसे खुशी के लिए 8.5, तीव्रता के लिए 7.2)।
टीम की रणनीति:
- द एंसेम्बल (जुरी): केवल एक AI मॉडल पर निर्भर रहने के बजाय, उन्होंने कई अलग-अलग AI मॉडलों (जिन्हें ट्रांसफॉर्मर कहा जाता है) की एक "जुरी" बनाई। उन्होंने प्रत्येक मॉडल को नंबरों पर वोट करने दिया, लेकिन उन्होंने हर वोट को समान नहीं माना। उन्होंने उन मॉडलों को अधिक महत्व दिया जिन्होंने सबसे अधिक अभ्यास किया और बेहतर प्रदर्शन किया। यह एक निदान के लिए केवल एक डॉक्टर के बजाय विशेषज्ञों के पैनल से पूछने जैसा है; यह एक गलत अनुमान लगने की संभावना को कम करता है।
- रूसी "अनुवादक" (LLM ऑगमेंटेशन): रूसी भाषा के लिए, टीम ने पाया कि मानक मॉडल सूक्ष्म बारीकियों को समझने में थोड़े भ्रमित थे। उनकी मदद करने के लिए, उन्होंने एक बहुत ही स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल, या LLM) का उपयोग किया जो एक "अनुवादक" या "कोच" के रूप में कार्य करता है। मुख्य मॉडलों द्वारा नंबरों का अनुमान लगाने से पहले, इस स्मार्ट AI ने एक संक्षिप्त, वर्णनात्मक वाक्य लिखा कि लेखक ऐसा क्यों महसूस कर रहा था (जैसे, "लेखक बहुत प्रसन्न है लेकिन थोड़ा चिंतित है")। उन्होंने इस विवरण को अतिरिक्त संदर्भ के रूप में मुख्य मॉडलों को दिया। यह एक छात्र को परीक्षा से पहले संकेत देने जैसा है; इस संकेत ने मॉडलों को "वाइब" (vibe) को बेहतर ढंग से समझने में मदद की, जिससे सटीक नंबर भविष्यवाणियां करने में मदद मिली।
चुनौती 2: "डिटेक्टिव" (सबटास्क 3)
लक्ष्य: यह कठिन था। कंप्यूटर को एक पूरी समीक्षा पढ़नी थी और सब कुछ ढूंढना था: विषय क्या है? श्रेणी क्या है? विशिष्ट राय वाला वाक्यांश क्या है? और उस विषय के लिए वे दो नंबर (मूड और तीव्रता) क्या हैं? यह एक जासूस की तरह है जिसे एक साथ संदिग्ध, हथियार, मकसद और अपराध का सटीक समय ढूंढना है।
टीम की रणनीति:
- "वन-स्टॉप शॉप" (जेनेरेटिव फ्रेमवर्क): आमतौर पर, लोग इसे एक पाइपलाइन बनाकर हल करने की कोशिश करते हैं: चरण 1 विषय खोजता है, चरण 2 राय खोजता है, चरण 3 नंबरों का अनुमान लगाता है। टीम ने महसूस किया कि यह "टेलीफोन" गेम के माध्यम से संदेश भेजने जैसा है—गलतियाँ जमा होती हैं, और अंतिम संदेश बिगड़ जाता है।
- इसके बजाय, उन्होंने एक एकल, शक्तिशाली AI (एक डिकोडर LLM) का उपयोग किया जिसे एक ही बार में सब कुछ करने के लिए प्रशिक्षित किया गया था। उन्होंने इसे टेक्स्ट को देखने और तुरंत एक संरचित प्रारूप में पूरा उत्तर "लिखने" के लिए सिखाया।
- आश्चर्य: टीम ने शुरू में सोचा था कि ये "वन-स्टॉप शॉप" AI कहानियाँ लिखने में बहुत अच्छे हैं लेकिन गणित करने में खराब हैं। उन्हें उम्मीद थी कि "जुरी" दृष्टिकोण (चुनौती 1 से) नंबरों का अनुमान लगाने के लिए बेहतर होगा। हालांकि, उन्होंने पाया कि "डिटेक्टिव" AI वास्तव में इस कार्य के लिए बेहतर था। इसने सीधे शब्दों को भावनाओं से जोड़ने के लिए सीखा बिना किसी अलग गणितीय चरण के। यह पता चला कि AI शब्दों की तीव्रता को केवल कहानी को समझकर ही "महसूस" कर सकता था।
परिणाम
- "थर्मोस्टेट" के लिए (सबटास्क 1): उनके "जुरी" दृष्टिकोण ने बहुत अच्छा काम किया, और प्रतियोगिता आयोजकों द्वारा प्रदान किए गए बेसलाइन सिस्टम को पीछे छोड़ दिया। "रूसी अनुवादक" ट्रिक ने विशेष रूप से उन्हें रूसी भाषा ट्रैक में बेहतर स्कोर प्राप्त करने में मदद की।
- "डिटेक्टिव" के लिए (सबटास्क 3): उनके एकल AI डिटेक्टिव ने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, जो 18 टीमों में से 7वें स्थान पर रहा। इस प्रयोग ने साबित कर दिया कि उनकी प्रारंभिक धारणा—कि AI गणित वाले हिस्से में खराब हैं—गलत थी। AI बिना किसी अलग गणितीय चरण के जटिल तर्क और गणना को एक साथ संभाल सकता था।
निचोड़
यह शोध पत्र दिखाता है कि मानवीय भावनाओं को गहराई से समझने के लिए, हमें भावनाओं को सरल श्रेणियों (अच्छा/बुरा) के रूप में मानना बंद करना होगा और उन्हें निरंतर अनुभवों (कितना अच्छा? कितनी तीव्रता?) के रूप में मापना शुरू करना होगा।
टीम ने पाया कि:
- टीमवर्क काम करता है: विभिन्न AI मॉडलों को मिलाने से नंबरों को सही पाने में मदद मिलती है।
- संदर्भ ही सर्वोपरि है: रूसी जैसी कठिन भाषाओं के लिए, नंबरों का अनुमान लगाने से पहले एक AI द्वारा भावनाओं को शब्दों में समझाना बहुत मददगार होता है।
- ऑल-इन-वन शक्तिशाली है: जटिल कार्यों के लिए जहाँ आपको विवरण खोजने और नंबरों का अनुमान लगाने की आवश्यकता होती है, एक एकल, स्मार्ट AI जो एक ही चरण में सब कुछ करता है, अक्सर कई छोटे उपकरणों की श्रृंखला से बेहतर होता है।
लेखक स्वीकार करते हैं कि उनकी प्रणाली की सीमाएं हैं (यह छोटे मॉडलों और विशिष्ट डेटासेट पर सबसे अच्छा काम करती है), लेकिन उनका मानना है कि स्मार्ट AI का उपयोग करके वर्णनात्मक संदर्भ उत्पन्न करना और जटिल तर्क को संभालना, मानवीय भावनाओं को समझने के भविष्य के लिए एक आशाजनक मार्ग है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।