CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse
CLaC टीम का SemEval-2026 टास्क 6 के लिए सिस्टम यह प्रदर्शित करता है कि प्रॉम्प्ट-आधारित लार्ज लैंग्वेज मॉडल्स, राजनीतिक विमर्श में प्रतिक्रिया की स्पष्टता और टालमटोल का पता लगाने में फाइन-ट्यून्ड एनकोडर्स से बेहतर प्रदर्शन करते हैं, जो एक एंसेम्बल रणनीति और समृद्ध इनपुट संदर्भों के माध्यम से शीर्ष स्तर के परिणाम प्राप्त करते हैं और स्पष्ट तथा संदिग्ध उत्तरों के बीच अंतर करने की निरंतर चुनौती को रेखांकित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइव टीवी डिबेट देख रहे हैं जहाँ एक राजनेता को एक सख्त पत्रकार द्वारा घेरा जा रहा है। कभी-कभी राजनेता सवाल का सीधा जवाब देता है। कभी-कभी वह एक अस्पष्ट, "शायद-ऐसा-ही" वाला जवाब देता है जो सुनने में तो जवाब लगता है लेकिन वास्तव में नहीं होता। और कभी-कभी, वह सवाल से पूरी तरह बच निकलता है, यह नाटक करते हुए कि उसने सुना ही नहीं या यह कहते हुए कि उसे पता नहीं है।
आप जो पेपर पढ़ रहे हैं, वह एक टीम के बारे में है (कन्कोर्डिया यूनिवर्सिटी के कंप्यूटर वैज्ञानिकों की) जिन्होंने इन जवाबों को स्वचालित रूप से ग्रेड करने के लिए एक "स्मार्ट रेफरी" बनाया है। उन्होंने एक प्रतियोगिता में भाग लिया जिसका नाम SemEval-2026 Task 6 है, यह देखने के लिए कि कौन सबसे अच्छा रेफरी बना सकता है।
यहाँ बताया गया है कि उन्होंने यह कैसे किया, सरल भाषा में:
खेल के दो स्तर
प्रतियोगिता में दो स्तर थे, जैसे एक वीडियो गेम में "ईज़ी मोड" और "हार्ड मोड" होते हैं:
- स्तर 1 (बड़ी तस्वीर): क्या जवाब स्पष्ट (Clear), अस्पष्ट (Vague), या पूरी तरह से बचाव (Total Dodge) है? (3 श्रेणियाँ)।
- स्तर 2 (बारीक विवरण): यदि जवाब अस्पष्ट है या बचाव है, तो उन्होंने इसे ठीक वैसे ही कैसे किया? (9 विशिष्ट श्रेणियाँ, जैसे "विषय से भटकना," "बहुत सामान्य होना," या "अनजान होने का दावा करना")।
तीन रणनीतियाँ जो उन्होंने आजमाईं
टीम ने अपने रेफरी को बनाने के लिए तीन अलग-अलग तरीके आजमाए:
1. "विशेषज्ञ प्रशिक्षक" (एनकोडर मॉडल)
इन्हें ऐसे छात्रों के रूप में सोचें जिन्होंने राजनीतिक जवाबों के हजारों उदाहरण रट लिए हैं। वे पैटर्न पहचानने में बहुत अच्छे हैं, लेकिन वे कठोर हैं।
- प्रयोग: उन्होंने 8 अलग-अलग "छात्रों" (कंप्यूटर मॉडल) को आजमाया और उन्हें चार-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करके सिखाया।
- चाल: उन्होंने पाया कि यदि वे छात्रों को सब कुछ रटने देते (फुल ट्रेनिंग), तो छात्र भ्रमित हो जाते और गलतियाँ करते। लेकिन यदि वे छात्रों को कहते, "तुम पहले से ही बुनियादी बातें जानते हो, बस अपने दिमाग के ऊपरी 25% हिस्से को थोड़ा ट्यून करो," तो छात्र बहुत बेहतर प्रदर्शन करते।
- परिणाम: भले ही उन्होंने सभी 8 छात्रों को एक "स्टडी ग्रुप" (एक समूह) में मिला दिया, वे अच्छे थे, लेकिन सर्वश्रेष्ठ नहीं।
2. "लॉन्ग-कॉन्टेक्स्ट रीडर" (लॉन्फॉर्मर)
कुछ इंटरव्यू बहुत लंबे होते हैं। टीम ने एक विशेष मॉडल आजमाया जिसे लंबी कहानियों को याद रखने के लिए डिज़ाइन किया गया है।
- परिणाम: यह उम्मीद के मुताबिक काम नहीं आया। भले ही यह लंबे टेक्स्ट को "पढ़" सकता था, लेकिन इसने मानक मॉडलों की तुलना में जवाबों की बारीकियों (nuance) को बेहतर ढंग से नहीं समझा। यह एक विशाल पुस्तकालय के लिए लाइब्रेरी कार्ड होने जैसा है लेकिन फिर भी आपको सही किताब ढूँढना नहीं आता।
3. "सुपर-इंटेलिजेंट ट्यूटर्स" (लार्ज लैंग्वेज मॉडल्स / LLMs)
ये "प्रतिभाशाली" मॉडल (जैसे GPT-5, Gemini और Qwen) हैं जिन्हें इस विशिष्ट डेटासेट पर विशेष रूप से प्रशिक्षित नहीं किया गया है। इसके बजाय, टीम ने उन्हें एक बहुत विस्तृत निर्देश पुस्तिका (एक "प्रॉम्ट") दी और उनसे जज करने के लिए कहने से पहले उन्हें 27 अच्छे जवाब दिखाए।
- सीक्रेट सॉस: टीम ने महसूस किया कि उन्हें सवाल पूछने का तरीका मॉडल के आकार से अधिक महत्वपूर्ण था।
- उन्होंने मॉडल्स को पूरा संदर्भ (पूरी बातचीत, न कि केवल प्रश्न) दिया।
- उन्होंने मॉडल्स को एक "चीट शीट" दी जो जटिल श्रेणियों को विस्तार से समझाती थी।
- उन्होंने मॉडल्स को जवाब देने से पहले "आंतरिक रूप से विचार करने" के लिए कहा।
- परिणाम: इन "ट्यूटर्स" ने प्रतियोगिता में सबको पछाड़ दिया। उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं थी; उन्हें बस सही निर्देश चाहिए थे।
बड़ी जीत और आश्चर्य
- "स्टडी ग्रुप" प्रभाव: टीम ने अपने तीन सर्वश्रेष्ठ "ट्यूटर्स" (GPT-5, Gemini, और Qwen) को एक अंतिम टीम में मिला दिया। यदि दो ट्यूटर्स एक जवाब पर सहमत होते, तो वही अंतिम निर्णय होता। इस टीम ने आसान स्तर पर 100 में से 80 और कठिन स्तर पर 100 में से 59 अंक प्राप्त किए।
- आकार मायने नहीं रखता: आप सोच सकते हैं कि एक बड़ा, अधिक शक्तिशाली मॉडल हमेशा जीतेगा। लेकिन टीम ने पाया कि एक विशाल 253-बिलियन-पैरामीटर वाला मॉडल, एक छोटे, स्मार्ट 70-बिलियन-पैरामीटर वाले मॉडल की तुलना में खराब प्रदर्शन करता है। यह इस बारे में नहीं है कि दिमाग कितना बड़ा है; यह इस बारे में है कि आप उससे बात कैसे करते हैं।
- "अस्पष्टता" की समस्या: "स्पष्ट उत्तर" और "अस्पष्ट उत्तर" के बीच अंतर करना दोनों (कंप्यूटर और मानव जज) के लिए सबसे कठिन हिस्सा था। मानव जज भी इस पर अक्सर असहमत होते थे। कंप्यूटरों ने भी वही गलती की, जिससे पता चलता है कि कुछ राजनीतिक जवाब स्वाभाविक रूप से भ्रमित करने वाले होते हैं।
मुख्य निष्कर्ष
टीम का "सुपर-इंटेलिजेंट ट्यूटर" सिस्टम आसान स्तर के लिए 41 टीमों में से 9वां सर्वश्रेष्ठ और कठिन स्तर के लिए 33 टीमों में से तीसरा सर्वश्रेष्ठ था।
मुख्य सबक क्या है? जब ट्रिकी राजनीतिक जवाबों को समझने की कोशिश की जाती है, तो आपको जरूरी नहीं कि शून्य से एक नया, सुपर-महंगा कंप्यूटर दिमाग बनाने की आवश्यकता हो। कभी-कभी, आपको बस एक स्मार्ट, मौजूदा दिमाग लेने, उसे एक बहुत अच्छी निर्देश पुस्तिका देने, उसे कुछ उदाहरण दिखाने और उसे काम करने देने की आवश्यकता होती है।
उन्होंने यह भी उल्लेख किया कि उनका कोड और निर्देश मुफ्त में उपलब्ध हैं ताकि अन्य शोधकर्ता अगली बार उनके स्कोर को मात देने की कोशिश कर सकें!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।