💬 NLP

CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

CSE-UOI टीम ने एक नवीन डेलिब्रेटिव कॉम्प्लेक्सिटी गेटिंग मैकेनिज्म का उपयोग करते हुए, जो राजनीतिक टालमटोल (पॉलिटिकल इवेजन) का पता लगाने के लिए रिस्पॉन्स-लेंथ प्रॉक्सीज़ और क्रॉस-मॉडल सिग्नल्स का लाभ उठाता है, एक हेट्रोजेनियस डुअल-LLM एन्सेम्बल के माध्यम से 0.85 के मैक्रो-F1 स्कोर के साथ SemEval-2026 टास्क 6 में तीसरा स्थान प्राप्त किया।

मूल लेखक: Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

प्रकाशित 2026-03-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप टीवी पर एक राजनीतिक बहस देख रहे हैं। एक पत्रकार एक कठिन, सीधा सवाल पूछता है जैसे, "क्या आपने इस खर्च को मंजूरी दी?" राजनेता जवाब तो देता है, लेकिन "हाँ" या "नहीं" कहने के बजाय, वह अर्थव्यवस्था के बारे में बात करता है, पिछली सरकार को दोष देता है, या "लोगों के लिए कड़ी मेहनत करने" के बारे में एक अस्पष्ट भाषण देता है।

आपका दिमाग तुरंत जान जाता है: वे सवाल से बच रहे हैं।

यह शोध पत्र एक ऐसे कंप्यूटर सिस्टम का वर्णन करता है जो ठीक वही करने के लिए बनाया गया है जो आपका दिमाग करता है, लेकिन एक साथ हजारों इंटरव्यू के लिए। यूनीवर्सिटी ऑफ इओनिना (University of Ioannina) और नेशनल टेक्निकल यूनिवर्सिटी ऑफ एथेंस की टीम ने राजनेताओं द्वारा बात को घुमाने या टालने को पकड़ने के लिए एक "डिजिटल डिटेक्टिव" (Digital Detective) बनाया है।

यहाँ बताया गया है कि उनका सिस्टम कैसे काम करता है, सरल उपमाओं (analogies) के माध्यम से:

1. समस्या: "बचाव" का खेल (The "Evasion" Game)

राजनीतिक इंटरव्यू ट्रिक्स से भरे होते हैं। एक राजनेता:

स्पष्ट उत्तर दे सकता है: "हाँ, मैंने यह किया।"
अस्पष्ट हो सकता है: "हम राजकोषीय जिम्मेदारी के प्रति प्रतिबद्ध हैं।" (क्या यह हाँ है या ना? कौन जाने!)
भाग सकता है: "आइए हमारे शानदार बुनियादी ढांचे की योजना के बारे में बात करते हैं।"

प्रतियोगिता (SemEval-2026) का लक्ष्य कंप्यूटर को इन जवाबों को तीन श्रेणियों (buckets) में वर्गीकृत करना सिखाना था: स्पष्ट उत्तर (Clear Reply), द्विअर्थी/अस्पष्ट (Ambivalent - चालाकी भरा/अस्पष्ट), या स्पष्ट गैर-जवाब (Clear Non-Reply - भाग जाना)।

2. समाधान: एक दो-चरणीय जासूसी दल (A Two-Stage Detective Squad)

टीम ने केवल एक कंप्यूटर दिमाग का उपयोग नहीं किया; उन्होंने दो अलग-अलग, शक्तिशाली AI मॉडलों (जिन्हें Grok और Gemini नाम दिया गया है) का उपयोग करके एक दो-चरणीय टीम बनाई। इन्हें दो अलग-अलग शैलियों वाले जासूसों के रूप में समझें।

चरण 1: "बचाव प्रथम" रणनीति (The "Evasion First" Strategy)

AI से यह पूछने के बजाय कि "क्या यह उत्तर स्पष्ट है?", उन्होंने एक स्मार्ट सवाल पूछा: "राजनेता कौन सी विशिष्ट ट्रिक (चाल) का उपयोग कर रहा है?"

उन्होंने AI को 9 अलग-अलग प्रकार की ट्रिक्स (जैसे "बचना/Dodging," "दोष मढ़ना/Blame-Shifting," या "आंशिक उत्तर/Partial Answer") पहचानने के लिए प्रशिक्षित किया। एक बार जब AI ने ट्रिक को पहचान लिया, तो उसने स्वचालित रूप से उसे अंतिम उत्तर (स्पष्ट, द्विअर्थी, या गैर-जवाब) में बदल दिया।

ऐसा क्यों किया? यह एक डॉक्टर द्वारा किसी विशिष्ट बीमारी (जैसे "फ्लू") का निदान करने जैसा है, बजाय इसके कि केवल यह अनुमान लगाया जाए कि "आप बीमार महसूस कर रहे हैं।" यह अधिक सटीक है।

उन्होंने सेल्फ-कंसिस्टेंसी (Self-Consistency) नामक तकनीक का उपयोग किया। कल्पना करें कि एक ही जासूस से केस को 5 बार हल करने के लिए कहा गया है। यदि 5 में से 4 बार वह कहता है कि "यह एक बचाव (dodge) है," तो आप काफी आश्वस्त हो सकते हैं कि यह बचाव ही है। उन्होंने Grok और Gemini दोनों के लिए यह किया और फिर उन्हें अंतिम उत्तर पर वोट करने दिया।

चरण 2: "डेलिब्रेटिव कॉम्प्लेक्सिटी गेटिंग" (The "Deliberative Complexity Gating" - DCG)

यह शोध पत्र का मुख्य आकर्षण (secret sauce) है। दो जासूसों के होने के बावजूद, वे कभी-कभी सबसे कठिन मामलों में भ्रमित हो जाते हैं। टीम ने एक दिलचस्प बात देखी: जब कोई AI अनिश्चित होता है या चालाकी करने की कोशिश करता है, तो वह अधिक बातें करने लगता है।

उपमा (Analogy): कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि उन्हें उत्तर पता है, तो वे इसे जल्दी से लिख देते हैं। यदि वे समय टाल रहे हैं या बहाना बना रहे हैं, तो वे एक लंबा, भटका हुआ पैराग्राफ लिखते हैं।
तंत्र (Mechanism): सिस्टम में एक "गेटिंग" (Gating) नियम (ट्रैफिक लाइट की तरह) है।
1. लंबाई की जाँच करें: यदि AI का उत्तर असामान्य रूप से लंबा है (जैसे कि समय टालने वाला छात्र), तो यह "अस्पष्टता" (Ambiguity) के लिए एक रेड फ्लैग है।
2. आत्मविश्वास की जाँच करें: क्या AI ने अपने 5 प्रयासों के दौरान अपना विचार बदला? यदि वह असंगत (inconsistent) था, तो यह एक और रेड फ्लैग है।
3. गेट (The Gate): यदि दोनों स्थितियाँ पूरी होती हैं (लंबा उत्तर + असंगत व्यवहार), तो सिस्टम कहता है, "रुको, यह एक पेचीदा मामला है। आइए वोट को ओवरराइड करें और इसे द्विअर्थी (Ambivalent) के रूप में चिह्नित करें।"

यह "गेट" एक सुरक्षा जाल की तरह कार्य करता है, जो उन मामलों को पकड़ लेता है जहाँ मुख्य जासूस गलती करने ही वाले थे क्योंकि राजनेता बहुत अधिक फिसलन भरा (slippery) व्यवहार कर रहा था।

3. सिर्फ एक बहस क्यों नहीं?

शोधकर्ताओं ने एक अलग विचार भी आजमाया: मल्टी-एजेंट डिबेट (Multi-Agent Debate)। उन्होंने कल्पना की कि दोनों AI एक अदालत में सच्चाई खोजने के लिए वकीलों की तरह एक-दूसरे से बहस करेंगे।

परिणाम: यह अच्छा काम नहीं कर पाया। बहस ने उन्हें या तो भ्रमित कर दिया या समय बर्बाद किया।
सबक: दो अलग-अलग विशेषज्ञों (Grok और Gemini) को मिलकर वोट करने देना, उन्हें आपस में बहस करने देने से बेहतर था। "विचारों की विविधता" ने "गरमागरम बहस" को हरा दिया।

4. परिणाम

सिस्टम एक बड़ी सफलता रहा।

यह दुनिया भर की 41 टीमों में से तीसरे स्थान पर रहा।
इसने 0.85 का स्कोर प्राप्त किया (जहाँ 1.0 पूर्ण है)।
यह विशेष रूप से "द्विअर्थी" (Ambivalent) उत्तरों को पकड़ने में अच्छा था—वे उत्तर जो उत्तर की तरह लगते हैं लेकिन वास्तव में नहीं होते।

सारांश

टीम ने एक स्मार्ट सिस्टम बनाया है जो केवल शब्दों को नहीं पढ़ता; यह व्यवहार का विश्लेषण करता है।

यह दो अलग-अलग AI विशेषज्ञों से उपयोग की जा रही विशिष्ट "ट्रिक" को पहचानने के लिए कहता है।
यह सुनता है कि वे कितनी बातें करते हैं और वे कितने आत्मविश्वासी महसूस करते हैं।
यदि AI बहुत अधिक बोलने लगता है और अनिश्चित लगने लगता है, तो सिस्टम गलती को सुधारने के लिए "एम्बिग्युटी बटन" (Ambiguity Button) दबा देता है।

यह एक सुपर-स्मार्ट संपादक की तरह है जो जानता है कि जब कोई राजनेता (या AI) बिना कुछ कहे बहुत अधिक बातें करने लगता है, तो वे शायद कुछ छिपा रहे हैं।

यहाँ पेपर "CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह पेपर SemEval-2026 Task 6 को संबोधित करता है, जो राजनीतिक साक्षात्कार प्रतिक्रिया स्पष्टता वर्गीकरण (Political Interview Response Clarity Classification) पर केंद्रित है। इसका लक्ष्य राजनीतिक साक्षात्कारों के प्रश्न-उत्तर युग्मों (question-answer pairs) को तीन श्रेणियों में स्वचालित रूप से वर्गीकृत करना है:

स्पष्ट उत्तर (Clear Reply): राजनेता सीधे प्रश्न का उत्तर देता है।
अनिश्चित/द्वि-अर्थी (Ambivalent): उत्तर टालने वाला, अस्पष्ट या अप्रत्यक्ष है।
स्पष्ट गैर-उत्तर (Clear Non-Reply): राजनेता स्पष्ट रूप से उत्तर देने से मना करता है या अज्ञानता का दावा करता है।

यह कार्य राजनीतिक विमर्श में सूक्ष्म व्यावहारिक विविधताओं के कारण चुनौतीपूर्ण है, जहाँ टालने की रणनीतियाँ (जैसे कि विषय बदलना, टालना, या सामान्य बातें करना) गहन प्रासंगिक तर्क के बिना स्पष्ट उत्तरों से अलग पहचानना कठिन होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय विषम एन्सेम्बल सिस्टम (two-stage heterogeneous ensemble system) प्रस्तावित करते हैं जो क्रॉस-मॉडल स्व-संगति (self-consistency) को एक नवीन पोस्ट-हॉक सुधार तंत्र (post-hoc correction mechanism) के साथ जोड़ता है।

चरण 1: विषम द्वि-मॉडल एन्सेम्बल (Heterogeneous Dual-Model Ensemble)

सीधे 3-क्लास वर्गीकरण करने के बजाय, सिस्टम एक "एवेशन-फर्स्ट" (evasion-first) रणनीति अपनाता है:

मॉडल: दो अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) समानांतर में उपयोग किए जाते हैं: Grok-4-1-fast-reasoning और Gemini-3-flash-preview।
स्व-संगति (Self-Consistency - SC): प्रत्येक मॉडल चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग का उपयोग करके $k=5$ स्वतंत्र प्रतिक्रियाएँ उत्पन्न करता है। मॉडल्स को निर्देश दिया जाता है कि वे अंतिम 3 स्पष्टता वर्गों के बजाय 9 सूक्ष्म-स्तरीय टालमटोल श्रेणियों (evasion categories) (जैसे कि टालना, विषय बदलना, स्पष्ट, निहित) में वर्गीकरण करें।
मैपिंग (Mapping): 9 टालमटोल लेबल को नियत रूप से 3 लक्षित स्पष्टता वर्गों में मैप किया जाता है। यह एक "त्रुटि बफर" (error buffer) के रूप में कार्य करता है, क्योंकि टालमटोल स्तर पर होने वाली 62.8% त्रुटियाँ भी सही स्पष्टता बकेट में ही मैप होती हैं।
एकत्रीकरण (Aggregation): एक असममित भारित मतदान (asymmetric weighted voting) योजना भविष्यवाणियों को एकत्रित करती है:
- Grok 5 वोट (प्रत्येक SC सैंपल के लिए एक) योगदान देता है।
- Gemini अपने बहुमत टालमटोल लेबल के आधार पर $w=4$ के भार के साथ एक एकल "ब्लॉक वोट" योगदान देता है।
- अंतिम चरण 1 की भविष्यवाणी उच्चतम कुल भारित वोट वाला स्पष्टता वर्ग होती है।

चरण 2: विचारशील जटिलता गेटिंग (Deliberative Complexity Gating - DCG)

"कठिन" या सीमावर्ती नमूनों (जहाँ मॉडल्स के बीच असहमति हो) पर चरण 1 की सीमाओं को दूर करने के लिए, लेखक DCG पेश करते हैं, जो एक नवीन, अनसुपरवाइज्ड, पोस्ट-हॉक सुधार परत है।

मुख्य अंतर्दृष्टि: सिस्टम इस तथ्य का लाभ उठाता है कि LLM प्रतिक्रिया की लंबाई अस्पष्टता (ambiguity) से सहसंबंधित होती। विशेष रूप से, Gemini की लंबी प्रतिक्रियाएँ अक्सर उच्च विचारशील कठिनाई या अस्पष्टता का संकेत देती हैं।
सिग्नल डिस्कवरी: सिस्टम अनिश्चितता का पता लगाने के लिए दो व्यवहारिक संकेतों का उपयोग करता है:
1. Gemini प्रतिक्रिया लंबाई ( $L_i$ ): 5 SC नमूनों की औसत लंबाई।
2. Grok स्व-संगति ( $s_i$ ): Grok के 5 नमूनों का निरंतरता स्कोर।
गेट लॉजिक (Gate Logic): गेट केवल तभी ओवरराइड ट्रिगर करता है जब दोनों शर्तें पूरी हों (क्रॉस-मॉडल पुष्टि):
1. औसत Gemini प्रतिक्रिया लंबाई वर्तमान बैच के प्रथम चतुर्थक ( $Q_{25}$ ) से अधिक हो ( $L_i > \theta_1$ )।
2. Grok की स्व-संगति कम हो ( $s_i < 1.0$ )।
सुधार तंत्र (Correction Mechanism): यदि गेट ट्रिगर होता है, तो सिस्टम भारित वोट में Gemini के योगदान को ओवरराइड कर देता है, जिससे उसका लेबल "Ambivalent" हो जाता है। यह इस पर आधारित है कि उच्च लंबाई + कम निरंतरता एक अस्पष्ट नमूने का संकेत देती है जो संभवतः "Ambivalent" श्रेणी का है।
ट्रांसडक्टिव अनुकूलन (Transductive Adaptation): थ्रेशोल्ड $\theta_1$ बैच-अनुकूलित (batch-adaptive) है (वर्तमान इन्फरेंस बैच पर गतिशील रूप से गणना की जाती है), जो सिस्टम को विकास (development) और मूल्यांकन (evaluation) सेटों के बीच वितरण बदलावों (distribution shifts) के अनुसार समायोजित होने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

एवेशन-फर्स्ट रणनीति के साथ विषम एन्सेम्बल: प्रत्यक्ष 3-क्लास वर्गीकरण से हटकर 9-क्लास टालमटोल वर्गीकरण की ओर बढ़ने से त्रुटि प्रसार (error propagation) कम होता है और विभिन्न मॉडल आर्किटेक्चर की विशिष्ट शक्तियों का लाभ मिलता है।
विचारशील जटिलता गेटिंग (DCG): एक नवीन, हल्का, पोस्ट-हॉक तंत्र जो क्रॉस-मॉडल व्यवहारिक संकेतों (लंबाई और निरंतरता) का उपयोग करके अनुकूल रूप से विचार प्रक्रिया को नियंत्रित करता है। मल्टी-एजेंट डिबेट (multi-agent debate) के विपरीत, जो कंप्यूटेशनल लागत और एजेंटों की संख्या बढ़ाता है, DCG अतिरिक्त API कॉल या प्रशिक्षण के बिना विचारशील क्षमता को बढ़ाता है।
लंबाई के प्रॉक्सी के रूप में अनुभवजन्य सत्यापन: यह पेपर प्रमाण प्रदान करता है कि LLM प्रतिक्रिया लंबाई राजनीतिक विमर्श में एक मजबूत प्रॉक्सी के रूप में मॉडल अनिश्चितता और अस्पष्टता का संकेत देती है।
डिबेट के साथ तुलना: लेखक अपने स्टेटिक फ्यूजन दृष्टिकोण की तुलना मल्टी-एजेंट डिबेट से करते हैं। उन्होंने पाया कि डिबेट (पुनरावृत्ति सहकर्मी समीक्षा) ने प्रदर्शन में सुधार करने के बजाय वास्तव में परिणाम खराब कर दिए, जिससे पता चलता है कि इस विशिष्ट कार्य के लिए मॉडल विविधता (model diversity), संवादात्मक सहमति (conversational consensus) से अधिक प्रभावी है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रदर्शन: सिस्टम ने ब्लाइंड इवैल्यूएशन सेट पर 0.8505 का Macro-F1 स्कोर प्राप्त किया।
रैंकिंग: इसने 41 सबमिशन में से तीसरा स्थान प्राप्त किया।
एब्लेशन अध्ययन (Ablation Studies):
- चरण 1 बनाम चरण 2: DCG जोड़ने से इवैल्यूएशन Macro-F1, 0.8122 (चरण 1) से बढ़कर 0.8505 (चरण 2) हो गया, जो ~3.8 अंकों का महत्वपूर्ण लाभ है।
- डिबेट बनाम स्टेटिक: मल्टी-एजेंट डिबेट (0.7656) ने स्टेटिक एन्सेम्बल (0.7941) की तुलना में प्रदर्शन कम कर दिया, जो पुष्टि करता है कि भारित मतदान के साथ विविध मॉडल बेहतर प्रदर्शन करते हैं।
- थ्रेशोल्ड संवेदनशीलता: बैच-अनुकूलित थ्रेशोल्ड ( $Q_{25}$ ) फिक्स्ड थ्रेशोल्ड से बेहतर रहा, जो ट्रांसडक्टिव अनुकूलन की आवश्यकता को सिद्ध करता है।
त्रुटि विश्लेषण: सिस्टम सबसे अधिक Clear Reply $\leftrightarrow$ Ambivalent सीमा पर संघर्ष करता है (शेष 86.8% त्रुटियों में)। प्रदर्शन मानव एग्रीमेंट (human agreement) के साथ अत्यधिक सह-संबंधित था; जिन नमूनों में मानव सहमति कम थी, वे मॉडल के लिए काफी कठिन थे।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व: यह पेपर दर्शाता है कि व्यवहारिक प्रॉक्सी (जैसे प्रतिक्रिया लंबाई) का उपयोग करके अनुकूली विचारशीलता (adaptive deliberation), फाइन-ट्यूनिंग या मल्टी-एजेंट डिबेट के ओवरहेड के बिना, जटिल वर्गीकरण कार्यों पर LLM प्रदर्शन को महत्वपूर्ण रूप से बढ़ा सकती है। यह एक व्यावहारिक ढांचा प्रदान करता है जो मॉडल-विशिष्ट पूर्वाग्रहों के प्रति मजबूत है।
सीमाएं:
- डोमेन निर्भरता: अस्पष्टता के प्रॉक्सी के रूप में प्रतिक्रिया लंबाई पर निर्भरता अन्य डोमेन या मॉडल्स के लिए पूरी तरह से सामान्यीकृत नहीं हो सकती है।
- बैच की आवश्यकता: DCG तंत्र को डायनेमिक थ्रेशोल्ड ( $Q_{25}$ ) की गणना करने के लिए बैच इन्फरेंस की आवश्यकता होती है, जिससे यह बफरिंग के बिना स्ट्रिक्टली सिंगल-सैंपल, रियल-टाइम स्ट्रीमिंग परिदृश्यों के लिए कम उपयुक्त हो जाता है।
- मालिकाना मॉडल (Proprietary Models): सिस्टम प्रोप्रायटरी APIs (Grok और Gemini) पर निर्भर करता है, जो पुनरुत्पादकता (reproducibility) को सीमित करता है, हालांकि लेखक कहते हैं कि इस दृष्टिकोण को ओपन-वेट मॉडल्स के लिए अनुकूलित किया जा सकता है।

निष्कर्षतः, CSE-UOI सिस्टम राजनीतिक प्रतिक्रिया स्पष्टता वर्गीकरण के लिए स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करने के लिए विषम मॉडल विविधता को एक स्मार्ट, डेटा-संचालित गेटिंग तंत्र के साथ सफलतापूर्वक जोड़ता है, जो "व्यवहारिक सिग्नल" इंजीनियरिंग के संभावित को रेखांकित करता है।