Duluth at SemEval-2026 Task 6: DeBERTa with LLM-Augmented Data for Unmasking Political Question Evasions
डुलुथ टीम की SemEval-2026 टास्क 6 प्रविष्टि, जो क्लास इम्बैलेंस (वर्ग असंतुलन) को संबोधित करने के लिए DeBERTa-V3-base मॉडल को LLM-जनित सिंथेटिक डेटा के साथ जोड़ती है, ने राजनीतिक प्रश्नों से बचने (इवेजन) को वर्गीकृत करने में 0.76 के मैक्रो F1 के साथ 8वां स्थान प्राप्त किया, जो यह दर्शाता है कि ऐसा संवर्धन अस्पष्ट (एम्बीवलेंट) और स्पष्ट प्रतिक्रियाओं के बीच अंतर करने की निरंतर चुनौतियों के बावजूद अल्पसंख्यक-वर्ग की रिकॉल (recall) को प्रभावी ढंग से सुधारता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक राष्ट्रपति के साथ लाइव टीवी इंटरव्यू देख रहे हैं। रिपोर्टर एक सीधा सवाल पूछता है: "क्या आप टैक्स बढ़ाएंगे?"
राष्ट्रपति इसके तीन तरीकों से जवाब दे सकते हैं:
- सीधा जवाब: "हाँ, हम बढ़ाएंगे।" (स्पष्ट उत्तर)
- "शायद" वाला जवाब: "हम आंकड़ों की जांच कर रहे हैं, लेकिन यह अर्थव्यवस्था पर निर्भर करता है..." (अनिश्चित/गोलमोल)
- "नहीं" वाला जवाब: "मैं अभी इस बारे में बात नहीं करने जा रहा हूँ।" (स्पष्ट गैर-जवाब)
राजनीतिज्ञ जवाब नंबर 2 देने में माहिर होते हैं। वे सीधे "हाँ" या "ना" देने के बजाय भारी-भरकम शब्दों, अस्पष्ट वादों और बातों को घुमाने का सहारा लेते हैं।
यह लेख बताता है कि कैसे मिनेसोटाता यूनिवर्सिटी ऑफ डुलुथ के कंप्यूटर वैज्ञानिकों की एक टीम ने SemEval-2026 प्रतियोगिता के दौरान इन टालमटोल वाले जवाबों को पहचानने के लिए एक रोबोटिक दिमाग (एक AI) बनाया। इसे सरल भाषा में यहाँ समझाया गया है।
1. समस्या: AI पक्षपाती था
टीम ने हजारों वास्तविक इंटरव्यू क्लिप्स के डेटासेट से शुरुआत की। लेकिन एक बड़ी समस्या थी: डेटा असंतुलित था।
- अधिकांश जवाब "अनिश्चित" (tricky, गोलमोल) थे।
- बहुत कम जवाब "स्पष्ट गैर-जवाब" (साफ इनकार) थे।
यह एक छात्र को दुर्लभ जानवरों (जैसे हिम तेंदुआ) को पहचानना सिखाने जैसा था, जबकि उनकी पाठ्यपुस्तक के 90% चित्र केवल कुत्तों के थे। AI बार-बार "कुत्ता" (अनिश्चित) बताने लगता क्योंकि उसने वही सबसे ज्यादा देखा था, और वह दुर्लभ "हिम तेंदुए" को पहचानने में विफल रहता था।
2. समाधान: "नकली डेटा" का कारखाना
इसे ठीक करने के लिए, टीम ने केवल असली इंटरव्यू इकट्ठा नहीं किए (जिसमें बहुत समय लगता है), बल्कि इसके बजाय, उन्होंने दो बेहद बुद्धिमान AI सहायकों, Gemini 3 और Claude Sonnet 4.5 को रचनात्मक लेखक के रूप में काम पर लगाया।
उन्होंने इन AI लेखकों को निर्देश दिया: "ऐसे 2,000 नए नकली इंटरव्यू जवाब लिखें जो बिल्कुल दुर्लभ 'स्पष्ट गैर-जवाब' प्रकार के लगें, लेकिन वे काल्पनिक हों।"
- Gemini "कॉन्टेक्स्ट मास्टर" था: इसने नए परिदृश्य लिखे जहाँ एक राजनीतिज्ञ विनम्रता से जवाब देने से मना कर देता है, जिसमें वास्तविक राजनीतिक शब्दावली का मिश्रण था।
- Claude "पैराफ्रेज़ किंग" था: इसने मौजूदा जवाबों को लिया और विविधता पैदा करने के लिए उन्हें अलग-अलग तरीकों से फिर से लिखा।
इन कृत्रिम (नकली लेकिन वास्तविक लगने वाले) उदाहरणों को जोड़ने से, उन्होंने वर्गों के आकार को संतुलित कर दिया। अब, AI छात्र के पास "कुत्तों" और "हिम तेंदुओं" की समान संख्या वाली एक पाठ्यपुस्तक थी।
3. इंजन: एक विशेष मस्तिष्क
टीम ने DeBERTa नामक एक शक्तिशाली AI मॉडल का उपयोग किया। DeBERTA को एक बहुत ही उन्नत 'रीडिंग कॉम्प्रिहेन्शन इंजन' के रूप में समझें। लेकिन उन्होंने इसे केवल "आउट ऑफ द बॉक्स" इस्तेमाल नहीं किया। उन्होंने इसे तीन विशेष अपग्रेड दिए:
- फोकल लॉस (The "Focus Filter"): कल्पना कीजिए कि एक छात्र आसान सवालों से ऊब जाता है और केवल कठिन विषयों पर पढ़ाई करता है। इस तकनीक ने AI को बताया: "आसान 'अनिश्चित' जवाबों पर समय बर्बाद न करें जिन्हें आप पहले से जानते हैं। अपनी सारी ऊर्जा उन कठिन जवाबों को समझने में लगाएं जिन्हें आप बार-बार गलत पहचान रहे हैं।"
- लेयर-वाइज लर्निंग (The "Gradual Update"): AI के सोचने के कई स्तर (layers) होते हैं। टीम ने निचले स्तरों (जो सामान्य भाषा जानते हैं) को शांत रहने और ज्यादा बदलाव न करने के लिए कहा, जबकि ऊपरी स्तरों (जिन्हें राजनीतिक चालें सीखने की जरूरत है) को तेजी से बदलने की अनुमति दी।
- बूलियन फीचर्स (The "Cheat Sheet"): उन्होंने AI को डेटा से दो सरल हाँ/ना वाले संकेत दिए, जैसे "क्या यह कई भागों वाला प्रश्न है?" या "क्या यह एक हाँ/ना वाला प्रश्न है?" इससे AI को केवल शब्दों पर ही नहीं, बल्कि वाक्य की संरचना पर भी ध्यान देने में मदद मिली।
4. परिणाम: टॉप 20%
जब उन्होंने अपने सिस्टम का परीक्षण किया:
- वे 40 टीमों में से 8वें स्थान पर रहे।
- उन्होंने 0.76 का स्कोर प्राप्त किया (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है)।
- जीतने वाली टीम का स्कोर 0.89 था, लेकिन औसत टीम का स्कोर केवल 0.70 था।
इसका अर्थ है कि उनकी "नकली डेटा फैक्ट्री" की रणनीति काम कर गई। उन्होंने दुर्लभ, टालमटोल वाले जवाबों को पहचानने की AI की क्षमता में महत्वपूर्ण सुधार किया।
5. शेष रहस्य: "ग्रे ज़ोन" (धुंधला क्षेत्र)
सफलता के बावजूद, AI अभी भी एक विशिष्ट चीज़ में संघर्ष कर रहा था: "शायद" और "हाँ" के बीच अंतर करना।
- भ्रम की स्थिति: यदि कोई राजनीतिज्ञ कहता है, "हम फंड जुटाने पर विचार करेंगे, लेकिन हमें प्रभाव का अध्ययन करने की आवश्यकता है," तो क्या यह एक स्पष्ट उत्तर है (उन्होंने विचार करने के लिए कहा है) या अनिश्चित (वे बात को टाल रहे हैं)?
- मानवीय कारक: शोध पत्र नोट करता है कि यहाँ तक कि इंसान भी इस पर बहस करते हैं। डेटा को लेबल करने वाले लोग (Annotators) अक्सर इन "ग्रे ज़ोन" वाले जवाबों पर असहमत होते थे।
AI ने वही गलतियाँ कीं जो इंसान करते हैं। वह "हेजिंग" (बात घुमाने वाले) शब्दों (जैसे "शायद", "विचार करना", "अध्ययन करना") से भ्रमित हो गया।
मुख्य निष्कर्ष
डुलुथ की टीम ने दिखाया कि आप AI को राजनीतिक टालमटोल को पहचानने के लिए नकली उदाहरण बनाकर सिखा सकते हैं, जहाँ वास्तविक डेटा की कमी है। हालाँकि AI अभी भी सबसे सूक्ष्म और पेचीदा जवाबों (जहाँ इंसान भी सहमत नहीं हो पाते) में उलझ जाता है, लेकिन इस दृष्टिकोण ने साबित कर दिया कि सिंथेटिक डेटा (कृत्रिम डेटा) जटिल मानवीय व्यवहार के बारे में AI को स्मार्ट बनाने के लिए एक शक्तिशाली उपकरण है।
संक्षेप में: उन्होंने एक रोबोट को राजनीतिज्ञों के "शायद" को पहचानने के लिए प्रशिक्षित किया, जिसे उन्होंने AI द्वारा जनरेट किए गए "शायद" के उदाहरणों का आहार दिया, जिससे उसे राजनीतिक चपलता के धुंध को देखने में मदद मिली।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।