HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization
HABIB_TAZ सिस्टम ने सिंथेटिक सिलोगिस्टिक डेटा पर प्रशिक्षित mDeBERTa-v3 मॉडल्स और मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन का उपयोग करके, कई भाषाओं में औपचारिक तर्क (formal logic) को सामग्री पूर्वाग्रह (content bias) से प्रभावी ढंग से अलग करते हुए SemEval-2026 टास्क 11 में शीर्ष रैंकिंग हासिल की।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को तर्क पहेलियाँ (logic puzzles) सुलझाना सिखा रहे हैं। आप उसे एक नियम देते हैं: "यदि सभी पक्षी उड़ सकते हैं, और पेंगुइन एक पक्षी है, तो एक पेंगुइन उड़ सकता है।" एक इंसान रुककर कह सकता है, "रुको, पेंगुइन उड़ नहीं सकते! यह नियम वास्तविक दुनिया में गलत है।" लेकिन एक रोबोट जो अपने "सामान्य ज्ञान" पर बहुत अधिक निर्भर करता है, वह भ्रमित हो सकता है। वह सोच सकता है, "ओह, पेंगुइन पक्षी हैं, और पक्षी उड़ते हैं, इसलिए निष्कर्ष सत्य होना चाहिए," भले ही तर्क स्वयं त्रुटिपूर्ण हो क्योंकि शुरुआती नियम गलत था। यह एक पेचीदा समस्या है जिसे वैज्ञानिक 'लार्ज लैंग्वेज मॉडल्स' (LLMs) के साथ हल करने की कोशिश कर रहे हैं। ये शक्तिशाली AI दिमाग हैं जो चैटबॉट्स और सर्च इंजन के पीछे होते हैं। ये कहानियाँ लिखने और सवालों के जवाब देने में अद्भुत हैं, लेकिन ये अक्सर इस बात में संघर्ष करते हैं कि जो तार्किक रूप से सत्य है और जो विश्वसनीय लगता है, उनके बीच अंतर कैसे किया जाए। वे "कंटेंट इफेक्ट्स" (content effects) से धोखा खा जाते हैं, जहाँ शब्दों का वास्तविक दुनिया का अर्थ उन्हें वास्तविक तर्क की संरचना से विचलित कर देता है। इस शोध का लक्ष्य एक ऐसा AI बनाना है जो एक सख्त तर्कशास्त्री (logician) की तरह कार्य करे: एक ऐसा जो यह जाँच सके कि तर्क का गणित काम करता है या नहीं, चाहे वह कहानी कितनी भी बेतुकी या समझदारी भरी क्यों न लगे।
इस प्रोजेक्ट के पीछे की टीम, HABIB_TAZ ने अपनी इस क्षमता का परीक्षण करने के लिए SemEval-2026 Task 11 नामक एक प्रतियोगिता में भाग लिया। उनका मिशन एक ऐसा सिस्टम बनाना था जो 12 अलग-अलग भाषाओं में 'सिलोजिज्म' (syllogisms - एक प्रकार का तार्किक तर्क जिसमें दो आधार और एक निष्कर्ष होता है) को देख सके और यह तय कर सके कि निष्कर्ष नियमों का पालन करता है या नहीं, भले ही आधार (premises) निरर्थक हों या उनमें कुछ अतिरिक्त भटकाने वाले वाक्य डाले गए हों।
इसे हल करने के लिए, शोधकर्ताओं ने केवल अपने AI को अधिक वास्तविक दुनिया का डेटा नहीं दिया। इसके बजाय, उन्होंने एक "सिंथेटिक" प्रशिक्षण मैदान बनाया। कल्पना कीजिए कि उन्होंने एक विशाल फैक्ट्री बनाई जो वास्तविक जानवरों या वस्तुओं के बजाय सख्त, मनगढ़ंत नियमों और निरर्थक शब्दों का उपयोग करके लाखों तर्क पहेलियाँ उत्पन्न करती है। यह AI को वास्तविक दुनिया के ज्ञान के आधार पर शॉर्टकट सीखने से रोकने के लिए था। फिर उन्होंने अपने AI मॉडल को प्रशिक्षित किया, जो mDeBERTa-v3 नामक एक शक्तिशाली भाषा इंजन पर आधारित है, जिसमें एक विशेष तीन-भागों वाला प्रशिक्षण नुस्खा (recipe) इस्तेमाल किया गया। पहले, उन्होंने एक ऐसी तकनीक का उपयोग किया जिससे यह सुनिश्चित हो सके कि मॉडल कठिन और पेचीदा उदाहरणों को अनदेखा न करे। दूसरे, उन्होंने एक "बायस पेनल्टी" (bias penalty) जोड़ी, जो एक शिक्षक की तरह है जो छात्र को हर बार धीरे से डांटता है जब वह इस बात से विचलित होता है कि कोई कहानी कितनी "विश्वसनीय" लगती है, जिससे उसे केवल तर्क पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है। तीसरे, उन्होंने एक "कंसिस्टेंसी चेक" (consistency check) का उपयोग किया ताकि यह सुनिश्चित हो सके कि मॉडल समझ सके कि एक जटिल वाक्य का वही तार्किक अर्थ है जो एक सरल वाक्य का है।
परिणाम शानदार स्कोर और दिलचस्प चुनौतियों का मिश्रण थे। सरल कार्यों पर—केवल अंग्रेजी वाली पहेलियाँ, भटकाव वाली अंग्रेजी पहेलियाँ, और बिना भटकाव वाली 12 भाषाओं की पहेलियाँ—उनके सिस्टम ने 100.0 का पूर्ण स्कोर प्राप्त किया। इसने "वास्तविक दुनिया" के धोखों को पूरी तरह से अनदेखा कर दिया और हर बार तर्क को सही पाया, जिसमें शून्य पूर्वाग्रह (zero bias) था। हालाँकि, सबसे कठिन चुनौती "नॉइजी मल्टीलिंगुअल" (Noisy Multilingual) कार्य थी, जहाँ AI को 12 भाषाओं और भटकाने वाले वाक्यों के साथ निपटना था। यहाँ, सिस्टम छठे स्थान पर रहा। इसने 89.06% उत्तर सही दिए, लेकिन इसमें अभी भी थोड़ा पूर्वाग्रह (2.89%) दिखा।
शोधकर्ताओं ने पाया कि उनका विशेष प्रशिक्षण नुस्खा आसान कार्यों के लिए चमत्कार की तरह काम करता है, जो यह सिद्ध करता है कि आप एक AI को शुद्ध तर्कशास्त्री बना सकते हैं यदि आप इसे वास्तविक दुनिया के अव्यवस्थित टेक्स्ट के बजाय सिंथेटिक, नियम-आधारित डेटा पर प्रशिक्षित करते हैं। सबसे कठिन कार्य के लिए, उन्होंने देखा कि उनका मॉडल मूल बहुभाषी डेटा की तुलना में अंग्रेजी अनुवादों के साथ अधिक संघर्ष करता है, जो यह सुझाव देता है कि मॉडल विभिन्न भाषाओं को कैसे संभालता है, वह अभी भी थोड़ा अस्थिर है। उन्होंने यह भी खोजा कि एक विशिष्ट "कंसिस्टेंसी चेक" (KL-Divergence का उपयोग करके) जोड़ने से मॉडल को विभिन्न भाषाओं में स्थिर रहने में मदद मिली, हालांकि इसे चलाने के लिए बहुत अधिक कंप्यूटर पावर की आवश्यकता थी। अंततः, यह पेपर सुझाव देता है कि जबकि हम ऐसे AI बना सकते हैं जो शुद्ध तर्क में अविश्वसनीय रूप से अच्छे हैं, उन्हें हर भाषा और हर प्रकार के शोर (noise) के प्रति मजबूत बनाना अभी भी एक प्रगतिशील कार्य है। टीम ने अपने कोड और डेटा जनरेशन टूल्स को सार्वजनिक कर दिया है, इस उम्मीद में कि अन्य लोग भविष्य में और भी बेहतर, अधिक तार्किक AI बनाने के लिए इनका उपयोग करेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।