SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance
यह शोध पत्र SEF-CLGC पाइपलाइन प्रस्तुत करता है, जो SemEval-2026 टास्क 11 पर 27.80% कंटेंट स्कोर प्राप्त करने के लिए स्मॉल लैंग्वेज मॉडल्स के साथ औपचारिक तार्किक नोटेशन को एकीकृत करता है और साथ ही तर्क में कंटेंट बायस (सामग्री पूर्वाग्रह) को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन नन्हे रोबोट को तर्क पहेलियाँ (logic puzzles) सुलझाना सिखाने की कोशिश कर रहे हैं। आमतौर पर, जब लोग ऐसे रोबोट बनाते हैं, तो वे उन्हें विशाल बना देते हैं और उन्हें सीखने के लिए पूरा इंटरनेट खिला देते हैं। लेकिन यह शोध पत्र एक अलग दृष्टिकोण के बारे में है: स्मॉल लैंग्वेज मॉडल्स (SLMs) का उपयोग करना। इन्हें "जेब के आकार वाले" रोबल्स के रूप में सोचें जो ऊर्जा के मामले में किफायती हैं, फिर भी यदि उन्हें सही ढंग से प्रशिक्षित किया जाए तो वे जटिल सोच रखने में सक्षम हैं।
शोधकर्ताओं ने SemEval-2026 Task 11 नामक एक प्रतियोगिता में भाग लिया। चुनौती सतह पर सरल थी: एक तार्किक तर्क (जिसे सिलोजिज्म कहा जाता है) को देखें और तय करें कि वह सत्य (वैध) है या असत्य (अवैध)।
यहाँ पेचीदा बात यह है: इंसान (और बड़े AI मॉडल) अक्सर इस बात से चकित हो जाते हैं कि तर्क सुनने में कैसा लगता है। यदि निष्कर्ष एक वास्तविक दुनिया के तथ्य जैसा लगता है (जैसे, "सभी बिल्लियाँ स्तनधारी हैं"), तो हम उसे "सत्य" कह सकते हैं, भले ही तर्क दोषपूर्ण हो। इसे कंटेंट बायस (विषयगत पूर्वाग्रह) कहा जाता है। लक्ष्य रोबोट को शब्दों के "स्वाद" को अनदेखा करने और केवल "नुस्खे" (तर्क संरचना) पर ध्यान केंद्रित करने के लिए प्रशिक्षित करना था।
गुप्त नुस्खा: पहेली का अनुवाद करना
टीम ने एक पाइपलाइन का उपयोग किया जिसे उन्होंने SEF-CLGC नाम दिया। यह कैसे काम करता है, यहाँ खाना पकाने के उदाहरण से समझाया गया है:
- कच्ची सामग्री (प्राकृतिक भाषा): पहेली अंग्रेजी में एक वाक्य के रूप में शुरू होती है, जैसे "सभी कारें वाहन हैं। कोई जानवर कार नहीं है..."
- अनुवाद (FOL): सबसे पहले, वे उस अंग्रेजी वाक्य को फर्स्ट-ऑर्डर लॉजिक (FOL) में बदलने के लिए एक शक्तिशाली अनुवादक (ChatGPT नामक एक AI) का उपयोग करते हैं। यह अंग्रेजी वाक्य को एक सटीक रासायनिक सूत्र में बदलने जैसा है। यह सभी अस्पष्टताओं को दूर कर देता है।
- स्वाद के बदलाव (लॉजिकल नोटेशन): एक बार जब उनके पास वह रासायनिक सूत्र आ जाता है, तो वे उसे तर्क के विभिन्न "बोलियों" में अनुवादित करते हैं। कुछ मानक गणित की तरह दिखते हैं, कुछ कंप्यूटर कोड (CLINGO) की तरह दिखते हैं, और अन्य कस्टम-मेड शॉर्टकट होते हैं।
- उपमा: कल्पना कीजिए कि आपके पास एक गाना है। आप इसे पियानो (प्राकृतिक भाषा), सिंथेसाइज़र (FOL), या ड्रम मशीन (CLINGO) पर बजा सकते हैं। गाना वही है, लेकिन वाद्य यंत्र बदल जाता है जिससे उसका स्वर बदल जाता है।
- प्रशिक्षण: उन्होंने इन विभिन्न संस्करणों वाले तर्क संबंधी पहेलियों को अपने नन्हे रोबोट मॉडल्स को खिलाया। वे यह देखना चाहते थे कि क्या रोबोट को केवल "अंग्रेजी वाक्यों" के बजाय "रासायनिक सूत्रों" (तर्क) को पढ़ना सिखाने से उसे विषय (कंटेंट) से धोखा खाने से बचने में मदद मिलेगी।
परिणाम: छोटा लेकिन शक्तिशाली
शोधकर्ताओं ने अपने मॉडल्स का परीक्षण किया और कुछ आश्चर्यजनक चीजें पाईं:
- "हाइब्रिड" दृष्टिकोण की जीत हुई: सबसे अच्छा मॉडल वह नहीं था जो केवल अंग्रेजी बोलता था या वह नहीं था जो केवल शुद्ध तर्क बोलता था। विजेता वह मॉडल था जिसने अंग्रेजी वाक्य और तर्क सूत्र दोनों को एक साथ देखा। यह ऐसा था जैसे रोबोट को एक नक्शा और एक दिशा-सूचक यंत्र (compass) दोनों देना।
- पूर्वाग्रह को हराना: इन तार्किक "बोलियों" पर प्रशिक्षण देकर, मॉडल वास्तविक दुनिया के तथ्यों को अनदेखा करने और नियमों पर ध्यान केंद्रित करने में बहुत बेहतर हो गए। उन्होंने "कंटेंट बायस" को काफी कम कर दिया।
- स्कोर: उनके सर्वश्रेष्ठ मॉडल ने सटीकता और निष्पक्षता (पूर्वाग्रह को अनदेखा करना) के बीच संतुलन बनाने के तरीके को मापने के लिए डिज़ाइन किए गए एक विशिष्ट मीट्रिक पर 27.80% का स्कोर प्राप्त किया। हालांकि यह संख्या कम लग सकती है, लेकिन इस विशिष्ट, पूर्वाग्रह-युक्त परीक्षण में, यह इतने छोटे मॉडल के लिए एक मजबूत प्रदर्शन था।
- क्या काम नहीं आया: कुछ कस्टम, अत्यधिक अमूर्त तार्किक भाषाएँ नन्हे रोबोट्स के लिए बहुत भ्रमित करने वाली थीं। यह एक नौसिखिए को बिना स्वरों वाली भाषा का उपयोग करके पढ़ना सिखाने जैसा है; रोबोट बस खो जाता।
मुख्य निष्कर्ष
शोध पत्र का दावा है कि जटिल तर्क समस्याओं को हल करने के लिए आपको विशाल, ऊर्जा-खपत करने वाले सुपरकंप्यूटर की आवश्यकता नहीं है। स्मॉल लैंग्वेज मॉडल्स का उपयोग करके और उन्हें प्राकृतिक भाषा के साथ-साथ "तर्क भाषाएं" बोलना सिखाकर, आप एक ऐसी प्रणाली बना सकते हैं जो है:
- किफायती: यह बहुत कम कंप्यूटिंग शक्ति का उपयोग करती है।
- अधिक निष्पक्ष: इसके द्वारा तर्क के स्वरूप से धोखा खाने की संभावना कम है।
- प्रतिस्पर्धी: यह तर्क कार्यों में बहुत बड़े मॉडल्स का मुकाबला कर सकती है।
लेखकों ने एक सीमा भी बताई: उन्होंने अंग्रेजी से तर्क में प्रारंभिक अनुवाद करने के लिए एक व्यावसायिक AI पर भरोसा किया। यदि वह व्यावसायिक AI अपना निर्णय बदल देता है या अपडेट हो जाता है, तो यह पूरे पाइपलाइन को बिगाड़ सकता है, जैसे कि यदि अनुवादक अचानक एक अलग बोली बोलने लगे।
संक्षेप में, उन्होंने साबित किया कि सही "अनुवाद उपकरणों" के साथ, एक छोटा, कुशल रोबोट बिना कहानी से विचलित हुए तार्किक रूप से सोचना सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।