💬 NLP

UFAL-CUNI at SemEval-2026 Task 11: An Efficient Modular Neuro-symbolic Method for Syllogistic Reasoning

UFAL-CUNI टीम SemEval-2026 टास्क 11 के लिए एक कुशल मॉड्यूलर न्यूरो-सिम्बोलिक सिस्टम प्रस्तुत करती है जो सिलोगिस्टिक रीजनिंग (न्यायवाक्य तर्क) में प्रतिस्पर्धी सटीकता प्राप्त करने के लिए एक छोटे 4B-पैरामीटर वाले LLM पार्सर को एक सिम्बोलिक थ्योरम प्रूवर के साथ जोड़ती है और ज़ीरो-शॉट बेसलाइन से बेहतर प्रदर्शन करती है, हालांकि यह छोटे मॉडलों की बहुभाषी क्षमताओं में सीमाओं को रेखांकित करती है।

मूल लेखक: Ivan Kartáč, Kristýna Onderková, Jan Bronec, Zdeněk Kasner, Mateusz Lango, Ondřej Dušek

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ivan Kartáč, Kristýna Onderková, Jan Bronec, Zdeněk Kasner, Mateusz Lango, Ondřej Dušek

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़ा विचलित रहने वाले छात्र (एक लार्ज लैंग्वेज मॉडल) को तर्क पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं जिन्हें सिलोजिज्म (syllogisms) कहा जाता है। ये पहेलियाँ इस प्रकार की होती हैं:

आधार वाक्य 1: सभी बिल्लियाँ जानवर हैं।
आधार वाक्य 2: कुछ जानवर रोएँदार होते हैं।
निष्कर्ष: इसलिए, कुछ बिल्लियाँ रोएँदार होती हैं।

समस्या यह है कि इस छात्र की एक बुरी आदत है: वे अपने वास्तविक दुनिया के ज्ञान को बीच में आने देते हैं। यदि पहेली कहती है, "सभी बिल्लियाँ रोएँदार होती हैं," तो छात्र "सत्य" कह सकता है क्योंकि वह जानता है कि बिल्लियाँ रोएँदार होती हैं, भले ही पहेली का तर्क वास्तव में उस निष्कर्ष का समर्थन न करता हो। इसे "कंटेंट इफेक्ट" (content effect) कहा जाता है। छात्र इस बात से पक्षपाती है कि वह क्या "जानता" है, बजाय इसके कि पहेली के नियम क्या कहते हैं।

इस शोध पत्र के लेखकों ने इस "विचलित छात्र" को ठीक करने के लिए एक विशेष "ट्यूटरिंग सिस्टम" बनाया है। यह सिस्टम कैसे काम करता है, इसे सरल रूप में यहाँ समझाया गया है:

1. द ट्रांसलेटर (द्विभाषी व्याख्याकार)

सबसे पहले, यदि पहेली किसी विदेशी भाषा (जैसे पुर्तगाली या रूसी) में है, तो सिस्टम एक लार्ज लैंग्वेज मॉडल का उपयोग करके उसे अंग्रेजी में अनुवाद करता है। इसे एक अनुवादक के रूप में समझें जो यह सुनिश्चित करता है कि तर्क का खेल शुरू होने से पहले सभी एक ही भाषा बोल रहे हों।

2. द नोटेशन एक्सपर्ट (द लैटेक्स राइटर)

यह सिस्टम की चतुर चाल है। छात्र को पहेली को सीधे हल करने के लिए कहने के बजाय, सिस्टम उससे वाक्यों को एक विशिष्ट "कोड" में फिर से लिखने के लिए कहता है जिसे फर्स्ट-ऑर्डर लॉजिक (FOL) कहा जाता है, और इसे LaTeX (जो गणितीय सूत्रों जैसा दिखता है) के प्रारूप में लिखा जाता है।

LaTeX क्यों? लेखकों ने महसूस किया कि छात्र को सीधे कंप्यूटर की "मूल भाषा" (Prover9 सिंटैक्स) में लिखने के लिए कहना ऐसा था जैसे किसी इंसान को बाइनरी कोड में बोलने के लिए कहना। इससे बहुत अधिक गलतियाँ होती थीं।
उपमा: यह एक छात्र को व्हाइटबोर्ड पर मानक प्रतीकों ( $\forall$ , $\exists$ , $\rightarrow$ ) का उपयोग करके गणित की समस्या लिखने के लिए कहने जैसा है, बजाय इसके कि वह सीधे उस अजीब, विशिष्ट कोड को टाइप करने की कोशिश करे जिसे केवल कैलकुलेटर समझता है। छात्र "व्हाइटबोर्ड" संस्करण लिखने में बहुत बेहतर होता है क्योंकि उन्होंने इसे अपने प्रशिक्षण डेटा में देखा है।

3. द ट्रांसलेटर (द कोड कनवर्टर)

एक बार जब छात्र "व्हाइटबोर्ड" (LaTeX) प्रारूप में तर्क लिख देता है, तो एक सरल कंप्यूटर स्क्रिप्ट (एक "ट्रांसपाइलर") एक सख्त संपादक के रूप में कार्य करती है। यह तुरंत उस साफ-सुथरे LaTeX कोड को उस विशिष्ट कोड में बदल देती है जिसकी कंप्यूटर को प्रमाण चलाने के लिए आवश्यकता होती है (Prover9 सिंटैक्स)। यह चरण पूरी तरह से यांत्रिक है और इसमें "विचलित" छात्र शामिल नहीं है, इसलिए इसमें गलतियाँ बहुत कम होती हैं।

4. द जज (द ऑटोमेटेड प्रूवर)

अंत में, सिस्टम वह कठोर कोड एक थ्योरम प्रूवर (एक सॉफ्टवेयर जिसे Prover9 कहा जाता है) को सौंप देता है। यह एक रोबोटिक जज है जिसका शून्य भावना और शून्य वास्तविक दुनिया का ज्ञान है। इसे इस बात से कोई फर्क नहीं पड़ता कि बिल्लियाँ रोएँदार हैं या चंद्रमा पनीर से बना है। यह केवल यह जाँचता है: क्या निष्कर्ष गणितीय रूप से आधार वाक्यों से निकलता है? यदि गणित काम करता है, तो यह "वैलिड" (Valid) कहता है। यदि नहीं, तो "इनवैलिड" (Invalid)।

5. द डिटेक्टिव (महत्वपूर्ण सुराग ढूँढना)

कठिन पहेलियों के लिए जहाँ कुछ अतिरिक्त, बेकार वाक्य मिले हुए होते हैं, सिस्टम एक "ग्रीडी एल्गोरिदम" का उपयोग करता है। यह एक जासूस की तरह कार्य करता है जो एक समय में एक सुराग को हटाने की कोशिश करता है। यदि पहेली किसी विशिष्ट सुराग के बिना भी समझ में आती है, तो वह सुराग अप्रासंगिक है। यदि पहेली बिखर जाती है, तो वह सुराग आवश्यक था। यह सुनिश्चित करता है कि सिस्टम केवल उन्हीं तथ्यों पर ध्यान केंद्रित करे जो वास्तव में मायने रखते हैं।

उन्होंने क्या पाया?

छोटा ही सुंदर है: उन्होंने "छात्र" वाले हिस्से के लिए एक अपेक्षाकृत छोटा AI मॉडल (4 बिलियन पैरामीटर्स) इस्तेमाल किया। भले ही छोटे मॉडल आमतौर पर जटिल तर्क में संघर्ष करते हैं, इस सिस्टम ने उन्हें इसमें बहुत अच्छा बना दिया क्योंकि उन्होंने वास्तविक तर्क को रोबोटिक जज को सौंप दिया था।
पक्षपात को हराना: AI को पहले तर्क में अनुवाद करने के लिए मजबूर करके और फिर परिणाम को जज करने के लिए एक रोबोट का उपयोग करके, उन्होंने AI को वास्तविक दुनिया के तथ्यों से पक्षपाती होने से सफलतापूर्वक रोका। "कंटेंट इफेक्ट" में काफी कमी आई।
मेट्रिक की समस्या: शोध पत्र यह भी बताता है कि प्रतियोगिता का स्कोर कैसे तय किया गया था उसमें एक खामी थी। स्कोरिंग सिस्टम इतना संवेदनशील था कि एक छोटी सी, यादृच्छिक गलती भी किसी टीम के स्कोर को गिरा सकती थी, जिससे यह बताना मुश्किल हो जाता था कि कोई सिस्टम वास्तव में "अच्छा" था या केवल "भाग्यशाली"।

निचोड़ (The Bottom Line)

यह शोध पत्र दिखाता है कि तर्क पहेलियों को हल करने के लिए आपको एक विशाल, सुपर-इंटेलिजेंट AI की आवश्यकता नहीं है। इसके बजाय, आप एक छोटे AI का उपयोग अनुवादक के रूप में कर सकते हैं जो मानवीय भाषा को गणित में बदल दे, और फिर वास्तविक सोच के लिए एक मूर्ख लेकिन सटीक रोबोट का उपयोग कर सकते हैं। यह संयोजन AI को इस बात से विचलित होने से रोकता है कि वह दुनिया के बारे में क्या "जानता" है और उसे सख्ती से तर्क के नियमों का पालन करने के लिए मजबूर करता है।