💬 NLP

FregeLogic at SemEval 2026 Task 11: A Hybrid Neuro-Symbolic Architecture for Content-Robust Syllogistic Validity Prediction

यह शोध पत्र FregeLogic प्रस्तुत करता है, जो SemEval-2026 टास्क 11 के लिए एक हाइब्रिड न्यूरो-सिंबोलिक सिस्टम है जो सिलोगिस्टिक वैधता भविष्यवाणी में कंटेंट-बायस्ड त्रुटियों को हल करने के लिए LLMs के एक एनसेंबल को Z3 SMT सॉल्वर के साथ जोड़ता है, जिससे 94.3% सटीकता प्राप्त होती है और विवादित मामलों पर लक्षित औपचारिक सत्यापन के माध्यम से कंटेंट इफेक्ट मेट्रिक को महत्वपूर्ण रूप से कम किया जाता है।

मूल लेखक: Adewale Akinfaderin, Nafi Diallo

प्रकाशित 2026-04-21

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Adewale Akinfaderin, Nafi Diallo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक तर्क न्यायालय (logic court) में न्यायाधीश हैं। आपका काम यह तय करना है कि क्या एक विशिष्ट तर्क (एक न्यायवाक्य/syllogism) तार्किक रूप से वैध (logically valid) है।

यहाँ पेचीदा हिस्सा है: मनुष्य (और वे AI मॉडल जिन्हें हम बनाते हैं) इस काम में बहुत खराब होते हैं यदि तर्क वास्तविक जीवन में "विश्वसनीय" लगता है।

जाल 1: यदि कोई तर्क कहता है, "सभी बिल्लियों की मूंछें होती हैं। मेरे पालतू जानवर की मूंछें हैं। इसलिए, मेरा पालतू जानवर एक बिल्ली है," तो यह सुनने में प्रशंसनीय लगता है, लेकिन यह तार्किक रूप से अमान्य (invalid) है।
जाल 2: यदि कोई तर्क कहता, "सभी यूनिकोर्न बैंगनी होते हैं। मेरा पालतू जानवर बैंगनी है। इसलिए, मेरा पालतू जानवर एक यूनिकोर्न है," तो यह सुनने में मूर्खतापूर्ण लग सकता है, लेकिन तर्क का ढांचा वास्तव में एक ही है।

अधिकांश AI मॉडल भ्रमित हो जाते हैं (जब वे "मूर्खतापूर्ण" या "विश्वसनीय" बातों से टकराते हैं)। वे अपने "वास्तविक दुनिया के ज्ञान" को अपने "तर्क कौशल" में हस्तक्षेप करने देते हैं। इसे कंटेंट इफेक्ट (Content Effect) कहा जाता है।

यह पेपर FregeLogic पेश करता है, जो इस जाल को हराने के लिए बनाया गया एक चतुर सिस्टम है। यह कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है।

पाँच जासूसों की टीम (The LLM Ensemble)

सबसे पहले, सिस्टम पाँच अलग-अलग AI जासूसों (Large Language Models) को काम पर रखता है।

वे सभी बुद्धिमान हैं, लेकिन उनके व्यक्तित्व और सोचने के तरीके अलग-अलग हैं।
उनसे वोट देने के लिए कहा जाता है कि क्या कोई तर्क "वैध" (Valid) है या "अमान्य" (Invalid)।
आमतौर पर, वे सभी सहमत होते हैं। यदि उनमें से 4 या 5 "वैध" कहते हैं, तो सिस्टम इसे स्वीकार कर लेता है।

"असहमति" का अलार्म

यहाँ जीनियस वाला हिस्सा है: सिस्टम करीबी वोटों (close votes) पर नज़र रखता है।

यदि वोट 5-0 या 4-1 है, तो जासूस आश्वस्त हैं। सिस्टम उन पर भरोसा करता है।
लेकिन यदि वोट 3-2 है, तो सिस्टम अलार्म बजा देता है।

क्यों? लेखकों ने महसूस किया कि जब AI जासूस असहमत होते हैं, तो इसका मतलब है कि तर्क पेचीदा है। "विश्वसनीय" सामग्री ने कुछ जासूसों को भ्रमित कर दिया है, जबकि अन्य तर्क पर टिके रहे। यह 3-2 का विभाजन एक संकेत है कि AI "कंटेंट इफेक्ट" से जूझ रहा है।

सख्त गणित का प्रोफेसर (The Z3 Solver)

जब जासूस असहमत होते हैं (3-2 का विभाजन), तो सिस्टम एक सख्त गणित के प्रोफेसर (एक औपचारिक तर्क सॉल्वर जिसे Z3 कहा जाता है) को बुलाता है।

जासूस भाषा समझने में माहिर हैं, लेकिन वे कहानी से विचलित हो जाते हैं।
प्रोफेसर को कहानी की परवाह नहीं है। वह तर्क के शब्दों को हटा देता है। वह केवल तर्क के कंकाल (skeleton) को देखता है।
- जासूस: "रुको, यूनिकोर्न असली नहीं होते! यह अमान्य है!"
- प्रोफेसर: "मुझे फर्क नहीं पड़ता कि यूनिकोर्न मौजूद हैं या नहीं। क्या गणित सही है? हाँ। यह वैध (Valid) है।"

प्रोफेसर एक टाईब्रेकर (tiebreaker) के रूप में कार्य करता है। यदि जासूस आपस में लड़ रहे हैं, तो प्रोफेसर शुद्ध गणित के आधार पर अंतिम निर्णय लेता है।

परिणाम: यह क्यों काम कर गया

टीम ने इसे 960 अलग-अलग तर्क पहेलियों पर परखा।

शुद्ध जासूस टीम: लगभग 93.4% सही थी, लेकिन वे अभी भी "विश्वसनीय" कहानियों से आसानी से छली जा रही थी।
हाइब्रिड टीम (FregeLogic): 94.3% सही थी।
- अधिक महत्वपूर्ण बात यह है कि वे बहुत कम पक्षपाती थे। वे अकेले जासूसों की तुलना में "मूर्खतापूर्ण" कहानियों से लगभग 16% कम बार छले गए।

गुप्त नुस्खा: "संरचित" अनुवादक (The "Structured" Translator)

एक बड़ी समस्या थी: प्रोफेसर (Z3) एक रोबोट है जो केवल "गणित" बोलता है। जासूस "अंग्रेजी" बोलते हैं। प्रोफेसर को तर्क समझाने के लिए, जासूसों को अंग्रेजी वाक्य को एक सख्त JSON कोड में अनुवाद करना था।

पुराना तरीका: जासूसों ने मुक्त-रूप (free-form) टेक्स्ट में कोड लिखने की कोशिश की। वे 22% बार गलतियाँ करते थे, और प्रोफेसर उन्हें पढ़ नहीं पाता था।
नया तरीका: सिस्टम ने जासूसों को एक संरचित टेम्पलेट (जैसे एक सख्त फॉर्म भरना) का उपयोग करने के लिए मजबूर किया। इसने अनुवाद त्रुटियों को लगभग शून्य तक कम कर दिया।

निचोड़ (The Bottom Line)

FregeLogic एक ऐसी टीम की तरह है जो जानती है कि कब अपने अंतर्ज्ञान (AI जासूसों) पर भरोसा करना है और कब एक सख्त नियम पुस्तिका (गणित के प्रोफेसर) को बुलाना है।

केवल तब सख्त नियम पुस्तिका का उपयोग करके जब टीम भ्रमित होती है, उन्होंने कहानी से विचलित हुए बिना सबसे कठिन तर्क पहेलियों को हल करने में सफलता प्राप्त की। यह मानवीय अंतर्ज्ञान को कठोर गणितीय सटीकता के साथ जोड़ने का एक आदर्श उदाहरण है ताकि दोनों तरफ का सर्वश्रेष्ठ प्राप्त किया जा सके।

यहाँ शोध पत्र "FregeLogic at SemEval 2026 Task 11: A Hybrid Neuro-Symbolic Architecture for Content-Robust Syllogistic Validity Prediction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र SemEval-2026 Task 11 (Subtask 1) को संबोधित करता है, जो न्यायवाक्यों (syllogisms - निगमनात्मक तर्क) की वैधता की भविष्यवाणी करने पर केंद्रित है। मुख्य चुनौती सामग्री प्रभाव (content effects) है: वह प्रवृत्ति जहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) वास्तविक दुनिया की विश्वसनीयता (संभाव्यता) को तार्किक निर्णय में हस्तक्षेप करने देते हैं।

लक्ष्य: यह भविष्यवाणी करना कि एक न्यायवाक्य तार्किक रूप से वैध है या अमान्य, चाहे उसकी सामग्री विश्वसनीय हो या अविश्वसनीय।
मेट्रिक: कार्य एक संयुक्त स्कोर (combined score) का उपयोग करता है जो उच्च सटीकता को पुरस्कृत करता है और सामग्री पूर्वाग्रह (Content Effect या CE) के लिए दंडित करता है। सूत्र है: $Score = \frac{Accuracy}{1 + \ln(1 + CE)}$ ।
डेटासेट: चार उपसमूहों (वैध/अवैध $\times$ विश्वसनीय/अविश्वसनीय) में संतुलित 960 न्यायवाक्य।

2. कार्यप्रणाली: FregeLogic आर्किटेक्चर (Methodology: FregeLogic Architecture)

लेखक FregeLogic का प्रस्ताव करते हैं, जो एक हाइब्रिड न्यूरो-सिम्बोलिक प्रणाली है जो LLM एन्सेम्बल के पैटर्न रिकग्निशन को औपचारिक तर्क सॉल्वर (Z3) की कठोर, सामग्री-तटस्थ सत्यापन क्षमता के साथ जोड़ती है। यह प्रणाली तीन चरणों में कार्य करती है:

A. LLM एन्सेबल (The "Neuro" Component)

संरचना: पाँच क्लासिफायर्स का एक एन्सेबल, जो तीन ओपन-वेट मॉडल्स (Llama 4 Maverick, Llama 4 Scout, और Qwen3-32B) को विभिन्न प्रॉम्प्टिंग रणनीतियों के साथ जोड़कर बनाया गया है।
प्रॉम्प्टिंग रणनीतियाँ: इसमें Zero-shot, Few-shot, Few-shot Chain-of-Thought (CoT), और Simple CoT शामिल हैं।
चयन: प्रत्येक क्रॉस-वैलिडेशन फोल्ड के लिए, विविधता को अधिकतम करने और सह-संबंधित त्रुटियों को कम करने के लिए शीर्ष 5 कॉन्फ़िगरेशन (आंतरिक वैलिडेशन सेट के आधार पर) का चयन किया जाता है।
आउटपुट: प्रत्येक क्लासिफायर एक बाइनरी वोट (वैध/अवैध) उत्पन्न करता है। एन्सेबल का बहुमत वोट (majority vote) डिफ़ॉल्ट भविष्यवाणी है।

B. Z3 औपचारिक सत्यापन (The "Symbolic" Component)

भूमिका: यह एक "टाईब्रेकर" और सामग्री-तटस्थ सत्यापनकर्ता के रूप में कार्य करता है।
पाइपलाइन:
1. संरचना निष्कर्षण (Structure Extraction): एक LLM तार्किक संरचना (पद, आधार, निष्कर्ष, प्रपोजिशन के प्रकार A/E/I/O) को स्ट्रक्चर्ड आउटपुट API का उपयोग करके एक JSON ऑब्जेक्ट में निकालता है। इससे निष्कर्षण विफलता दर ~22% से घटकर लगभग शून्य हो गई।
2. FOL एनकोडिंग: संरचना को Z3 SMT सॉल्वर का उपयोग करके फर्स्ट-ऑर्डर लॉजिक (FOL) में एनकोड किया जाता है। लेखकों ने डेटासेट विश्लेषण के आधार पर अस्तित्व संबंधी आयात (existential import) के साथ एक अरस्तू व्याख्या (Aristotelian interpretation) को अपनाया है (अर्थात $\exists x: S(x)$ एक्सिओम जोड़ना)।
3. संतुष्टि जाँच (Satisfiability Check): वैधता यह जाँचकर निर्धारित की जाती है कि क्या आधार (premises) सुसंगत हैं और क्या निष्कर्ष का निषेध (negation) एक विरोधाभास की ओर ले जाता है (UNSAT)।
प्रतिबंध: Z3 को केवल तभी बुलाया जाता है जब LLM एन्सेबल अनिश्चित होता है।

C. टाईब्रेकर निर्णय मॉड्यूल (Tiebreaker Decision Module)

तंत्र: प्रणाली 5-सदस्यीय एन्सेबल का वोट मार्जिन ( $m$ $m$ ) গণনা करती है।
- यदि $m > 1$ है (जैसे 4-1 या 5-0 का विभाजन): तो एन्सेबल का बहुमत वोट उपयोग किया जाता है।
- यदि $m \le 1$ है (विशेष रूप से 3-2 का विभाजन): तो प्रणाली Z3 के निर्णय को स्वीकार करती है (यदि उपलब्ध हो)।
परिकल्पना: करीबी वोट (3-2 विभाजन) उन मामलों को दर्शाते हैं जहाँ सामग्री पूर्वाग्रह LLMs के बीच असहमति का कारण बन रहा है। ये वे सटीक मामले हैं जहाँ एक सामग्री-तटस्थ औपचारिक सॉल्वर त्रुटियों को सुधार सकता है।

3. मुख्य योगदान (Key Contributions)

हाइब्रिड न्यूरो-सिम्बोलिक एकीकरण: यह प्रदर्शित करता है कि केवल LLMs के पैटर्न रिकग्निशन या केवल औपचारिक सत्यापन के बजाय, केवल कम-सहमति वाले एन्सेबल अवस्थाओं के दौरान चुनि적으로 औपचारिक सत्यापन लागू करने से समग्र प्रदर्शन में सुधार होता है।
विश्वसनीयता के लिए स्ट्रक्चर्ड एक्सट्रैक्शन: तार्किक संरचना निष्कर्षण के लिए स्ट्रक्चर्ड-आउटपुट API का उपयोग करने से विफलता दर काफी कम हो गई, जिससे सिम्बोलिक पाइपलाइन वास्तविक अनुप्रयोगों के लिए पर्याप्त मजबूत बन गई।
Aristotelian एनकोडिंग सत्यापन: यह शोध पत्र FOL एनकोडिंग में अस्तित्व संबंधी आयात (existential import) एक्सिओम्स की आवश्यकता को अनुभवजन्य रूप से मान्य करता है ताकि डेटासेट के ग्राउंड ट्रुथ (विशेष रूप से Felapton-प्रकार के न्यायवाक्यों के लिए) से मेल खा सके।
सामग्री प्रभाव में कमी: यह दृष्टिकोण तार्किक तर्क को अर्थ संबंधी विश्वसनीयता (semantic believability) से सफलतापूर्वक अलग करता है, जो LLM रीजनिंग सर्किट की एक ज्ञात कमजोरी को संबोधित करता है।

4. परिणाम (Results)

960-सैंपल डेटासेट पर नेस्टेड 5-फोल्ड क्रॉस-वैलिडेशन के माध्यम से मूल्यांकन किया गया:

प्रदर्शन मेट्रिक्स:
- शुद्ध एन्सेबल (Pure Ensemble): 93.4% सटीकता, CE 3.39, संयुक्त स्कोर 39.12।
- FregeLogic (Tiebreaker): 94.3% सटीकता, CE 2.85, संयुक्त स्कोर 41.88।
सुधार:
- संयुक्त स्कोर में +2.76 अंक की वृद्धि।
- सामग्री प्रभाव (Content Effect) में 16% की कमी (3.39 $\to$ 2.85)।
- सटीकता में 0.9% की वृद्धि।
उपसमूह विश्लेषण: टाईब्रेकर रणनीति ने "वैध" और "अवैध" उपसमूहों के बीच सटीकता के अंतर को महत्वपूर्ण रूप से कम किया, विशेष रूप से Invalid-Believable मामलों में प्रदर्शन में सुधार किया (90.2% से 94.5%), जहाँ सामग्री पूर्वाग्रह सबसे मजबूत होता है।
विफलता विश्लेषण:
- Z3 केवल 7.9% मामलों में हस्तक्षेप करता है (3-2 विभाजन)।
- जिन 30 बार Z3 ने एन्सेबल को ओवरराइड किया, उनमें से 19 सही बदलाव (correct flips) थे और 11 गलत बदलाव (wrong flips) थे (शुद्ध लाभ 8)।
- त्रुटि का स्रोत: ये 11 गलत बदलाव निष्कर्षण त्रुटियों (extraction errors) के कारण हुए थे (LLM द्वारा प्रपोजिशन प्रकार या टर्म बाउंड्रीज को गलत पहचानना), न कि लॉजिकल एनकोडिंग त्रुटियों के कारण। यह पुष्टि करता है कि बाधा निष्कर्षण चरण में है, न कि सॉल्वर में।

5. महत्व (Significance)

लक्षित हस्तक्षेप: यह शोध पत्र सिद्ध करता है कि औपचारिक विधियों को पूरी तरह से LLMs को बदलने की आवश्यकता नहीं है। इसके बजाय, वे तब सबसे प्रभावी होते हैं जब उन्हें एक "सुरक्षा जाल" (safety net) के रूप में उपयोग किया जाता है, विशेष रूप से उन मामलों के लिए जहाँ सामग्री पूर्वाग्रह LLM एन्सेबल को भ्रमित करता है।
स्केलेबिलिटी: इस प्रणाली के लिए किसी पैरामीटर अपडेट (प्रशिक्षण) की आवश्यकता नहीं है और यह इन्फरेंस-टाइम रणनीतियों (प्रॉम्प्टिंग और API कॉल) पर निर्भर करती है, जिससे यह नए मॉडल्स के अनुकूल बनाती है।
मजबूती: सामग्री प्रभाव को कम करके, FregeLogic शुद्ध तर्क क्षमताओं के मूल्यांकन की ओर बढ़ता है, न कि मॉडल की विश्व ज्ञान (world knowledge) को याद करने की क्षमता के।
सीमाएँ और भविष्य का कार्य: यह प्रणाली निष्कर्षण की सटीकता पर निर्भर करती है; यदि LLM तर्क को सही ढंग से पार्स करने में विफल रहता है, तो औपचारिक सॉल्वर मदद नहीं कर सकता है। भविष्य के कार्य में वोट मार्जिन के लिए अनुकूलित थ्रेसहोल्ड और अन्य रीजनिंग कार्यों के लिए इस आर्किटेक्चर को सामान्य बनाने की खोज शामिल है।

संक्षेप में, FregeLogic बुद्धिमानी से LLMs के लचीलेपन को औपचारिक तर्क की कठोरता के साथ जोड़कर, विशेष रूप से उन "कमजोर बिंदुओं" को लक्षित करके SemEval-2026 Task 11 के लिए अत्याधुनिक परिणाम प्राप्त करता है, जहाँ मानवीय पूर्वाग्रह मशीन तर्क में हस्तक्षेप करते हैं।