ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs
ITLC टीम SemEval-2026 टास्क 11 के लिए एक नवीन विधि प्रस्तावित करती है जो न्यायवाक्यों (syllogisms) को मानक तार्किक रूपों में बदलकर और नियत पार्सिंग (deterministic parsing) लागू करके बहुभाषी तर्क में सामग्री संबंधी पूर्वाग्रहों को कम करती है, जिससे जटिल फाइन-ट्यूनिंग पर निर्भर किए बिना सभी उप-कार्यों (subtasks) में शीर्ष-5 रैंकिंग प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़ा विचलित रहने वाले छात्र (एक लार्ज लैंग्वेज मॉडल या LLM) को तर्क पहेलियाँ (logic puzzles) हल करना सिखाने की कोशिश कर रहे हैं। यह छात्र कहानियों को पढ़ने में बहुत माहिर है और दुनिया के बारे में बहुत कुछ जानता है, लेकिन जब बात शुद्ध तर्क (pure logic) की आती है, तो वह कहानी के कारण ही धोखा खा जाता है।
यह पेपर एक टीम के बारे में है जिसने इस समस्या को ठीक करने के लिए एक "लॉजिक ट्रांसलेटर" बनाया है। यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके समाधान का विवरण दिया गया है।
समस्या: "कहानी का जाल" (The Story Trap)
कल्पना कीजिए कि आप अपने छात्र को यह पहेली देते हैं:
आधार 1: सभी बिल्लियाँ स्तनधारी (mammals) हैं।
आधार 2: कोई कुत्ते बिल्लियाँ नहीं हैं।
निष्कर्ष: इसलिए, कोई कुत्ता स्तनधारी नहीं है।
तर्क के अनुसार, यह गलत है। लेकिन क्योंकि छात्र जानता है कि असल जिंदगी में कुत्ते स्तनधारी होते हैं, वह भ्रमित हो जाता है। वह सोचता है, "रुको, मैं जानता हूँ कि कुत्ते स्तनधारी हैं, इसलिए निष्कर्ष सही होना चाहिए!" वह अपने वास्तविक दुनिया के ज्ञान (कंटेंट) को पहेली के सख्त नियमों (लॉजिक) पर हावी होने दे रहा है।
यह तब और भी अधिक होता है जब पहेली किसी दूसरी भाषा में हो, जैसे स्पेनिश या स्वाहिली, जहाँ छात्र अनुवाद की बारीकियों में खो सकता है।
समाधान: "लॉजिक ट्रांसलेटर" (The Logic Translator)
टीम (ITLC) ने छात्र के दिमाग को फिर से प्रशिक्षित करने की कोशिश नहीं की (जो कठिन और महंगा है)। इसके बजाय, उन्होंने एक अनुवादक (translator) बनाया जो पहेली और छात्र के बीच बैठता है।
उनकी विधि के तीन मुख्य चरण हैं:
1. "अल्फाबेट सूप" नॉर्मलाइजेशन (स्वाद को हटाना)
कल्पना कीजिए कि पहेली एक स्वादिष्ट, जटिल सूप है जिसमें गाजर, आलू और मसाले हैं। छात्र गाजर (विशिष्ट शब्दों) से विचलित हो जाता है।
टीम का पहला कदम उस सूप को "अल्फाबेट सूप" में बदलना है।
- "बिल्लियों", "कुत्तों" और "स्तनधारियों" के बजाय, वे उन्हें A, B, और C से बदल देते हैं।
- "सभी" या "कोई नहीं" के बजाय, वे मानक प्रतीकों जैसे A (सभी) या E (कोई नहीं) का उपयोग करते हैं।
अब पहेली ऐसी दिखती है:
सभी A, B हैं।
कोई C, A नहीं है।
इसलिए, कोई C, B नहीं है।
अचानक, छात्र "कुत्तों" या "बिल्लियों" से विचलित नहीं हो सकता। उसे संरचना (structure) पर ध्यान देना होगा। यह आकार छाँटने वाले खिलौने से रंग हटा देने जैसा है ताकि बच्चा पेंट के लाल या नीले रंग पर नहीं, बल्कि आकार पर ध्यान केंद्रित करे।
2. "इंग्लिश ब्रिज" (विदेशी भाषाओं के लिए)
जब पहेली किसी विदेशी भाषा (जैसे फ्रेंच या रूसी) में होती है, तो छात्र शब्दों के "स्वाद" को समझने में संघर्ष कर सकता है।
टीम एक चतुर ट्रिक का उपयोग करती है: वे केवल व्याकरण (जैसे "सभी", "कोई नहीं") को अंग्रेजी में अनुवाद करते हैं, लेकिन वे संज्ञा (nouns) को मूल भाषा में ही रखते हैं।
- मूल (फ्रेंच): "Tous les chiens sont des mammifères."
- अनुवादित तर्क: "All chiens are mammifères।"
यह एक पुल (bridge) की तरह काम करता है। यह छात्र को वाक्य के नियमों (जो सार्वभौमिक हैं) को समझने में मदद करता है, बिना उस विशिष्ट भाषा की शब्दावली से भ्रमित हुए। यह एक पर्यटक को एक ऐसे मानचित्र देने जैसा है जहाँ सड़कों के नाम उसकी अपनी भाषा में हैं, लेकिन "बाएँ मुड़ें" और "सीधे जाएँ" के संकेत अंग्रेजी में हैं।
3. "डिटरमिनिस्टिक चेक" (कठोर नियम पुस्तिका)
एक बार जब पहेली "इंग्लिश ब्रिज" के साथ "अल्फाबेट सूप" में अनुवादित हो जाती है, तो टीम छात्र से यह "अनुमान" लगाने के लिए नहीं कहती कि क्या यह सही है। इसके बजाय, वे एक कठोर नियम पुस्तिका (एक कंप्यूटर प्रोग्राम) का उपयोग करते हैं।
- प्रोग्राम जाँचता है: "क्या A, B और C का यह पैटर्न 24 वैध तार्किक रूपों में से एक से मेल खाता है?"
- यदि हाँ -> वैध (Valid)।
- यदि नहीं -> अवैध (Invalid)।
यह एक वेंडिंग मशीन की तरह है। आप एक विशिष्ट सिक्का (लॉजिक पैटर्न) डालते हैं, और मशीन या तो आपको स्नैक देती है (Valid) या कुछ नहीं (Invalid)। इसमें कोई अनुमान, कोई "एहसास" या कोई पूर्वाग्रह नहीं है।
परिणाम: यह क्यों महत्वपूर्ण है
टीम ने इसे अंग्रेजी और कई अन्य भाषाओं में पहेलियों के साथ एक वैश्विक प्रतियोगिता (SemEval-2026) पर परखा।
- पुराना तरीका (केवल LLM): छात्र ने अपने दिमाग का उपयोग करके इसे हल करने की कोशिश की। उसने ज्यादातर समय उत्तर सही दिया, लेकिन वह अक्सर कहानी के कंटेंट से प्रभावित था। यह एक ऐसे शेफ की तरह था जो बेहतरीन खाना बनाता है लेकिन कभी-कभी नमक डाल देता है क्योंकि उन्हें नमक पसंद है, भले ही रेसिपी में मना किया गया हो।
- नया तरीका (ITLC): छात्र ने ट्रांसलेटर और नियम पुस्तिका का उपयोग किया।
- सटीकता (Accuracy): उन्होंने लगभग पूर्ण स्कोर प्राप्त किया।
- पूर्वाग्रह (Bias): उन्होंने "कहानी के जाल" को लगभग पूरी तरह से खत्म कर दिया। छात्र ने वास्तविक दुनिया के तथ्यों के आधार पर अनुमान लगाना बंद कर दिया और नियमों का पालन करना शुरू कर दिया।
- बहुभाषी (Multilingual): यह स्पेनिश, स्वाहिली और रूसी में भी उतना ही प्रभावी रहा जितना कि अंग्रेजी में।
मुख्य निष्कर्ष
यह पेपर सिद्ध करता है कि तर्क संबंधी त्रुटियों को ठीक करने के लिए आपको बहुत जटिल, महंगी AI बनाने की आवश्यकता नहीं है। कभी-कभी, आपको बस इनपुट को सरल बनाने और एक सख्त नियम पुस्तिका का उपयोग करने की आवश्यकता होती है।
अव्यवस्थित, रंगीन, वास्तविक दुनिया के वाक्यों को साफ, अमूर्त "अल्फाबेट सूप" में बदलकर, उन्होंने AI को कंटेंट के बारे में सपने देखने के बजाय गणित करने के लिए मजबूर कर दिया। यह एक याद दिलाता है कि कभी-कभी, स्पष्ट रूप से सोचने का सबसे अच्छा तरीका शब्दों के बारे में सोचना बंद करना और संरचना के बारे में सोचना शुरू करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।