LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening
यह शोध पत्र LLMEval-Logic को प्रस्तुत करता है, जो तार्किक तर्क के लिए एक कठोरता से सत्यापित चीनी बेंचमार्क है, जो विशेषज्ञ ऑडिटिंग, Z3 औपचारिक सत्यापन और प्रतिकूल सुदृढ़ीकरण (adversarial hardening) का उपयोग करता है ताकि वर्तमान सीमावर्ती बड़े भाषा मॉडलों में महत्वपूर्ण प्रदर्शन अंतराल को उजागर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को तर्कसंगत रूप से सोचना सिखाने की कोशिश कर रहे हैं। आप उसे एक पहेली देते हैं, और उसे आपके द्वारा दिए गए नियमों के आधार पर उत्तर का पता लगाना होता है।
लंबे समय तक, हम इन रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) की बुद्धिमत्ता की जाँच करने के लिए जो परीक्षण उपयोग करते थे, वे "रिक्त स्थान भरें" (fill-in-the-blank) वाले वर्कशीट्स की तरह थे। वे अक्सर कंप्यूटर द्वारा बनाए जाते थे, जो एक गणितीय सूत्र को वाक्य में बदल देते थे। समस्या क्या थी? रोबोट वाक्य के "पैटर्न" को पहचानना सीख गए थे, न कि वास्तव में गणित करना। वे तर्क का पालन करने के बजाय प्रश्न के दिखने के तरीके के आधार पर अनुमान लगाकर "चीटिंग" कर रहे थे।
यह शोध पत्र एक नया, बहुत कठिन परीक्षण पेश करता है जिसे LLMEval-Logic कहा जाता है। इसे उन "रिक्त स्थान भरें" वाले वर्कशीट्स को एक असली जीवन के "एस्केप रूम" (escape room) से बदलने जैसा समझें।
यह कैसे काम करता है, इसके सरल भाग यहाँ दिए गए हैं:
1. "वास्तविक जीवन" की कहानियाँ (फॉरवर्ड ऑथरिंग)
कंप्यूटर द्वारा नकली प्रश्न बनाने के बजाय, तर्क के विशेषज्ञों वाले वास्तविक मनुष्यों ने इन समस्याओं को शून्य से लिखा है।
- उपमा: कल्पना कीजिए कि एक संगीतकार एक विशिष्ट नियम के आधार पर एक गीत लिखता है (जैसे, "यदि आप ट्रम्पेट बजाते हैं, तो आपको ट्यूबा भी बजानी चाहिए")। परीक्षण पूछता है: "हम किन वाद्य यंत्रों को एक साथ उपयोग कर सकते हैं?"
- यह क्यों महत्वपूर्ण है: ये कहानियाँ वास्तविक स्थितियों (जैसे मीटिंग शेड्यूल करना या यह तय करना कि किसे नौकरी मिले) जैसी लगती हैं, इसलिए रोबोट केवल पैटर्न के आधार पर अनुमान नहीं लगा सकते। उन्हें वास्तव में कहानी को पढ़ना और समझना होगा।
2. "सत्य मशीन" (Z3 वेरिफिकेशन)
इस परीक्षण के प्रत्येक प्रश्न की जाँच एक अत्यंत सख्त "सत्य मशीन" (एक कंप्यूटर प्रोग्राम जिसे Z3 कहा जाता है) द्वारा की गई थी।
- उपमा: कल्पना कीजिए कि एक खेल में एक रेफरी है जिसके पास एक कैलकुलेटर है। परीक्षण जारी करने से पहले ही, रेफरी नियमों को कैलकुलेटर के माध्यम से चलाकर यह 100% सुनिश्चित करता है कि उत्तर सही है। यदि कैलकुलेटर कहता है कि उत्तर "A" है, लेकिन मानव ने "B" लिखा है, तो उस प्रश्न को हटा दिया जाता है और फिर से लिखा जाता है।
- यह क्यों महत्वपूर्ण है: यह गारंटी देता है कि परीक्षण स्वयं पूर्ण है। इसमें कोई "ट्रिक प्रश्न" नहीं हैं जहाँ उत्तर कुंजी गलत हो।
3. "हार्ड मोड" (एडवर्सरियल हार्डनिंग)
शोधकर्ताओं ने केवल परीक्षण को कठिन बनाने पर ही नहीं रोका; उन्होंने जानबूझकर इसे और भी कठिन बनाया। उन्होंने प्रश्नों के विरुद्ध "डेविल्स एडवोकेट" (Devil's Advocate) की भूमिका निभाने के लिए AI एजेंटों की एक टीम का उपयोग किया।
- उपमा: कल्पना कीजिए कि आप एक पहेली लिखते हैं। फिर, "धोखेबाजों" की एक टीम इसे तोड़ने की कोशिश करती है। वे कहते हैं, "क्या होगा अगर हम यहाँ एक भ्रमित करने वाला विवरण जोड़ दें?" या "क्या होगा अगर हम एक ऐसा फॉलो-अप सवाल पूछें जो पूरी स्थिति को बदल दे?" वे पहेली को तब तक फिर से लिखते रहते हैं जब तक कि वह इतनी जटिल न हो जाए कि एक बुद्धिमान मानव को भी संघर्ष करना पड़े, लेकिन फिर भी उसका एक तार्किक उत्तर हो।
- परिणाम: उन्होंने एक "हार्ड" संस्करण बनाया जिसमें बहु-चरणीय (multi-step) पहेलियाँ शामिल थीं। आप केवल एक चरण को हल नहीं कर सकते; आपको उत्तर देने के लिए पूरे चित्र को अपने दिमाग में रखना होगा।
4. "ग्रेडिंग रूब्रिक" (केवल सही या गलत नहीं)
जब रोबोटों ने उत्तर दिया, तो शोधकर्ताओं ने केवल यह नहीं देखा कि अंतिम उत्तर सही है या नहीं। उन्होंने यह भी जाँच की कि रोबोट ने कहानी को तर्क में कैसे अनुवादित किया।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की समस्या हल कर रहा है। यदि उसे सही उत्तर मिलता है लेकिन उसने गलत फॉर्मूला इस्तेमाल किया है, तो एक सामान्य शिक्षक उसे पूरे अंक दे सकता है। लेकिन यह परीक्षण एक सख्त प्रोफेसर की तरह है जो कहता है, "आपने सही संख्या प्राप्त की, लेकिन आपने 'यदि और केवल यदि' (if and only if) के नियम को मिस कर दिया। यह एक विफलता है।"
- स्कोर: उन्होंने रोबोटों को दो स्कोर दिए: एक अंतिम उत्तर के लिए, और दूसरा इस बात के लिए कि उन्होंने कहानी को कितनी अच्छी तरह से तार्किक भाषा में अनुवादित किया।
उन्हें क्या मिला?
परिणाम उद्योग के लिए एक झटका थे:
- सीलिंग (सीमा) कम है: वर्तमान में उपलब्ध सबसे स्मार्ट, उन्नत रोबोट भी "हार्ड" प्रश्नों का केवल 37.5% ही सही हल कर पाए।
- अनुवाद अंतराल (Translation Gap): भले ही रोबोटों ने अंतिम उत्तर सही दिया, लेकिन वे अक्सर कहानी को सही तार्किक नियमों में अनुवादित करने में विफल रहे। यह एक ऐसे छात्र की तरह है जो बहुविकल्पीय परीक्षा में सही उत्तर का अनुमान लगा लेता है लेकिन यह नहीं समझा पाता कि वह क्यों सही है।
- "सोचने" का अंतर: कुछ रोबोटों को, जिन्हें "सोचने" (धीमे होने और चरण-दर-चरण तर्क करने) की अनुमति दी गई थी, उन रोबोटों की तुलना में बहुत बेहतर प्रदर्शन करते देखा गया जो तुरंत उत्तर देते थे। हालाँकि, "सोचने वाले" भी सबसे कठिन, बहु-चरणीय पहेलियों के साथ संघर्ष करते रहे।
निष्कर्ष (Bottom Line)
यह शोध पत्र कहता है: "हमने एक नया, बिना धोखाधड़ी वाला, वास्तविक दुनिया का तर्क परीक्षण बनाया है। जब हमने अपने सर्वश्रेष्ठ रोबोटों को इसमें चलाया, तो वे हमारी अपेक्षा से अधिक बार विफल हुए। वे पैटर्न का अनुमान लगाने में अच्छे हैं, लेकिन वे अभी भी बदलते परिवेश में जटिल नियमों का सख्ती से पालन करने में बहुत खराब हैं।"
यह परीक्षण अब किसी के भी उपयोग के लिए खुला है ताकि यह देखा जा सके कि क्या उनके अपने रोबोट इस एस्केप रूम को पार कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।