MathConstraint: Automated Generation of Verified Combinatorial Reasoning Instances for LLMs
यह शोधपत्र MathConstraint को प्रस्तुत करता है, जो एक अनुकूलन योग्य बेंचमार्क है जो LLMs का मूल्यांकन करने के लिए चुनौतीपूर्ण कॉम्बिनेटरियल रीजनिंग (combinatorial reasoning) समस्याओं को स्वचालित रूप से उत्पन्न और कठोरता से सत्यापित करता है, जो यह प्रदर्शित करता है कि टूल एक्सेस प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है जबकि मॉडल्स की कम टूल-कॉल बजट के प्रति उच्च संवेदनशीलता को भी प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह परीक्षण करने की कोशिश कर रहे हैं कि नई पीढ़ी के सुपर-स्मार्ट रोबोट (लार्ज लैंग्वेज मॉडल्स, या LLMs) तर्क पहेलियों को सुलझाने में कितने अच्छे हैं। समस्या यह है कि पुराने पहेली वाले पन्ने अब बहुत आसान होते जा रहे हैं। या तो रोबोटों ने उनके उत्तर रट लिए हैं, या वे अनुमान लगाने में इतने माहिर हो गए हैं कि परीक्षण अब यह नहीं बता पाता कि वास्तव में सबसे बुद्धिमान कौन है।
इस शोध पत्र के लेखक, MathConstraint, ने एक पहेली पुस्तक के बजाय एक पहेली फैक्ट्री (puzzle factory) बनाई है। यह कैसे काम करता है, इसे रोजमर्रा के उदाहरणों से समझते हैं:
1. द पज़ल फैक्ट्री (द जेनरेटर - निर्माता)
300 विशिष्ट पहेलियाँ लिखने और उन्हें बांटने के बजाय, लेखकों ने एक ऐसी मशीन बनाई है जो मौके पर ही अनंत संख्या में नई पहेलियाँ बना सकती है।
- उपमा: एक वीडियो गेम लेवल डिज़ाइनर के बारे में सोचें। आपको एक निश्चित मैप देने के बजाय, यह मशीन हर बार खेलने पर एक नया मैप बना सकती है। यदि रोबोट वर्तमान मैप में बहुत कुशल हो जाता है, तो मशीन स्वचालित रूप से कठिनाई का स्तर बढ़ा देती है, जिससे एक कठिन, अधिक जटिल मैप बनता है जिसे रोबोट ने पहले नहीं देखा है।
- लक्ष्य: यह सुनिश्चित करना कि परीक्षण कभी "पुराना या उबाऊ" न हो। जैसे-जैसे रोबोट स्मार्ट होते जाते हैं, फैक्ट्री बस कठिन पहेलियाँ बनाती जाती है, जिससे प्रतियोगिता निष्पक्ष और ताज़ा बनी रहती है।
2. द रेफरी (द सॉल्वर - निर्णायक)
कई AI परीक्षणों में, एक इंसान या दूसरा AI उत्तर को पढ़ता है और अनुमान लगाता है कि वह सही है या नहीं। यह एक ऐसे रेफरी की तरह है जिसे नियमों का पता नहीं है।
- उपमा: MathConstraint एक "गणितीय रेफरी" (एक कंप्यूटर प्रोग्राम जिसे सॉल्वर कहा जाता है) का उपयोग करता है जो नियमों को पूरी तरह जानता है। वह अनुमान नहीं लगाता। वह पहेली को एक सख्त लॉजिक इंजन के माध्यम से चलाता है।
- परिणाम: यदि रोबोट कहता है, "मुझे समाधान मिल गया है," तो रेफरी तुरंत इसकी जाँच करता है। यदि समाधान एक भी छोटा नियम तोड़ता है, तो रेफरी कहता है, "गलत।" यदि रोबोट कहता है, "यह पहेली असंभव है," तो रेफरी गणित की जाँच करके इसकी पुष्टि करता है। यह ग्रेडिंग को 100% सटीक और धोखाधड़ी से परे बनाता है।
3. कठिनाई के दो स्तर
शोध पत्र ने यह दिखाने के लिए कि फैक्ट्री कैसे काम करती है, दो सेट पहेलियाँ जारी कीं:
- MathConstraint-Easy: ये "वॉर्म-अप" पहेलियाँ हैं। सबसे स्मार्ट रोबोट भी इनमें से लगभग 72% से 87% सही हल करते हैं। यह हाई स्कूल के गणित के टेस्ट जैसा है।
- MathConstraint (द हार्ड मोड): ये "चैंपियनशिप" पहेलियाँ हैं। यहाँ कठिनाई का स्तर बहुत बढ़ा दिया गया है। अचानक, वही रोबोट सटीकता 18% से 66% के बीच गिर जाती है। यह हाई स्कूल के टेस्ट से सीधे पीएचडी-स्तर की लॉजिक परीक्षा में जाने जैसा है। यह साबित करता है कि फैक्ट्री ऐसी पहेलियाँ बना सकती है जो बेहतरीन वर्तमान AI के लिए भी वास्तव में कठिन हों।
4. "कैलकुलेटर" टेस्ट (टूल यूज़ - उपकरण का उपयोग)
शोधकर्ताओं ने यह भी देखना चाहा कि क्या रोबोट उपकरणों का उपयोग कर सकते हैं। उन्होंने रोबोटों को एक "सैंडबॉक्स" (एक सुरक्षित, अलग कंप्यूटर वातावरण) तक पहुँच दी जहाँ वे पहेलियों को हल करने में मदद के लिए कोड लिख सकें।
- उपमा: एक छात्र के बारे में सोचें जो परीक्षा दे रहा है। पहले दौर में, उसे सारा गणित अपने दिमाग में करना होता है। दूसरे दौर में, उसे कैलकुलेटर और स्प्रेडशीट का उपयोग करने की अनुमति दी जाती है।
- निष्कर्ष: जब "कैलकुलेटर" (लॉजिक सॉल्वर्स के साथ पायथन टूल) का उपयोग करने की अनुमति मिली, तो रोबोट बहुत बेहतर हो गए। कुछ मॉडल्स, जैसे Claude 4.6 Sonnet, फेल होने वाले ग्रेड (18%) से पास होने वाले ग्रेड (70%) तक पहुँच गए।
- सावधानी: रोबोटों को यह भी जानना था कि कैलकुलेटर का उपयोग कैसे करना है। उन्हें शब्द समस्या को कोड में बदलना था, उसे चलाना था, और परिणाम की व्याख्या करनी थी। यदि उनका "कैलकुलेटर समय" (टूल कॉल्स) समाप्त हो जाता, तो वे विफल हो जाते। शोध पत्र दिखाता है कि स्मार्ट होना केवल सोचने के बारे में नहीं है; यह अपने उपकरणों का कुशलतापूर्वक उपयोग करने के बारे में भी है।
5. "बजट" का आश्चर्य
शोधकर्ताओं ने "कैलकुलेटर" समय के बारे में एक दिलचस्प बात खोजी। उन्होंने रोबोटों को टूल का उपयोग करने के लिए 8 प्रयास दिए।
- उपमा: यह एक जासूस को गवाह को बुलाने के 8 मौके देने जैसा है। यदि आप उन मौकों को घटाकर 4 कर देते हैं, तो जासूस की सफलता दर गिर जाती है।
- निष्कर्ष: जब उन्होंने टूल बजट को आधा (8 राउंड से 4 राउंड) कर दिया, तो रोब सहित सटीकता 37 अंक तक गिर गई। यह दिखाता है कि संसाधनों का प्रबंधन करने की क्षमता (यह जानना कि कब रुकना है और उत्तर सबमिट करना है) समस्या को हल करने की क्षमता जितनी ही महत्वपूर्ण है।
सारांश
MathConstraint केवल एक परीक्षण नहीं है; यह AI तर्क के लिए एक स्वयं-अपग्रेड होने वाला जिम है।
- यह नई, कठिन पहेलियाँ स्वचालित रूप से बनाता है ताकि AI उत्तर याद न कर सके।
- यह उत्तरों को तुरंत ग्रेड करने के लिए एक परफेक्ट रेफरी का उपयोग करता है।
- यह परीक्षण करता है कि क्या AI उपकरणों (जैसे कैलकुलेटर) का प्रभावी ढंग से उपयोग कर सकता है, न कि केवल सोच सकता है।
- यह दिखाता है कि जैसे-जैसे AI स्मार्ट होता जाता है, हमें पहेलियों को कठिन बनाना होगा और उनके "टूल बजट" को प्रबंधित करने की क्षमता का परीक्षण करना होगा, अन्यथा वे विफल हो जाएंगे।
लेखकों ने पहेली फैक्ट्री, डेटासेट और परीक्षण उपकरण जारी किए हैं ताकि अन्य शोधकर्ता इन रोबोटों के विकसित होने के साथ उनका परीक्षण करना जारी रख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।