Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs
टेम्पलेट-आधारित गणना के कारण वर्तमान बेंचमार्क की संतृप्ति को संबोधित करने के लिए, यह शोध पत्र ReasoningMath-Plus पेश करता है, जो 150 संरचनात्मक रूप से जटिल समस्याओं वाला एक प्रक्रिया-जागरूक (process-aware) बेंचमार्क है और एक संगत मूल्यांकन ढांचा (HCRS और एक प्रोसेस रिवॉर्ड मॉडल) है जो अग्रणी LLMs में उच्च उत्तर सटीकता और वास्तविक संरचनात्मक तर्क क्षमता के बीच महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के गणित के होमवर्क को ग्रेड दे रहे हैं।
पुराना तरीका (एक "केवल-उत्तर" वाला टेस्ट):
अतीत में, यदि कोई छात्र पृष्ठ के नीचे सही अंतिम संख्या लिख देता था, तो आप उसे "A" ग्रेड देते थे। आपको इससे कोई फर्क नहीं पड़ता था कि वे वहां तक कैसे पहुंचे। हो सकता है कि उन्होंने अनुमान लगाया हो, या किसी चीट शीट से उत्तर कॉपी किया हो, या शायद उन्होंने पहले चरण में बड़ी गलती की हो लेकिन बाद में उसे ठीक करके भाग्यशाली रहे हों। जब तक अंतिम उत्तर सही था, ग्रेड एकदम सही था।
समस्या:
हाल ही में, AI मॉडल (LLMs) इन "केवल-उत्तर" वाले टेस्ट में इतने अच्छे हो गए हैं कि वे लगभग पूर्ण स्कोर प्राप्त कर रहे हैं। लेकिन शोधकर्ता चिंतित हैं: क्या वे वास्तव में सोच रहे हैं, या वे केवल पैटर्न याद कर रहे हैं और अनुमान लगा रहे हैं? यह एक ऐसे छात्र की तरह है जिसने टेस्ट के लिए उत्तर कुंजी (answer key) रट ली है लेकिन उसे गणित की समझ नहीं है।
नया समाधान: REASONINGMATH-PLUS
लेखकों ने एक नया, अधिक कठिन टेस्ट बनाया है जिसे REASONINGMATH-PLUS कहा जाता है। केवल अंतिम उत्तर की जाँच करने के बजाय, वे समस्या को चरण-दर-चरण उनके "सोचने की प्रक्रिया" के माध्यम से जाँचना चाहते हैं।
उन्होंने इसे निम्नलिखित रचनात्मक उपमाओं (analogies) का उपयोग करके किया है:
1. "कंकाल" बनाम "मांस" (The "Skeleton" vs. The "Flesh")
एक मानव शरीर की कल्पना करें। कंकाल (Skeleton) वह आवश्यक संरचना है जो सब कुछ थामे रखती है। मांस (Flesh) वह मांसपेशी और त्वचा है जो इसे सुंदर बनाती है।
- मौजूदा टेस्ट केवल यह देखते हैं कि शरीर एक इंसान जैसा दिखता है या नहीं (अंतिम उत्तर)।
- यह नया बेंचमार्क प्रत्येक समस्या के लिए एक न्यूनतम तर्क कंकाल (Minimal Reasoning Skeleton) प्रदान करता है। यह समस्या को हल करने के लिए आवश्यक तार्किक चरणों की एक संक्षिप्त, मानव-लिखित सूची है (जैसे, "चरण 1: बाधाओं की पहचान करें," "चरण 2: असंभव विकल्पों को हटा दें")।
- AI को जितना चाहे उतना "मांस" (अतिरिक्त शब्द, स्पष्टीकरण, आत्म-सुधार) लिखने की अनुमति है, लेकिन ग्रेडर यह जाँचता है कि क्या AI का "कंकाल" मानव-निर्मित एक के साथ मेल खाता है। यदि AI एक महत्वपूर्ण हड्डी भी छोड़ देता है, तो संरचना ढह जाती है, भले ही अंतिम उत्तर सही हो।
2. "खतरा" स्कोर (The "Hazard" Score - डोमिनो प्रभाव)
यह पेपर एक स्कोरिंग सिस्टम पेश करता है जिसे HCRS (Hazard-aware Chain-based Rule Score) कहा जाता है।
- उपमा: डोमिनोज़ (dominoes) की एक पंक्ति की कल्पना करें। यदि आप पहले डोमिनो को गलत तरीके से गिरा देते हैं, तो पूरी श्रृंखला बिखर जाती है। यदि आप अंतिम डोमिनो को गलत तरीके से गिराते हैं, तो पहले 99 अभी भी सही थे।
- नवाचार: अधिकांश ग्रेडिंग सिस्टम हर गलती को समान मानते हैं। यह सिस्टम यह समझता है कि शुरुआती गलतियाँ विनाशकारी होती हैं। यदि AI चरण 1 या 2 में गलती करता है, तो यह एक भारी "खतरा दंड" (Hazard Penalty) लागू करता है। यह यह कहने जैसा है कि, "आप छत को पेंट करके नींव की दरार को ठीक नहीं कर सकते।"
- परिणाम: कई AI मॉडल जिन्होंने सही उत्तर प्राप्त किया था, फिर भी कम स्कोर प्राप्त किया क्योंकि उनकी तर्क प्रक्रिया एक तार्किक त्रुटि के साथ शुरू हुई थी। यह "भाग्यशाली अनुमानों" (lucky guesses) को उजागर करता है।
3. दो-चरणीय ग्रेडर (The Two-Pronged Grader)
शोधकर्ताओं ने AI को ग्रेड देने के लिए दो अलग-अलग "शिक्षकों" का उपयोग किया:
- शिक्षक A (कंकाल परीक्षक - The Skeletal Auditor): इस शिक्षक के पास "गोल्ड स्केलेटन" (एक आदर्श चरण-दर-चरण योजना) है। वे सीधे इस योजना के विरुद्ध AI के चरणों की तुलना करते हैं। यह सख्त और सटीक है।
- शिक्षक B (परिणाम सत्यापनकर्ता - The Outcome Verifier): इस शिक्षक के पास योजना नहीं है। वे केवल प्रश्न और अंतिम उत्तर देखते हैं। उन्हें यह अनुमान लगाना होता है कि क्या चरण केवल परिणाम को देखकर तर्कसंगत लगते हैं। यह एक वास्तविक दुनिया के परिदृश्य का अनुकरण करता है जहाँ हमारे पास हमेशा सोचने की प्रक्रिया के लिए "उत्तर कुंजी" नहीं होती है।
- उन्होंने एक छोटे AI (एक प्रोसेस रिवॉर्ड मॉडल) को शिक्षक B की तरह कार्य करने के लिए प्रशिक्षित किया, जो शिक्षक A के सुधारों से सीखता है ताकि वह हर बार कंकाल की आवश्यकता के बिना तर्क को ग्रेड दे सके।
बड़ा खुलासा (The Big Reveal)
जब उन्होंने परीक्षण किए, तो परिणाम चौंकाने वाले थे:
- उत्तर सटीकता (Answer Accuracy): शीर्ष AI मॉडल अंतिम उत्तर के लिए लगभग 5.8 में से 10 प्राप्त कर रहे थे।
- तर्क की गुणवत्ता (Reasoning Quality): जब उनके प्रक्रिया (नए Hazard Score का उपयोग करके) पर ग्रेड दिया गया, तो वही मॉडल घटकर औसतन 4.36 में से 10 रह गए।
निष्कर्ष:
यह पेपर तर्क देता है कि हम "केवल-उत्तर" मेट्रिक्स द्वारा मूर्ख बन गए हैं। AI मॉडल सही उत्तर प्राप्त कर रहे हैं, लेकिन अक्सर नाजुक, अतार्किक या रटे-रटाए रास्तों के माध्यम से। उनकी "सोचने की प्रक्रिया" के नीचे झाँककर, हम देखते हैं कि उनकी वास्तविक "सोचने" की क्षमता उतनी मजबूत नहीं है जितनी हमने सोची थी।
संक्षेप में: यह पेपर एक ऐसे मैकेनिक की तरह है जो केवल यह जाँचने के बजाय कि कार का इंजन शुरू होता है (उत्तर), वायरिंग, ईंधन लाइनों और टाइमिंग का निरीक्षण करता है ताकि यह देखा जा सके कि कार वास्तव में लंबी यात्रा पर सुरक्षित रूप से चलेगी या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।