The Importance of Being Statistically Earnest: A Critical Re-evaluation of GSM-Symbolic
यह शोध पत्र GSM-Symbolic बेंचमार्क के इस निष्कर्ष को चुनौती देता है कि LLMs में वास्तविक तर्क क्षमता का अभाव है, यह प्रदर्शित करते हुए कि रिपोर्ट की गई प्रदर्शन गिरावट अक्सर सांख्यिकीय रूप से महत्वहीन होती है और समस्या के पाठ में अनपेक्षित वितरण संबंधी बदलावों (distributional shifts) से भ्रमित होती है, जो इसके बजाय यह प्रकट करती है कि मॉडल की विफलताएं सार्वभौमिक होने के बजाय विशिष्ट और विषम हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो छात्रों (AI मॉडल्स) के गणित के टेस्ट को ग्रेड कर रहे हैं। हाल ही में, शोधकर्ताओं के एक अन्य समूह (मिर्ज़ादेह एट अल.) ने दावा किया कि जब उन्होंने टेस्ट के सवालों में नाम और संख्याएँ बदल दीं, तो छात्र अचानक फेल हो गए। उन्होंने निष्कर्ष निकाला कि छात्र वास्तव में गणित करने का तरीका समझने के बजाय केवल उत्तर "रट" रहे थे।
लेखकों ने कहा: "ठहरिए जरा, आइए हम ग्रेडिंग रूब्रिक और टेस्ट के सवालों को और करीब से देखते हैं।"
उन्होंने क्या पाया, इसे सरल भाषा में यहाँ समझाया गया है:
1. "सांख्यिकीय" समस्या: क्या यह विफलता वास्तविक है?
मूल शोधकर्ताओं ने टेस्ट के अंकों को देखा और प्रदर्शन में गिरावट देखी। लेकिन उन्होंने यह नहीं जांचा कि क्या वह गिरावट सांख्यिकीय रूप से महत्वपूर्ण थी (यानी, क्या यह एक वास्तविक पैटर्न है या केवल यादृच्छिक शोर/रैंडम नॉइज़ है?)।
- उपमा: कल्पना कीजिए कि आप एक सिक्का 10 बार उछालते हैं और 7 बार 'हेड्स' आता है। आपको लग सकता है कि सिक्का पक्षपाती है। लेकिन यदि आप सिक्के को 1,000 बार उछालते हैं, तो आपको एहसास हो सकता है कि 10 में से 7 हेड्स आना केवल एक भाग्यशाली (या दुर्भाग्यपूर्ण) सिलसिला था।
- निष्कर्ष: जब लेखकों ने सख्त सांख्यिकीय नियमों (जैसे एक कठोर गणितीय ऑडिट) को लागू किया, तो उन्होंने पाया कि केवल आधे AI मॉडल्स ने वास्तव में प्रदर्शन में एक वास्तविक, सांख्यिकीय रूप से महत्वपूर्ण गिरावट दिखाई। बाकी आधे मॉडल्स के लिए, यह "विफलता" संभवतः केवल संयोग थी, न कि तर्क करने की क्षमता की कमी।
2. "छिपा हुआ जाल": बड़ी संख्याएँ
लेखकों ने मूल टेस्ट में एक चालाकी भरी खामी खोजी। नए "वेरिएंट" (बदले हुए) सवालों ने केवल नाम ही नहीं बदले थे; बल्कि उन्होंने अनजाने में मूल सवालों की तुलना में बहुत बड़ी संख्याओं का उपयोग किया था।
- उपमा: कल्पना कीजिए कि आप एक धावक की गति का परीक्षण कर रहे हैं। आप उनसे 100 मीटर की दौड़ लगाने को कहते हैं, लेकिन "वेरिएंट" टेस्ट के लिए, आप चुपके से ट्रैक को 1,000 मीटर लंबा कर देते हैं। यदि वे थक जाते हैं और धीमे हो जाते हैं, तो क्या यह इसलिए है क्योंकि वे दौड़ना भूल गए, या इसलिए क्योंकि दौड़ बहुत कठिन थी?
- निष्कर्ष: मूल शोधकर्ताओं ने दावा किया कि संख्याएँ बहुत अधिक नहीं बदलीं। लेखकों ने "डिस्ट्रीब्यूशन शिफ्ट" टेस्ट का उपयोग करके सिद्ध किया कि यह गलत था। उन्होंने दिखाया कि नए सवालों में काफी बड़ी संख्याएँ थीं। जब उन्होंने इस कठिनाई के उछाल को ध्यान में रखते हुए गणित को समायोजित किया, तो बाकी बचे "फेल" होने वाले मॉडल्स में से आधे गायब हो गए। मॉडल्स तर्क करने में विफल नहीं हो रहे थे; वे बस बड़ी अंकगणित (बिग अरिथमेटिक) के साथ संघर्ष कर रहे थे।
3. विफलताओं के पीछे का "क्यों"
जिन मॉडल्स के लिए वे वास्तव में संघर्ष कर रहे थे, लेखकों ने केवल यह नहीं कहा कि "वे गणित में खराब हैं।" उन्होंने जासूसों की तरह विशिष्ट कारणों को खोजने का काम किया, जिसे वे "फेलियर प्रोफाइल्स" (विफलता प्रोफाइल) कहते हैं:
- "वेरिएबल बाइंडिंग" (चर बंधन) का मुद्दा: कुछ मॉडल्स इस बात को लेकर भ्रमित हो गए कि कहानी थोड़ी बदलने पर कौन सी संख्या किस वस्तु से जुड़ी है।
- रूपक: यह उस छात्र की तरह है जो जोड़ना जानता है, लेकिन यदि शब्द समस्या में "सेब" को "संतरे" से बदल दिया जाए, तो वह भूल जाता है कि कौन सी संख्या किस फल के साथ है।
- "अरिथमेटिक" (अंकगणित) का मुद्दा: कुछ मॉडल्स बड़ी संख्याओं के साथ गणित संभालने में सक्षम ही नहीं थे।
- रूपक: ये मॉडल्स उन कैलकुलेटरों की तरह हैं जो छोटी संख्याओं के लिए ठीक काम करते हैं लेकिन जब आप उन्हें बहुत बड़ी संख्याओं को गुणा करने के लिए कहते हैं, तो वे गड़बड़ करने लगते हैं।
- "डुअल-टास्क" (दोहरे कार्य) का मुद्दा: कुछ मॉडल्स तब अभिभूत हो गए जब टेस्ट ने उनसे गणित हल करने के साथ-साथ सख्त फॉर्मेटिंग नियमों का पालन करने को कहा।
- रूपक: यह किसी को पहेली सुलझाने के साथ-साथ वर्णमाला को उल्टा बोलने के लिए कहने जैसा है। वे दोनों में विफल हो जाते हैं क्योंकि उनकी "वर्किंग मेमोरी" ओवरलोड हो जाती है।
- "पैटर्न मैचिंग" (पैटर्न मिलान) का मुद्दा: कुछ मॉडल्स केवल सवालों के विशिष्ट स्वरूप को रट रहे थे। यदि शब्दों को बदल दिया जाता, तो वे पैटर्न को पहचान नहीं पाते।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि हमें "AI मॉडल्स तर्क नहीं कर सकते" जैसे व्यापक और जल्दबाजी वाले बयान देने से बचना चाहिए।
- सबक: किसी मॉडल को "टूटा हुआ" घोषित करने से पहले, हमें अपने सांख्यिकी की जांच करनी चाहिए, यह सुनिश्चित करना चाहिए कि टेस्ट के सवाल निष्पक्ष हों (चुपके से कठिन न हों), और यह समझना चाहिए कि कोई विशिष्ट मॉडल क्यों विफल हुआ।
- निष्कर्ष: मूल अध्ययन बहुत जल्दी निर्णय लेने वाला था। वास्तविकता जटिल और विविध है: कुछ मॉडल्स बड़ी संख्याओं के मामले में कमजोर हैं, कुछ फॉर्मेटिंग से भ्रमित हो जाते हैं, और कुछ वास्तव में अच्छी तरह से तर्क करते हैं। हमें प्रत्येक मॉडल को उसकी विशिष्ट शक्तियों और कमजोरियों वाले एक व्यक्तिगत छात्र की तरह देखना चाहिए, न कि पूरे वर्ग को "सोचने में असमर्थ" के रूप में लेबल करना चाहिए।
संक्षेप में: छात्र को शिक्षक के खराब टेस्ट डिजाइन के लिए दोष न दें। यह पेपर AI समुदाय से आग्रह करता है कि वे इन शक्तिशाली उपकरणों का मूल्यांकन करने के लिए अधिक सावधान, अधिक सांख्यिकीय और अधिक सूक्ष्म बनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।