MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation
यह शोध पत्र MGSM-Pro प्रस्तुत करता है, जो GSM-Symbolic बेंचमार्क का एक बहुभाषी विस्तार है जो कई अंक-परिवर्तित इंस्टेंशिएशन (digit-varying instantiations) उत्पन्न करके नौ भाषाओं में गणितीय तर्क संबंधी सुदृढ़ता का मूल्यांकन करता है, जिससे कम-संसाधन वाली भाषाओं में प्रदर्शन में महत्वपूर्ण गिरावट और ऐसे व्यवधानों के प्रति मॉडलों की भिन्न लचीलापन का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप विभिन्न देशों के छात्रों की एक कक्षा को गणित का टेस्ट दे रहे हैं। आप यह देखना चाहते हैं कि कौन वास्तव में गणित में अच्छा है और कौन केवल अभ्यास पुस्तिका (प्रैक्टिस बुक) से उत्तर रट रहा है।
यह शोध पत्र गणित की समस्याओं पर बड़े भाषा मॉडल (Large Language Models - AI) को परखने का एक नया, कठिन तरीका पेश करता है, जिसे MGSM-Pro कहा जाता है। यहाँ उन्होंने जो पाया, उसकी कहानी सरल भाषा में दी गई है।
समस्या: "अभ्यास पुस्तिका" का जाल
लंबे समय से, AI मॉडल गणित की शब्द समस्याओं (word problems) को हल करने में बेहतर होते जा रहे हैं। लेकिन शोधकर्ताओं ने कुछ संदिग्ध देखा: AI वास्तव में गणित के माध्यम से "सोच" नहीं रहा है। इसके बजाय, वह प्रशिक्षण के दौरान देखी गई परीक्षण प्रश्नों की विशिष्ट विवरणों को याद कर रहा है।
इसे एक ऐसे छात्र की तरह समझें जिसने एक विशिष्ट शब्द समस्या का उत्तर रट लिया है: "यदि जॉन के पास 5 सेब हैं और वह 3 और खरीदता है..." छात्र जानता है कि उत्तर 8 है। लेकिन यदि आप प्रश्न को बदलकर "यदि सारा के पास 5 संतरे हैं और वह 3 और खरीदती है..." कर दें, तो वह छात्र जिसने केवल पहले वाले को रटा था, भ्रमित हो सकता है।
हाल ही में, शोधकर्ताओं ने पाया कि अंग्रेजी में भी, यदि आप गणित की समस्या में नाम या संख्याएँ थोड़ी बदल देते हैं, तो कई AI मॉडल विफल हो जाते हैं। उन्होंने महसूस किया कि पुराने परीक्षण बहुत आसान थे क्योंकि वे यह जाँच नहीं करते थे कि क्या AI इन छोटे बदलावों को संभाल सकता है।
समाधान: MGSM-Pro (द "शफल" टेस्ट)
लेखकों ने MGSM-Pro नामक एक नया डेटासेट बनाया। उन्होंने 250 गणित की समस्याओं को लेकर उन्हें 1,240 समस्याओं (प्रत्येक के 5 संस्करण) में बदल दिया।
उन्होंने इसे "कार्डों को फेंटकर" (shuffling) किया:
- नाम बदलना: "जॉन" को "ज़ैनাবু" या "कार्ला" से बदलना।
- संख्या बदलना: "5 सेब" को "7 सेब" से बदलना।
- भटकाव जोड़ना: एक ऐसा वाक्य जोड़ना जो महत्वपूर्ण लगता है लेकिन वास्तव में निरर्थक है (जैसे "आसमान नीला है, इसलिए जॉन ने 5 सेब खरीदे")।
उन्होंने यह नौ अलग-अलग भाषाओं में किया, जिसमें अंग्रेजी और चीनी जैसी व्यापक रूप से बोली जाने वाली भाषाओं से लेकर स्वाहिली, योरूबा और इग्बो जैसी कम डिजिटल संसाधनों वाली भाषाएं शामिल थीं।
बड़ी खोज: "लो-रिसोर्स" (कम संसाधन वाली) भाषाओं का संघर्ष
जब उन्होंने परीक्षण किया, तो उन्होंने "हाई-रिसोर्स" भाषाओं (जैसे अंग्रेजी) और "लो-रिसोर्स" भाषाओं (जैसे ट्वी या इग्बो) के बीच एक बड़ा अंतर पाया।
- हाई-रिसोर्स छात्र: जब उन्होंने अंग्रेजी या चीनी में नाम या संख्याएँ बदलीं, तो AI मॉडल के स्कोर में थोड़ी गिरावट आई, लेकिन वे मुख्य रूप से सही रास्ते पर रहे। वे एक ऐसे छात्र की तरह थे जिसने वास्तव में गणित की अवधारणा को समझा है।
- लो-रिसोर्स छात्र: जब उन्होंने ट्वी या इग्बो जैसी भाषाओं के लिए वही "शफलिंग" की, तो AI मॉडल पूरी तरह ध्वस्त हो गए। उनके स्कोर तेजी से गिर गए। ऐसा लगा जैसे छात्र अचानक गिनना भूल गया क्योंकि शिक्षक ने फल का नाम बदल दिया। पेपर ने पाया कि AI मॉडल भी ऐसा ही कर रहे हैं: वे उन भाषाओं में बहुत कम "रोबस्ट" (विश्वसनीय) हैं जिनके लिए उनके पास डेटा कम है।
उपमा (Analogy): कल्पना कीजिए कि एक छात्र है जो अंग्रेजी में गणित में बहुत अच्छा है लेकिन अपनी मातृभाषा में बहुत खराब है। जब शिक्षक अंग्रेजी में एक ट्विस्ट के साथ सवाल पूछता है, तो छात्र उसे हल कर लेता है। लेकिन जब शिक्षक वही ट्विस्ट वाला सवाल छात्र की मातृभाषा में पूछता है, तो छात्र जम जाता है। पेपर ने पाया कि AI मॉडल भी ऐसा ही कर रहे हैं: वे उन भाषाओं में बहुत कम "रोबस्ट" (विश्वसनीय) हैं जिनके लिए उनके पास डेटा कम है।
कौन पास हुआ और कौन फेल?
पेपर ने कई अलग-अलग AI मॉडल का परीक्षण किया (कुछ बड़ी टेक कंपनियों द्वारा बनाए गए, कुछ ओपन-सोर्स)।
- रोबस्ट (मजबूत) वाले: नए, स्मार्ट मॉडल जैसे Gemini 3.0 Pro और GPT-OSS 120B ने बदलावों को अच्छी तरह से संभाला। जब संख्या या नाम बदले गए, तो वे घबराए नहीं।
- नाजुक (Fragile) वाले: पुराने या छोटे मॉडल (जैसे Gemma 3 4B या Llama 3) बिखर गए। वे "ट्विस्ट" को नहीं संभाल सके।
- आकार का मिथक: आप सोच सकते हैं कि एक बड़ा दिमाग (अधिक पैरामीटर्स) हमेशा एक स्मार्ट छात्र होता है। पेपर ने पाया कि यह सच नहीं है। कभी-कभी एक विशाल मॉडल बुरी तरह विफल हो गया, जबकि एक थोड़ा छोटा मॉडल सफल रहा। यह केवल आकार के बारे में नहीं है; यह इस बारे में है कि मॉडल को कैसे प्रशिक्षित किया गया था।
सबक: केवल एक बार परीक्षण न करें
सबसे बड़ी सीख यह है कि हमें भविष्य में AI का परीक्षण कैसे करना चाहिए।
वर्तमान में, कई लीडरबोर्ड (सर्वश्रेष्ठ AI की रैंकिंग) एक मॉडल को केवल एक समस्या के एक संस्करण पर टेस्ट करते हैं। लेखक कहते हैं कि यह एक छात्र को केवल एक अभ्यास प्रश्न देने और उसे सही करने पर जीनियस घोषित करने जैसा है।
उनकी सिफारिश: यह जानने के लिए कि एक AI गणित में वास्तव में अच्छा है या नहीं, आपको उसे एक ही समस्या के कम से कम पांच अलग-अलग संस्करणों पर टेस्ट करना चाहिए (नाम और संख्या बदलकर)। यदि AI पांचों को सही करता है, तभी वह वास्तव में स्मार्ट है। यदि वह केवल पहले वाले को सही करता है, तो वह केवल रट रहा है।
सारांश
पेपर का तर्क है कि हमें AI को केवल इसलिए पूर्ण मानना बंद कर देना चाहिए क्योंकि वह आसान परीक्षणों को पास कर लेता है। विभिन्न भाषाओं में गणित की समस्याओं में नाम और संख्या बदलकर, उन्होंने दिखाया कि:
- AI कम डिजिटल डेटा वाली भाषाओं में बहुत कमजोर है।
- कई वर्तमान रैंकिंग भ्रामक हैं क्योंकि वे इस "शफलिंग" का परीक्षण नहीं करती हैं।
- AI के गणित कौशल की वास्तविक तस्वीर पाने के लिए, हमें एक ही समस्या के कई संस्करणों पर परीक्षण करने की आवश्यकता है, न कि केवल एक पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।