GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models
यह शोध पत्र GSM-Plus-BN को प्रस्तुत करता है, जो अंग्रेजी GSM-Plus डेटासेट से व्युत्पन्न बंगाली गणितीय तर्क के लिए एक नवीन व्यवधान-आधारित बेंचमार्क है, जिसका उद्देश्य छह बड़े भाषा मॉडलों की मजबूती और तर्क क्षमताओं का मूल्यांकन करना है और साथ ही कम-संसाधन वाली भाषाई संदर्भों में अंतर्निहित महत्वपूर्ण प्रदर्शन अंतराल और चुनौतियों को उजागर करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गणित की समस्याएँ हल करना सिखा रहे हैं। आप केवल उससे की गणना करने के लिए नहीं कहेंगे; आप यह जानना चाहेंगे कि क्या वह वास्तव में यह समझता है कि उत्तर 4 क्यों है, या वह केवल यह रट चुका है कि "2 प्लस 2" का अर्थ हमेशा 4 होता है। यही आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया का बड़ा सवाल है: क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के सुपर-स्मार्ट कंप्यूटर दिमाग हैं—वास्तव में "सोचते" हैं, या वे केवल वाक्य में अगले शब्द का अनुमान लगाने में बहुत अच्छे हैं?
यह पता लगाने के लिए, वैज्ञानिकों ने इन रोबोटों को गणित की शब्द-समस्याओं (word problems) के साथ परखा है। लेकिन यहाँ एक पेच है: यदि आप एक रोबोट से एक ही सवाल हज़ार बार पूछते हैं, तो हो सकता है कि वह उत्तर को रट ले। यह देखने के लिए कि क्या वह वास्तव में बुद्धिमान है, आपको उसे चकमा देना होगा। आप संख्याएँ बदलते हैं, शब्दों को बदलते हैं, या भ्रमित करने वाले अतिरिक्त विवरण जोड़ते हैं ताकि यह देखा जा सके कि क्या रोबोट अभी भी सही उत्तर दे पाता है। इसे "परटर्बेशन" (perturbation) कहा जाता है। यह एक छात्र से पूछने जैसा है, "यदि मेरे पास 3 सेब हैं और मैं 1 खा लेता हूँ, तो कितने बचे?" और फिर, एक सेकंड बाद, पूछना, "यदि मेरे पास 300 सेब हैं और मैं 100 खा लेता हूँ, तो कितने बचे?" एक बुद्धिमान छात्र जानता है कि गणित वही है; एक रोबोट जिसने पहले उत्तर को रट लिया है, वह भ्रमित हो सकता है।
अब, इस सारी टेस्टिंग की कल्पना करें, लेकिन अंग्रेजी में नहीं, जो कि वह भाषा है जिसमें अधिकांश रोबोट प्रशिक्षित हैं, बल्कि बंगाली में, जो 2.3 करोड़ से अधिक लोगों द्वारा बोली जाने वाली भाषा है। अब तक, यह जांचने का लगभग कोई तरीका नहीं था कि ये AI दिमाग बंगाली में गणित के पैंतरेबाज़ी को संभाल सकते हैं या नहीं। यह शोध पत्र इस विशाल अंतर को भरने के लिए आया है, यह पूछते हुए: क्या ये AI मॉडल वास्तव में बंगाली में तर्क कर सकते हैं, या क्या वे शब्दों के बदलने पर लड़खड़ा जाते हैं?
इस अध्ययन के पीछे के शोधकर्ताओं ने, जो बांग्लादेश के विश्वविद्यालयों की एक टीम है, AI के लिए एक विशाल, चुनौतीपूर्ण खेल का मैदान बनाने का निर्णय लिया जिसे GSM-PLUS-BN कहा गया है। इसे एक "गणित बाधा दौड़" (Math Obstacle Course) के रूप में समझें जिसे विशेष रूप से बंगाली भाषा के लिए डिज़ाइन किया गया है। उन्होंने 1,000 मानक गणित समस्याओं ( "सीड" प्रश्न) के एक सेट से शुरुआत की और फिर उनसे 8,000 नए, अधिक कठिन संस्करण बनाने के लिए एक चतुर रेसिपी का उपयोग किया।
उन्होंने ये चालें कैसे बनाईं? उन्होंने आठ अलग-अलग प्रकार के "विकृतियों" (distortions) का उपयोग किया, जैसे कि एक जादूगर ताश के पत्तों में बदलाव करता है:
- संख्याओं को बदलना: "3" को "4" से बदलना या एक छोटी संख्या को एक बड़ी संख्या में बदलना (जैसे 2 को 2,000 में बदलना)।
- गणित को बदलना: समस्या में एक नया चरण जोड़ना या प्रश्न को उलट देना (यह पूछने के बजाय कि "कुल कितना है?", यह पूछना कि "यदि कुल X है, तो शुरुआती संख्या क्या थी?")।
- शब्दों को बदलना: वाक्य को इस तरह से फिर से लिखना कि उसका अर्थ वही रहे लेकिन वह सुनने में बिल्कुल अलग लगे।
- "रेड हेरिंग" (भटकाने वाला तत्व): एक ऐसा वाक्य जोड़ना जो महत्वपूर्ण लगता है लेकिन वास्तव में बेकार है, जैसे कि शर्ट की कीमत बताना जब प्रश्न केवल इस बारे में हो कि आपको कितनी शर्टों की आवश्यकता है।
- "गायब हिस्सा": जानकारी का एक महत्वपूर्ण हिस्सा हटा देना ताकि यह देखा जा सके कि क्या रोबोट यह स्वीकार करता है कि उसे उत्तर नहीं पता या वह बस अनुमान लगाता रहता है।
उन्होंने छह अलग-अलग AI मॉडल्स को इस कोर्स पर परखा। कुछ छोटे और तेज़ थे (एक स्मार्ट कैलकुलेटर की तरह), जबकि अन्य विशाल और जटिल थे (एक सुपर-कंप्यूटर मस्तिष्क की तरह)। उन्होंने रोबोटों को दो तरीकों से समस्याएँ हल करने के लिए कहा: पहला, केवल एक सीधा उत्तर देकर, और दूसरा, "चरण-दर-चरण सोचने" (जिसे 'चेन-ऑफ-थॉट' तकनीक कहा जाता है, जहाँ रोबोट को अपना काम दिखाना पड़ता है) के माध्यम से।
उन्हें क्या मिला?
परिणाम "वाह!" और "ओह-ओह!" का मिश्रण थे।
सबसे पहले, "चरण-दर-चरण सोचने" वाली ट्रिक ने कुछ रोबोट्स के लिए चमत्कार किया लेकिन दूसरों के लिए यह उल्टा पड़ गया। Qwen3-32B मॉडल उस छात्र की तरह था जो गणित में बहुत खराब था जब तक कि शिक्षक ने कहा, "अपना काम दिखाओ!" अचानक, इसका स्कोर 13.98% के निराशाजनक स्तर से उछलकर 76.25% के ठोस स्तर पर पहुँच गया। ऐसा लगता है कि इस मॉडल में स्मार्ट होने की क्षमता थी, लेकिन इसे अनलॉक करने के लिए थोड़े से धक्के की आवश्यकता थी।
हालाँकि, सबसे बड़े रोबोटों को हमेशा सबसे बड़ा बढ़ावा नहीं मिला। GPT-OSS-20B (20 बिलियन पैरामीटर वाला मॉडल) बिना किसी अतिरिक्त मदद के मानक प्रश्नों को हल करने में वास्तव में सबसे अच्छा था, जिसने 96.08% सही उत्तर दिए। लेकिन जब उसे "चरण-दर-चरण सोचने" के लिए मजबूर किया गया, तो वह वास्तव में थोड़ा बदतर हो गया, गिरकर 87.80% पर आ गया। वहीं, विशाल GPT-OSS-120B दिग्गज ने मानक प्रश्नों पर 88.03% के साथ शुरुआत की और काम दिखाने के लिए कहे जाने पर इसमें भी थोड़ी गिरावट देखी। ऐसा लगता है कि ये दिग्गज सीधे उत्तर का अनुमान लगाने में इतने अच्छे थे कि अतिरिक्त निर्देशों ने उन्हें कभी-कभी भ्रमित कर दिया।
सबसे आश्चर्यजनक खोज यह थी कि रोबोटों को "क्रिटिकल थिंकिंग" (गहन सोच) के जाल कितने कठिन लगे। जब शोधकर्ताओं ने जानकारी का एक प्रमुख हिस्सा हटा दिया और पूछा, "क्या आप इसे हल कर सकते हैं?", तो लगभग सभी मॉडल बुरी तरह विफल रहे। यहाँ तक कि सर्वश्रेष्ठ मॉडल भी केवल 33% ही सही कर पाए। यह सुझाव देता है कि जबकि ये AI मॉडल पैटर्न का पालन करने में बहुत अच्छे हैं, वे अभी भी यह समझने में संघर्ष करते हैं कि समस्या हल करने योग्य है या नहीं। वे यह कहने के बजाय कि "मेरे पास पर्याप्त जानकारी नहीं है," बस अनुमान लगाते रहते हैं।
एक और बड़ा निष्कर्ष यह था कि गणित AI के लिए कठिन है, चाहे भाषा कोई भी हो। यहाँ तक कि सर्वश्रेष्ठ मॉडल भी उन समस्याओं के साथ संघर्ष करते थे जिनमें संख्याओं के लिखने के तरीके को बदलने (जैसे पूर्ण संख्याओं को भिन्नों में बदलना) या गणित के अतिरिक्त चरणों को जोड़ने की आवश्यकता थी। पेपर सुझाव देता है कि ये मॉडल अपने "दिमाग" में वास्तविक गणित करने के बजाय टेक्स्ट में पैटर्न पहचानने पर बहुत अधिक निर्भर हो सकते हैं।
अंत में, टीम ने पाया कि AI मॉडल अंग्रेजी की तुलना में बंगाली में बहुत अधिक नाजुक (fragile) हैं। जब प्रश्न थोड़े से बदले गए, तो रोबोट का स्कोर काफी गिर गया। यह बताता है कि जबकि AI स्मार्ट हो रहा है, लेकिन जब तक यह वास्तव में मानव की तरह बंगाली जैसी भाषाओं में गणित को "समझ" नहीं लेता, तब तक इसकी एक लंबी राह बाकी है।
संक्षेप में, इस पेपर ने न केवल एक नया परीक्षण बनाया; इसने हमें दिखाया कि जबकि AI गणित में आश्चर्यजनक रूप से अच्छा हो सकता है, लेकिन यह ट्रिक्स से आसानी से भ्रमित हो जाता है, खासकर उन भाषाओं में जिनमें उसने अंग्रेजी जितनी महारत हासिल नहीं की है। "चरण-दर-चरण सोचने" की ट्रिक कुछ के लिए मददगार है, लेकिन यह वह जादुई छड़ी नहीं है जो सब कुछ ठीक कर देती है। रोबोट बेहतर हो रहे हैं, लेकिन वे अभी तक अंतिम गणित के जीनियस बनने के लिए तैयार नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।