M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models
यह शोध पत्र M3Kang को प्रस्तुत करता है, जो कंगारू मैथ कॉम्पिटिशन से व्युत्पन्न पहला व्यापक बहुभाषी, बहुविध गणितीय तर्क डेटासेट है, जो अत्याधुनिक विजन-लैंग्वेज मॉडल्स का मानव प्रदर्शन के विरुद्ध मूल्यांकन करता है और 108 भाषाओं में बुनियादी गणित और आरेख-आधारित तर्क में उनकी वर्तमान सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, वैश्विक गणित प्रतियोगिता है जिसे "कंगारू मैथ कॉम्पिटिशन" (Kangaroo Math Competition) कहा जाता है। हर साल, 90 से अधिक देशों के 18 वर्ष से कम उम्र के छह मिलियन से अधिक बच्चे इसमें भाग लेते हैं। वे कठिन गणितीय पहेलियाँ हल करते हैं, जिनमें से कुछ केवल शब्दों के रूप में होती हैं, लेकिन कई के लिए उत्तर का पता लगाने के लिए आरेखों (diagrams), आकृतियों और चित्रों को देखने की आवश्यकता होती है।
अब, कल्पना कीजिए कि Qualcomm AI Research के शोधकर्ताओं ने इस प्रतियोगिता को आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक विशाल परीक्षण में बदलने का निर्णय लिया। उन्होंने M3Kang नामक एक नया टूल बनाया। M3Kang को एक "यूनिवर्सल ट्रांसलेटर और गणित शिक्षक" के रूप में समझें जो एक ही डेटासेट में समाहित है।
यहाँ उन्होंने जो किया और जो पाया, उसका सरल विवरण दिया गया है:
1. द बिग प्रोजेक्ट: द अल्टीमेट मैथ टेस्ट बनाना
शोधकर्ताओं ने मूल गणित की समस्याओं (जो मुख्य रूप से कैटलन और अंग्रेजी में थीं) को 108 विभिन्न भाषाओं में अनुवादित किया।
- पैमाना (Scale): उन्होंने केवल शब्दों का अनुवाद नहीं किया; उन्होंने प्रश्नों के साथ चित्रों और आरेखों को भी जोड़े रखा। इसके परिणामस्वरूप 1,11,000 से अधिक अद्वितीय गणित की समस्याएँ तैयार हुईं।
- लक्ष्य: वे यह देखना चाहते थे कि क्या AI मॉडल (जो चैटबॉट्स और इमेज जनरेटर के पीछे के "दिमाग" हैं) अंग्रेजी के अलावा अन्य भाषाओं में गणित की समस्याओं को हल कर सकते हैं, और क्या वे वास्तव में चित्रों को "देख" और समझ सकते हैं, न कि केवल टेक्स्ट को पढ़ सकते हैं।
2. उन्होंने इसे कैसे बनाया (असेंबली लाइन)
इतने बड़े डेटासेट का निर्माण करना एक फैक्ट्री असेंबली लाइन बनाने जैसा है।
- चरण 1: उन्होंने गणित प्रतियोगिता के मूल PDF को साफ छवियों (images) में बदल दिया जिसमें टेक्स्ट भी शामिल था।
- चरण 2: उन्होंने गणित के तर्क (logic) को तोड़े बिना प्रश्नों को अंग्रेजी में अनुवाद करने के लिए AI का उपयोग किया।
- चरण 3: उन्होंने अन्य 108 भाषाओं के लिए एक चतुर "बैक-ट्रांसलेशन" (back-translation) तकनीक का उपयोग किया। कल्पना कीजिए कि एक वाक्य को स्पेनिश से अंग्रेजी में अनुवादित किया जाता है, और फिर तुरंत उसे वापस स्पेनिश में अनुवादित किया जाता है। यदि परिणाम मूल से अलग दिखता है, तो अनुवाद खराब है। उन्होंने खराब अनुवादों को स्वचालित रूप से फ़िल्टर करने के लिए इस पद्धति का उपयोग किया।
3. परिणाम: AI कैसा रहा?
उन्होंने अपने नए परीक्षण के विरुद्ध उपलब्ध सबसे स्मार्ट AI मॉडलों (दोनों मुफ्त/ओपन और महंगे/क्लोज्ड) का परीक्षण किया। यहाँ उनकी खोजएँ दी गई हैं:
- "अंग्रेजी का लाभ" वास्तविक है: ठीक वैसे ही जैसे अंग्रेजी में ही पढ़ने वाला छात्र फ्रेंच क्लास में संघर्ष कर सकता है, AI मॉडल अंग्रेजी में गणित की समस्याओं को हल करने में बहुत बेहतर थे। जैसे-जैसे भाषा इंटरनेट पर कम प्रचलित हुई (जैसे स्वाहिली या माल्टीज़), AI का प्रदर्शन काफी गिर गया। ऐसा लगता है जैसे AI भाषा बदलने पर गणित करना भूल गया हो।
- आकार मायने रखता है (लेकिन सब कुछ के लिए नहीं): बड़े AI मॉडल आम तौर पर बेहतर प्रदर्शन करते हैं। हालाँकि, सबसे बड़े और सबसे स्मार्ट मॉडल भी बुनियादी तर्क और आरेखों के साथ संघर्ष करते हैं।
- "अंधापन" की समस्या: यह सबसे आश्चर्यजनक खोज थी। जब इंसान यह टेस्ट देते हैं, तो वे चित्रों वाले प्रश्नों को केवल टेक्स्ट वाले प्रश्नों की तुलना में आसान पाते हैं। लेकिन AI के लिए, यह उल्टा है! चित्र शामिल होने पर AI मॉडल काफी खराब प्रदर्शन करते हैं। यह एक ऐसे छात्र की तरह है जो शब्द वाली समस्या (word problem) पढ़ने में तो अच्छा है लेकिन ग्राफ देखते ही घबरा जाता है। AI को टेक्स्ट और इमेज के बीच संबंध जोड़ने में कठिनाई होती है।
- AI बनाम इंसान: उन्होंने AI के स्कोर की तुलना 68,000 मानव छात्रों के वास्तविक स्कोर से की।
- सबसे अच्छा AI (Gemini-2.5-Pro) अंग्रेजी में एक शीर्ष स्तर के छात्र की तरह प्रदर्शन करता है, लेकिन कम संसाधन वाली भाषाओं में इसका प्रदर्शन "औसत" या "औसत से नीचे" गिर जाता है।
- दिलचस्प बात यह है कि AI उसी तरह बेहतर नहीं होता जैसे मानव छात्र कठिन गणित के साथ होते हैं। कभी-कभी AI सबसे कठिन समस्याओं को हल कर लेता है लेकिन सबसे आसान समस्याओं में विफल हो जाता है, जो यह सुझाव देता है कि वह "अनुमान" लगा रहा है या मानव बच्चे की तुलना में किसी अलग प्रकार के तर्क का उपयोग कर रहा है।
4. क्या हम इसे ठीक कर सकते हैं?
शोधकर्ताओं ने AI को अन्य भाषाओं को बेहतर ढंग से बोलने में मदद करने के लिए कुछ "ट्रेनिंग ट्रिक्स" का परीक्षण किया।
- "ट्रांसलेटर" ट्रिक: उन्होंने पाया कि यदि वे AI को कहते, "पहले इस प्रश्न को अपने दिमाग में अंग्रेजी में अनुवाद करो, इसे हल करो, फिर उत्तर दो," तो AI अन्य भाषाओं में समस्याओं को हल करने में बहुत बेहतर हो जाता है। यह एक छात्र को टेस्ट से ठीक पहले डिक्शनरी देने जैसा है।
- "स्टीयरिंग" (Steering) ट्रिक: उन्होंने AI की आंतरिक सोच प्रक्रिया को अन्य भाषाओं में बोलते समय भी अधिक "अंग्रेजी जैसा" होने के लिए प्रेरित करने की कोशिश की। इससे थोड़ी मदद मिली, लेकिन "ट्रांसलेटर" ट्रिक विजेता रही।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि AI अविश्वसनीय रूप से स्मार्ट होता जा रहा है, इसके पास अभी भी एक बड़ी कमजोरी है: इसे विभिन्न भाषाओं में पढ़ना, देखना और सोचना जोड़ने में कठिनाई होती है।
शोधकर्ताओं ने अपना सारा डेटा और कोड सार्वजनिक (ओपन-सोर्स) कर दिया है ताकि अन्य वैज्ञानिक इस "कंगारू टेस्ट" का उपयोग बेहतर, अधिक समावेशी AI बनाने के लिए कर सकें जो न केवल अंग्रेजी बोलता है, बल्कि किसी भी भाषा में, चित्र के साथ या बिना, गणित कर सकता है। उन्हें उम्मीद है कि यह एक ऐसे AI के निर्माण में मदद करेगा जो वास्तव में वैश्विक और सभी के लिए निष्पक्ष हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।