MathScape: Benchmarking Multimodal Large Language Models in Real-World Mathematical Contexts
यह शोध पत्र MathScape प्रस्तुत करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) का मूल्यांकन करने के लिए मानव-कैप्चर की गई छवियों के साथ 1,369 वास्तविक दुनिया की गणितीय समस्याओं वाला एक नवीन बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी वास्तविक परिदृश्यों के साथ संघर्ष करते हैं और गणितीय तर्क के आकलन के लिए केवल सिंथेटिक डेटासेट पर निर्भर रहने की सीमाओं को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को गणित का जीनियस बनाने के लिए प्रशिक्षित कर रहे हैं। वर्षों तक, आप उन्हें एक पाठ्यपुस्तक से पूरी तरह से छपे हुए वर्कशीट का उपयोग करके परीक्षण करते रहे हैं। उनकी रेखाएं स्पष्ट हैं, संख्याएं साफ हैं, और रोशनी एकदम सही है। इन परीक्षणों पर, आपका छात्र (AI) ए+ (A+) प्राप्त करता है। आप सोचते हैं, "वाह, यह छात्र तो गणित का जादूगर है!"
लेकिन फिर, आप उसी छात्र को एक असली दुनिया के कैफेटेरिया में ले जाते हैं। आप उन्हें एक रसीद की धुंधली तस्वीर, एक थके हुए शिक्षक द्वारा लिखे गए व्हाइटबोर्ड की थोड़ी धुंधली तस्वीर, या फोन की स्क्रीन पर चमक (glare) के साथ गणित के सवाल का स्क्रीनशॉट देते हैं। अचानक, वह "गणित का जादूगर" छोटी-छोटी गलतियां करने लगता है। वे लिखावट को नहीं पढ़ पाते, वे छाया (shadows) से भ्रमित हो जाते हैं, या फोटो टेढ़ी होने के कारण एक संख्या को छोड़ देते हैं।
यह बिल्कुल वही है जिसके बारे में शोध पत्र "MathScape" है।
यहाँ शोध का सरल शब्दों में विवरण दिया गया है:
1. समस्या: "टेक्स्टबुक ट्रैप" (पाठ्यपुस्तक का जाल)
लंबे समय से, शोधकर्ता AI के गणित कौशल का परीक्षण डिजिटल, कंप्यूटर-जनरेटेड छवियों का उपयोग करके करते रहे हैं। यह एक ड्राइवर को केवल वीडियो गेम सिम्युलेटर पर टेस्ट करने जैसा है। AI बेहतरीन स्कोर प्राप्त करता है, लेकिन उसने बारिश, कोहरे या ऊबड़-खाबड़ सड़क जैसी वास्तविक दुनिया की अराजकता को नहीं सीखा है।
- पुराना तरीका: AI का परीक्षण साफ, परफेक्ट PDF फाइलों के साथ करना।
- वास्तविकता: असली इंसान गणित के सवालों की तस्वीरें लेते हैं। ये तस्वीरें अक्सर बिखरी हुई, टेढ़ी-मेढ़ी या खराब रोशनी वाली होती हैं।
2. समाधान: "MathScape" (रियल-वर्ल्ड जिम)
लेखकों ने एक नया बेंचमार्क बनाया जिसे MathScape कहा जाता है। इसे AI के लिए एक "रियल-वर्ल्ड जिम" के रूप में सोचें।
- डेटासेट: उन्होंने प्रारंभिक से लेकर हाई स्कूल स्तर के 1,369 वास्तविक गणित के सवाल एकत्र किए।
- ट्विस्ट: साफ डिजिटल फाइलों का उपयोग करने के बजाय, उन्होंने इन समस्याओं की वास्तविक तस्वीरें लीं। कुछ छपे हुए कागजों की तस्वीरें थीं, अन्य कंप्यूटर स्क्रीन के स्क्रीनशॉट थे।
- लक्षक: यह देखना कि क्या AI वास्तव में गणित के सवालों को उसी तरह हल कर सकता है जैसे एक इंसान वास्तविक जीवन में उनका सामना करता है, न कि केवल एक परफेक्ट डिजिटल लैब में।
3. प्रयोग: कौन पास हुआ?
शोधकर्ताओं ने 19 अलग-अलग AI मॉडल्स (मुफ्त और महंगे दोनों) को इस "रियल-वर्ल्ड जिम" से गुजारा। इसमें GPT-4o जैसे दिग्गज और छोटे, विशिष्ट गणित संबंधी AI भी शामिल थे।
परिणाम चौंकाने वाले थे:
- "सिम्युलेटर" बनाम "वास्तविक दुनिया": जब शीर्ष AI (GPT-4o) ने साफ PDF फाइलों का उपयोग करके परीक्षण दिया, तो उसने बहुत उच्च स्कोर किया। लेकिन जब उसी AI ने परीक्षण के लिए उन बिखरी हुई, वास्तविक दुनिया की तस्वीरों का उपयोग किया, तो उसका स्कोर काफी गिर गया।
- अंतर: यहाँ तक कि सबसे स्मार्ट AI भी अभी भी मानव छात्रों से बहुत पीछे हैं। जहाँ एक इंसान 77% सही हो सकता है, वहीं सर्वश्रेष्ठ AI इन वास्तविक दुनिया की तस्वीरों पर केवल लगभग 42% ही सही हो पाया।
- आश्चर्य: कुछ AI जिन्हें विशेष रूप से "गणित विशेषज्ञ" के रूप में प्रशिक्षित किया गया था, वे सामान्य-उद्देश्य वाले AI की तुलना में खराब प्रदर्शन करते पाए गए। यह पता चला कि गणित में अच्छा होने का मतलब केवल फॉर्मूले जानना नहीं है; इसका मतलब यह भी है कि पहले बिखरी हुई छवियों को देखना और व्याख्या करना।
4. बड़ा सबक
शोध पत्र एक महत्वपूर्ण चेतावनी के साथ समाप्त होता है: परफेक्ट टेस्ट स्कोर से धोखा न खाएं।
सिर्फ इसलिए कि एक AI एक परफेक्ट टेक्स्टबुक इमेज से गणित का सवाल हल कर सकता है, इसका मतलब यह नहीं है कि वह किसी स्टोर पर आपके द्वारा ली गई धुंधली फोटो से सवाल हल करने में आपकी मदद कर सकता है। "वास्तविक दुनिया" कठिनाई की एक परत जोड़ देती है (शोर, रोशनी, कोण) जिसे संभालने में वर्तमान AI मॉडल बहुत खराब हैं।
मुख्य निष्कर्ष (The Takeaway)
MathScape एक वेक-अप कॉल है। यह हमें बताता है कि वास्तव में उपयोगी AI बनाने के लिए, हमें उन्हें "क्लीन रूम" में प्रशिक्षित करना बंद करना होगा और उन्हें "बिखरी हुई दुनिया" में प्रशिक्षित करना शुरू करना होगा। यदि हम चाहते हैं कि AI एक वास्तविक गणित ट्यूटर या सहायक बने, तो उसे एक मुड़े हुए रसीद को पढ़ना सीखना होगा, न कि केवल एक डिजिटल PDF को।
संक्षेप में: इस शोध पत्र ने यह साबित करने के लिए एक "बिखरी हुई फोटो" वाला गणित परीक्षण बनाया कि आज के सबसे स्मार्ट AI भी दुनिया को हमारे तरीके से देखने के लिए संघर्ष कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।