MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models
यह शोध पत्र MaterialFigBench को प्रस्तुत करता है, जो 137 विश्वविद्यालय-स्तरीय पदार्थ विज्ञान (मटेरियल्स साइंस) की समस्याओं का एक बेंचमार्क डेटासेट है जिसमें आकृतियों की व्याख्या की आवश्यकता होती है, जो यह प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सुधार के बावजूद, वे अभी भी वास्तविक दृश्य तर्क (विजुअल रीजनिंग) और मात्रात्मक विश्लेषण में संघर्ष करते हैं, और अक्सर प्रदान किए गए आरेखों को सटीक रूप से पढ़ने के बजाय याद किए गए ज्ञान पर निर्भर रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जिसका नाम MaterialFigBench है। यह छात्र एक "मल्टीमॉडल लार्ज लैंग्वेज मॉडल" (MLLM) है—सरल शब्दों में, एक सुपर-स्मार्ट AI जो टेक्स्ट पढ़ सकता है और चित्रों को देख भी सकता है।
इस शोध पत्र के पीछे के शोधकर्ताओं ने यह परीक्षण करना चाहा कि क्या यह छात्र वास्तव में बुद्धिमान है या केवल फ्लैशकार्ड रटने में माहिर है।
यहाँ उनके प्रयोग की कहानी सरल भाषा में दी गई है।
1. परीक्षण: "सिर्फ अंदाज़ा मत लगाओ!"
आमतौर पर, जब हम AI का परीक्षण करते हैं, तो हम उससे टेक्स्ट-आधारित प्रश्न पूछते हैं जैसे, "फ्रांस की राजधानी क्या है?" AI इसे जानता है क्योंकि उसने अपने प्रशिक्षण डेटा में इसे लाखों बार पढ़ा है।
लेकिन मटेरियल्स साइंस (पदार्थ विज्ञान—जो इस बात का अध्ययन है कि चीजें किससे बनी होती हैं और वे कैसे व्यवहार करती हैं) में, उत्तर अक्सर चित्रों के भीतर छिपे होते हैं:
- फेज डायग्राम (Phase Diagrams): मानचित्र जो दिखाते हैं कि धातुएँ कैसे पिघलती और मिश्रित होती हैं।
- स्ट्रेस-स्ट्रेन कर्व्स (Stress-Strain Curves): ग्राफ जो दिखाते हैं कि रबर बैंड टूटने से पहले आप उसे कितना खींच सकते हैं।
- माइक्रोस्कोप (Microscopes): क्रिस्टल संरचनाओं के ज़ूम किए हुए फोटो।
शोधकर्ताओं ने एक विशेष परीक्षण बनाया जिसे MaterialFigBench कहा गया। उन्होंने पाठ्यपुस्तकों से 137 कॉलेज-स्तरीय समस्याएँ लीं।
- चुनौती (The Catch): उन्होंने मूल पाठ्यपुस्तकीय चित्रों को लिया, धातुओं के नाम बदल दिए (जैसे, "कॉपर" को बदलकर "मिस्ट्री मेटल X" कर दिया) और ग्राफ पर रेखाओं में थोड़ा बदलाव किया।
- लक्ष्य: AI को वास्तव में चित्र देखने और गणित करने के लिए मजबूर करना, न कि केवल याद की गई जानकारी को दोहराने के लिए।
2. परिणाम: "चीट शीट" की समस्या
जब उन्होंने शीर्ष AI मॉडलों (जैसे GPT-4o, GPT-o1, और GPT-5) पर यह परीक्षण चलाया, तो उन्हें कुछ आश्चर्यजनक पता चला।
AI नकल (Cheating) कर रहा था।
- परिदृश्य: परीक्षण में पूछा गया, "मिस्ट्री मेटल X के लिए इस ग्राफ को देखें और इसका गलनांक (melting point) बताएं।"
- AI की प्रतिक्रिया: ग्राफ को देखने के बजाय, AI ने सोचा, "हम्म, 'मिस्ट्री मेटल X' सुनने में आयरन अलॉय में कार्बन जैसा लग रहा है। मैंने इसे लाखों बार देखा है। उत्तर 0.76% है।"
- परिणाम: AI ने उत्तर सही दिया, लेकिन गलत कारण से। उसने चित्र को अनदेखा कर दिया और अपनी याददाश्त पर भरोसा किया।
यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा दे रहा है जहाँ शिक्षक ने सवाल में संख्याएँ बदल दी हैं। छात्र नई संख्याओं को अनदेखा करता है, पिछले साल के पुराने सवाल का उत्तर याद करता है, और उसे लिख देता है। उसे ग्रेड तो मिल जाता है, लेकिन उसने कुछ सीखा नहीं।
3. AI कहाँ संघर्ष कर रहा था?
जब AI नकल नहीं कर सका (क्योंकि समस्या बहुत अनूठी थी या उसमें सटीक माप की आवश्यकता थी), तो वह बुरी तरह संघर्ष कर गया।
- "पिक्सेल पीपिंग" (Pixel Peeping) की समस्या: AI ग्राफ से सटीक संख्याएँ पढ़ने में बहुत बुरा है। यदि कोई रेखा चार्ट पर 45.3 पर है, तो AI 45 या 46 का अनुमान लगा सकता है। विज्ञान में, यह छोटा सा अंतर मायने रखता है।
- "सिग्निफिकेंट डिजिट्स" (Significant Digits) का मुद्दा: AI अक्सर बहुत अस्पष्ट उत्तर देता था (जैसे, "58,000" जबकि "57,915" होना चाहिए था) या बहुत अधिक सटीक (जब ग्राफ में केवल 2 दशमलव स्थान थे, तब 10 दशमलव स्थान देना)। यह एक शेफ की तरह है जो सटीक 3.2 ग्राम की आवश्यकता होने पर भी "एक चुटकी नमक" का अनुमान लगाता है।
- "ज्यामिति" (Geometry) का अंतर: उन कार्यों में जहाँ AI को मानचित्र पर दूरियाँ मापने या क्रिस्टल संरचना में कोणों को गिनने की आवश्यकता थी, उसे बहुत कठिनाई हुई। यह किसी इंसान से एक धुंधली फोटो देखकर दो सितारों के बीच की दूरी का अनुमान लगाने के लिए कहने जैसा है।
4. अच्छी खबर
AI बेहतर हो रहा है, लेकिन धीरे-धीरे।
- नए मॉडल (जैसे GPT-5) पुराने मॉडलों (GPT-4) की तुलना में बेहतर प्रदर्शन करते हैं।
- वे विशिष्ट प्रकार के ग्राफ (जैसे अरहेनियस प्लॉट, जो लॉग स्केल पर सीधी रेखाओं की तरह दिखते हैं) को पढ़ने में थोड़े बेहतर हो रहे हैं।
- हालाँकि, उन्होंने अभी भी एक नया, अजीब ग्राफ को देखकर उसे शून्य से समझने का "सामान्य कौशल" हासिल नहीं किया है।
5. बड़ा सबक
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI वास्तव में दुनिया को "देख" नहीं रहा है।
यह एक ऐसे तोते की तरह है जिसने पूरी डिक्शनरी रट ली है। यदि आप उससे किसी चित्र के बारे में सवाल पूछते हैं, तो वह कीवर्ड्स को मैच करके सही उत्तर दे सकता है, लेकिन वह वस्तुओं के बीच के दृश्य संबंध (visual relationship) को वास्तव में नहीं समझता है।
यह क्यों मायने रखता है?
यदि हम चाहते हैं कि AI वैज्ञानिकों को नए पदार्थ खोजने (जैसे बेहतर बैटरी या मजबूत पुल) में मदद करे, तो AI को पुराने डेटा के आधार पर अनुमान लगाने के बजाय, एक नए प्रयोग के डेटा को देखना और उसके बारे में तर्क करना आना चाहिए।
MaterialFigBench AI के लिए एक "ईमानदारी परीक्षण" की तरह है। यह चीट शीट को हटा देता है और AI को यह साबित करने के लिए मजबूर करता है कि वह वास्तव में चार्ट पढ़ सकता है। फिलहाल, AI नकल करके परीक्षण पास कर रहा है, लेकिन यह बेंचमार्क शोधकर्ताओं को यह समझने में मदद करता है कि उसे वास्तव में "देखना" कैसे सिखाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।