Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams
यह शोध पत्र Diagram-MMU प्रस्तुत करता है, जो एक मल्टी-मोडल बेंचमार्क है जिसमें 3.7k वैज्ञानिक आरेख और 18.3k सत्यापित प्रश्न शामिल हैं, जो डायग्राम-टू-कोड पार्सिंग, एडिटिंग और प्रश्न उत्तर के लिए MLLMs का मूल्यांकन करता है, और यह प्रकट करता है कि जहाँ मॉडल तर्क करने में उत्कृष्ट हैं, वहीं वे एजेंटिक सेटिंग्स में संचालित हुए बिना कोड जनरेशन कार्यों में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वैज्ञानिक हैं जो अपनी एक नई खोज के बारे में एक शोध पत्र लिख रहे हैं। आपके पास अपने डेटा का एक सुंदर ग्राफ, अपने प्रयोग का एक सर्किट आरेख (circuit diagram), या एक नए ड्रग का आणविक संरचना (molecular structure) है। पुराने दिनों में, आप इसे हाथ से बना सकते थे या किसी कंप्यूटर प्रोग्राम का उपयोग करके एक पिक्चर फाइल (जैसे PNG या JPG) बना सकते थे और उसे अपने दस्तावेज़ में पेस्ट कर सकते थे। लेकिन आधुनिक वैज्ञानिक अपने शोध पत्रों को लिखने के लिए अक्सर LaTeX नामक एक विशेष भाषा का उपयोग करते हैं क्योंकि यह बहुत पेशेवर दिखता है और गणित को पूरी तरह से संभालता है। LaTeX के भीतर, उनके पास TikZ नामक एक अत्यंत शक्तिशाली उपकरण है। TikZ को एक 'रोबोट कलाकार' के निर्देशों के सेट के रूप में समझें। चित्र को तैयार रूप में देने के बजाय, आप रोबोट को निर्देशों की एक सूची देते हैं जैसे "यहाँ एक लाल घेरा बनाओ," "इस रेखा को उस रेखा से जोड़ो," और "यहाँ संख्या 5 लिखो।" यदि रोबोट उन निर्देशों का सटीक रूप से पालन करता है, तो वह ठीक वैसा ही आरेख बनाता है जिसकी आपको आवश्यकता है, और यह आपके पेपर में बिल्कुल फिट बैठता है।
अब, कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट कंप्यूटर मस्तिष्क है जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) कहा जाता है। आप सोच सकते हैं, "यदि यह मस्तिष्क एक चित्र को पढ़ सकता है और समझ सकता है कि इसका क्या अर्थ है, तो क्या यह मेरे लिए TikZ निर्देश लिख सकता है?" यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है। वैज्ञानिक चाहते हैं कि ये AI मस्तिष्क एक आरेख को देख सकें, उसके पीछे के विज्ञान को समझ सकें, और फिर उसे फिर से बनाने या बदलने (जैसे एक बार चार्ट को लाइन चार्ट में बदलना) के लिए कोड लिख सकें, और वह भी केवल एक सरल अनुरोध सुनकर। यह "वाइब राइटिंग" (vibe writing) नामक एक नए चलन का हिस्सा है, जहाँ आप बस वर्णन करते हैं कि आपको क्या चाहिए, और AI सारा कठिन काम कर देता है। लेकिन क्या AI के पास वास्तव में यह कौशल है, या वह केवल समझने का नाटक करता है?
Diagram-MMU के पीछे के शोधकर्ताओं ने यह पता लगाने के लिए कि क्या यह संभव है, एक विशाल और कठोर परीक्षण बनाने का निर्णय लिया। उन्होंने 3,744 अद्वितीय वैज्ञानिक आरेखों और 18,305 विभिन्न प्रश्नों और कार्यों वाला एक बेंचमार्क (एक मानकीकृत परीक्षण) बनाया। ये आरेख छह अलग-अलग वैज्ञानिक दुनियाओं को कवर करते हैं: चार्ट (जैसे ग्राफ), फ्लैट ज्यामिति (flat geometry), 3D आकार, नेटवर्क ग्राफ, रसायन विज्ञान के अणु (chemistry molecules), और इलेक्ट्रिकल सर्किट। उन्होंने केवल AI को चित्र देखने के लिए नहीं कहा; उन्होंने इसे तीन विशिष्ट चुनौतियों पर परखा:
- पार्सिंग (Parsing): एक आरेख को देखना और उसे शून्य से बनाने के लिए कोड लिखना।
- संपादन (Editing): एक आरेख और उसके कोड को देखना, और फिर एक नए निर्देश के अनुसार कोड को बदलना (जैसे "रेसिस्टर को नीला बनाओ" या "इस पैरेलल सर्किट को सीरीज सर्किट में बदल दो")।
- प्रश्न-उत्तर (Question Answering): आरेख को देखना और उसके अंदर के विज्ञान के बारे में प्रश्न का उत्तर देना (जैसे "कुल प्रतिरोध (total resistance) क्या है?")।
उन्होंने यह भी परीक्षण किया कि क्या AI एक सहायक की तरह कार्य कर सकता है जो जानता है कि जानकारी कब ढूँढनी है। उन्होंने AI को एक विशेष "सर्च टूल" दिया ताकि यदि वह अटक जाए तो वह TikZ सिंटैक्स (इस भाषा के नियम) को खोज सके, और उन्होंने यह भी परीक्षण किया कि क्या AI अपने चरणों की योजना बना सकता है: "पहले, मुझे चित्र को समझना होगा, फिर मैं नियम देखूँगा, फिर मैं कोड लिखूँगा।"
तो, उन्हें क्या मिला? परिणाम "वाह" और "ओह-ओह" का मिश्रण थे। AI मॉडल वास्तव में आरेखों के बारे में सोचने में बहुत अच्छे हैं। जब उनसे "कौन सा बार सबसे ऊँचा है?" या "क्या ये दो घटक जुड़े हुए हैं?" जैसे प्रश्न पूछे गए, तो मॉडल अधिकांश समय सही रहे (86% सटीकता तक)। वे विज्ञान को समझते हैं!
हालाँकि, जब बात आरेखों को बनाने के लिए कोड लिखने की आई, तो मॉडल काफी संघर्ष करते दिखे। यहाँ तक कि सर्वश्रेष्ठ मॉडल भी बुनियादी निर्माण खंडों (जैसे वृत्त, रेखाएं और टेक्स्ट) को सही स्थान पर रखने में केवल 31% से 57% ही सफल रहे। यह ऐसा ही है जैसे AI एक आदर्श घर का विस्तार से वर्णन तो कर सकता है, लेकिन जब वह ईंटों से उसे बनाने की कोशिश करता है, तो वह खिड़कियों को छत में और दरवाजे को फर्श में लगा देता है। शोध पत्र सुझाव देता है कि जबकि ये मॉडल तर्क करने (reasoning) में बेहतरीन हैं, वे चित्र को सटीक कोड में बदलने के लिए आवश्यक सूक्ष्म दृश्य धारणा (fine-grained visual perception) में अभी भी काफी कमजोर हैं।
अध्ययन ने यह भी देखा कि क्या AI को "सर्च टूल" (नियम खोजने की सुविधा) देने से मदद मिली। संपादन कार्यों के लिए, इससे थोड़ी मदद मिली। लेकिन प्रश्न-उत्तर कार्यों के लिए, इसने अक्सर स्थिति को बिगाड़ दिया क्योंकि AI बहुत अधिक जानकारी से भ्रमित हो गया या गलत प्रश्न पूछने लगा। एक मॉडल, Claude-4.6 Opus, सबसे सुसंगत रहा, जो सर्च टूल मिलने पर तीनों कार्यों में बेहतर प्रदर्शन करता था, लेकिन अन्य अधिकांश मॉडल लड़खड़ा गए।
संक्षेप में, यह शोध पत्र एक अजीब अंतर को उजागर करता है: आज का AI एक शानदार वैज्ञानिक हो सकता है जो आपके आरेखों को पूरी तरह समझता है, लेकिन जब वह TikZ भाषा का उपयोग करके उन्हें बनाने की कोशिश करता है, तो वह एक अनाड़ी कलाकार की तरह व्यवहार करता है। लेखक आशा करते हैं कि यह परीक्षण डेवलपर्स को बेहतर उपकरण बनाने में मदद करेगा ताकि भविष्य में वैज्ञानिक वास्तव में अपने आरेखों को बिना कोड की चिंता किए केवल "वाइब" (vibe) के माध्यम से अस्तित्व में ला सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।