Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities
यह शोध पत्र "मैथ-विज़न डायग्राम्स" (Math-Vision Diagrams) प्रस्तुत करता है, जो टेक्स्ट-टू-कोड और टेक्स्ट-टू-इमेज प्रतिमानों को एकीकृत करके टेक्स्ट प्रॉम्प्ट्स से गणितीय रूप से सटीक आरेख उत्पन्न करने में लार्ज लैंग्वेज मॉडल्स की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला व्यापक बेंचमार्क है, जो इस महत्वपूर्ण कौशल में वर्तमान महत्वपूर्ण सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर का एक सटीक ब्लूप्रिंट बनाना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं कहेंगे कि "एक घर बनाओ," और उम्मीद नहीं करेंगे कि वह सीधी दीवारें और सही जगह पर दरवाजा बना देगा। आपको उसे विस्तार से समझाना होगा कि कोने कहाँ जाएंगे, बीम कितनी लंबी होंगी, और छत का कोण एक विशिष्ट डिग्री का होना चाहिए। यह गणितीय आरेख निर्माण (mathematical diagram generation) की दुनिया है। यह दो सुपरपावर्स के मिलन बिंदु पर स्थित है: गणितीय तर्क (वह दिमागी तर्क जो जानता है कि एक त्रिभुज के कोणों का योग 180 डिग्री होना चाहिए) और दृश्य निर्माण (चित्र बनाने की कलात्मक क्षमता)। लंबे समय से, कंप्यूटर चित्रों को देखने और उनके बारे में सवालों के जवाब देने, या सरल चार्ट बनाने के लिए कोड लिखने में बहुत अच्छे हो गए हैं। लेकिन कंप्यूटर से किसी शब्द-समस्या (word problem) को देखकर और फिर शून्य से बिल्कुल सटीक, गणितीय रूप से सही आरेख बनाने के लिए कहना? यह एक शेफ से रेसिपी पढ़ने के बाद तुरंत एक ऐसा केक बनाने के लिए कहने जैसा है जो दिखने में बिल्कुल फोटो जैसा हो, जिसमें फ्रॉस्टिंग पूरी तरह से सजी हो और परतें भी समान हों। यह एक बड़ी चुनौती है क्योंकि गणित में "लगभग ठीक" जैसा कुछ नहीं होता। यदि एक रेखा एक मिलीमीटर भी इधर-उधर हो जाए या लेबल गलत जगह पर हो, तो पूरा आरेख बेकार हो जाता है, जैसे कोई नक्शा जो आपको खाई में गिरा दे।
यही वह समस्या है जिसे Pandita AI Inc. के शोधकर्ताओं की एक टीम ने हल करने का निर्णय लिया। उन्होंने महसूस किया कि जबकि हमारे पास ऐसे कई परीक्षण हैं जिनसे यह देखा जा सके कि क्या रोबोट चित्रों का उपयोग करके गणित की समस्याओं को हल कर सकते हैं, हमारे पास यह परीक्षण करने का कोई निष्पक्ष तरीका नहीं था कि क्या रोबोट पहले से ही उन चित्रों को बना सकते हैं। इसलिए, उन्होंने एक नया खेल का मैदान बनाया जिसे मैथ-विज़न डायग्राम्स (Math-Vision Diagrams) कहा गया। इसे एक विशाल, कठोर आर्ट क्लास के रूप में समझें, जहाँ शिक्षक (बेंचमार्क) छात्र (AI) को एक टेक्स्ट विवरण देता है और एक ऐसे चित्र की मांग करता है जो न केवल सुंदर हो, बल्कि गणितीय रूप से भी एकदम सटीक हो।
शोधकर्ताओं ने शुरुआत एक विशाल संग्रह इकट्ठा करके की जिसमें वास्तविक प्रतियोगिताओं से 3,040 कठिन गणितीय समस्याएं शामिल थीं, जो ज्यामिति (geometry) से लेकर सांख्यिकी (statistics) तक फैली हुई थीं। उन्होंने इसे 2,920 समस्याओं तक सीमित कर दिया जो दृश्यात्मक आरेखों पर बहुत अधिक निर्भर करती थीं। फिर, उन्होंने मूल, कभी-कभी अस्पष्ट समस्या कथनों को स्पष्ट-स्पष्ट निर्देशों में बदलने के लिए अन्य AI मॉडल और मानव गणित विशेषज्ञों के एक चतुर मिश्रण का उपयोग किया। उदाहरण के लिए, केवल "एक वृत्त बनाओ" कहने के बजाय, नए प्रॉम्प्ट कहेंगे, "एक वृत्त बनाइए जिसका क्षैज (horizontal) और ऊर्ध्वाधर (vertical) व्यास केंद्र पर प्रतिच्छेद करता हो, और जिसे 'O' लेबल किया गया हो।" उन्होंने मानव विशेषज्ञों से यह भी दोबारा जांच करवाया कि क्या ये निर्देश इतने स्पष्ट थे कि एक इंसान चित्र को पूरी तरह से बना सके, और उन्हें 1 से 5 के पैमाने पर स्कोर दिया।
एक बार जब उनके पास "परीक्षा के प्रश्न" तैयार हो गए, तो उन्होंने 11 अलग-अलग AI मॉडलों को परखने के लिए उन्हें टेस्ट किया। इनमें से कुछ मॉडल उन आर्किटेक्ट्स की तरह हैं जो विस्तृत ब्लूप्रिंट (कोड) लिखते हैं जिन्हें एक कंप्यूटर फिर एक छवि में बदल देता है (text-to-code)। अन्य डिजिटल पेंटर्स की तरह हैं जो बिना किसी कोड के सीधे विवरण से चित्र बनाने की कोशिश करते हैं (text-to-image)। शोधकर्ताओं ने कई उपकरणों का उपयोग करके यह मापा कि चित्र मूल गणितीय समस्याओं से कितने मेल खाते हैं: यह जाँचकर कि क्या रेखाएं और किनारे पूरी तरह से संरेखित (align) हैं, समग्र रूप कितना समान है, और क्या कोड वास्तव में बिना क्रैश हुए काम करता है।
परिणाम प्रभावशाली प्रगति और कुछ विनम्र वास्तविकता की जाँचों का मिश्रण थे। अध्ययन में पाया गया कि कोई भी एकल AI मॉडल हर चीज़ में माहिर नहीं है। "आर्किटेक्ट" मॉडल (कोड जनरेटर) आम तौर पर गणित और संरचना को सही करने में बेहतर थे—जैसे कि यह सुनिश्चित करना कि एक वर्ग के वास्तव में चार समान भुजाएं हों—लेकिन वे अक्सर काम पूरा करने में विफल रहे क्योंकि उनका कोड कंपाइल नहीं हो पाता था, जिससे वे लगभग 10% से 30% बार क्रैश हो जाते थे। "पेंटर" मॉडल (डायरेक्ट इमेज जनरेटर्स) अविश्वसनीय रूप से विश्वसनीय थे, वे लगभग हमेशा एक छवि बना देते थे, लेकिन उनके चित्रों में सटीक गणितीय संरचना की कमी थी, जिसमें रेखाएं थोड़ी टेढ़ी-मेढ़ी थीं या लेबल गलत जगहों पर थे।
एक सबसे दिलचस्प खोज यह थी कि सबसे उन्नत मॉडल भी, जिनमें AI के कुछ बड़े नाम शामिल हैं, काफी संघर्ष करते हैं। सबसे अच्छा प्रदर्शन करने वाला मॉडल, Claude Opus 4.6, दृश्य रूप और गणितीय संरचना को काफी हद तक करीब लाने में सफल रहा, लेकिन फिर भी उसने गलतियाँ कीं। वहीं, GPT-5.4 नामक मॉडल ने आश्चर्यजनक रूप से खराब प्रदर्शन किया, जो अक्सर अत्यधिक जटिल चित्र बनाता था जो गणितीय रूप से गलत थे, जिससे पता चलता है कि कभी-कभी समस्या के बारे में बहुत अधिक "सोचना" वास्तव में ड्राइंग प्रक्रिया को भ्रमित कर सकता है। शोधकर्ताओं ने यह भी देखा कि जबकि सरल ज्यामिति अब AI के लिए प्रबंधनीय होती जा रही है, अधिक जटिल विषय जैसे सांख्यिकीय चार्ट या अमूर्त टोपोलॉजिकल आकार एक बड़ी बाधा बने हुए हैं।
अंततः, यह पेपर सुझाव देता है कि हम अभी भी इस तकनीक के शुरुआती दौर में हैं। हालांकि AI अब अच्छे दिखने वाले आरेख बना सकता है, लेकिन इसने अभी तक उस "पूर्ण सटीकता" में महारत हासिल नहीं की है जिसकी गंभीर गणित और विज्ञान के लिए आवश्यकता होती है। टीम ने अपना सारा डेटा, कोड और परीक्षण उपकरण सभी के उपयोग के लिए उपलब्ध करा दिया है, इस उम्मीद में कि इन मॉडलों की विफलताओं पर प्रकाश डालकर, हम अगली पीढ़ी के AI के निर्माण में मदद कर सकें जो अंततः हर बार एक सटीक वृत्त बना सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।