Graphic-Design-Bench: A Comprehensive Benchmark for Evaluating AI on Graphic Design Tasks
यह शोध पत्र ग्राफिक डिज़ाइन बेंच (GDB) को प्रस्तुत करता है, जो पांच अक्षों—लेआउट, टाइपोग्राफी, इन्फोग्राफिक्स, टेम्पलेट्स और एनिमेशन—में पेशेवर ग्राफिक डिज़ाइन कार्यों पर एआई मॉडलों का मूल्यांकन करने वाला पहला व्यापक बेंचमार्क सुइट है, जो यह प्रकट करता है कि हालांकि उच्च-स्तरीय सिमेंटिक समझ प्राप्त करना संभव है, फिर भी वर्तमान मॉडल वास्तविक दुनिया के डिज़ाइन कार्य के लिए आवश्यक सटीकता, संरचनात्मक वैधता और कंपोजिशनल रीजनिंग (रचनात्मक तर्क) के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास अविश्वसनीय रूप से स्मार्ट, सुपर-फास्ट रोबोटों की एक टीम है। आपने उन्हें कविता लिखना, गणित की समस्याएं हल करना और यहाँ तक कि बिल्लियों और कुत्तों के लगभग असली दिखने वाले चित्र बनाना भी सिखाया है। आप सोच सकते हैं, "बहुत बढ़िया! चलिए उन्हें अपनी कंपनी के लिए ग्राफिक डिजाइनर बनने के लिए कहते हैं।"
लेकिन उन्हें अपने डिजाइन स्टूडियो की चाबियाँ सौंपने से पहले, आपको यह जानना होगा: क्या वे वास्तव में यह काम कर सकते हैं?
यह शोध पत्र, GraphicDesignBench (GDB), बिल्कुल इसी बारे में है। यह AI के लिए एक विशाल, कठोर "फाइनल एग्जाम" की तरह है, जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या रोबोट पेशेवर ग्राफिक डिजाइन की जटिल, विस्तृत और सटीक दुनिया को संभाल सकते हैं।
यहाँ बताया गया है कि उन्होंने क्या पाया, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
समस्या: "बिल्ली बनाम ब्रोशर" का अंतर (The "Cat vs. Brochure" Gap)
वर्तमान AI इमेज जनरेटरों (जैसे कि वे जो टेक्स्ट से शानदार कला बनाते हैं) को अमूर्त चित्रकारों (abstract painters) के रूप में सोचें। वे एक ऐसी तस्वीर बनाने में माहिर हैं जो दिखने में अच्छी हो। यदि आप "सूर्यास्त" मांगते हैं, तो वे एक सुंदर सूर्यास्त देंगे।
लेकिन एक पेशेवर ग्राफिक डिजाइनर एक वास्तुकार या बढ़ई (architect or carpenter) की तरह होता है। वे केवल चीजों को सुंदर नहीं बनाते; उन्हें सख्त ब्लूप्रिंट का पालन करना होता है।
- टेक्स्ट की स्पेलिंग सही होनी चाहिए।
- लोगो बिल्कुल सही जगह पर होना चाहिए।
- फॉन्ट ब्रांड गाइडलाइन्स से पूरी तरह मेल खाना चाहिए।
- लेयर्स व्यवस्थित होनी चाहिए ताकि बाद में कोई इंसान उन्हें एडिट कर सके।
यह पेपर तर्क देता है कि जबकि AI एक "अमूर्त चित्रकार" बनने में अच्छा हो रहा है, वह एक "बढ़ई" बनने में बहुत खराब है।
परीक्षा: 50 कार्य, 5 श्रेणियाँ
शोधकर्ताओं ने वास्तविक दुनिया के डिजाइन टेम्पलेट्स पर आधारित 50 अलग-अलग चुनौतियां बनाईं। उन्होंने पांच मुख्य क्षेत्रों में AI का परीक्षण किया:
लेआउट (फ्लोर प्लान): क्या AI एक पोस्टर को देखकर आपको बता सकता है कि उस पर कितनी चीजें हैं? क्या वह बता सकता है कि कौन सी वस्तु दूसरी वस्तु के "ऊपर" है?
- परिणाम: AI एक अस्त-व्यस्त कमरे को देखने वाले बच्चे की तरह है। वह अनुमान लगा सकता है कि वहां "कुछ चीजें" हैं, लेकिन वह उन्हें सटीक रूप से गिन नहीं सकता, और अक्सर वह फर्श को छत समझ लेता है। उसे 2D छवियों के 3D स्टैकिंग (stacking) को समझने में संघर्ष होता है।
टाइपोग्राफी (फॉन्ट्स): क्या AI एक हेडलाइन को देखकर आपको बता सकता है कि कौन सा फॉन्ट इस्तेमाल किया गया है, अक्षरों का आकार कितना बड़ा है, और उनका रंग क्या है?
- परिणाम: AI उस व्यक्ति की तरह है जो जानता है कि "लाल" शर्ट कैसी दिखती है लेकिन वह "क्रिमसन" और "स्कारलेट" शर्ट के बीच अंतर नहीं कर सकता। वह अक्सर गलत फॉन्ट फैमिली का अनुमान लगाता है या अक्षरों के बीच की दूरी (spacing) गलत कर देता है। यह उस मेनू को पढ़ने जैसा है जो ऐसी भाषा में लिखा गया है जिसे आप नहीं जानते।
इन्फोग्राफिक्स और वेक्टर्स (ब्लूप्रिंट्स): क्या AI एक विवरण लेकर एक आदर्श आइकन बनाने के लिए वास्तविक कंप्यूटर कोड (SVG) लिख सकता है?
- परिणाम: यह घर के लिए कोड लिखने के लिए AI को कहने जैसा है, लेकिन आपको ब्लूप्रिंट देने के बजाय, वह ईंटों का एक ढेर और "घर" का एक अस्पष्ट विचार दे देता है। वह जो कोड लिखता है वह आमतौर पर टूट जाता है, उसमें त्रुटियां होती हैं, या वह उस चित्र जैसा बिल्कुल नहीं दिखता जिसे उसे बनाना था।
टेम्पलेट्स (कॉपी-पेस्ट का काम): यदि आपके पास एक "बिजनेस कार्ड" टेम्पलेट है, तो क्या AI पहचान सकता है कि एक नया डिजाइन उसी पुराने टेम्पलेट का एक रूपांतर है, भले ही रंग और फोटो बदल गए हों?
- परिणाम: AI इसमें आश्चर्यजनक रूप से अच्छा है यदि आप उसे एक बहुविकल्पीय सूची (multiple-choice list) दें। लेकिन यदि आप उसे इसे खुद समझने के लिए कहते हैं, तो वह भ्रमित हो जाता है। यह उस छात्र की तरह है जो टेस्ट में सही उत्तर चुन सकता है लेकिन यह नहीं समझा सकता कि वह क्यों सही है।
एनिमेशन (मूवी): क्या AI एक छोटी वीडियो एनिमेशन को समझ सकता है और बता सकता है कि कौन सा हिस्सा पहले चलता है, या क्या वह एक ऐसा वीडियो बना सकता है जहाँ एक विशिष्ट बटन क्लिक करने पर उछलता (bounce) है?
- परिणाम: यह सबसे कठिन हिस्सा है। AI एक ऐसे व्यक्ति की तरह है जो बिना आवाज के फिल्म देख रहा है और कहानी का अनुमान लगाने की कोशिश कर रहा है। वह अक्सर घटनाओं के क्रम को गलत कर देता है या पूरे दृश्य को हिला देता है बजाय इसके कि केवल एक बटन हिले।
निर्णय: "अभी मुख्य भूमिका के लिए तैयार नहीं" (Not Ready for Prime Time)
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडल्स (Google, OpenAI और Anthropic से) का परीक्षण किया। यहाँ उनका स्कोरकार्ड है:
- ज्यादातर हल हुआ (2 कार्य): AI बहुत सरल चीजों में लगभग परफेक्ट है, जैसे दो समान दिखने वाले टेम्पलेट्स को मैच करना या उन्हें रैंक करना।
- आंशिक रूप से हल हुआ (25 कार्य): AI काम कर सकता है, लेकिन वह लापरवाह है। वह सामान्य विचार को सही पकड़ सकता है लेकिन विवरणों में गलती कर सकता है। एक वास्तविक नौकरी में, यह एक ऐसे ठेकेदार की तरह है जो दीवार तो बनाता है लेकिन ईंटें टेढ़ी छोड़ देता है। आपको इसे खुद ठीक करना होगा।
- अनसुलझा (23 कार्य): AI पूरी तरह से विफल हो जाता है। वह वस्तुओं को गिन नहीं सकता, वह फॉन्ट्स को नहीं पढ़ सकता, और वह वेक्टर आइकन के लिए कोड जेनरेट नहीं कर सकता। यह एक रोबोट से हार्ट सर्जरी करने के लिए कहने जैसा है जब उसे यह भी नहीं पता कि दिल क्या होता है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि AI वर्तमान में एक "क्रिएटिव असिस्टेंट" है, न कि एक "डिजाइनर"।
- "वाइब" (Vibe) मौजूद है: AI आइडियाज मंथन करने और चीजों को "कूल" दिखाने में माहिर है।
- "सटीकता" (Precision) गायब है: AI अभी भी डिजाइन कार्य के तकनीकी, सटीक और संरचित हिस्सों को संभालने के लिए भरोसेमंद नहीं है।
यदि आप AI से "एक फ्लायर बनाएं" कहते हैं, तो वह आपको एक सुंदर तस्वीर दे सकता है। लेकिन यदि आप उससे "एक फ्लायर बनाएं जिसमें सटीक ब्रांड फॉन्ट, नीचे सही कानूनी डिस्क्लेमर और ग्रिड के अनुसार संरेखित (aligned) लोगो हो," तो वह विफल होने की संभावना अधिक है।
भविष्य: लेखक कहते हैं कि हमें AI को डिजाइन के "लुक" के बजाय उसके "स्ट्रक्चर" को समझने के लिए सिखाने की आवश्यकता है। तब तक, मानव डिजाइनर ही एकमात्र हैं जो विश्वसनीय रूप से काम कर सकते हैं। AI एक मददगार इंटर्न है जिसे निरंतर पर्यवेक्षण की आवश्यकता है, न कि एक सीनियर पार्टनर की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।