Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

आधुनिक कंप्यूटिंग की शांत गूंज में, एक नए प्रकार के कलाकार का उदय हुआ है, जो ब्रश या मिट्टी से नहीं, बल्कि शब्दों से चित्र बनाता है। ये टेक्स्ट-टू-इमेज सिस्टम हैं, जो कंप्यूटर प्रोग्राम हैं जो मानव विवरण को सुनते हैं और उसके अनुरूप एक चित्र बनाने का प्रयास करते हैं। वर्षों से, इन प्रणालियों का परीक्षण सरल अनुरोधों पर किया गया है, जैसे कि "एक चटाई पर बैठा हुआ बिल्ली," जहाँ वे आश्चर्यजनक कुशलता के साथ प्रदर्शन करते हैं। लेकिन वास्तविक दुनिया शायद ही कभी इतनी सरल होती है। जब कोई उपयोगकर्ता कुछ विशिष्ट और जटिल चीज़ मांगता है—जैसे कि ठीक चार लाल कुर्सियों वाला एक दृश्य, एक साइन जिस पर स्पष्ट अक्षरों में "OPEN" लिखा हो, और एक गड्ढे में भौतिकी के नियमों का पालन करने वाला प्रतिबिंब—तो ये प्रोग्राम अक्सर लड़खड़ा जाते हैं। वे चार के बजाय तीन कुर्सियाँ बना सकते हैं, साइन पर अक्षरों को गड़बबड़ा सकते हैं, या प्रतिबिंब को हवा में तैरता हुआ बना सकते हैं। यह समझना कि ये सिस्टम क्यों विफल होते हैं, और कौन से सबसे कम विफल होते हैं, उन सभी के लिए महत्वपूर्ण है जो इनका उपयोग गंभीर कार्यों के लिए करना चाहते हैं, विज्ञापन डिजाइन करने से लेकर स्टोरीबोर्ड बनाने तक। एक ऐसे सिस्टम के बीच जो आसान कार्यों पर अच्छा काम करता है और एक ऐसे सिस्टम के बीच जो वास्तविकता की अस्त-व्यस्त, विस्तृत मांगों को संभाल सकता है, असली बुद्धिमत्ता की परीक्षा निहित है।

शोधकर्ताओं की एक टीम ने चार सबसे उन्नत इमेज-जनरेटिंग सिस्टम को एक कठोर परीक्षण में डालकर इस अंतर को मापने का प्रयास किया। उन्होंने कंप्यूटरों को सरल चित्र बनाने के लिए नहीं कहा; इसके बजाय, उन्होंने उन्हें एक बड़े वास्तविक दुनिया के इमेज कैप्शन संग्रह से सबसे कठिन अड़तालीस विवरण दिए। ये प्रॉम्प्ट इसलिए चुने गए क्योंकि वे सटीकता की मांग करते थे: वस्तुओं की सटीक संख्या, विशिष्ट स्थानिक व्यवस्था, और दृश्य के भीतर पठनीय टेक्स्ट। परीक्षण किए गए सिस्टम हुनयुआन (Hunyuan) 3.0, जेमिनी (Gemini) 3 प्रो इमेज, ब्लैक फॉरेस्ट लैब्स (Black Forest Labs) FLUX.2, और इडियोग्राम (Ideogram) 3.0 थे। निष्पक्ष और बिना किसी पूर्वाग्रह के निर्णय सुनिश्चित करने के लिए, शोधकर्ताओं ने एक चतुर दो-चरणीय प्रक्रिया का उपयोग किया। पहले, एक कृत्रिम बुद्धिमत्ता मॉडल ने एक लेखक के रूप में कार्य किया, जिसने प्रत्येक विशिष्ट प्रॉम्प्ट के लिए एक विस्तृत चेकलिस्ट बनाई कि एक आदर्श चित्र कैसा दिखना चाहिए, जबकि उसने वास्तविक छवि को भी देखा ताकि किसी भी स्पष्ट दोष को नोट किया जा सके। फिर, एक पूरी तरह से अलग कृत्रिम बुद्धिमत्ता मॉडल ने, एक न्यायाधीश के रूप में कार्य करते हुए, उस चेकलिस्ट का उपयोग करके छवि को ग्रेड दिया। इस अलगाव ने यह सुनिश्चित किया कि जो मॉडल यह तय कर रहा था कि क्या देखना है, वह वही नहीं था जो यह तय कर रहा था कि क्या छवि ने परीक्षण पास किया, जिससे वह पूर्वाग्रह समाप्त हो गया जो तब होता है जब कोई सिस्टम अपने स्वयं के कार्य का मूल्यांकन करता है।

परिणामों ने क्षमता में एक स्पष्ट विभाजन का खुलासा किया। दो सिस्टम, जेमिनी 3 प्रो इमेज और FLUX.2, अग्रणी के रूप में उभरे, जिन्होंने क्रमशः 100 में से 84.8 और 82.3 का स्कोर प्राप्त किया। उनके बाद एक बड़ा अंतर था, जिसमें इडियोग्राम 3.0 ने 65.7 और हुनयुआन 3.0 ने 63.3 का स्कोर प्राप्त किया। शीर्ष और निचले प्रदर्शन करने वालों के बीच का अंतर केवल छोटी गलतियों का मामला नहीं था; यह उनके द्वारा जटिलता को संभालने के तरीके में एक मौलिक अंतर था। अग्रणी सिस्टम आम तौर पर बड़ी तस्वीर को सही पकड़ लेते थे लेकिन कभी-कभी वस्तुओं की गिनती में गलती कर देते थे या मामूली ज्यामितीय त्रुटियां पेश करते थे, जैसे कि एक पहिया अजीब तरह से फ्रेम के साथ मिल जाना। इसके विपरीत, पिछड़ने वाले सिस्टम बुनियादी बातों के लिए संघर्ष करते थे। वे अक्सर अनुरोधित तत्वों को शामिल करने में विफल रहे, जैसे कि दृश्य से किसी विशिष्ट वस्तु को छोड़ देना, या उन्होंने टेक्स्ट को बिगाड़ दिया, जिससे शब्द स्पष्ट अक्षरों के बजाय अपठनीय रेखाचित्र बन गए। उदाहरण के लिए, जब एक कार के आकार के मेलबॉक्स को एक विशिष्ट पते के साथ बनाने के लिए कहा गया, तो शीर्ष सिस्टम ने हर विवरण को सही ढंग से प्राप्त किया, जबकि सबसे कम स्कोर करने वाले सिस्टम ने मेलबॉक्स को कार जैसा बनाने में भी विफल रहा, पता छोड़ दिया, और चार के बजाय केवल दो टायर बनाए।

यह अध्ययन इस बात पर प्रकाश डालता है कि हालांकि ये सिस्टम सुधर रहे हैं, लेकिन उनमें अभी भी विविक्त, प्रतीकात्मक नियमों की अंतर्निहित समझ की कमी है। वे किसी दृश्य के सामान्य मूड, रंग और संरचना को पकड़ने में उत्कृष्ट हैं, लेकिन वे वस्तुओं को गिनने या शब्दों को सही ढंग से लिखने के लिए आवश्यक सटीक तर्क के साथ संघर्ष करते हैं। शोधकर्ताओं ने पाया कि हर सिस्टम के लिए सबसे कठिन चुनौतियाँ सटीक अनुक्रमिक लेबलिंग थीं, जैसे कि पांच से आठ तक नंबर वाले स्टार्टिंग ब्लॉक्स, और लोगों या वस्तुओं की विशिष्ट संख्या को गिनना। यहाँ तक कि सर्वश्रेष्ठ प्रदर्शन करने वाले सिस्टम, जेमिनी 3 प्रो इमेज ने भी इन कार्यों पर अंक खो दिए, हालांकि इसने अन्यों की तुलना में बहुत कम बार ऐसा किया। पिछड़ने वाले सिस्टम, विशेष रूप से इडियोग्राम 3.0, ने अनुरोधित तत्वों को छोड़ने का एक पैटर्न दिखाया, जो सुझाव देता है कि वे विवरणों को गलत करने के बजाय कभी-कभी जटिल निर्देशों पर हार मान लेते हैं। यह अंतर उपयोगकर्ताओं के लिए महत्वपूर्ण है: यदि किसी प्रोजेक्ट के लिए कई अलग-अलग वस्तुओं वाले दृश्य की आवश्यकता है, तो अग्रणी सिस्टम कहीं अधिक विश्वसनीय हैं, लेकिन यदि लक्ष्य छवि के भीतर टेक्स्ट उत्पन्न करना है, तो सर्वश्रेष्ठ सिस्टम भी हर बार इसे सही करने के लिए संघर्ष करते हैं।

अंततः, यह शोध प्रदर्शित करता है कि जटिल निर्देशों का पालन करने की क्षमता इमेज जनरेशन के लिए नया मोर्चा है। सर्वश्रेष्ठ और बाकी के बीच का अंतर शैली या कलात्मक निपुणता का नहीं, बल्कि तार्किक निरंतरता का है। दो अग्रणी सिस्टम ने कंपोजिशनल मांगों के भारी काम को संभालने की क्षमता सिद्ध की, जबकि अन्य वास्तविकता के भ्रम को तोड़ने वाली मौलिक त्रुटियों के प्रति संवेदनशील बने हुए हैं। जैसे-जैसे ये उपकरण प्रयोगात्मक जिज्ञासाओं से उत्पादन उपकरणों की ओर बढ़ रहे हैं, किस सिस्टम का उपयोग करना है, इसका चुनाव काफी हद तक विशिष्ट कार्य पर निर्भर करेगा। सरल, वायुमंडलीय छवियों के लिए, अंतर नगण्य हो सकता है, लेकिन उन अनुरोधों के लिए जो सटीकता की मांग करते हैं, अग्रणी सिस्टम विश्वसनीयता का एक स्तर प्रदान करते हैं जिसे अन्य अभी तक प्राप्त नहीं कर पाए हैं। आगे का मार्ग इन प्रणालियों को बेहतर ढंग से समझने के माध्यम से विकसित करना है कि गिनती, टेक्स्ट और स्थान के नियम क्या हैं, जिससे वे विवरणों का अनुमान लगाने वाले कलाकारों से बदलकर उन उपकरणों में बदल सकें जो उन्हें निश्चितता के साथ निष्पादित कर सकें।