कल्पना कीजिए कि आप एक निर्देशक हैं जो एक रोबोट कलाकार को एक बहुत ही विशिष्ट स्क्रिप्ट दे रहे हैं। आप कहते हैं, "एक बिल्ली बनाओ जिसने लाल टोपी पहनी हो, जो एक नीली कुर्सी पर बैठी हो, और बाईं ओर देख रही हो।" यदि रोबोट एक ऐसी बिल्ली बनाता है जिसने हरी टोपी पहनी है, वह लाल कुर्सी पर बैठी है और दाईं ओर देख रही है, तो वह आपके निर्देशों का पालन करने में विफल रहा। लंबे समय से, हम यह समझने की कोशिश कर रहे हैं कि ये रोबोट कलाकार (जिन्हें टेक्स्ट-टू-इमेज या T2I मॉडल कहा जाता है) वास्तव में हमारे निर्देशों को कितनी अच्छी तरह सुनते हैं। लेकिन जो परीक्षण हम उपयोग कर रहे थे वे एक टूटे हुए पैमाने की तरह थे: वे बहुत छोटे थे, वे गलत चीजों को मापते थे, और अक्सर स्कोर भी गलत देते थे।

यहाँ आता है TIIF-Bench, शोधकर्ताओं द्वारा बनाया गया एक नया, अत्यंत सटीक पैमाना, यह देखने के लिए कि क्या ये AI कलाकार वास्तव में हमारे निर्देशों के सूक्ष्म विवरणों का पालन कर सकते हैं।

समस्या: पुराने पैमाने टूटे हुए थे

पुराने परीक्षण विधियों को "चित्र का अनुमान लगाओ" के खेल की तरह समझें जहाँ जज केवल बड़ी तस्वीर को देखता है।

• "एक ही आकार सबके लिए" वाली खामी: पुराने परीक्षण आमतौर पर AI को केवल एक प्रॉम्प्ट का एक संस्करण देते थे। वे इस तथ्य को नजरअंदाज कर देते थे कि कुछ AI मूड स्विंग्स की तरह होते हैं: वे एक आदर्श चित्र बनाते हैं यदि आप उन्हें एक छोटा वाक्य दें, लेकिन यदि आप उनमें कुछ अतिरिक्त वर्णनात्मक शब्द जोड़ देते हैं (भले ही अर्थ वही हो), तो वे पूरी तरह से गड़बड़ कर देते हैं। पुराने परीक्षण इस कारण को नहीं पकड़ पाते थे क्योंकि वे व्यवस्थित रूप से यह परीक्षण नहीं करते थे कि मॉडल विभिन्न प्रॉम्प्ट लंबाई को कैसे संभालते हैं।
• "दोहराव" वाली खामी: कई पुराने टेस्ट बैंक एक ही गाने को 1,000 बार थोड़े अलग वॉल्यूम के साथ बजाने वाली प्लेलिस्ट की तरह थे। पेपर ने दिखाया कि कई मौजूदा बेंचमार्क में भारी मात्रा में सिमेंटिक रिडंडेंसी (अर्थ संबंधी दोहराव) है—यानी प्रॉम्प्ट इतने समान हैं कि वे वास्तव में यह परीक्षण नहीं करते कि AI नए विचारों को समझ पा रहा है या नहीं। वास्तव में, कुछ पुराने बेंचमार्क में 60% से भी कम अद्वितीय प्रॉम्प्ट थे!
• "आलसी जज" वाली खामी: पुराने जज उस शिक्षक की तरह थे जो छात्र के निबंध को केवल पहली पंक्ति देखकर ग्रेड देता है। वे सरल उपकरणों (जैसे CLIP) का उपयोग करते थे जो एक "बैग ऑफ वर्ड्स" की तरह काम करते हैं, जो केवल शब्दों के मिलान को गिनते हैं लेकिन उनके क्रम या तर्क को अनदेखा कर देते हैं। यदि आपने "एक लड़के पर मधुमक्खी" बनाम "एक मधुमक्खी पर लड़का" के लिए पूछा, तो ये पुराने जज अक्सर अंतर नहीं कर पाते थे!

नया समाधान: TIIF-Bench

शोधकर्ताओं ने TIIF-Bench (टेक्स्ट-टू-इमेज इंस्ट्रक्शन फॉलोइंग बेंचमार्क) नामक एक विशाल, 5,000-प्रश्नों वाला टेस्ट बनाया है। यह एक विशाल बाधा दौड़ की तरह है जिसे किसी भी ऐसे AI को उलझाने के लिए डिज़ाइन किया गया है जो ध्यान नहीं दे रहा है।

1. "छोटा बनाम लंबा" चुनौती
इस टेस्ट का हर निर्देश दो रूपों में आता है: एक छोटा संस्करण और एक लंबा, भव्य संस्करण।

• छोटा: "पक्षी मछलियों से अधिक संख्या में हैं।"
• लंबा: "पक्षी, जिनके पंख भोर की कोमल रोशनी को पकड़ रहे हैं, जल की लहरदार सतह के नीचे चुपचाप तैरती मछलियों के जलीय समकक्षों की तुलना में बहुत अधिक संख्या में हैं..."
  पेपर सुझाव देता है कि यदि कोई AI लंबे, अलंकृत संस्करण को बिना अर्थ बदले नहीं संभाल सकता, तो वह वास्तव में "निर्देशों का पालन" नहीं कर रहा है। उन्होंने पाया कि शीर्ष-स्तरीय मॉडल सुसंगत रहते हैं, लेकिन कमजोर मॉडल अतिरिक्त शब्दों से भ्रमित हो जाते हैं।

2. "तीन स्तर की कठिनाई"
यह टेस्ट एक वीडियो गेम की तरह तीन स्तरों में व्यवस्थित है:

• बेसिक फॉलोइंग (बुनियादी पालन): सरल संयोजन, जैसे "एक लाल कुत्ता।"
• एडवांस्ड फॉलोइंग (उन्नत पालन): चीजों को मिलाना, जैसे "एक नीली बिल्ली के बगल में दौड़ता हुआ एक लाल कुत्ता," या यहाँ तक कि AI को छवि के अंदर टेक्स्ट (जैसे केक पर "CAKE" लिखना) लिखने के लिए कहना।
• डिज़ाइनर लेवल (डिज़ाइनर स्तर): ये "बॉस बैटल" हैं। ये जटिल, वास्तविक दुनिया के अनुरोध हैं जो डिजाइनरों से आते हैं, जैसे "सुनहरे बालों वाला एक आदमी दूसरे आदमी को मेडल दे रहा है, उनकी शर्ट पर विशिष्ट टेक्स्ट के साथ।" इसमें 100 उच्च-गुणवत्ता वाले, मानव-क्यूरेटेड प्रॉम्प्ट हैं।

3. नया "स्मार्ट जज" (TIIF इवैल्यूएटर)
एक आलसी शिक्षक के बजाय, पेपर एक सुपर-स्मार्ट AI जज (एक विजन-लैंग्वेज मॉडल) का उपयोग करता है जो एक जासूस की तरह काम करता है।

• चेकलिस्ट: केवल "अच्छा काम किया" या "बुरा काम किया" कहने के बजाय, जज प्रॉम्प्ट को हाँ/नहीं के सवालों की एक चेकलिस्ट में तोड़ देता है। पक्षी/मछली वाले प्रॉम्प्ट के लिए, वह पूछता है: "क्या पक्षी हैं?" "क्या मछलियाँ हैं?" "क्या पक्षियों की संख्या मछलियों से अधिक है?"
• तर्क (Reasoning): यह जज केवल अनुमान नहीं लगाता; यह उत्तर देने से पहले अपना तर्क (Chain-of-Thought) लिखता है। पेपर ने पाया कि यह तरीका केवल यह पूछने की तुलना में बहुत अधिक विश्वसनीय है कि "क्या यह छवि अच्छी है?"
• "हैलुसिनेशन" (भ्रम) का जाल: पेपर स्पष्ट रूप से जज के सामने पूरा प्रॉम्प्ट पेस्ट करने के खिलाफ तर्क देता है। उन्होंने पाया कि यदि आप जज को पूरा प्रॉम्प्ट दिखाते हैं, तो वह आलसी हो जाता है और उन चीजों को "हैलुसिनेट" (कल्पना) करने लगता है जो वहां नहीं हैं, सिर्फ इसलिए क्योंकि प्रॉम्प्ट में उनका उल्लेख था। नया तरीका विशिष्ट, अलग-थलग प्रश्नों को पूछकर इससे बचता है।

4. विशेष कौशल: टेक्स्ट और स्टाइल

• टेक्स्ट रेंडरिंग: शब्दों को बनाना AI के लिए कठिन है। पेपर ने GNED (ग्लोबल नॉर्मलाइज्ड एडिट डिस्टेंस) नामक एक नया मीट्रिक पेश किया है जो यह मापता है कि AI शब्दों को कितनी अच्छी तरह लिखता है। यह एक स्पेल-चेकर की तरह है जो यह भी गिनता है कि कितने अक्षर गायब या अतिरिक्त हैं। उन्होंने पाया कि जबकि कुछ मॉडल बेहतर हो रहे हैं, कई अभी भी स्पष्ट शब्द लिखने में संघर्ष करते हैं, खासकर लंबे प्रॉम्प्ट में।
• स्टाइल कंट्रोल: टेस्ट में संदर्भ छवियां (जैसे कि एक "साइबरपंक सिटी" की फोटो) शामिल हैं ताकि यह देखा जा सके कि क्या AI केवल वस्तुओं को ही नहीं, बल्कि वाइब और स्टाइल को भी कॉपी कर सकता है।

उन्होंने क्या पाया: विजेता और हारने वाले

दर्जनों मॉडलों के माध्यम से 5,000 प्रॉम्प्ट चलाने के बाद, डेटा क्या सुझाव देता है:

• हेवीवेट्स (दिग्गज): क्लोज्ड-सोर्स मॉडल (वे जिन्हें आप डाउनलोड नहीं कर सकते, जैसे Nano-Banana और GPT-Image-1) वर्तमान में शिखर पर हैं। उन्होंने सबसे अधिक अंक प्राप्त किए, विशेष रूप से कठिन "डिज़ाइनर लेवल" प्रॉम्प्ट पर। वे जटिल निर्देशों और लंबी वाक्यों को अन्य किसी भी मॉडल की तुलना में बेहतर समझते हैं।
• ओपन-सोर्स हीरो: उन मॉडलों के बीच जिन्हें कोई भी डाउनलोड कर सकता है, Qwen-Image और FLUX.2 सबसे मजबूत हैं। वे बड़े व्यावसायिक मॉडलों की तेजी से बराबरी कर रहे हैं।
• "यूनिफाइड" सरप्राइज: कुछ मॉडल सब कुछ (टेक्स्ट समझना और चित्र बनाना) एक ही मस्तिष्क (जिसे यूनिफाइड मॉडल कहा जाता है) में करने की कोशिश करते हैं। पेपर सुझाव देता है कि ये निर्देश का पालन करने में आश्चर्यजनक रूप से अच्छे हैं, भले ही उनके चित्र कभी-कभी दूसरों की तुलना में थोड़े कम "फोटो-रियलिस्टिक" दिखते हों। उदाहरण के लिए, Janus-Pro (एक ऑटोरिग्रेसिव मॉडल) ने "डिफरेंशिएशन" और "नेगेशन" जैसे लॉजिक कार्यों पर PixArt-Sigma (एक डिफ्यूजन मॉडल) को पछाड़ दिया।
• लंबाई संवेदनशीलता: पेपर ने मापा कि उच्च स्कोर वाले मॉडल आमतौर पर प्रॉम्प्ट की लंबाई के प्रति रोबस्ट (मजबूत) होते हैं। यदि आप प्रॉम्प्ट को लंबा करते हैं, तो उनका स्कोर ऊंचा रहता है। इसके विपरीत, कमजोर मॉडल अधिक शब्द जोड़ने पर गिर जाते हैं। यह सुझाव देता है कि भाषा को गहराई से समझना अच्छे चित्र बनाने से जुड़ा हुआ है।

वे अभी क्या नहीं जानते

पेपर अपनी सीमाओं के बारे में ईमानदार है।

• शब्दावली का अंतर: टेस्ट मुख्य रूप से सामान्य वस्तुओं (बिल्लियाँ, कुत्ते, कुर्सियाँ) का उपयोग करता है। लेखक सुझाव देते हैं कि हमें अभी तक यह नहीं पता कि ये मॉडल दुर्लभ या अस्पष्ट शब्दों को कैसे संभालते हैं।
• भाषा की बाधा: सभी प्रॉम्प्ट अंग्रेजी में हैं। पेपर नोट करता है कि हमें यह नहीं पता कि क्या ये परिणाम अन्य भाषाओं के लिए भी समान रहेंगे।
• स्टाइल की बारीकियां: उन्होंने यह परीक्षण नहीं किया कि औपचारिक बनाम बोलचाल की भाषा परिणामों को कैसे बदलती है।

निचोड़

पेपर यह दावा नहीं करता है कि उसने AI आर्ट को "हल" कर दिया है। इसके बजाय, यह सुझाव देता है कि हमारे परीक्षण के पुराने तरीके टूटे हुए हैं। 5,000-प्रॉम्प्ट वाले टेस्ट, छोटे और लंबे संस्करणों, विशिष्ट चेकलिस्ट और तर्क-आधारित जज का उपयोग करके, TIIF-Bench हमें एक स्पष्ट तस्वीर देता है। यह सुझाव देता है कि आज के सर्वश्रेष्ठ मॉडल वे हैं जो बिना नियंत्रण खोए जटिल, लंबे निर्देशों को संभाल सकते हैं, और "अच्छा चित्र बनाने" और "अच्छी तरह सुनने" के बीच का अंतर नई पीढ़ी के AI द्वारा आखिरकार पाटा जा रहा है।