Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, सॉफ्टवेयर का एक विशिष्ट वर्ग उभरा है जो केवल एक वाक्य से चित्र उत्पन्न कर सकता है। ये सिस्टम, जिन्हें टेक्स्ट-टू-इमेज मॉडल कहा जाता है, उपयोगकर्ता के विवरण को सुनते हैं—जैसे कि "एक नीली चटाई पर बैठा लाल बिल्ली"—और उस दृश्य का एक दृश्य प्रतिनिधित्व तैयार करते हैं। वर्षों तक, इन मशीनों के काम करने के तरीके को परखने का प्राथमिक तरीका अंतिम चित्र को देखना और उसे एक एकल स्कोर देना था। यदि चित्र समग्र रूप से अच्छा दिखता था, तो मॉडल को मजबूत माना जाता था। हालाँकि, जैसे-जैसे ये उपकरण बेहतर हुए हैं, एक समस्या उत्पन्न हुई है: विभिन्न मॉडल अक्सर समान समग्र स्कोर प्राप्त करते हैं जबकि उनकी ताकत और कमजोरियां बहुत अलग होती हैं। कोई जानवरों के चित्र बनाने में उत्कृष्ट हो सकता है लेकिन टेक्स्ट (लेख) को दर्शाने में बहुत खराब, जबकि दूसरा जटिल निर्देशों का पूरी तरह से पालन कर सकता है लेकिन सरल आकृतियों के साथ संघर्ष कर सकता है। यह उपयोगकर्ताओं के लिए किसी विशिष्ट कार्य के लिए सही टूल चुनना कठिन बना देता है, क्योंकि एक एकल संख्या यह प्रकट नहीं कर सकती कि एक मॉडल वास्तव में क्या कर सकता है।

इस समस्या को हल करने के लिए, चाइना यूनिकॉम के शोधकर्ताओं की एक टीम ने इन सिस्टम्स का परीक्षण करने का एक नया तरीका पेश किया है जिसे QC-T2I-Bench कहा जाता है। एक प्रॉम्प्ट (निर्देश) को एक एकल, अविभाज्य ब्लॉक मानने के बजाय, उनकी विधि प्रत्येक अनुरोध को छोटी, विशिष्ट प्रश्नों की एक श्रृंखला में तोड़ देती है। यदि कोई उपयोगकर्ता एक नीली चटाई पर लाल बिल्ली के लिए कहता है, तो सिस्टम केवल यह नहीं पूछता है कि, "क्या चित्र अच्छा है?" बल्कि यह पूछता है, "क्या वहां एक बिल्ली है?" "क्या बिल्ली लाल है?" "क्या वहां एक चटाई है?" और "क्या चटाई नीली है?" महत्वपूर्ण रूप से, शोधकर्ता यह भी मानचित्रित करते हैं कि ये प्रश्न एक-दूसरे पर कैसे निर्भर हैं। वे पहचानते हैं कि यदि सिस्टम बिल्ली बनाने में विफल रहता है, तो वह बिल्ली के लाल फर को बनाने में सफल नहीं हो सकता। इन प्रश्नों को एक तार्किक संरचना में व्यवस्थित करके, टीम ठीक से पता लगा सकती है कि मॉडल कहाँ विफल होता है और क्या वह विफलता एक बुनियादी गलती है या एक अधिक जटिल त्रुटि है जो केवल तभी होती है जब कई आवश्यकताओं को जोड़ा जाता है।

शोधकर्ताओं ने अंग्रेजी और चीनी दोनों प्रॉम्प्टों का उपयोग करते हुए, तेरह विभिन्न ओपन-सोर्स इमेज जनरेटरों पर इस दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि जबकि कुछ मॉडल सरल कार्यों पर अच्छा प्रदर्शन करते थे, जटिल अनुरोधों को संभालने की उनकी क्षमता आवश्यकताओं की संख्या बढ़ने के साथ तेजी से गिर गई। जब एक प्रॉम्प्ट में दो अलग-अलग क्षमताओं के लिए आवश्यकताएं शामिल थीं, तो मॉडल लगभग 80.7% बार एक आदर्श चित्र बनाने में सफल रहे। हालांकि, जब अनुरोध ने एक साथ सात या अधिक विशिष्ट क्षमताओं की मांग की, तो सफलता दर गिरकर 37.2% रह गई। यह गिरावट केवल अधिक त्रुटियां जोड़ने का मामला नहीं थी; इसने खुलासा किया कि मॉडल एक साथ एक जटिल पहेली के सभी टुकड़ों को थामे रखने में काफी संघर्ष करते हैं। अध्ययन ने यह भी दिखाया कि इन निर्भरताओं को समझकर, शोधकर्ता एक ऐसे मॉडल के बीच अंतर कर सकते हैं जो केवल एक विशिष्ट वस्तु नहीं बना सकता और एक ऐसे मॉडल के बीच जो वस्तु तो बना सकता है लेकिन उसमें विशिष्ट विवरण जोड़ने के लिए कहे जाने पर विफल हो जाता है।

केवल मॉडलों को रैंक करने के अलावा, यह विस्तृत विवरण एक अधिक व्यावहारिक अनुप्रयोग की अनुमति देता है: लागत-जागरूक रूटिंग (cost-aware routing)। वास्तविक दुनिया में, शक्तिशाली कंप्यूटरों पर इन इमेज जनरेटर्स को चलाने में पैसा और ऊर्जा खर्च होती है। शोधकर्ताओं ने प्रदर्शित किया कि त्रुटियों को निदान करने के लिए उपयोग किए गए विस्तृत रिकॉर्ड का उपयोग एक नए सिस्टम को प्रशिक्षित किए बिना, दिए गए कार्य के लिए सबसे कुशल मॉडल को स्वचालित रूप से चुनने के लिए किया जा सकता है। उपयोगकर्ता के अनुरोध की विशिष्ट आवश्यकताओं का विश्लेषण करके, उनका सिस्टम एक ऐसा जनरेटर चुन सकता था जो चलाने में सस्ता हो लेकिन फिर भी गुणवत्ता मानकों को पूरा करता हो। अपने परीक्षणों में, इस पद्धति ने प्रति छवि 21.3% कम कंप्यूटिंग शक्ति का उपयोग करते हुए एक शीर्ष-स्तरीय मॉडल के प्रदर्शन के बराबर प्रदर्शन किया। यह सुझाव देता है कि इन उपकरणों का उपयोग करने का भविष्य न केवल उन्हें स्मार्ट बनाने में है, बल्कि उनकी विशिष्ट क्षमताओं की गहरी समझ का उपयोग करके सही कार्य के लिए सही टूल का मिलान करने में है, जिससे उच्च गुणवत्ता बनाए रखते हुए संसाधनों की बचत की जा सके।