Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation

कंप्यूटर शून्य से चित्र बनाने में उल्लेखनीय रूप से कुशल हो गए हैं, लेकिन जिस तरह से वे यह करना सीखते हैं, वह अक्सर एक ऐसे छात्र की तरह महसूस होता है जो पूरे पृष्ठ को देखे बिना, एक बार में एक शब्द करके पाठ्यपुस्तक को याद करने की कोशिश कर रहा हो। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, 'ऑटोरिग्रेसिव जनरेशन' नामक एक लोकप्रिय विधि इस आधार पर काम करती है कि वह छवि के पिछले हिस्सों के आधार पर अगले हिस्से का अनुमान लगाती है, ठीक वैसे ही जैसे अगले शब्द का अनुमान लगाकर एक वाक्य को पूरा करना। इस दृष्टिकोण ने उच्च गुणवत्ता वाली तस्वीरें बनाने के लिए बहुत आशा दिखाई है, फिर भी यह एक मौलिक अक्षमता से ग्रस्त है। कंप्यूटर को यह सीखने के लिए कि वे एक साथ कैसे फिट होते हैं, छवि के हर एक छोटे से पैच (टुकड़े) को एक-एक करके देखने के लिए मजबूर किया जाता है। यह प्रक्रिया धीमी है और अक्सर 'मायोपिक' (अल्पदृष्टि वाली) होती है, जिसका अर्थ है कि कंप्यूटर अगले कदम पर इतना संकीचना ध्यान केंद्रित करता है कि वह बड़ी तस्वीर को नहीं देख पाता, जिससे दोहरावदार बनावट या धुंधले विवरण पैदा होते हैं। इसके अलावा, कंप्यूटर छवि के उन हिस्सों को संसाधित करने में भी उतनी ही ऊर्जा बर्बाद करता है जिनमें बहुत कम महत्वपूर्ण जानकारी होती है, जैसे कि आकाश का एक खाली हिस्सा, जितना कि वह चेहरे के जटिल विवरणों को संसाधित करने में करता है।

फोशान यूनिवर्सिटी और द यूनिवर्सिटी ऑफ हांगकांग के शोधकर्ताओं की एक टीम ने इन इमेज-जनरेटिंग सिस्टम को प्रशिक्षित करने का एक नया तरीका प्रस्तावित किया है जो इन समस्याओं को ठीक करता है, बिना इस बात को बदले कि कंप्यूटर अंततः छवि को कैसे बनाता है। वे अपने तरीके को MTAR कहते हैं, जो एक एकीकृत ढांचा (यूनिफाइड फ्रेमवर्क) है जो तीन विशिष्ट रणनीतियों के माध्यम से सीखने की प्रक्रिया में सुधार करता है। सबसे पहले, उन्होंने यह बदला कि कंप्यूटर को आगे देखने के लिए कैसे सिखाया जाता है। केवल अगले पैच की भविष्यवाणी करने के लिए मॉडल से पूछने के बजाय, उन्होंने एक दूसरा कार्य जोड़ा जहाँ मॉडल को आगे के एक पैच की भी भविष्यवाणी करनी होगी, विशेष रूप से ग्रिड में वर्तमान स्थिति के ठीक नीचे वाले पैच की। यह कंप्यूटर को छवि की द्वि-आयामी (टू-डायमेंशनल) संरचना को समझने के लिए मजबूर करता है, जैसे कि केवल एक सड़क के बजाय एक पड़ोस को देखना, जो इसे स्थानीय पैटर्न और भविष्य के संदर्भ को बेहतर ढंग से पकड़ने में मदद करता है। दूसरा, उन्होंने एक ऐसी तकनीक पेश की जो यह सुनिश्चित करती है कि छवि के विभिन्न हिस्सों की कंप्यूटर की आंतरिक समझ स्पष्ट और अलग बनी रहे। एक ही छवि विशेषताओं के विभिन्न संस्करणों की तुलना करके, उन्होंने मॉडल को विभिन्न बनावटों और आकृतियों के अपने निरूपण (रिप्रजेंटेशन) को अलग रखने के लिए प्रोत्साहित किया, जिससे छवियों के धुंधले या दोहरावदार होने की संभावना कम हो गई। अंत में, उन्होंने बेकार प्रयास के मुद्दे को संबोधित किया, कंप्यूटर को प्रशिक्षण के दौरान छवि के महत्वहीन हिस्सों को अनदेखा करना सिखाकर। यह पहचानने के लिए एक अलग उपकरण का उपयोग करते हुए कि छवि के किन पैच में सबसे सार्थक जानकारी है, उन्होंने कंप्यूटर को कम महत्वपूर्ण क्षेत्रों, जैसे कि खाली पृष्ठभूमि, को छोड़ने की अनुमति दी, जबकि वह महत्वपूर्ण विवरणों पर ध्यान केंद्रित करना जारी रखता है।

ImageNet बेंचमार्क पर परीक्षण किए जाने पर इस नए दृष्टिकोण के परिणाम आश्चर्यजनक हैं, जो इस क्षेत्र में प्रगति को मापने के लिए उपयोग किया जाने वाला छवियों का एक मानक संग्रह है। जब शोधकर्ताओं ने अपने सिस्टम की तुलना एक अग्रणी पिछले तरीके LlamaGen से की, तो उन्होंने पाया कि उनके नए ढांचे ने पिछले सर्वश्रेष्ठ की तुलना में काफी बेहतर चित्र और कम समय में तैयार किए। विशेष रूप से, नए तरीके ने एक स्कोर प्राप्त किया जिसे FID कहा जाता है, जो यह मापता है कि उत्पन्न चित्र कितने यथार्थवादी दिखते हैं, जो पिछले सर्वश्रेष्ठ से लगभग एक अंक कम था, जो गुणवत्ता में स्पष्ट सुधार का संकेत देता है। इससे भी महत्वपूर्ण बात यह है कि प्रशिक्षण प्रक्रिया काफी तेज थी। शोधकर्ताओं ने पाया कि उनका सिस्टम पुराने तरीके के समान प्रदर्शन स्तर तक केवल एक-तिहाई प्रशिक्षण समय में पहुँच सकता था, और कुछ मामलों में, यह लगभग चार गुना तेज़ था। यहाँ तक कि जब शोधकर्ताओं ने प्रशिक्षण को सामान्य चरणों की संख्या के केवल एक अंश तक सीमित कर दिया, तब भी नया सिस्टम बेसलाइन की तुलना में बेहतर या उसके समान चित्र बनाने में सफल रहा। यह सुझाव देता है कि सुधार केवल अधिक मेहनत करने से नहीं, बल्कि बेहतर लर्निंग सिग्नल प्रदान करके और अनावश्यक गणनाओं को हटाकर स्मार्ट तरीके से काम करने से आए हैं।

महत्वपूर्ण रूप से, ये सभी सुधार केवल तभी होते हैं जब कंप्यूटर सीख रहा होता है। एक बार प्रशिक्षण समाप्त हो जाने के बाद, सिस्टम बिल्कुल पहले की तरह ही काम करता है, बिना किसी अतिरिक्त चरण या देरी के एक समय में एक टोकन की भविष्यवाणी करता है। शोधकर्ताओं ने प्रदर्शित किया है कि इन सहायक कार्यों को जोड़कर और सीखने के चरण के दौरान कम-मूल्य वाली जानकारी को छोड़कर, वे एक ऐसा मॉडल बना सकते हैं जो अधिक सक्षम और अधिक कुशल दोनों है। अध्ययन बताता है कि बेहतर इमेज जनरेशन की कुंजी बड़े मॉडल बनाने में नहीं, बल्कि मॉडल को दुनिया को देखने का तरीका सिखाने को परिष्कृत करने में है, यह सुनिश्चित करने में है कि वह सही चीजों पर ध्यान दे और उनके बीच स्थानिक संबंधों को समझे। उच्च गुणवत्ता वाले आउटपुट की आवश्यकता को कंप्यूटिंग शक्ति के व्यावहारिक प्रतिबंधों के साथ संतुलित करके, यह कार्य कृत्रिम बुद्धिमत्ता के साथ यथार्थवादी चित्र बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है।