Cross-Modal Alignment for Emotion-Consistent Text-to-Image Generation (ChinaMM 2026)

डिजिटल युग में, हम कंप्यूटर से शब्दों के माध्यम से चित्र बनाने के लिए कहने के अभ्यस्त हो गए हैं। "एक पार्क में खेलते हुए एक गोल्डन रिट्रीवर" टाइप करें, और एक मशीन कुछ ही सेकंडों में एक विश्वसनीय छवि बना सकती है। फिर भी, अपनी गति और दृश्य सटीकता के बावजूद, ये प्रणालियाँ अक्सर अनुरोध के सबसे मानवीय तत्व को चूक जाती हैं: भावना को। "एक अकेला जन्मदिन समारोह" का वर्णन करने वाला प्रॉम्प्ट गुब्बारों और चमकीले रंगों से भरा कमरा बना सकता है, जो तकनीकी रूप से सही है लेकिन भावनात्मक रूप से खोखला है, क्योंकि मशीन वस्तुओं को देखती है लेकिन उनके पीछे के दुख को नहीं। जो हम कहते हैं और जो मशीन महसूस करती है, उसके बीच का यह अंतर वह केंद्रीय चुनौती है जिसे शोधकर्ता अब पाटने की कोशिश कर रहे हैं। लक्ष्य केवल ऐसी छवियां बनाना नहीं है जो सही दिखें, बल्कि ऐसे दृश्य बनाना है जो पाठ के विशिष्ट भावनात्मक इरादे के साथ प्रतिध्वनित हों, चाहे वह खुशी, भय या उदासी हो।

चीन के संचार विश्वविद्यालय (Communication University of China) के शोधकर्ताओं की एक टीम ने इस अंतर को पाटने का एक नया तरीका प्रस्तावित किया है। वे अपने दृष्टिकोण को 'टेक्स्ट-टू-इमेज इमोशन कंसिस्टेंट जनरेशन' (Text-to-Image Emotion Consistent Generation) फ्रेमवर्क कहते हैं, जो एक दो-चरणीय प्रक्रिया है जिसे मशीनों को अमूर्त भावनाओं को ठोस दृश्य विवरणों में अनुवाद करना सिखाने के लिए डिज़ाइन किया गया है। पूर्व-निर्धारित लेबल या बाहरी गाइडों पर निर्भर रहने के बजाय, प्रणाली पहले एक वाक्य के भावनात्मक मूल को समझने का प्रयास करती है, और फिर उस समझ का उपयोग छवि के निर्माण के लिए मार्गदर्शन करने हेतु करती है। शोधकर्ताओं का तर्क है कि वर्तमान विधियाँ अक्सर विफल हो जाती हैं क्योंकि वे भावना को एक विचार के रूप में या एक अलग टैग के रूप में मानती हैं, न कि इसे छवि निर्माण प्रक्रिया के ताने-बाने में बुनने के रूप में।

प्रक्रिया उस चरण से शुरू होती है जिसे शोधकर्ता "इमोशन-इंटेलिजेंस रेजोनेंस जनरेशन" (Emotion-Intelligence Resonance Generation) कहते हैं। कल्पना कीजिए कि एक मानव कलाकार "सीढ़ियों पर एक खुश कुत्ता" जैसे प्रॉम्प्ट को पढ़ रहा है। ब्रश उठाने से पहले, कलाकार शायद इस बारे में सोचता होगा कि खुशी कैसी दिखती है: गर्म धूप, चमकीले रंग, शायद एक चंचल मुद्रा। कंप्यूटर भी ऐसा ही कुछ करता है। पहले, यह प्रमुख भावना, जैसे खुशी या क्रोध, की पहचान करने के लिए पाठ का विश्लेषण करता है। एक बार भावना की पहचान हो जाने के बाद, प्रणाली एक विशेष दृश्य संकेतों की लाइब्रेरी से परामर्श करती है—जैसे खुशी के लिए "गर्म धूप" या डर के लिए "ग dalamnya अंधेरे" जैसे जुड़ाव। इसके बाद यह मूल प्रॉम्प्ट को फिर से लिखती है, इसे इन विशिष्ट दृश्य विवरणों के साथ समृद्ध करती है। इसलिए, एक खुश कुत्ते का सरल अनुरोध गर्म धूप में खड़े एक कुत्ते के अधिक विस्तृत निर्देश में बदल जाता है जिसके पास रंगीन गुब्बारे भी हैं। इस समृद्ध विवरण को फिर इमेज जनरेटर में फीड किया जाता है, जो एक ऐसी तस्वीर बनाता है जिसमें मूल पाठ की तुलना में पहले से ही एक मजबूत भावनात्मक स्वर होता है।

हालाँकि, शोधकर्ताओं ने पाया कि बेहतर विवरण के बावजूद, अंतिम छवि कभी-कभी ड्राइंग प्रक्रिया के दौरान अपना भावनात्मक प्रभाव खो देती है। इसे ठीक करने के लिए, उन्होंने दूसरा चरण जोड़ा जिसे "इमोशन-गाइडेड क्रॉस-मोडल एन्हांसमेंट" (Emotion-Guided Cross-Modal Enhancement) कहा जाता है। यह चरण एक अंतिम पॉलिश की तरह कार्य करता है, जो मशीन द्वारा अभी बनाई गई छवि को देखता है और पूछता है, "क्या यह वास्तव में वैसा ही महसूस होता है जैसा हम चाहते थे?" यदि लक्ष्य डर था, तो सिस्टम सूक्ष्म रूप से प्रकाश को समायोजित कर सकता है या छाया में एक विशिष्ट बनावट जोड़ सकता है ताकि बेचैनी की भावना को गहरा किया जा सके, बिना चित्र के मुख्य विषय को बदले। यह परिशोधन छवि की दृश्य विशेषताओं में सीधे भावनात्मक अर्थ को इंजेक्ट करके होता है, यह सुनिश्चित करते हुए कि अंतिम परिणाम उपयोगकर्ता द्वारा वर्णित भावना के अनुरूप हो।

यह जांचने के लिए कि क्या यह दो-चरणीय विधि वास्तव में काम करती है, टीम ने 3,000 टेक्स्ट प्रॉम्प्ट का एक नया डेटासेट बनाया, जिसे छह बुनियादी मानवीय भावनाओं: खुशी, आश्चर्य, क्रोध, घृणा, भय और उदासी को कवर करने के लिए सावधानीपूर्वक संतुलित किया गया था। उन्होंने अपने सिस्टम की तुलना कई मौजूदा मॉडलों से की, जिसमें मानक जनरेटर और भावनात्मक संपादन के लिए विशेष रूप से डिज़ाइन किए गए अन्य उपकरण शामिल थे। परिणामों ने एक स्पष्ट सुधार दिखाया। यह पूछने पर कि क्या उत्पन्न छवियां इच्छित भावना से मेल खाती हैं, उनकी विधि ने व्यापक सकारात्मक या नकारात्मक भावनाओं के लिए 88.43% की सटीकता और छह विशिष्ट भावनाओं के बीच अंतर करने के लिए 69.23% की सटीकता प्राप्त की। ये संख्याएँ बेहतर प्रदर्शन करने वाले विकल्पों से अधिक थीं, जो कई प्रतिशत अंकों से पीछे रह गए थे।

शोधकर्ताओं ने यह देखने के लिए स्वयंसेवकों के साथ एक अध्ययन भी किया कि लोग छवियों के प्रति कैसी प्रतिक्रिया देते हैं। प्रतिभागियों को मूल टेक्स्ट प्रॉम्प्ट के साथ विभिन्न प्रणालियों द्वारा उत्पन्न चार अलग-अलग छवियां दिखाई गईं और उनसे वह चुनने के लिए कहा गया जो भावना को सबसे अच्छी तरह से पकड़ता है। उनके फ्रेमवर्क को सबसे अधिक बार चुना गया, जिसने 27.04% वोट प्राप्त किए, और विशेष भावनात्मक संपादन उपकरणों को भी पीछे छोड़ दिया। महत्वपूर्ण बात यह है कि सिस्टम ने मूल प्रॉम्प्ट के अर्थ को विकृत किए बिना यह करने में सफलता प्राप्त की। जबकि कुछ पुराने तरीके एक छवि को बहुत भावनात्मक बना देते थे लेकिन दृश्य को पूरी तरह से बदल देते थे—जैसे एक उदास पार्क को पूरी तरह से अलग स्थान में बदल देना—नया दृष्टिकोण दृश्य को पहचानने योग्य रखते हुए उसके मूड को बदल देता है।

अभी भी इसकी क्षमताएं सीमित हैं। शोधकर्ताओं ने नोट किया कि "आश्चर्य" की भावना को सटीक रूप से पकड़ने में सभी विधियों, जिनमें उनकी अपनी भी शामिल है, को विशेष रूप से कठिनाई हुई। ऐसा संभवतः इसलिए है क्योंकि आश्चर्य के लक्षण भय और खुशी दोनों के साथ साझा होते हैं, जिससे अंतर करना कठिन हो जाता है। इसके अलावा, स्थिरता सुनिश्चित करने के लिए सिस्टम वर्तमान में स्थापित, थोड़े पुराने इमेज-जनरेशन बैकबोन पर निर्भर करता है, जिसका अर्थ है कि यह नवीनतम मॉडलों की तुलना में अभी तक उच्चतम संभव छवि गुणवत्ता नहीं बना सकता है। हालाँकि, मुख्य निष्कर्ष कायम है: भावना को पहले समझने और फिर दृश्य विवरणों को परिष्कृत करने के कार्य को विभाजित करके, कंप्यूटर ऐसी छवियां उत्पन्न कर सकते हैं जो मानवीय अनुभव के प्रति अधिक प्राAuthentic (प्रामाणिक) महसूस होती हैं। यह कार्य सुझाव देता है कि मशीनों के लिए हमारे रचनात्मक अनुरोधों को वास्तव में समझने के लिए, उन्हें न केवल यह सीखना होगा कि हम क्या वर्णित कर रहे हैं, बल्कि यह भी कि हम उसके बारे में कैसा महसूस करते हैं।