EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation
EmoStyle, अफेक्टिवआर्ट (AffectiveArt) चैलेंज 2026 के लिए प्रथम स्थान प्राप्त करने वाला एक फ्रेमवर्क है जो एक LLM का उपयोग करके अफेक्टिव संकेतों (affective cues) का अनुमान लगाने और एक Z-इमेज-आधारित जनरेटर को नियंत्रित करने के लिए स्टाइल-विशिष्ट LoRA विशेषज्ञों का उपयोग करके भावनात्मक छवि निर्माण में नियंत्रण अंतराल को पाटता है, जिससे यह सुनिश्चित होता है कि आउटपुट प्रॉम्प्ट, कलात्मक शैलियों और लक्षित भावनाओं के अनुरूप हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक एकल वाक्य के आधार पर एक चित्र बनाने की कोशिश कर रहे हैं, जैसे कि "एक बरसाती शहर में एक उदास रोबोट।" लेकिन यहाँ एक पेच है: आपको न केवल एक रोबोट बनाने की आवश्यकता है; आपको इसे एक विशिष्ट कला शैली (शायद "इंप्रेशनिज्म" या "इंक वॉश") जैसा दिखाने की भी आवश्यकता है, और सबसे महत्वपूर्ण बात यह है कि आपको दर्शक को वह उदासी महसूस करानी है, भले ही रोबोट रो भी न रहा हो।
यही वह चुनौती है जिसका EmoStyle टीम ने समाधान निकाला। उन्होंने एक स्मार्ट सिस्टम बनाया जो एक बहुत ही सुव्यवस्थित आर्ट डायरेक्टर, एक स्टाइल-शिफ्टिंग कैमेलियन (रंग बदलने वाला जीव), और एक सख्त आर्ट क्रिटिक (कला समीक्षक) की तरह काम करता है। उनका लक्ष्य AffectiveArt Challenge 2026 (ट्रैक 1) जीतना था, और अंदाज़ा लगाइए क्या हुआ? उन्होंने प्रथम स्थान प्राप्त किया।
यहाँ उनका जादू कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:
1. "मन का पाठक" (The LLM Reasoner)
आमतौर पर, यदि आप केवल कंप्यूटर को "एक उदास रोबोट बनाओ" कहते हैं, तो वह एक ऐसा रोबोट बना सकता है जो खुश या भ्रमित दिखता है क्योंकि उसे नहीं पता कि उदासी को कैसे दिखाना है। उसे अधिक संकेतों की आवश्यकता होती है।
ट्रेनिंग डेटा में, कंप्यूटर के पास "वेलेंस: लो (Valence: Low)," "एरोसल: हाई (Arousal: High)," और "डोमिनेंट इमोशन: ग्रीफ (Dominant Emotion: Grief)" जैसे गुप्त नोट्स वाला एक चीट शीट होता था। लेकिन टेस्ट टाइम के दौरान (जब उन्हें वास्तव में कला बनानी थी), वे चीट शीट्स गायब थे! कंप्यूटर के पास केवल छोटा सा वाक्य था।
EmoStyle का समाधान: उन्होंने एक AI "मन का पाठक" (LLM reasoner) नियुक्त किया। एक भी पिक्सेल बनाने से पहले, यह मन का पाठक छोटे वाक्य और लक्षित कला शैली को देखता है, और फिर उन गायब गुप्त नोट्स का अनुमान लगाता है। वह सटीक भावनात्मक निर्देशांक (coordinates) का पता लगाता है (कि चित्र कितना सकारात्मक/नकारात्मक और कितना शांत/उत्तेजित होना चाहिए) और यहाँ तक कि यह भी तय करता है कि चित्र चौड़ा होना चाहिए या लंबा। वह एक अस्पष्ट विचार को एक विस्तृत, संरचित योजना में बदल देता है।
2. "स्टाइल कैमेलियन" और "इमोशन इंजेक्टर"
अब कंप्यूटर के पास एक योजना है, लेकिन उसे पेंट करना है। अधिकांश AI चित्रकार सब कुछ एक साथ सीखने की कोशिश करते हैं, जिससे चीजें गड़बड़ हो सकती हैं। EmoStyle ने कुछ अधिक स्मार्ट किया:
- स्टाइल कैमेलियन (LoRA Experts): कल्पना कीजिए कि आपके पास हर कला शैली के लिए चश्मे की एक अलग जोड़ी है। यदि आप "रेनेसां" चाहते हैं, तो आप रेनेसां के चश्मे पहनते हैं; यदि आप "उकियो-ए" चाहते हैं, तो आप उन चश्मों को बदलते हैं। टीम ने उनके द्वारा उपयोग की गई 8 कला शैलियों (जैसे इंक वॉश, बारोक और सोवियत रियलिज्म) में से प्रत्येक के लिए एक छोटा, विशिष्ट "विशेषज्ञ" (जिसे LoRA एडेप्टर कहा जाता है) प्रशिक्षित किया। जब कंप्यूटर को पेंट करने की आवश्यकता होती है, तो वह बस सही चश्मा चुन लेता है। यह शैली को बेहद सुसंगत बनाए रखता है।
- इमोशन इंजेक्टर (Affective Conditioning): लेकिन रुकिए, आप रेनेसां रोबोट को उदास कैसे दिखाते हैं? आप प्रॉम्प्ट में केवल "उदास" शब्द को दोबारा नहीं जोड़ते। इसके बजाय, उन्होंने "मन के पाठक" की भावनात्मक योजना को एक गुप्त कोड (वेक्टर) में बदल दिया। उन्होंने इस कोड को पेंटिंग मशीन के मस्तिष्क (डिनोइजिंग ब्लॉक्स) में AdaLN-शैली के मॉड्यूलेशन का उपयोग करके सीधे इंजेक्ट किया। इसे कलाकार के कान में सीधे निर्देश फुसफुसाने की तरह समझें, जो उसे बताता है कि उस विशिष्ट भावना को व्यक्त करने के लिए ब्रश के स्ट्रोक को ठीक कैसे मोड़ना है।
3. "सख्त आर्ट क्रिटिक" (VLM-Guided Refinement)
भले ही एक बेहतरीन योजना और सही चश्मे के साथ, पहली कोशिश अभी भी थोड़ी गलत हो सकती है। शायद रोबोट बहुत खुश दिख रहा है, या रंग गलत हैं।
इसलिए, सिस्टम केवल एक चित्र के साथ नहीं रुकता है। यह कई उम्मीदवार उत्पन्न करता है (जैसे पांच अलग-अलग संस्करणों का स्केच बनाना)। फिर, यह एक "सख्त आर्ट क्रिटिक" (एक विजन-लैंग्वेज मॉडल) को लाता है। यह क्रिटिक हर स्केच को चार चीजों पर स्कोर देता है:
- क्या यह प्रॉम्प्ट से मेल खाता है?
- क्या यह सही कला शैली जैसा दिखता है?
- क्या यह वास्तव में सही भावना महसूस कराता है?
- क्या इसकी दृश्य गुणवत्ता उच्च है?
क्रिटिक विजेता को चुनता है। यदि कोई भी पर्याप्त अच्छा नहीं है, तो यह पुन: जनरेशन (regeneration) को भी ट्रिगर कर सकता है। यह पूरे सिस्टम को फिर से प्रशिक्षित किए बिना होता है; यह केवल अंत में एक स्मार्ट चयन चरण है।
परिणाम: क्या यह काम आया?
टीम ने अपने सिस्टम का परीक्षण EmoArt नामक एक डेटासेट पर किया, जिसमें 132,664 से अधिक पेंटिंग्स हैं। उन्होंने अपने पूर्ण सिस्टम की तुलना बेस मॉडल और अन्य प्रसिद्ध AI चित्रकारों से की।
- स्कोर: उनके सिस्टम, USTC_PI_LAB_TEAM ने 0.80 का ओवरऑल स्कोर प्राप्त किया, जिसने दूसरे स्थान वाली टीम (EmoForge) को मात दी, जिसका स्कोर 0.78 था।
- प्रमाण: उन्होंने यह मापने के लिए कि उनकी छवियां वास्तविक कला के कितने करीब हैं, FID (Frechet Inception Distance) नामक एक मीट्रिक का उपयोग किया। कम स्कोर बेहतर होता है। उनके पूर्ण सिस्टम ने FID को 75.83 (बेस मॉडल) से घटाकर 58.63 कर दिया, जिसका अर्थ है कि छवियां बहुत अधिक यथार्थवादी और शैली के प्रति सच्ची दिख रही थीं।
- "क्या होगा अगर" परीक्षण: उन्होंने यह देखने के लिए भी प्रयोग किए कि क्या होता है यदि वे अपने सिस्टम के हिस्सों को हटा देते हैं।
- यदि उन्होंने "मन का पाठक" (अफेक्टिव प्लानिंग) हटा दिया, तो छवियां विशिष्ट विवरणों को पकड़ने में थोड़ी खराब हो गईं।
- यदि उन्होंने "स्टाइल कैमेलियन" (विशिष्ट LoRA विशेषज्ञ) को हटा दिया, तो शैली की निरंतरता काफी गिर गई।
- यदि उन्होंने "सख्त आर्ट क्रिटिक" (रिफाइनमेंट स्टेप) को हटा दिया, तो अंतिम छवि की गुणवत्ता कम हो गई।
वे क्या नहीं करते थे
यह जानना महत्वपूर्ण है कि यह सिस्टम क्या नहीं है। लेखकों ने स्पष्ट रूप से प्रॉम्प्ट को अधिक शब्दों के साथ फिर से लिखने या विवरण में अतिरिक्त टेक्स्ट के रूप में भावनात्मक नोट्स का उपयोग करने के विचार को खारिज कर दिया। उन्होंने पाया कि वे तरीके अस्थिर थे और कंप्यूटर को पर्याप्त सटीक नियंत्रण नहीं दे पा रहे थे। इसके बजाय, उन्होंने भावनाओं को सीधे मशीन की परतों में इंजेक्ट किए गए उस गुप्त "कोड" में बदलने पर जोर दिया।
उन्होंने एक एकल विशाल मॉडल बनाने की भी कोशिश नहीं की जो सब कुछ सीख ले। इसके बजाय, उन्होंने मुख्य मस्तिष्क को स्थिर रखा और प्रत्येक शैली के लिए छोटे "विशेषज्ञ" मॉड्यूल को बदल दिया।
निचोड़
EmoStyle टीम ने दिखाया कि समस्या को विभाजित करके—पहले भावना की योजना बनाना, फिर सही स्टाइल विशेषज्ञ चुनना, और अंत में एक क्रिटिक को सबसे अच्छा परिणाम चुनने देना—आप ऐसी कला बना सकते हैं जो न केवल सही दिखती है, बल्कि सही महसूस भी करती है। उन्होंने साबित किया कि शैली को भावना से अलग करना और रिक्त स्थानों को भरने के लिए एक स्मार्ट "मन के पाठक" का उपयोग करना एक जीतने वाली रणनीति है, जिसने उन्हें 2026 की चुनौती में शीर्ष स्थान दिलाया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।