Kontinuous Kontext: Continuous Strength Control for Instruction-based Image Editing
यह शोध पत्र 'कॉन्टिनुअस कॉन्टेक्स्ट' (Kontinuous Kontext) का परिचय देता है, जो एक निर्देश-आधारित इमेज एडिटिंग मॉडल है जो एक हल्के प्रोजेक्टर को मॉडल के मॉड्यूलेशन स्पेस में एक स्केलर स्ट्रेंथ वैल्यू और टेक्स्ट निर्देश को मैप करने के लिए प्रशिक्षित करके, एडिट की स्ट्रेंथ पर सुचारू और निरंतर नियंत्रण सक्षम करता है, जिससे उपयोगकर्ता विभिन्न ऑपरेशन्स में सूक्ष्म से लेकर पूरी तरह से साकार किए गए बदलावों को बिना किसी एट्रिब्यूट-विशिष्ट प्रशिक्षण के समायोजित कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके हाथ में एक जादुई छड़ी है जो केवल बोलकर चित्रों को बदल सकती है। आप कहते हैं, "कुत्ते को बिल्ली जैसा बना दो," और पफ, कुत्ते का चेहरा एक बिल्ली के चेहरे में बदल जाता है। यह निर्देश-आधारित इमेज एडिटिंग (instruction-based image editing) की दुनिया है, जो जेनेरेटिव एआई (generative AI) पर आधारित एक सुपरपावर है। ये कंप्यूटर मस्तिष्क अरबों फोटो और कैप्शन पर प्रशिक्षित होते हैं, जो शून्य से नई तस्वीरें बनाने या आपके शब्दों के आधार पर मौजूदा तस्वीरों में बदलाव करने के लिए प्रशिक्षित होते हैं। लंबे समय तक, ये जादूगर केवल एक ही काम कर सकते थे: आपके आदेश का अक्षरशः पालन करना। यदि आपने "नीली जैकेट" मांगी, तो उन्होंने आपको 100% नीली जैकेट दी। यदि आपने "बर्फ" मांगी, तो पूरा दृश्य ही बर्फीला तूफान बन गया। लेकिन क्या होगा यदि आप केवल थोड़ी सी बर्फ चाहते थे? या एक ऐसी जैकेट जो ज्यादातर लाल हो लेकिन उसमें नीले रंग की एक झलक हो? अब तक, जादुई छड़ी थोड़ी अनाड़ी थी; यह एक ऑन/ऑफ स्विच की तरह थी, न कि एक डिमर (dimmer) की तरह।
यहीं से कॉन्टिन्यूअस कॉन्टेक्स्ट (Kontinuous Kontext) की कहानी शुरू होती है। शोधकर्ता उस भारी-भरकम ऑन/ऑफ स्विच को एक सुचारू, स्लाइडिंग डिमर में बदलना चाहते थे। उन्होंने एक सरल प्रश्न पूछा: क्या हम एआई को न केवल यह सिखा सकते हैं कि क्या बदलना है, बल्कि यह भी कि कितना बदलना है? वे केवल यह नहीं चाहते थे कि एआई सही मात्रा का अनुमान लगाए; वे चाहते थे कि एक उपयोगकर्ता एक स्लाइडर को खींच सके और छवि को धीरे-धीरे बदलते हुए देख सके, जैसे किसी गाने की आवाज़ बढ़ाना या स्क्रीन की ब्राइटनेस को एडजस्ट करना। यह शोध पत्र एआई को वह सूक्ष्म नियंत्रण देने का एक नया तरीका पेश करता है, जिससे हम एक ही सहज गति में एक एडिट को "कुछ नहीं हुआ" से "पूरी तरह से रूपांतरित" तक डायल कर सकते हैं।
समस्या: "सब कुछ या कुछ भी नहीं" वाली जादुई छड़ी
कल्पना कीजिए कि आप एक जादुई रेसिपी बुक वाले शेफ हैं। यदि आप "तीखा सूप" मांगते हैं, तो किताब आपको एक ऐसा कटोरा देती है जो इतना गर्म है कि आपकी जीभ जल जाए। यदि आप "हल्का सूप" मांगते हैं, तो यह आपको पानी जैसा स्वाद वाला कटोरा देती है। आप यह नहीं कह सकते कि "बस थोड़ा सा तीखापन चाहिए।" वर्तमान इमेज-एडिटिंग एआई बिल्कुल इसी तरह काम करता है। आप इसे एक टेक्स्ट निर्देश देते हैं, जैसे "जैकेट को फर (fur) में बदल दो," और यह या तो कुछ नहीं करता या पूरी तरह से, एकदम फूला हुआ रूपांतरण कर देता है। इसमें कोई बीच का रास्ता नहीं है।
इस समस्या को ठीक करने के पिछले प्रयास हर एक सामग्री के लिए एक नया किचन बनाने की कोशिश करने जैसे थे। कुछ वैज्ञानिकों ने केवल बालों का रंग बदलने के लिए विशेष मॉडल प्रशिक्षित किए, कुछ ने मौसम बदलने के लिए, और अन्य ने वस्तुओं के आकार को बदलने के लिए। यह हर व्यंजन के लिए एक अलग शेफ रखने जैसा था। यह काम तो करता था, लेकिन यह धीमा, महंगा था, और आप उन्हें आसानी से मिला-जुला नहीं सकते थे। आपको एक एकल, सार्वभौमिक शेफ की आवश्यकता थी जो किसी भी अनुरोध को संभाल सके और आपको हर एक बदलाव की तीव्रता को नियंत्रित करने दे सके।
समाधान: एआई के लिए "वॉल्यूम नॉब"
कॉन्टिन्यूअस कॉन्टेक्स्ट (एक चंचल नाम जो "Continuous" और "Context" को मिलाता है) के पीछे की टीम ने एक ऐसा सिस्टम बनाया है जो इमेज एडिट के लिए एक यूनिवर्सल वॉल्यूम नॉब की तरह काम करता है। केवल "इसे नीला बनाओ" के निर्देश को सुनने के बजाय, एआई अब निर्देश साथ ही एक संख्या सुनता है जो कहती है कि "कितना नीला"।
एआई को एक संगीतकार के रूप में सोचें जो एक गाना बजा रहा है। टेक्स्ट निर्देश वह शीट म्यूजिक है, जो संगीतकार को बताता है कि क्या बजाना है। नया "स्लाइडर" वॉल्यूम नॉब है। अतीत में, संगीतकार केवल पूरे वॉल्यूम पर या सन्नाटे में बजा सकता था। अब, कॉन्टिन्यूअस कॉन्टेक्स्ट के साथ, आप नॉब को शून्य से दस तक घुमा सकते हैं। शून्य पर, संगीत शांत है (छवि अपरिवर्तित है)। पांच पर, संगीत कोमल और धीमा है (एक सूक्ष्म बदलाव)। दस पर, यह एक रॉक कॉन्सर्ट है (एक पूर्ण रूपांतरण)। जादू यह है कि शून्य से दस के बीच का संक्रमण पूरी तरह से सुचारू है, जिसमें कोई अचानक उछाल या गड़बड़ी नहीं है।
उन्होंने एआई को स्लाइड करना कैसे सिखाया
आप सोच सकते हैं: "उन्हें एआई को सिखाने के लिए डेटा कहाँ से मिला?" आखिरकार, वास्तविक लोग आमतौर पर एक फोटो नहीं लेते, उसे थोड़ा एडिट करते हैं, फिर थोड़ा और एडिट करते हैं, और फिर पूरी तरह से एडिट करते हैं, और हर कदम को रास्ते में सहेजते हैं। इस तरह का डेटा दुनिया में मौजूद नहीं है।
इसलिए, शोधकर्ता डेटा के जादूगर बन गए। उन्होंने एक सिंथेटिक डेटासेट बनाया—उदाहरणों का एक नकली लेकिन यथार्थवादी पुस्तकालय। उन्होंने इसे इस प्रकार किया:
- सेटअप: उन्होंने 1,10,000 रैंडम फोटो लिए।
- कमांड: उन्होंने प्रत्येक फोटो के लिए एक अद्वितीय निर्देश लिखने के लिए एक स्मार्ट एआई असिस्टेंट का उपयोग किया, जैसे "कार को अंतरिक्ष यान में बदल दें।"
- पूर्ण संपादन (Full Edit): उन्होंने एक शक्तिशाली मौजूदा एआई (जिसे फ्लक्स कॉन्टेक्स्ट कहा जाता है) का उपयोग करके पूर्ण संपादन किया, यानी कार को अंतरिक्ष यान में बदल दिया।
- पुल (The Bridge): यह सबसे कठिन हिस्सा था। उन्हें एआई को यह दिखाने की आवश्यकता थी कि कार 10%, 20%, 50%, और 90% "अंतरिक्ष यान-पन" पर कैसी दिखती है। उन्होंने इन बीच के चित्रों को बनाने के लिए एक विशेष "मॉर्फिंग" टूल का उपयोग किया, जैसे कि एक वीडियो जो एक दृश्य से दूसरे दृश्य में फी़ड (fade) होता है।
- सफाई: मॉर्फिंग टूल परफेक्ट नहीं था। कभी-कभी इसने अजीब आर्टिफैक्ट्स बनाए, जैसे कि आधा पहिया वाली कार या एक ऐसा अंतरिक्ष यान जो एक धब्बे जैसा दिखता था। शोधकर्ताओं ने एक सख्त फिल्टर बनाया ताकि ऐसे सभी "खराब" उदाहरणों को हटा दिया जाए जहाँ संक्रमण सुचारू नहीं था या छवि टूटी हुई लग रही थी। अंत में उनके पास 64,000 उच्च-गुणवत्ता वाले "एडिट ट्रेजेक्टरीज" (शुरुआत से अंत तक के सुचारू पथ) बचे।
गुप्त नुस्खा: "ट्रांसलेटर" प्रोजेक्टर
मुख्य आविष्कार एक छोटा, हल्का नेटवर्क है जिसे वे प्रोजेक्टर कहते हैं। मुख्य एआई मॉडल को एक विशाल, जटिल ऑर्केस्ट्रा के रूप में सोचें। टेक्स्ट निर्देश ऑर्केस्ट्रा को बताता है कि क्या बजाना है। नया प्रोजेक्टर एक छोटा ट्रांसलेटर है जो स्लाइडर और ऑर्केस्ट्रा के बीच बैठता है।
जब आप स्लाइडर को "0.5" (आधा) पर स्लाइड करते हैं, तो ट्रांसलेटर ऑर्केस्ट्रा को केवल "आधा!" चिल्लाकर नहीं बताता। इसके बजाय, यह ऑर्केस्ट्रा के कंडक्टर (मॉड्यूलेशन स्पेस) को एक बहुत ही विशिष्ट, कैलिब्रेटेड निर्देश फुसफुसाता है। यह कहता है, "ठीक है, नीली जैकेट के इस विशिष्ट निर्देश के लिए, नीले रंग की यह सटीक मात्रा लागू करें।"
शोध में पाया गया कि यदि वे केवल नंबर को टेक्स्ट शब्दों में डालने की कोशिश करते (जैसे "आधा" टोकन जोड़ना), तो संगीत झटकेदार और अजीब हो जाता। लेकिन नंबर को मॉड्यूलेशन स्पेस में फीड करके—एक छिपा हुआ स्तर जहाँ एआई छवि के "वाइब" को नियंत्रित करता है—वे बदलावों को सुचारू और सटीक बना सके। यह ऐसा है जैसे यह महसूस करना कि वॉल्यूम बदलने के लिए, आपको गायक पर चिल्लाना नहीं चाहिए; आपको सीधे एम्पलीफायर के गेन (gain) नॉब को एडजस्ट करना चाहिए।
उन्होंने क्या पाया (और क्या नहीं)
परिणाम प्रभावशाली थे। जब उन्होंने अपने सिस्टम का अन्य तरीकों के साथ परीक्षण किया, तो कॉन्टिनवियस कॉन्टेक्स्ट सुचारूता (smoothness) में स्पष्ट विजेता था।
- प्रतिस्पर्धा: अन्य तरीके एक टूटे हुए लिफ्ट की तरह थे। वे ग्राउंड फ्लोर से 10वें फ्लोर तक जाते थे, लेकिन कभी-कभी वे 5वां फ्लोर पूरी तरह छोड़ देते थे, या दरवाजे गलत मंजिल पर खुल जाते थे। कुछ तरीकों ने बस दो छवियों को आपस में "मॉर्फ" करने की कोशिश की, लेकिन इससे अक्सर बीच के चरणों में अजीब, धुंधले राक्षस बन जाते थे।
- विजेता: कॉन्टिन्यूअस कॉन्टेक्स्ट एक सुचारू लिफ्ट की तरह चलता था। जैसे-जैसे स्लाइडर 0 से 1 की ओर बढ़ता, छवि धीरे-धीरे और तार्किक रूप से बदलती। जैकेट अचानक नीली नहीं हुई; वह धीरे-धीरे अधिक नीली होती गई। एक बर्फीला दृश्य अचानक अस्तित्व में नहीं आया; बर्फ के टुकड़े धीरे-धीरे प्रकट हुए और जमीन धीरे-धीरे सफेद हुई।
पेपर ने यह भी दिखाया कि यह तरीका हर चीज़ के लिए काम करता है, न कि केवल एक चीज़ के लिए। चाहे आप ड्रेस का रंग बदल रहे हों, किसी पत्थर की सामग्री (उसे सोना दिखाने के लिए) बदल रहे हों, कार का आकार बदल रहे हों, या किसी दृश्य का पूरा मौसम बदल रहे हों, एक ही स्लाइडर काम करता है। यह बहुत बड़ा है क्योंकि इसका मतलब है कि आपको हर प्रकार के एडिट के लिए एक अलग मॉडल की आवश्यकता नहीं है। एक ही यूनिवर्सल मॉडल सब कुछ संभाल सकता है।
हालाँकि, लेखक उनकी सीमाओं के बारे में ईमानदार हैं। सिस्टम "निरंतर" (continuous) एडिट के लिए बहुत अच्छा है, जैसे रंग या सामग्री बदलना। लेकिन यदि आप बहुत विशिष्ट, कठिन ज्यामितीय परिवर्तन मांगते हैं—जैसे कार को बिल्कुल 90 डिग्री घुमाना—तो सिस्टम कभी-कभी संघर्ष करता है, क्योंकि जिस बेस एआई पर यह बना है (फ्लक्स कॉन्टेक्स्ट), वह भी इसमें संघर्ष करता है। साथ भी, यदि आप स्लाइडर को अधिकतम से आगे ले जाने की कोशिश करते हैं (जैसे "120% नीला" मांगना), तो सिस्टम नहीं जानता कि क्या करना है; यह या तो 100% पर रुक जाता है या भ्रमित हो जाता है। यह एक डिमर स्विच है, टाइम मशीन नहीं।
यह क्यों महत्वपूर्ण है
यह पेपर सुझाव देता है कि हम "हाँ या ना" वाले एआई के युग से आगे बढ़ रहे हैं। हम "कितना?" के युग में प्रवेश कर रहे हैं। उपयोगकर्ताओं को एक स्लाइडर देकर, कॉन्टिन्यूअस कॉन्टेक्स्ट मानवीय बारीकियों की इच्छा और कंप्यूटर कोड की कठोर, बाइनरी प्रकृति के बीच के अंतर को पाटता है। यह इमेज एडिटिंग को संयोग के खेल से बदलकर—जहाँ आप उम्मीद करते हैं कि एआई सही मात्रा का अनुमान लगाएगा—एक सटीक उपकरण में बदल देता है जहाँ आप परिणाम को अपनी पसंद के अनुसार ट्यून कर सकते हैं।
शोधकर्ताओं ने केवल एक बेहतर टूल नहीं बनाया; उन्होंने दिखाया कि तीव्रता को नियंत्रित करने का "नॉब" पहले से ही इन एआई मॉडल्स के अंदर छिपा हुआ है, बस खोजे जाने का इंतज़ार कर रहा है। उन्हें बस इसे अनलॉक करने के लिए सही चाबी बनानी थी। अब, एआई से "परफेक्ट बनाने" के लिए कहने के बजाय, आप अंततः इसे कह सकते हैं, "इसे लगभग परफेक्ट बनाओ," और इसे सही जगह पर स्लाइड होते हुए देख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।