💻 computer science

Model the Edit, Not the Image: Visual Autoregressive Editing from a Source-Centric Perspective

यह शोध पत्र EditMod को प्रस्तुत करता है, जो एक सोर्स-सेंट्रिक विजुअल ऑटोरेग्रेसिव एडिटिंग फ्रेमवर्क है जो सोर्स और टारगेट-कंडीशन्ड प्रेडिक्शन्स के बीच के अंतर से प्राप्त स्केल-वाइज रेसिडुअल अपडेट्स के रूप में एडिट्स को मॉडल करके, इनवर्जन, ऑप्टिमाइजेशन या मास्क की आवश्यकता को समाप्त करते हुए, सेकंडों में उच्च-फिडेलिटी, टेक्स्ट-अलाइन्ड इमेज एडिटिंग प्राप्त करता है।

मूल लेखक: Hongyi Fang, Chuwen Xie, Benjia Zhou, Yu-Xuan Qiu, Chenggong Hu, Zhibin Wang, Chao Chen, Jianbin Qin, Rui Mao

प्रकाशित 2026-08-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongyi Fang, Chuwen Xie, Benjia Zhou, Yu-Xuan Qiu, Chenggong Hu, Zhibin Wang, Chao Chen, Jianbin Qin, Rui Mao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई स्केचबुक है जहाँ आप केवल एक विवरण फुसफुसाकर जो कुछ भी कल्पना करते हैं, उसे चित्रित कर सकते हैं। लंबे समय तक, इसे करने का सबसे लोकप्रिय तरीका मिट्टी के एक ब्लॉक से मूर्तिकला बनाने जैसा था: आप शोर (noise) के एक अस्त-व्यस्त, शोर भरे ढेर से शुरुआत करते हैं और धीरे-धीरे उस शोर को तराशते जाते हैं जब तक कि एक स्पष्ट चित्र उभर न आए। लेकिन हाल ही में, एक नया प्रकार का कलाकार आया है जो अलग तरह से काम करता है। तराशने के बजाय, वे एक परत दर परत चित्र का निर्माण करते हैं, एक मोटे, धुंधले रूपरेखा से शुरू करते हैं और धीरे-धीरे अधिक स्पष्ट विवरण जोड़ते हैं, जैसे कि एक महाद्वीप से सड़क के कोने तक ज़ूम इन करना। इसे "विजुअल ऑटोरेग्रेसिव" (Visual Autoregressive) जनरेशन कहा जाता है। यह अविश्वसनीय रूप से तेज़ है और शानदार स्पष्ट चित्र बनाता है।

अब, कल्पना कीजिए कि आप अपनी उत्कृष्ट कृति में केवल एक चीज़ बदलना चाहते हैं—शायद एक सफेद घोड़े को सुनहरा बनाना, या आकाश में एक महल जोड़ना—बिना पूरे चित्र को फिर से बनाए बिना। पुराने मिट्टी-तराशने वाले तरीके यहाँ संघर्ष करते हैं; वे घोड़े के रंग को बदलने के प्रयास में गलती से घोड़े के पैरों को पिघला सकते हैं, या आपको उन हिस्सों को मैन्युअल रूप से मास्क करने में घंटों बिताने पड़ सकते हैं जिन्हें आप रखना चाहते हैं। यह शोध पत्र एक सरल लेकिन कठिन प्रश्न पूछता है: क्या हम इस नए, तेज़, परत-दर-परत निर्माण करने वाले तरीके का उपयोग छवियों को आसानी से संपादित करने के लिए कर सकते हैं, बिना अपने काम को पहले अनडू (undo) किए या सेटिंग्स को ट्यून करने में घंटों बिताए? लेखक संपादन के बारे में सोचने का एक नया तरीका सुझाते हैं जो मूल छवि को एक बाधा के रूप में नहीं, बल्कि एक ठोस नींव के रूप में देखता है जिस पर बनाया जाना है।

इस शोध पत्र के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व होंगी यी फांग (Hongyi Fang) और सहयोगियों ने किया है, एक विधि प्रस्तावित की है जिसे वे EditMod कहते हैं। उनका बड़ा विचार यह है कि पूरी छवि को एक नए विवरण के आधार पर "पुन: उत्पन्न" (regenerate) करने की कोशिश करने के बजाय, ठीक इस बात पर ध्यान केंद्रित करना कि क्या बदलने की आवश्यकता है। इसे ऐसे सोचें: यदि आप एक लेगो (Lego) महल बना रहे हैं और कोई आपसे मीनार का रंग बदलने के लिए कहता है, तो पुराना तरीका पूरे महल को खोलकर फिर से बनाना था, यह याद रखने की कोशिश करते हुए कि कौन सी ईंट कहाँ गई थी। EditMod उस मीनार को देखने, यह पता लगाने जैसा है कि किन ईंटों को बदलने की आवश्यकता है, और केवल उन्हीं को बदलने जैसा है, जबकि बाकी के महल को पूरी तरह से बरकरार रखा जाए।

शोध पत्र वर्तमान लोकप्रिय विधियों का खंडन करता है, जिन्हें वे "जनरेशन-सेंट्रिक" (generation-centric) विधियाँ कहते हैं। ये विधियाँ आमतौर पर आपके नए टेक्स्ट प्रॉम्प्ट के आधार पर एक बिल्कुल नया चित्र उत्पन्न करने का प्रयास करती हैं और फिर एक जटिल ट्रिक्स का उपयोग करके उसे मूल चित्र जैसा दिखने के लिए मजबूर करती हैं, जैसे कि "इनवर्जन" (प्रक्रिया को पीछे ले जाना) या "मास्क" (कंप्यूटर को यह बताना कि किन पिक्सेल को अनदेखा करना है)। लेखक सुझाव देते हैं कि यह अक्षम है और अक्सर छवि के "ड्रिफ्ट" होने या अपना मूल आकार खो देने का कारण बनता है। इसके बजाय, वे एक "सोर्स-सेंट्रिक" (source-centric) दृष्टिकोण अपनाते हैं। वे आपकी मूल छवि के एनकोडेड संस्करण को प्राथमिक अवस्था के रूप में देखते हैं और बस उस अंतर की गणना करते हैं जो आपकी मूल छवि के लिए कंप्यूटर द्वारा की गई भविष्यवाणी और नई छवि के लिए की गई भविष्यवाणी के बीच है।

यहाँ बताया गया है कि उनका "EditMod" तीन चंचल चरणों में कैसे काम करता है:

एक मोटा रेखाचित्र (Coarse Scales): बिल्कुल शुरुआत में, जब छवि केवल आकृतियों का एक धुंधला धब्बा होती है, EditMod मूल छवि की संरचना की नकल करता है। यह कहता है, "आइए लेआउट को बिल्कुल वैसा ही रखें।" यह छवि को स्थिर करता है ताकि घोड़ा अचानक नाव में न बदल जाए।
जादुई बदलाव (Intermediate Scales): जैसे-जैसे छवि अधिक स्पष्ट होती जाती है, कंप्यूटर "पुराने प्रॉम्प्ट" (जैसे, "सफेद घोड़ा") और "नए प्रॉम्प्ट" (जैसे, "सुनहरा घोड़ा") के बीच के अंतर को देखता है। यह इस अंतर को एक वेक्टर तीर की तरह गणना करता है जो पुराने विचार से नए विचार की ओर इशारा करता है। फिर यह मूल छवि पर इस "अंतर तीर" को लागू करता है, जिससे दृश्य को बाधित किए बिना पिक्सेल को बस इतना ही बदलने में मदद मिलती है जितना आवश्यक है।
बारीक पॉलिश (Fine Scales): अंत में, जब छवि लगभग पूरी हो जाती है और इसे फर की बनावट या प्रकाश के परावर्तन जैसे सूक्ष्म विवरणों की आवश्यकता होती है, तो कंप्यूटर नए प्रॉम्प्ट के आधार पर इन विवरणों को उत्पन्न करने के लिए स्विच करता है। यह सुनिश्चित करता है कि नया ऑब्जेक्ट यथार्थवादी दिखे और दृश्य की रोशनी में फिट बैठे।

इसके परिणाम काफी प्रभावशाली हैं। लेखकों ने इसका परीक्षण PIE-Bench नामक एक बेंचमार्क पर किया, जिसमें 700 वास्तविक चित्र और वस्तुओं, मुद्राओं या पृष्ठभूमि को बदलने जैसे विभिन्न संपादन कार्य शामिल हैं। उन्होंने पाया कि EditMod अविश्वसनीय रूप से तेज़ है, एक एकल A100 GPU पर 1K उच्च-गुणवत्ता वाली छवि को केवल 1.57 सेकंड में संपादित करता है। यह इस प्रकार के मॉडल के लिए पिछले सर्वश्रेष्ठ तरीके (AREdit) से लगभग 47.7% तेज़ है।

इससे भी महत्वपूर्ण बात यह है कि संपादित चित्र अन्य विधियों द्वारा बनाए गए चित्रों की तुलना में मूल चित्रों के बहुत अधिक करीब दिखते हैं। तकनीकी शब्दों में, उन्होंने AREdit की तुलना में 15.1% कम LPIPS (एक स्कोर जो मापता है कि दो चित्र मानवीय आंख को कितने अलग दिखते हैं) प्राप्त किया, जिसका अर्थ है कि परिवर्तन अधिक सटीक थे और बाकी छवि मूल स्रोत के प्रति अधिक सच्ची रही। उन्होंने टेक्स्ट प्रॉम्प्ट के साथ भी मजबूत संरेखण बनाए रखा, जिसका अर्थ है कि यदि आपने "सुनहरा घोड़ा" मांगा था, तो आपको सुनहरा घोड़ा मिला, न कि सुनहरा फिल्टर लगा हुआ सफेद घोड़ा।

शोध पत्र स्पष्ट रूप से "इनवर्जन" (प्रक्रिया को पीछे ले जाना), "मास्क" (बदलने के लिए मैन्युअल रूप से क्या बदलना है यह खींचना), या "ट्रेनिंग" (मॉडल को नई तरकीबें सिखाना) की आवश्यकता को खारिज करता है। वे दिखाते हैं कि केवल पुराने और नए प्रॉम्प्ट की भविष्यवाणियों की तुलना करके और अंतर को एक छोटे अपडेट के रूप में लागू करके, आप उच्च-गुणवत्ता वाले संपादन प्राप्त कर सकते हैं। हालांकि वे स्वीकार करते हैं कि उनकी विधि इन तीन चरणों के बीच स्विच करने के लिए कुछ पूर्व-निर्धारित सीमाओं पर निर्भर करती है, वे सुझाव देते हैं कि यह "सोर्स-सेंट्रिक" दृष्टिकोण इन अगली-स्तर के मॉडलों द्वारा उत्पन्न छवियों को संपादित करने का एक बहुत अधिक स्वाभाविक और कुशल तरीका है।

संक्षेप में, शोध पत्र सुझाव देता है कि किसी चीज़ को बदलने के प्रयास के दौरान किसी छवि को समान बनाए रखने के लिए लड़ने के बजाय, हमें बस आवश्यक सटीक परिवर्तन की गणना करनी चाहिए और उसे सीधे आधार पर लागू करना चाहिए। यह "घर को फिर से बनाने" के बजाय "कमरे का नवीनीकरण करने" की ओर एक बदलाव है, और यह मौजूदा विकल्पों की तुलना में तेज़ और बेहतर काम करता है।

तकनीकी सारांश: EditMod – एक स्रोत-केंद्रित परिप्रेक्ष्य से विजुअल ऑटोरेग्रेसिव एडिटिंग

समस्या विवरण (Problem Statement)
नेक्स्ट-स्केल विजुअल ऑटोरेग्रेसिव मॉडल (VARs) एक कुशल जनरेटिव प्रतिमान के रूप में उभरे हैं, जो डिस्क्रीट, कोर्स-टू-फाइन (coarse-to-fine) प्रेडिक्शन के माध्यम से उच्च गुणवत्ता वाली छवियों का संश्लेषण करते हैं। हालांकि, टेक्स्ट-गाइडेड इमेज एडिटिंग के लिए उनकी क्षमता अभी भी अल्प-अन्वेषित है। VARs (और अन्य जनरेटिव मॉडल्स) के लिए मौजूदा ट्रेनिंग-फ्री एडिटिंग दृष्टिकोण मुख्य रूप से एक जनरेशन-सेंट्रिक (generation-centric) परिप्रेक्ष्य अपनाते हैं। इस प्रतिमान में, एडिटिंग प्रक्रिया को एक टारगेट-कंडीशन्ड स्टेट ( $\hat{Z}_t$ ) को पुनर्जीवित करने के रूप में तैयार किया जाता है, जिसे बाद में इनवर्जन, फीचर इंजेक्शन, अटेंशन कंट्रोल, या स्पेशल मास्क के माध्यम से सोर्स जानकारी ( $C_s$ ) द्वारा बाधित या सुधारा जाता है।

लेखकों का तर्क है कि यह फॉर्मूलेशन VARs में निहित मल्टीस्केल सोर्स रिप्रेजेंटेशन का पूर्ण उपयोग करने में विफल रहता है। सोर्स को केवल एक नए जनरेशन ट्राजेक्टरी पर एक बाधा (constraint) के रूप में मानकर, ये विधियाँ अनावश्यक कम्प्यूटेशनल ओवरहेड उत्पन्न कर सकती हैं, प्रति-छवि अनुकूलन (per-image optimization) या इनवर्जन पर निर्भर हो सकती हैं, और अपरिवर्तित क्षेत्रों को 'ड्रिफ्ट' के प्रति संवेदनशील बना सकती हैं। पहचाना गया मुख्य संकट यह है कि कैसे कंडीशन-डिपेंडेंट कंटेंट को बिना शेष सोर्स रिप्रेजेंटेशन को अनावश्यक रूप से बदले, संशोधित किया जाए, जो बाधा-आधारित मॉडल से आगे बढ़कर प्रेडिक्टिव परिवर्तनों के प्रत्यक्ष मॉडलिंग की ओर ले जाता है।

कार्यप्रणाली: EditMod (Methodology: EditMod)
यह शोध पत्र EditMod प्रस्तावित करता है, जो एक ट्रेनिंग-फ्री, इनवर्जन-फ्री, और मास्क-फ्री एडिटिंग विधि है जो सोर्स-सेंट्रिक परिप्रेक्ष्य को अपनाती है। सोर्स-एन्कोडेड इमेज टोकन्स ( $Z_s$ ) को प्राथमिक विजुअल स्टेट के रूप में मानकर और एडिटिंग प्रक्रिया को एक कंडीशन-इंड्यूस्ड रेसिडुअल अपडेट ( $\Delta_{s \to t}$ ) के रूप में मॉडल करके, EditMod जनरेशन-सेंट्रिक दृष्टिकोण के बजाय सोर्स-सेंट्रिक दृष्टिकोण का उपयोग करता है।

यह विधि VARs (विशेष रूप से Infinity मॉडल) की पदानुक्रमित, मल्टी-स्केल टोकन संरचना पर एक तीन-चरणीय, कोर्स-टू-फाइन शेड्यूल के माध्यम से कार्य करती है:

सोर्स प्रीफिल (कोर्स स्केल्स): प्रारंभिक कोर्स स्केल्स (जो ग्लोबल स्ट्रक्चर और लेआउट निर्धारित करते हैं) के लिए, EditMod सोर्स टोकन्स को प्री-फिल करता है ( $z^e_k = z^s_k$ )। यह मूल संरचना को एंकर करता है और बिना पुनर्जीवित किए ग्लोबल ज्योमेट्री को सुरक्षित रखता है।
क्रॉस-कंडीशनल अपडेट (इंटरमीडिएट स्केल्स): इंटरमीडिएट स्केल्स पर, यह विधि एक साझा ऑटोरेग्रेसिव कॉन्टेक्स्ट के तहत सोर्स-कंडीशंड और टारगेट-कंडीशंड प्रेडिक्शंस की तुलना करके एडिटिंग दिशा का अनुमान लगाती है।
- यह एक ही एडिटेड प्रीफिक्स ( $Z^e_{<k}$ ) दिए जाने पर, टारगेट-कंडीशंड प्रेडिक्शन ( $\Phi^t_k$ ) और सोर्स-कंडीशंड प्रेडिक्शन ( $\Phi^s_k$ ) के बीच के अंतर की गणना करता है।
- यह अंतर, $\hat{\Delta}_{k, s \to t} = \Phi^t_k - \Phi^s_k$ , टेक्स्ट प्रॉम्प्ट द्वारा प्रेरित सिमेंटिक परिवर्तन का प्रतिनिधित्व करता है और साझा कॉन्टेक्स के रिस्पॉन्स को रद्द कर देता है।
- प्रोबेबिलिटी स्पेस में (बाइनरी स्फेरिकल क्वांटाइजेशन का उपयोग करते हुए), इस विस्थापन को सोर्स रिप्रेजेंटेशन पर एक रेसिडुअल अपडेट के रूप में लागू किया जाता है: $Q^e_k = \text{clip}(Q^{src}_k + Q^t_k - Q^s_k, 0, 1)$ । परिणामी कोड को कॉन्टेक्स्ट में जोड़ा जाता है।
टारगेट रिफाइनमेंट (फाइन स्केल्स): अंतिम फाइन स्केल्स के लिए, यह विधि स्टैंडर्ड टारगेट-कंडीशंड ऑटोरेग्रेसिव सैंपलिंग ( $z^e_k \sim p_\theta(z_k | Z^e_{<k}, c_t)$ ) पर स्विच करती है। यह मॉडल को अनुरोधित परिवर्तन के अनुरूप स्थानीय विवरण और टेक्सचर को सिंथेसाइज करने की अनुमति देता है, जिससे ऑटोरेग्रेसिव त्रुटियों को सुधारा जा सके और सीमाओं को रिफाइन किया जा सके।

मुख्य योगदान (Key Contributions)

सोर्स-सेंट्रिक फॉर्मूलेशन: यह पेपर VAR एडिटिंग को एन्कोडेड सोर्स स्टेट $Z_s$ को संरक्षित करने और केवल सिमेंटिक रेसिड्यूल $\Delta_{s \to t}$ को मॉडल करने के रूप में फिर से परिभाषित करता है, न कि एक टारगेट-कंडीशंड जनरेशन को बाधित करने के रूप में। यह संरक्षण के बोझ को साझा कंटेंट (लेआउट, आइडेंटिटी) के पुनर्निर्माण से हटाकर कंडीशन-रिलेटेड डिफरेंस के अनुमान की ओर स्थानांतरित करता है।
EditMod आर्किटेक्चर: एक व्यावहारिक, ट्रेनिंग-फ्री कार्यान्वयन जो कोर्स सोर्स टोकन्स को प्री-फिल करता है, इंटरमीडिएट स्केल्स पर क्रॉस-कंडीशनल प्रेडिक्शन डिस्प्लेसमेंट लागू करता है, और फाइन स्केल्स पर टारगेट-कंसिस्टेंट डिटेल्स को सैंपल करता है। इसके लिए किसी यूजर-प्रोवाइडेड मास्क, इनवर्जन, या प्रति-छवि अनुकूलन की आवश्यकता नहीं है।
दक्षता और फिडेलिटी: यह विधि स्टेट-ऑफ-द-आर्ट इन्फरेंस एफिशिएंसी और सोर्स-इमेज फिडेलिटी प्राप्त करती है। यह एक सिंगल A100 GPU पर 1.57 सेकंड में 1K इमेज को एडिट करती है, जो स्ट्रॉन्ग टेक्स्ट अलाइनमेंट बनाए रखते हुए स्पीड में मौजूदा VAR और डिफ्यूजन-आधारित एडिटर्स को काफी पीछे छोड़ देती है।

प्रायोगिक परिणाम (Experimental Results)
PIE-Bench डेटासेट (विविध एडिटिंग कार्यों के साथ 700 वास्तविक छवियां) पर मूल्यांकित, EditMod डिफ्यूजन-आधारित विधियों (P2P, MasaCtrl, PnP), फ्लो-आधारित विधियों (FlowEdit), और अन्य VAR-आधारित विधियों (AREdit, EditInfinity, BitResEdit) सहित बेसलाइन्स की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

क्वांटिटेटिव मेट्रिक्स: EditMod सोर्स प्रिजर्वेशन (CLIP-I, DINO, LPIPS, DreamSim) में अग्रणी स्कोर प्राप्त करता है जबकि प्रतिस्पर्धी टेक्स्ट अलाइनमेंट (CLIP-T) बनाए रखता है। विशेष रूप से, AREdit (3.00s इन्फरेंस टाइम, 0.2609 LPIPS) की तुलना में, EditMod-P 1.57s का इन्फरेंस टाइम (47.7% की कमी) और 0.2212 का LPIPS (15.1% सुधार) प्राप्त करता है।
एब्लेशन स्टडीज (Ablation Studies):
- सोर्स प्रीफिलिंग: प्रीफिलिंग को हटाने से सोर्स प्रिजर्वेशन काफी कम हो जाता है (जैसे, +38% LPS), जो पुष्टि करता है कि शुरुआती स्केल्स महत्वपूर्ण स्ट्रक्चरल एंकर्स को एनकोड करते हैं।
- इंटरमीडिएट ऑपरेशंस: प्रस्तावित डिफरेंशियल अपडेट प्योर सोर्स सैंपलिंग और प्योर टारगेट सैंपलिंग दोनों से बेहतर है, जो दर्शाता है कि साझा कॉन्टेक्स्ट के तहत कंडीशंस की तुलना करना प्रभावी रूप से सिमेंटिक परिवर्तन को आइसोलेट करता है।
- टेल रिफाइनमेंट: फाइन स्केल्स पर टारगेट-कंडीशंड सैंपलिंग पर स्विच करना स्थानीय आर्टिफैक्ट्स को कम करने और ऑब्जेक्ट बाउंड्रीज को स्थिर करने के लिए महत्वपूर्ण है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि विजुअल ऑटोरेग्रेसिव रिप्रेजेंटेशन सोर्स-सेंट्रिक एडिटिंग के लिए एक प्राकृतिक और कुशल स्टेट स्पेस प्रदान करते हैं। VARs की स्केल-अलाइन्ड प्रकृति का लाभ उठाते हुए, EditMod प्रदर्शित करता है कि सोर्स स्टेट को सीधे संरक्षित करके और केवल अनुरोधित सिमेंटिक परिवर्तन को मॉडल करके हाई-फिडेलिटी एडिटिंग प्राप्त की जा सकती है।

लेखक EditMod को इस प्रतिमान के एक प्रारंभिक इंस्टेंशिएशन के रूप में प्रस्तुत करते हैं, जो इनवर्जन की कम्प्यूटेशनल लागत या स्पष्ट स्पेशल सुपरविजन की आवश्यकता के बिना जटिल संपादन (ऑब्जेक्ट रिप्लेसमेंट, एट्रिब्यूट मॉडिफिकेशन, स्टाइल ट्रांसफर) करने की इसकी क्षमता को रेखांकित करता है। यह कार्य सुझाव देता है कि भविष्य के शोध अधिक एडेप्टिव, फाइन-ग्रेंड क्रॉस-स्केल कंट्रोल मैकेनिज्म की खोज कर सकते हैं, लेकिन वर्तमान में यह स्थापित करता है कि टेक्स्ट-गाइडेड इमेज एडिटिंग में अग्रणी दक्षता और फिडेलिटी प्राप्त करने के लिए एक सरल, तीन-चरणीय सोर्स-सेंट्रिक रणनीति पर्याप्त है।

इसी तरह के और पेपर