💻 computer science

Cora: Correspondence-aware image editing using few step diffusion

कोरा (Cora) इमेज एडिटिंग के लिए एक नवीन फ्यू-स्टेप डिफ्यूजन फ्रेमवर्क है जो संरचनात्मक गुणों और पहचान को प्रभावी रूप से संरक्षित करने के साथ-साथ न्यूनतम आर्टिफैक्ट्स के साथ महत्वपूर्ण नॉन-रिजिड विरूपण, ऑब्जेक्ट संशोधनों और कंटेंट जनरेशन को सक्षम करने के लिए पत्राचार-जागरूक शोर सुधार (correspondence-aware noise correction) और इंटरपोलेटेड अटेंशन मैप्स का लाभ उठाता है।

मूल लेखक: Amirhossein Alimohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amirhossein Alimohammadi, Aryan Mikaeili, Sauradip Nag, Negar Hassanpour, Andrea Tagliasacchi, Ali Mahdavi-Amiri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास अपने एक दोस्त की फोटो है जो पार्क के एक बेंच पर बैठा है। आप AI का उपयोग करके इस फोटो को एडिट करना चाहते हैं ताकि आपका दोस्त अब हवा में कूदता (jumping) हुआ दिखाई दे, उसने एक सुपरहीरो केप (cape) पहना हो, और बैकग्राउंड पार्क से बदलकर एक सिटी स्काईलाइन (शहर का नज़ारा) हो जाए।

पुराने AI टूल्स के साथ ऐसा करना एक मिट्टी की मूर्ति पर सिर्फ पेंट करने जैसा है। यदि आप AI को "उन्हें कूदने के लिए कहें," तो AI उन्हें खींचने की कोशिश करेगा, जिससे चेहरा अजीब या पिघला हुआ दिखेगा या शरीर रबर जैसा लग सकता है। यदि आप केप जोड़ने के लिए कहते हैं, तो वह गलती से केप को बेंच पर ही 'पेंट' कर सकता है या आपके दोस्त का चेहरा गायब कर सकता है।

कोरा (Cora) इसे करने का एक नया, स्मार्ट तरीका है। इसे एक कुशल डिजिटल दर्जी (masterful digital tailor) के रूप में सोचें जो न केवल यह समझता है कि फोटो कैसी दिखती है, बल्कि यह भी कि उसका हर हिस्सा एक-दूसरे से कैसे जुड़ा है।

यहाँ बताया गया है कि कोरा कैसे काम करता है, जिसे तीन सरल अवधारणाओं में विभाजित किया गया है:

1. "मैप" की समस्या (कॉर्डस्पोंडेंस-अवेयर नॉइज़ - Correspondence-Aware Noise)

पुराना तरीका: कल्पना कीजिए कि आपके पास एक शहर का नक्शा है। आप लाइब्रेरी को एक नई सड़क पर ले जाने का निर्णय लेते हैं। यदि आप बिना सड़कों को अपडेट किए मैप पर लाइब्रेरी के आइकन को बस खींच देते हैं, तो लाइब्रेरी नदी के बीच में तैरती हुई दिखाई देगी।
कोरा का तरीका: कोरा एडिटिंग शुरू करने से पहले एक डायनामिक मैप (जिसे "कॉर्डस्पोंडेंस" कहा जाता है) बनाता है। यह मूल फोटो और नए विचार को देखता है और कहता है, "ठीक है, मूल फोटो में दोस्त का बायां पैर अब नई फोटो में हवा में है। मुझे उस पैर की बनावट (texture) को नए स्थान पर ले जाने की आवश्यकता है।"
यह सुनिश्चित करता है कि जब AI नई इमेज को "पेंट" करता है, तो उसे पता हो कि मूल त्वचा, बाल और कपड़े कहाँ जाने चाहिए, भले ही वे हिल गए हों या उनका आकार बदल गया हो। यह अन्य टूल्स में दिखने वाले "पिघलने" या "ग्लिच" होने वाले दोषों को रोकता है।

2. "ब्लेंडर" की समस्या (अटेंशन इंटरपोलेशन - Attention Interpolation)

पुराना तरीका: कल्पना कीजिए कि आप दो स्मूदी (smoothies) मिला रहे हैं। एक स्ट्रॉबेरी (मूल फोटो) है और दूसरी ब्लूबेरी (नया विचार) है।

विधि A (सिर्फ कॉपी करना): आप केवल स्ट्रॉबेरी स्मूदी का उपयोग करते हैं। परिणाम स्ट्रॉबेरी जैसा ही होता है, भले ही आप ब्लूबेरी चाहते थे। AI इमेज को पर्याप्त रूप से बदलने से इनकार कर देता है।
विधि B (दोनों को एक साथ डाल देना): आप पूरी स्ट्रॉबेरी स्मूदी को ब्लूबेरी में डाल देते हैं। अब आपके पास एक अजीब मिश्रण है जहाँ ब्लूबेरी के रस में स्ट्रॉबेरी के बीज तैर रहे हैं। AI गलती से मूल बैकग्राउंड के हिस्सों को नए ऑब्जेक्ट पर डाल देता है।
कोरा का तरीका: कोरा एक स्मार्ट ब्लेंडर (जिसे "स्फेरिकल इंटरपोलेशन" कहा जाता है) का उपयोग करता है। यह दोनों को केवल मिलाता नहीं है; यह उन्हें उनकी समानता के आधार पर पूरी तरह से ब्लेंड करता है।
यदि AI को दोस्त के चेहरे को बनाए रखने की आवश्यकता है (क्योंकि वह अभी भी वही व्यक्ति है), तो यह "स्ट्रॉबेरी" फ्लेवर को ब्लेंड करता है।
यदि AI को एक बिल्कुल नया सुपरहीरो केप बनाना है जो पहले मौजूद नहीं था, तो वह जानता है कि उसे 100% "ब्लूबेरी" (नया विचार) का उपयोग करना है और स्ट्रॉबेरी को अनदेखा करना है।
यह AI को व्यक्ति की पहचान बनाए रखने (identity) और उनके आपस में मिले बिना नई चीजें बनाने की अनुमति देता है।

3. "कंकाल" की समस्या (स्ट्रक्चरल अलाइनमेंट - Structural Alignment)

पुराना तरीका: कल्पना कीजिए कि आप एक कमरे में फर्नीचर को व्यवस्थित कर रहे हैं। यदि आप दीवारों की जांच किए बिना केवल सोफे को हटाते हैं, तो सोफा हवा में तैरता हुआ या दरवाजे को ब्लॉक करता हुआ दिख सकता है।
कोरा का तरीका: कोरा पहले इमेज के कंकाल (skeleton) की जांच करता है। वह पूछता है, "मुख्य संरचनाएं कहाँ हैं?" (जैसे, क्षितिज रेखा, व्यक्ति के सिर की स्थिति, पैर)।
यह इन संरचनाओं को पहले अपनी जगह पर लॉक करता है। फिर, यह "मांस" (रंग और बनावट) को बदलने देता है। यह सुनिश्चित करता है कि भले ही आपका दोस्त कूद रहा हो, वह अभी भी जमीन पर (या हवा में, यदि प्रॉम्प्ट ऐसा है) इस तरह से खड़ा है जो भौतिक रूप से सही लगे, न कि बेतरतीब ढंग से तैरता हुआ।

परिणाम क्या है?

चूंकि कोरा एक "फास्ट-फॉरवर्ड" वर्जन वाले AI (जिसे फ्यू-स्टेप डिफ्यूजन कहा जाता है) पर बना है, इसलिए यह सामान्य 20-50 स्टेप्स के बजाय केवल 4 स्टेप्स में यह सारी सोच और पेंटिंग पूरी कर लेता है।

पुराना AI: बहुत समय लेता है, और परिणाम एक पिघली हुई मोम की आकृति जैसा दिखता है।
कोरा: तुरंत काम करता है, आपके दोस्त को आपका दोस्त बनाए रखता है, केप को पूरी तरह से जोड़ता है, और कूदने के दृश्य को स्वाभाविक बनाता है।

संक्षेप में: कोरा एक अनाड़ी चित्रकार और एक कुशल संपादक के बीच का अंतर है, जो कैनवास पर रंग फैला देता है बनाम वह जो ठीक जानता है कि कौन से पिक्सेल "पुरानी कहानी" के हैं और कौन से पिक्सेल "नई कहानी" के हैं, और उन्हें सहजता से मिला देता है।

यहाँ शोध पत्र "Cora: Correspondence-aware image editing using few step diffusion" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल का उपयोग करके इमेज एडिटिंग में महत्वपूर्ण प्रगति हुई है, विशेष रूप से फ्यू-स्टेप डिफ्यूजन मॉडल्स (जैसे, SDXL-Turbo) के साथ जो तीव्र जनरेशन को सक्षम करते हैं। हालाँकि, मौजूदा फ्यू-स्टेप एडिटिंग विधियाँ उन संपादनों के साथ संघर्ष करती हैं जिनमें महत्वपूर्ण संरचनात्मक परिवर्तन (significant structural changes) की आवश्यकता होती है, जैसे:

नॉन-रिजिड विरूपण (Non-rigid deformations) (जैसे, खड़े होने की मुद्रा से कूदने की मुद्रा में बदलना)।
ऑब्जेक्ट इंसर्शन/रिमूवल (स्रोत में मौजूद न होने वाली नई सामग्री को शामिल करना)।
पहचान (identity) बनाए रखते हुए जटिल टेक्सचर ट्रांसफर।

वर्तमान दृष्टिकोणों की सीमाएँ:

नॉइज़ इनवर्जन आर्टिफ़ेक्ट्स (Noise Inversion Artifacts): TurboEdit जैसे तरीके नॉइज़ इनवर्जन पर निर्भर करते हैं। जब लक्षित छवि (target image) में संरचनात्मक परिवर्तनों की आवश्यकता होती है, तो स्रोत छवि से प्राप्त नॉइज़ सुधार ( $z_t$ ) लक्षित छवि के साथ पिक्सेल-अलाइन्ड नहीं रह जाते। इससे गंभीर आर्टिफ़ेक्ट्स, टेक्सचर की विसंगतियाँ और सिलुएट ग्लिच (जैसे, पैरों का वापस मूल मुद्रा में आ जाना) उत्पन्न होते हैं।
रिजिड फीचर इंजेक्शन (Rigid Feature Injection): MasaCtrl जैसे तरीके पहचान बनाए रखने के लिए स्रोत छवि के कीज़ और वैल्यूज़ ( $K_S, V_S$ ) को लक्ष्य के सेल्फ-अटेंशन में इंजेक्ट करते हैं। यद्यपि यह अपीयरेंस ट्रांसफर के लिए प्रभावी है, लेकिन जब नई सामग्री की आवश्यकता होती है, तो यह विफल हो जाता है क्योंकि यह मॉडल को उन क्षेत्रों में अप्रासंगिक टेक्सचर कॉपी करने के लिए मजबूर करता है जहाँ कोई पत्राचार (correspondence) मौजूद नहीं है।
सिंपल इंटरपोलेशन विफलताएं (Simple Interpolation Failures): स्रोत और लक्ष्य विशेषताओं का सरल कॉनकैटिनेशन या लीनियर इंटरपोलेशन (LERP) अक्सर "अपीयरेंस ब्लीडिंग" (जैसे, सफेद बस में लाल कार का रंग रिसना) या अस्वाभाविक संक्रमण का परिणाम देता है।

2. कार्यप्रणाली: Cora (Methodology: Cora)

Cora एक नवीन फ्रेमवर्क है जो SDXL-Turbo (एक 4-स्टेप डिफ्यूजन मॉडल) पर आधारित है, जो संरचनात्मक लचीलेपन और सामग्री संरक्षण के बीच संतुलन बनाने के लिए पत्राचार-जागरूक नॉइज़ सुधार (correspondence-aware noise correction) और इंटरपोलेटेड अटेंशन मैप्स पेश करता है।

A. पत्राचार-जागरूक लेटेंट सुधार (Correspondence-Aware Latent Correction)

नॉइज़ इनवर्जन में मिसअलाइनमेंट आर्टिफ़ेक्ट्स को संबोधित करने के लिए:

अवधारणा (Concept): कच्चे नॉइज़ सुधार ( $z_t$ ) को पुन: इंजेक्ट करने के बजाय, Cora उन्हें लक्ष्य छवि की विकसित होती ज्यामिति (geometry) के साथ स्थानिक रूप से संरेखित (align) करता है।
तंत्र (Mechanism):
1. DIFT फीचर्स: यह स्रोत ( $I_S$ ) और लक्ष्य ( $I_T$ ) छवियों के बीच सिमेंटिक पत्राचार (semantic correspondence) की गणना करने के लिए DIFT (डिफ्यूजन फीचर्स) का उपयोग करता है।
2. पैच-वाइज मैचिंग: फीचर्स में नॉइज़ को संभालने के लिए, यह फीचर मैप्स को ओवरलैपिंग पैच में विभाजित करता है। यह प्रत्येक लक्ष्य पैच के लिए सबसे समान स्रोत पैच को कोसाइन सिमिलरिटी के माध्यम से ढूंढकर एक पत्राचार मैप $C_{T \to S}$ की गणना करता है।
3. अलाइनमेंट: नॉइज़ सुधार पद $z_t$ को इस मैप के आधार पर परम्यूट किया जाता है ( $z^{aln}_t(p) = z_t(C_{T \to S}(p))$ )।
4. डायनेमिक पैच साइज: बाद के चरणों में फीचर्स की बढ़ती विश्वसनीयता के अनुकूल होने के लिए पैच का आकार घटता जाता है (5×5 से 3×3 तक)।
समय (Timing): यह अलाइनमेंट 4-स्टेप डिनोइजिंग प्रक्रिया के अंतिम दो चरणों में लागू किया जाता है, जहाँ संरचना स्थापित हो जाती है लेकिन टेक्सचर को रिफाइन किया जा रहा होता है।

B. पत्राचार-जागरूक अटेंशन इंटरपोलेशन (Correspondence-Aware Attention Interpolation)

स्रोत की पहचान बनाए रखने और नई सामग्री उत्पन्न करने के बीच संतुलन बनाने के लिए:

समस्या: केवल स्रोत $K, V$ का उपयोग करना जनरेशन को सीमित करता है; केवल लक्ष्य $K, V$ का उपयोग करना पहचान खो देता है।
समाधान: यह विधि लीनियर इंटरपोलेशन (LERP) या कॉनकैटिनेशन के बजाय स्फेरिकल लीनियर इंटरपोलेशन (SLERP) का उपयोग करके स्रोत और लक्ष्य की कीज़/वैल्यूज़ ( $K_S, V_S$ $K_{S}, V_{S}$ और $K_T, V_T$ $K_{T}, V_{T}$ ) को जोड़ती है।
- SLERP: वेक्टर्स के कोणीय संबंध (angular relationship) को सुरक्षित रखता है, जिससे अपीयरेंस का अधिक सहज और प्राकृतिक मिश्रण होता है।
- मैग्निट्यूड इंटरपोलेशन: तीव्रता की जानकारी बनाए रखने के लिए वेक्टर्स के परिमाण (magnitudes) को भी लीनियर रूप से इंटरपोलेट किया जाता है।
कंटेंट-एडेप्टिव रणनीति (Content-Adaptive Strategy):
- लक्ष्य छवि के सभी पिक्सेल के लिए स्रोत में वैध पत्राचार नहीं होता (जैसे, एक नया जोड़ा गया हैट)।
- द्विदिश मिलान (Bidirectional Matching): सिस्टम यह पहचानकर "अनमैच्ड" पैच (नई सामग्री) की पहचान करता है कि क्या स्रोत में लक्ष्य पैच का सबसे अच्छा मिलान कमजोर है (एक $\gamma$ -क्वेंटाइल थ्रकल से नीचे)।
- डायनेमिक वेटिंग ( $\alpha$ ):
  - मैच्ड (Matched) क्षेत्रों के लिए: उपयोगकर्ता द्वारा परिभाषित वेट $\alpha$ का उपयोग करके स्रोत और लक्ष्य के बीच इंटरपोलेट करें।
  - अनमैच्ड (Unmatched) क्षेत्रों के लिए: $\alpha = 1$ सेट करें, जिससे नई सामग्री उत्पन्न करने के लिए पूरी तरह से टेक्स्ट प्रॉम्प्ट पर निर्भरता बनी रहे, जिससे टेक्सचर ब्लीडिंग को रोका जा सके।

C. संरचनात्मक संरेखण (Structural Alignment)

नॉन-रिजिड परिवर्तनों (पोज़/लेआउट) की अनुमति देते हुए समग्र लेआउट को संरक्षित करने के लिए:

तंत्र: पहले डिनोइजिंग स्टेप (जहाँ मोटा ढांचा बनता है) में, यह लक्ष्य छवि के क्वेरीज ( $Q$ ) को स्रोत के साथ संरेखित करता है।
हंगेरियन मैचिंग (Hungarian Matching): यह एक कॉस्ट मैट्रिक्स की गणना करता है जो जोड़ता है:
1. सोर्स अलाइनमेंट ( $C_{SA}$ ): लक्ष्य क्वेरीज को स्रोत क्वेरीज से मेल खाने के लिए प्रोत्साहित करता है।
2. टारगेट कंसिस्टेंसी ( $C_{TC}$ ): स्व-निरंतरता बनाए रखने के लिए इंडेक्स अंतर को दंडित करता है।
नियंत्रण (Control): एक ब्लेंडिंग वेट $\beta$ संरेखण की शक्ति को नियंत्रित करता है। $\beta \approx 0$ स्रोत संरचना को सुरक्षित रखता है; $\beta \approx 1$ टेक्स्ट प्रॉम्प्ट को एक नया लेआउट निर्धारित करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

पत्राचार-जागरूक नॉइज़ सुधार: सिमेंटिक पैच मैचिंग का उपयोग करके नॉइज़ रेसिडुअल्स को पुन: संरेखित करने की एक नवीन तकनीक, जो फ्यू-स्टेप एडिटिंग में होने वाले आर्टिफ़ेक्ट्स को समाप्त करती है।
SLERP-आधारित अटेंशन मिक्सिंग: स्रोत और लक्ष्य विशेषताओं को मिलाने का एक बेहतर तरीका जो अपीयरेंस ब्लीडिंग से बचाता है और संरक्षण एवं जनरेशन के बीच सहज संक्रमण की अनुमति देता है।
कंटेंट-एडेप्टिव इंटरपोलेशन: "मौजूदा" और "नई" सामग्री के बीच अंतर करने के लिए एक स्वचालित तंत्र, जो सुनिश्चित करता है कि नई वस्तुएं शुद्ध रूप से प्रॉम्प्ट से उत्पन्न हों जबकि मौजूदा वस्तुएं अपनी पहचान बनाए रखें।
क्वेरी परम्यूटेशन के माध्यम से संरचनात्मक संरेखण: अटेंशन क्वेरीज पर हंगेरियन मैचिंग का उपयोग करके संरचनात्मक परिवर्तन (पोज़/लेआउट) की डिग्री को नियंत्रित करने की एक विधि।
उपयोगकर्ता-नियंत्रित पैरामीटर्स: एडिट आउटकम पर सूक्ष्म नियंत्रण (fine-grained control) प्रदान करने के लिए $\alpha$ (अपीयरेंस ब्लेंड) और $\beta$ (स्ट्रक्चर अलाइनमेंट) का परिचय।

4. परिणाम (Results)

गुणात्मक प्रदर्शन (Qualitative Performance): Cora पहचान बनाए रखने, आर्टिफ़ेक्ट्स को कम करने और नॉन-रिजिड विरूपण (जैसे, कूदने वाली मुद्राएं, ऑब्जेक्ट जोड़ना) को संभालने में स्टेट-ऑफ-द-आर्ट फ्यू-स्टेप तरीकों (TurboEdit, InfEdit) और मल्टी-स्टेप तरीकों (MasaCtrl, P2P) से बेहतर प्रदर्शन करता है।
यूजर स्टडीज: 51 प्रतिभागियों के अध्ययन में, Cora ने प्रॉम्प्ट अलाइनमेंट और सब्जेक्ट प्रिजर्वेशन के लिए उच्चतम औसत रैंकिंग (3.29/4) प्राप्त की, जो TurboEdit (2.24) और MasaCtrl (1.02) से काफी बेहतर है।
मात्रात्मक मेट्रिक्स (Quantitative Metrics): Cora बैकग्राउंड प्रिजर्वेशन के लिए PSNR, SSIM और LPIPS में प्रतिस्पर्धी या बेहतर स्कोर प्राप्त करता है, और टेक्स्ट अलाइनमेंट के लिए उच्च CLIP समानता प्राप्त करता है।
एब्लेशन स्टडीज (Ablation Studies): किसी भी घटक (लेटेंट सुधार, SLERP, या स्ट्रक्चरल अलाइनमेंट) को हटाने से दृश्य गुणवत्ता में महत्वपूर्ण गिरावट आती है, जो प्रत्येक मॉड्यूल की आवश्यकता की पुष्टि करती है।

5. महत्व (Significance)

Cora फ्यू-स्टेप इमेज एडिटिंग में एक महत्वपूर्ण छलांग है। स्रोत नॉइज़ सुधार और लक्ष्य ज्यामिति के बीच मौलिक मिसअलाइनमेंट समस्या को हल करके, यह डिफ्यूजन मॉडल को मल्टी-स्टेप इनवर्जन या फाइन-ट्यूनिंग की कम्प्यूटेशनल लागत के बिना केवल 4 स्टेप्स में जटिल संरचनात्मक संपादन (जैसे पोज़ परिवर्तन और ऑब्जेक्ट इंसर्शन) करने में सक्षम बनाता है। यह जेनेरेटिव मॉडल्स की गति और पेशेवर VFX और इमेज मैनिपुलेशन के लिए आवश्यक सटीकता के बीच के अंतर को पाटता है, जो एक लचीला, नियंत्रणीय और उच्च-निष्ठा वाला एडिटिंग फ्रेमवर्क प्रदान करता है।