💻 computer science

SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation

SketchDeco एक प्रशिक्षण-मुक्त विधि है जो क्षेत्र-विशिष्ट रंग अनुप्रयोग के लिए डिफ्यूजन इनवर्जन को वैश्विक सामंजस्य के लिए एक कस्टम सेल्फ-अटेंशन मैकेनिज्म के साथ जोड़कर सटीक स्केच कलरइज़ेशन को सक्षम बनाती है, जिससे कलाकारों को मॉडल फाइन-ट्यूनिंग के बिना सरल मास्क और कलर पैलेट का उपयोग करके पेशेवर-गुणवत्ता वाले परिणाम प्राप्त करने की अनुमति मिलती है।

मूल लेखक: Chaitat Utintu, Yi-Zhe Song

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chaitat Utintu, Yi-Zhe Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुंदर, ब्लैक-एंड-व्हाइट रेखाचित्र (लाइन ड्राइंग) वाला एक ड्रैगन है। आप इसे रंगना चाहते हैं, लेकिन आप हर एक स्केल को हाथ से पेंट करने में घंटों खर्च नहीं करना चाहते। आप यह भी नहीं चाहते कि आप बस कंप्यूटर में "इस ड्रैगन को लाल कर दो" टाइप करें और उम्मीद करें कि वह सही करेगा (क्योंकि कंप्यूटर अक्सर भ्रमित हो जाते हैं और बैकग्राउंड को लाल कर देते हैं)।

SketchDeco एक नया, स्मार्ट टूल है जो आपको इस कलरिंग प्रक्रिया का निर्देशक बनने देता है, बिना किसी कोडिंग विशेषज्ञ या पेशेवर पेंटर होने की आवश्यकता के। यह एक जादुई सहायक की तरह है जो आपके सटीक निर्देशों को सुनता है और सेकंडों में आपकी तस्वीर को पूरी तरह से पेंट करता है।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ समझाया गया है:

1. समस्या: "बहुत अस्पष्ट" बनाम "बहुत कठिन" की दुविधा

पुराना तरीका (टेक्स्ट प्रॉम्प्ट्स): यदि आप कंप्यूटर को कहते हैं "ड्रैगन को लाल बना दो," तो वह आसमान को लाल या घास को लाल बना सकता है। यह एक शोर भरे किचन में शेफ को रेसिपी चिल्लाकर बताने जैसा है; वे आपको सुनते तो हैं, लेकिन वे विवरणों को गलत समझ सकते हैं।
दूसरा पुराना तरीका (मैनुअल पेंटिंग): यदि आप इसे खुद पेंट करने की कोशिश करते हैं, तो इसमें बहुत समय लगता है। यह हाथ से हर एक ईंट बनाने की कोशिश करने जैसा है।

2. समाधान: SketchDeco की "विभाजित करो और जीतो" रणनीति

SketchDeco इसे दो आसान चरणों में तोड़कर हल करता है, जैसे कि एक पेशेवर निर्माण दल (कंस्ट्रक्शन क्रू)।

चरण 1: "बेस कोट" (ग्लोबल कलरिंग)

सबसे पहले, कंप्यूटर आपके स्केच को देखता है और अनुमान लगाता है कि पूरी तस्वीर कैसी दिख सकती है। यह एक विशाल ज्ञान पुस्तकालय (एक "डिफ्यूजन मॉडल") का उपयोग करता है ताकि आपके ड्रैगन का एक पूरी तरह से रंगीन संस्करण की कल्पना कर सके।

चाल (The Trick): यह केवल तुक्का नहीं लगाता। यह आपके रंगों की सूची (आपका "पैलेट") को देखता है और उन विशिष्ट शेड्स का उपयोग करने की कोशिश करता है।
जादुई अनुवादक: कंप्यूटर "नंबरों" (जैसे लाल के लिए #FF0000) की भाषा बोलता है, लेकिन आर्ट इंजन "शब्दों" (जैसे "क्रिमसन") की भाषा बोलता है। SketchDeco एक चतुर, तेज़ लुकअप टूल (जिसे K-D Tree कहा जाता है) का उपयोग करता है ताकि आपके हेक्स कोड्स को तुरंत उन शब्दों में अनुवादित किया जा सके जिन्हें कंप्यूटर समझता है। यह एक डिक्शनरी की तरह है जो आपकी शॉपिंग लिस्ट को तुरंत उस ब्रांड के नाम में बदल देती है जो स्टोर में बिक रहा है।

चरण 2: "प्रिसिजन पेंट" (लोकल कलरिंग)

यहीं पर SketchDeco चमकता है। आप अपने स्केच को लेते हैं और उन हिस्सों पर साधारण मास्क बनाते हैं (जैसे फोटोशॉप में हाइलाइटर का उपयोग करना) जिन्हें आप नियंत्रित करना चाहते हैं।

मास्क: आप ड्रैगन के शरीर को हाइलाइट करते हैं और कहते हैं, "इस हिस्से को नारंगी मिलेगा।" आप पंखों को हाइलाइट करते हैं और कहते हैं, "इनको नीला मिलेगा।"
"टाइम-ट्रैवल" वाली ट्रिक: कंप्यूटर आपके रफ "बेस कोट" चित्र को लेता है और उसे वापस समय में चलाकर (जिसे ODE Inversion कहा जाता है) एक धुंधले, शोर वाले डेटा के बादल में बदल देता है।
"जादुई स्पंज": अब, यह आपके विशिष्ट रंगीन हिस्सों (नारंगी शरीर, नीले पंख) को उस शोर वाले बादल में वापस मिला देता है। यह एक गीले स्पंज के साथ करने जैसा है जिस पर विशिष्ट रंग लगे हों और उसे एक ऐसे कैनवास पर धीरे से दबाया जाए जो अभी भी गीला है, जिससे रंग बिना लाइनों को खराब किए आपस में पूरी तरह मिल जाते हैं।
अटेंशन मैकेनिज्म (Attention Mechanism): अंत में, यह एक विशेष "फोकस" टूल (सेल्फ-अटेंशन) का उपयोग करता है ताकि रंग लाइनों के भीतर रहें और बाकी चित्र के साथ सुचारू रूप से मिलें। यह सुनिश्चित करता है कि ड्रैगन एक सुसंगत जीव दिखे, न कि एक पैचवर्क क्विल्ट।

3. यह एक बड़ी बात क्यों है?

कोई प्रशिक्षण आवश्यक नहीं: आमतौर पर, कंप्यूटर को कुछ नया सिखाने के लिए, आपको हजारों उदाहरण खिलाने पड़ते हैं और सीखने के लिए दिनों तक इंतजार करना पड़ता है (ट्रेनिंग)। SketchDeco ट्रेनिंग-फ्री है। यह एक स्विस आर्मी नाइफ की तरह है जिसमें पहले से ही वे सभी उपकरण मौजूद हैं जिनकी आपको आवश्यकता है; आपको चाकू बनाने की जरूरत नहीं है। आप बस इसका उपयोग करते हैं।
गति: यह यह सब लगभग 15-20 स्टेप्स में कर देता है। एक सामान्य गेमिंग कंप्यूटर पर, इसमें एक मिनट से भी कम समय लगता है।
सटीकता: यह आपकी सीमाओं का सम्मान करता है। यदि आप कहते हैं "आंखें हरी हैं," तो आंखें हरी होंगी और बैकग्राउंड गलती से हरा नहीं होगा।

निष्कर्ष

सोचिए कि SketchDeco एक डिजिटल आर्ट असिस्टेंट है जो आपके रचनात्मक विजन और कला उत्पन्न करने की कंप्यूटर की क्षमता के बीच के अंतर को पाटता है। आप मानचित्र (स्केच), सीमाएं (मास्क), और पेंट के रंग (पैलेट) प्रदान करते हैं। SketchDeco सारा भारी काम करता है, सब कुछ इतनी पूर्णता से मिलाता है कि यह देखने में ऐसा लगता है जैसे किसी पेशेवर कलाकार ने इसे पेंट किया हो, लेकिन बहुत कम समय में और बिना किसी कोडिंग के।

यह "कंप्यूटर क्या करेगा" के अनुमान लगाने की निराशाजनक प्रक्रिया को एक सटीक, नियंत्रित और मजेदार रचनात्मक अनुभव में बदल देता है।

यहाँ शोध पत्र "SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रेखा-चित्रों (line-art sketches) को पूर्णतः रंगीन छवियों में बदलना रचनात्मक कार्यप्रवाह (एनिमेशन, उत्पाद डिजाइन, कॉन्सेप्ट आर्ट) में एक मौलिक कार्य है। हालाँकि बड़े पैमाने के डिफ्यूजन मॉडल ने इमेज सिंथेसिस में क्रांति ला दी है, लेकिन सूक्ष्म, क्षेत्र-विशिष्ट रंग नियंत्रण (fine-grained, region-specific color control) प्राप्त करना एक महत्वपूर्ण चुनौती बनी हुई है।

मौजूदा विधियों की सीमाएँ:
- टेक्स्ट प्रॉम्प्ट्स (Text Prompts): ये अर्थपूर्ण रूप से शक्तिशाली हैं लेकिन स्थानिक रूप से अस्पष्ट होते हैं, जिससे अक्सर "कलर ब्लीडिंग" (रंगों का फैलना) और अर्थ संबंधी त्रुटियाँ होती हैं।
- मैनुअल/संदर्भ-आधारित विधियाँ (Manual/Reference-based Methods): ये सटीकता प्रदान करती हैं लेकिन इनके लिए बहुत अधिक श्रम की आवश्यकता होती है और विशिष्ट संदर्भ छवियों या उबाऊ मैन्युअल असाइनमेंट की आवश्यकता होती है।
- फाइन-ट्यूनिंग दृष्टिकोण (Fine-tuning Approaches): मौजूदा समाधानों में से कई के लिए मॉडल को प्रशिक्षित या फाइन-ट्यून करने की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा है और विविध उपयोगकर्ता आवश्यकताओं के लिए लचीला नहीं है।
मुख्य चुनौती: बिना मॉडल को पुन: प्रशिक्षित किए, नियंत्रण (उपयोगकर्ता द्वारा सटीक स्थानिक और क्रोमैटिक विशिष्टता) और गुणवत्ता (वैश्विक सामंजस्य और स्केच संरचना बनाए रखना) के बीच संतुलन बनाना।

2. कार्यप्रणाली: SketchDeco (Methodology: SketchDeco)

SketchDeco एक ट्रेनिंग-फ्री (training-free) फ्रेमवर्क है जो स्केच कलरइजेशन को एक लेटेंट-स्पेस कंपोजिशन समस्या के रूप में पुनर्गठित करता है। यह दो क्रमिक चरणों में कार्य करता है: ग्लोबल स्केच कलरइजेशन और लोकल स्केच कलरइजेशन।

A. इनपुट (Inputs)

इनपुट स्केच ( $\mathcal{S}$ ): एक लाइन-आर्ट इमेज।
कलर पैलेट्स ( $\mathcal{P}_H$ ): हेक्साडेसिमल कलर कोड का एक सेट।
रीजन मास्क ( $\mathcal{M}$ ): उपयोगकर्ता द्वारा परिभाषित बाइनरी मास्क (जैसे, फोटोशॉप में बनाए गए) जो यह निर्दिष्ट करते हैं कि किन क्षेत्रों को कौन से रंग दिए जाने चाहिए।

B. चरण 1: ग्लोबल स्केच कलरइजेशन (Stage 1: Global Sketch Colorization)

इसका लक्ष्य एक वैश्विक रूप से सुसंगत, तर्कसंगत रंगीन आधार छवि ( $\mathcal{I}^G$ ) उत्पन्न करना है जो स्केच की संरचना को सुरक्षित रखे और प्रदान किए गए कलर पैलेट के साथ संरेखित हो।

सिमेंटिक प्रेडिक्शन (Semantic Prediction): स्केच से ऑब्जेक्ट क्लास (जैसे, "बिल्ली", "कार") का अनुमान लगाने के लिए BLIP-2 (विजुअल क्वेश्चन अनswering) का उपयोग करता है ताकि डिफ्यूजन मॉडल के लिए आवश्यक क्लास सिमेंटिक्स प्रदान किया जा सके।
कलर नेम मैपिंग (Color Name Mapping): उपयोगकर्ता द्वारा दिए गए हेक्स कोड को K-डायमेंशनल ट्री (K-D Tree) सर्च का उपयोग करके मानक CSS3 कलर नामों (जैसे, "olive," "teal") में परिवर्तित करता है। यह उपयोगकर्ता के इनपुट और डिफ्यूजन मॉडल्स के टेक्स्ट-आधारित कंडीशनिंग के बीच के अंतर को पाटता है।
जेनरेशन (Generation): यह Stable Diffusion के साथ एक प्री-ट्रेन Scribble ControlNet का उपयोग करता है। यह $n+1$ $n + 1$ छवियाँ उत्पन्न करता है:
- विशिष्ट पैलेट सबसेट्स के साथ रंगीन $n$ छवियाँ।
- एक सहायक बैकग्राउंड इमेज ( $\mathcal{I}^G_{\mathcal{P}\phi}$ ) जिसमें विशिष्ट रंग प्रतिबंध नहीं हैं, जो कंपोजिशन के आधार के रूप में कार्य करती है।
उपयोगकर्ता इंटरैक्शन (User Interaction): उपयोगकर्ता लोकल स्टेज पर आगे बढ़ने से पहले सबसे अच्छे स्ट्रक्चरल वेरिएंट को चुनने के लिए पिक्सेल स्पेस में इन ग्लोबल प्रीव्यू का निरीक्षण कर सकते हैं।

C. चरण 2: लोकल स्केच कलरइजेशन (Stage 2: Local Sketch Colorization)

यह चरण विशिष्ट उपयोगकर्ता रंगों को मास्क किए गए क्षेत्रों में कंपोज करके और सुचारू संक्रमण (smooth transitions) तथा संरचनात्मक निष्ठा सुनिश्चित करते हुए ग्लोबल परिणाम को परिष्कृत करता है।

पैरेलल कंपोजिशन (Parallel Composition): सिस्टम संबंधित ग्लोबल कलरइज्ड इमेजेस ( $\mathcal{I}^G_{\mathcal{P}_H}$ ) को मास्क करता है और उन्हें बैकग्राउंड इमेज ( $\mathcal{I}^G_{\mathcal{P}\phi}$ ) के साथ कंपोज करके एक कंपोजिट इमेज $\mathcal{I}^*$ बनाता है।
लेटेंट इन्वर्जन (Latent Inversion - ODE Inversion): कंपोजिट इमेज $\mathcal{I}^*$ $I^{*}$ को DPM-Solver++ का उपयोग करके नॉइजी लेटेंट स्पेस ( $z^*$ $z^{*}$ ) में वापस इनवर्ट किया जाता है।
- नवाचार: रिकंस्ट्रक्शन एरर्स को कम करने और स्थिर इन्वर्जन प्रक्षेपवक्र (trajectories) सुनिश्चित करने के लिए 'नल प्रॉम्प्ट' के बजाय एक "एक्सेप्शनल प्रॉम्प्ट" (विशेष टोकन जैसे [startoftext] को हटाकर) का उपयोग करता है।
नॉइज़ इनकॉरपोरेशन (Noise Incorporation): संक्रमण क्षेत्रों (मास्क के बीच की सीमाओं) में विशेष रूप से गॉसियन नॉइज़ जोड़ता है ताकि डिफ्यूजन प्रायर (prior) सुचारू संक्रमण को "इन-पेंट" कर सके।
गाइडेड सैंपलिंग और सेल्फ-अटेंशन इंजेक्शन (Guided Sampling & Self-Attention Injection):
- सिस्टम अंतिम छवि उत्पन्न करने के लिए $T$ से $0$ तक डिफ्यूजन ODE को हल करता है।
- सेल्फ-अटेंशन इंजेक्शन: स्केच संरचना और स्थानीय रंग निरंतरता को बनाए रखने के लिए कंपोजिट इमेज $\mathcal{I}^*$ के सेल्फ-अटेंशन मैप को डिनोइजिंग प्रक्रिया में इंजेक्ट करता है।
- स्केलिंग फैक्टर ( $\tau$ ): यह ग्लोबल हार्मनी (टेक्स्ट प्रॉम्प्ट द्वारा निर्देशित) और लोकल फिडेलिटी (इंजेक्टेड अटेंशन मैप द्वारा निर्देशित) के बीच के ट्रेड-ऑफ को संतुलित करने वाला एक ट्यूनेबल पैरामीटर है।
  - शुरुआती स्टेप्स ( $t \in [T, T(1-\tau)]$ ): संरचना के लिए सेल्फ-अटेंशन पर निर्भर करते हैं।
  - बाद के स्टेप्स ( $t \in [T(1-\tau), 0]$ ): सुचारू सम्मिश्रण (blending) के लिए टेक्स्ट प्रॉम्प्ट पर निर्भर करते हैं।

3. मुख्य योगदान (Key Contributions)

ट्रेनिंग-फ्री फ्रेमवर्क: मौजूदा प्री-ट्रेन मॉडल्स (SD, ControlNet, BLIP-2) का लाभ उठाते हुए, बिना किसी मॉडल फाइन-ट्यूनिंग के सटीक, क्षेत्र-नियंत्रित स्केच कलरइजेशन प्राप्त करने वाला पहला तरीका।
लेटेंट-स्पेस कंपोजिशन: एक नवीन तकनीक जो उपयोगकर्ता-निर्धारित रंगों को नॉइजी लेटेंट्स में सीधे एम्बेड करने के लिए डिफ्यूजन इन्वर्जन और गाइडेड सैंपलिंग को जोड़ती है, जिससे स्थानीय रंग निष्ठा और वैश्विक सामंजस्य दोनों सुनिश्चित होते हैं।
कस्टम अटेंशन मैकेनिज्म: स्केच संरचना संरक्षण के साथ नियंत्रित रंग प्रसार को अनुकूलित करने के लिए एक सेल्फ-अटेंशन इंजेक्शन रणनीति और स्केलिंग फैक्टर $\tau$ पेश करता है।
दक्षता (Efficiency): उपभोक्ता-ग्रेड GPUs (जैसे, NVIDIA RTX 4090) पर 15–20 इन्फरेंस स्टेप्स में उच्च-गुणवत्ता वाले परिणाम देता है, जिससे पेशेवर-गुणवत्ता वाले उपकरण सुलभ हो जाते हैं।
मजबूत कलर मैपिंग: कस्टम एनकोडर को प्रशिक्षित किए बिना, CLIP/Stable Diffusion टेक्स्ट एनकोडर्स के साथ अनुकूलता सुनिश्चित करने के लिए CSS3 मानक तक कुशलतापूर्वक हेक्स कोड को मैप करने के लिए K-D Tree का उपयोग करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विविध डेटासेट्स पर किया गया: AFHQ (जानवर), Place365 (दृश्य), Danbooru2023 (एनीमे), और PascalVOC (बहु-वस्तु)।

गुणात्मक प्रदर्शन (Qualitative Performance):
- यह DiffBlender, T2I-Adapter, ColorizeDiffusion, और MangaNinja जैसी SOTA विधियों से बेहतर प्रदर्शन करता है।
- बेहतर स्केच फिडेलिटी (संरचना संरक्षण) और कलर विविडनेस (रंगों की जीवंतता) प्रदर्शित करता है।
- केवल टेक्स्ट-आधारित या संदर्भ-आधारित विधियों में देखी जाने वाली सामान्य त्रुटियों जैसे कलर ब्लीडिंग और सिमेंटिक मिसअलाइनमेंट से बचता है।
मात्रात्मक मेट्रिक्स (Quantitative Metrics):
- अधिकांश डेटासेट्स में सर्वश्रेष्ठ FID (Fréchet Inception Distance) और DCCW (Dynamic Closest Color Warping) स्कोर प्राप्त किए, जो बेहतर वितरण समानता और रंग सटीकता का संकेत देते हैं।
- PSNR और SSIM में मजबूत प्रदर्शन दिखाया, जो उच्च रिकंस्ट्रक्शन गुणवत्ता की पुष्टि करता है।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि स्थिर इन्वर्जन के लिए एक्सेप्शनल प्रॉम्प्ट महत्वपूर्ण है।
- प्रदर्शित किया कि स्केलिंग फैक्टर $\tau$ सामंजस्य और निष्ठा के बीच संतुलन बनाने के लिए अत्यंत आवश्यक है (इष्टतम रेंज: 0.3–0.6)।
- दिखाया कि कलर नेमिंग के लिए LLMs का उपयोग करने की तुलना में K-D Tree कलर मैपिंग अधिक कुशल और सटीक है।

5. महत्व (Significance)

SketchDeco रचनात्मक उद्योगों के लिए जनरेटिव AI में एक महत्वपूर्ण अंतर को भरता है। ग्लोबल कंसिस्टेंसी को लोकल कंट्रोल से अलग करके, यह डिजाइनरों को प्रशिक्षण के कम्प्यूटेशनल बोझ के बिना सटीक परिणाम प्राप्त करने के लिए सहज उपकरण (मास्क और पैलेट) का उपयोग करने की अनुमति देता है।

सुलभता (Accessibility): यह उच्च-गुणवत्ता वाले कलरइजेशन का लोकतंत्रीकरण करता है, जो उपभोक्ता हार्डवेयर पर कुशलतापूर्वक चलता है।
कार्यप्रवाह एकीकरण (Workflow Integration): "ग्लोबल प्रिव्यू $\to$ लोकल रिफाइनमेंट" का "डिवाइड-एंड-कॉनकर" दृष्टिकोण पेशेवर डिजाइन वर्कफ़्लो (जैसे, इंटीरियर डिजाइन, कॉन्सेप्ट आर्ट) के साथ अच्छी तरह से मेल खाता है, जिससे रंग-टेक्सचर संयोजनों की तीव्र खोज संभव होती है।
भविष्य का प्रभाव: ट्रेनिंग-फ्री प्रतिमान यह सुझाव देता है कि जटिल, नियंत्रणीय जनरेटिव कार्यों को केवल मॉडल प्रशिक्षण को बढ़ाने के बजाय मौजूदा मॉडलों के चतुर संयोजन से हल किया जा सकता है, जो भविष्य के कंट्रोलेबल डिफ्यूजन अनुसंधान को प्रभावित कर सकता है।