🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

यह शोध पत्र VIPaint का प्रस्ताव करता है, जो एक पदानुक्रमित वेरिएशनल इन्फरेंस एल्गोरिदम है जो वास्तविक डिफ्यूजन पोस्टीरियर के गैर-गौसियन मार्कोव सन्निकटन को अनुकूलित करके पूर्व-प्रशिक्षित लेटेंट डिफ्यूजन मॉडल्स पर उच्च-गुणवत्तापूर्ण, विविध इमेज इनपेंटिंग और अन्य व्युत्क्रम समस्याओं को सक्षम बनाता है।

मूल लेखक: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुंदर, उच्च-रिज़ॉल्यूशन वाली तस्वीर है, लेकिन किसी ने एक विशाल कैंची लेकर उसका एक बहुत बड़ा हिस्सा काट दिया है—शायद एक पूरा व्यक्ति, एक इमारत, या एक परिदृश्य। आपका लक्ष्य उस गायब हिस्से को कुछ ऐसा भरने का है जो वास्तविक लगे, बाकी फोटो की शैली के साथ मेल खाए, और संदर्भ के अनुसार सही लगे। इसे इमेज इनपेंटिंग (image inpainting) कहा जाता है।

लंबे समय तक, कंप्यूटर इस काम में संघर्ष करते रहे हैं, खासकर जब गायब हिस्सा बहुत बड़ा हो। वे अक्सर ऐसी चीजें बना देते हैं जो धुंधली, असंगत या पूरी तरह से अजीब लगती हैं।

यह पेपर एक नई विधि पेश करता है जिसे VIPaint (वेरिएशनल इन्फरेंस फॉर पेंटिंग) कहा जाता है, जो इस समस्या को हल करने के लिए एक सुपर-स्मार्ट, सहज कलाकार की तरह काम करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "अनुमान लगाने का खेल"

आजकल के AI इमेज जनरेटर्स (जिन्हें डिफ्यूजन मॉडल्स कहा जाता है) को एक मास्टर पेंटर के रूप में सोचें जिसने शोर (static noise) के एक बाल्टी (जैसे टीवी का 'स्नो') से कला बनाना सीखा है और धीरे-धीरे उसे साफ करके एक स्पष्ट छवि बनाता है।

जब हम इस AI से किसी मौजूदा फोटो में एक गायब छेद को भरने के लिए कहते हैं, तो हम इसे पीछे की ओर काम करने के लिए कह रहे होते हैं। हालाँकि, अधिकांश मौजूदा विधियाँ हर एक कदम पर एक "सबसे अच्छा अनुमान" लगाने की कोशिश करती हैं।

खामी: यदि AI शुरुआत में ही एक छोटी सी गलती कर देता है (जैसे आकाश के लिए गलत रंग का अनुमान लगाना), तो वह वहीं फंस जाता है। क्योंकि उसके पास उस शुरुआती गलती को "सुधारने के लिए वापस जाने" का कोई तरीका नहीं है, इसलिए अंतिम परिणाम अक्सर धुंधला या बाकी फोटो से कटा हुआ दिखता है। यह एक घर बनाने की कोशिश करने जैसा है जहाँ आप ईंटें बिछाते हैं, फिर महसूस करते हैं कि दीवार टेढ़ी है, लेकिन आप नींव को नहीं बदल सकते, इसलिए आप बस एक टेढ़ा घर बनाना जारी रखते हैं।

VIPaint का समाधान: "वास्तुकार का ब्लूप्रिंट"

VIPaint रणनीति को बदल देता है। केवल एक दिशा में आगे बढ़ने का अनुमान लगाने के बजाय, यह पहले एक लचीला ब्लूप्रिंट (blueprint) बनाता है।

पदानुक्रमित मानचित्र (The Hierarchical Map): कल्पना कीजिए कि AI केवल अंतिम चित्र को नहीं देखता। इसके बजाय, यह विभिन्न स्पष्टता चरणों पर छवि के "कंकाल" को देखता है। यह "कुल शोर" से "स्पष्ट छवि" तक के रास्ते में कुछ प्रमुख क्षणों (कीपॉइंट्स) को चुनता है।
- उपमा: इसे एक मूर्तिकार की तरह समझें। पत्थर को बेतरतीब ढंग से तराशने के बजाय, मूर्तिकार पहले मूर्ति का मोटा आकार (ग्लोबल स्ट्रक्चर), फिर मांसपेशियां (मिड-लेवल विवरण), और अंत में चेहरे की विशेषताएं (फाइन डिटेल्स) बनाता है। VIPaint गणितीय रूप से इन विशिष्ट "चेकपॉइंट्स" पर छवि की जांच करके ऐसा ही करता है।
"क्या होगा अगर" इंजन (Variational Inference):
- अधिकांश विधियाँ एक एक आदर्श उत्तर खोजने की कोशिश करती हैं। VIPaint स्वीकार करता है, "मुझे ठीक से नहीं पता कि छेद में क्या जाएगा, लेकिन मैं जानता हूँ कि ऐसी कई चीजें हो सकती हैं जो फिट बैठेंगी।"
- यह एक प्रोबेबिलिटी मैप (संभाव्यता मानचित्र) बनाता है जो कहता है, "आकाश यहाँ नीला होने की संभावना है, लेकिन रोशनी के आधार पर यह थोड़ा बैंगनी या ग्रे भी हो सकता है।"
- यह इस मानचित्र को अनुकूलित (optimize) करता है ताकि जो कुछ भी यह अनुमान लगाए, वह फोटो के उन हिस्सों से मेल खाए जिन्हें हम देख सकते हैं (अनमास्क्ड पिक्सेल), जबकि साथ ही यह भी सुनिश्चित करे कि वह वैसा ही दिखे जैसा कि AI का "मास्टर पेंटर" बनाएगा।
दो-चरणीय प्रक्रिया:
- चरण 1: ऑप्टिमाइज़ेशन (योजना बनाने का चरण): AI उस विशिष्ट गायब छेद के लिए सबसे अच्छा संभव "ब्लूप्रिंट" की गणना करने में थोड़ा समय बिताता है। यह अपनी आंतरिक सेटिंग्स को समायोजित करता है ताकि यह सुनिश्चित हो सके कि वैश्विक संरचना (जैसे क्षितिज रेखा या किसी इमारत का आकार) एकदम सही हो, इससे पहले कि वह विवरण बनाना शुरू करे।
- चरण 2: सैंपलिंग (पेंटिंग का चरण): एक बार ब्लूप्रिंट सेट हो जाने के बाद, यह अंतिम छवि बनाता है। क्योंकि ब्लूप्रिंट बहुत अच्छा था, इसलिए अंतिम छवि स्पष्ट, यथार्थवादी और विविध होती है। यह गायब हिस्से के अलग-अलग वैध संस्करण भी बना सकता है (उदाहरण के लिए, एक बिल्ली काली, सफेद या नारंगी हो सकती है) बिना फोटो के नियमों को तोड़े।

यह बेहतर क्यों है?

कोई रिट्रेनिंग नहीं: आपको AI को हर नई फोटो के लिए नया हुनर सिखाने की आवश्यकता नहीं है। यह उस "मास्टर पेंटर" का उपयोग करता है जिसे वह पहले से जानता है और बस उस विशिष्ट छेद के लिए ब्लूप्रिंट को बदल देता है। यह "जीरो-शॉट" है, जिसका अर्थ है कि यह नई छवियों पर तुरंत काम करता है।
बड़े छेदों को संभालता है: जहाँ अन्य विधियाँ बड़े छेद (जैसे छवि का 50%) होने पर विफल हो जाती हैं, वहीं VIPaint इसमें उत्कृष्ट है क्योंकि यह पहले "बड़ी तस्वीर" की योजना बनाता है।
हाई-एंड मॉडल्स के साथ काम करता है: यह सबसे उन्नत टेक्स्ट-टू-इमेज मॉडल्स (जैसे स्टेबल डिफ्यूजन) के साथ काम करता है जो लाखों पिक्सेल बनाते हैं, जिन्हें पिछले तरीकों के लिए अनुकूलित करना कठिन था।

परिणाम

इस पेपर ने हजारों छवियों पर VIPaint का परीक्षण किया।

विजुअल्स: जहाँ अन्य विधियों ने धुंधले धब्बे या बेमेल किनारे पैदा किए, वहीं VIPंत ने स्पष्ट, यथार्थवादी छवियां बनाईं जो पूरी तरह से फिट बैठती हैं।
बहुमुखी प्रतिभा: इसने केवल छेद ही नहीं भरे; बल्कि यह धुंधलेपन को हटाने और कम-रिज़ॉल्यूशन वाली छवियों को स्पष्ट बनाने (सुपर-रिज़ॉल्यूशन) में भी अच्छा रहा।
गति: यह व्यावहारिक होने के लिए पर्याप्त तेज़ है, अक्सर अन्य उच्च-गुणवत्ता वाली विधियों की तुलना में तेज़ होता है क्योंकि यह छवि बनाने से पहले "योजना" को कुशलतापूर्वक अनुकूलित करता है।

संक्षेप में, VIPaint गायब हिस्से के पेंटिंग कार्य को शुरू करने से पहले AI को उसकी संरचना की योजना बनाने और सोचने का एक क्षण देने जैसा है, जिससे यह सुनिश्चित होता है कि अंतिम परिणाम केवल एक अनुमान नहीं, बल्कि एक सुसंगत, उच्च-गुणवत्ता वाला पुनर्निर्माण है।

यहाँ शोध पत्र "VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इमेज इनपेंटिंग (Image inpainting) में छवि के लुप्त या क्षतिग्रस्त क्षेत्रों का पुनर्निर्माण शामिल है। जबकि डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स (DPMs) ने इमेज जनरेशन में अत्याधुनिक परिणाम प्राप्त किए हैं, उन्हें इनपेंटिंग (एक इनवर्स समस्या) पर लागू करना महत्वपूर्ण चुनौतियाँ पेश करता है:

बड़े मास्क क्षेत्र (Large Mask Regions): मौजूदा तरीके अक्सर तब वैश्विक सुसंगतता (global coherence) बनाए रखने में विफल रहते हैं जब छवि का एक बड़ा हिस्सा मास्क किया गया हो, जिससे असंगत या अवास्तविक संरचनाएँ उत्पन्न होती हैं।
लेटेंट डिफ्यूजन मॉडल्स (LDMs): अधिकांश सफल इनपेंटिंग एल्गोरिदम पिक्सेल-आधारित डिफ्यूजन मॉडल्स के लिए डिज़ाइन किए गए हैं। वे LDMs (जैसे Stable Diffusion) के अनुकूल होने में संघर्ष करते हैं, जो एक संकुचित लेटेंट स्पेस में काम करते हैं और उच्च-रिज़ॉल्यूशन वाली छवियों के लिए अधिक गणनात्मक रूप से कुशल होते हैं।
प्रशिक्षण आवश्यकताएँ (Training Requirements): कई वर्तमान दृष्टिकोणों को विशिष्ट मास्क वितरण पर विशेष प्रशिक्षण या प्रत्येक नए कार्य के लिए जेनेरेटिव मॉडल के फाइन-ट्यूनिंग की आवश्यकता होती है, जो उनकी "जीरो-शॉट" प्रयोज्यता को सीमित करता है।
पोस्टीरियर सन्निकटन (Posterior Approximation): REDdiff जैसे तरीके वेरिएशनल इन्फरेंस (VI) का उपयोग करने का प्रयास करते हैं लेकिन अक्सर शोर-मुक्त स्तर ( $t=0$ ) पर सरल गौसियन सन्निकटन (Gaussian approximations) पर निर्भर करते हैं। इससे अनुकूलन अस्थिरता (optimization instability), अनिश्चितता को पकड़ने में अक्षमता (एक एकल मोड के बजाय विविध नमूने उत्पन्न करने में असमर्थता), और LDMs पर खराब प्रदर्शन होता है।

2. कार्यप्रणाली: VIPaint (Methodology: VIPaint)

लेखक VIPaint प्रस्तावित करते हैं, जो एक पदानुक्रमित वेरिएशनल इन्फरेंस (hierarchical variational inference) एल्गोरिदम है जो वास्तविक डिफ्यूजन पोस्टीरियर के नॉन-गौसियन मार्कोव सन्निकटन को अनुकूलित करता है। यह प्री-ट्रेंड DPMs (दोनों पिक्सेल-आधारित और लेटेंट) का उपयोग करके "जीरो-शॉट" इनपेंटिंग की अनुमति देता है।

मुख्य वास्तुकला (Core Architecture)

एक एकल छवि को $t=0$ पर अनुकूलित करने के बजाय, VIPaint मध्यवर्ती लेटेंट टाइमस्टेप्स (कीपॉइंट्स) $\{h(1), \dots, h(K)\}$ के एक मोटे अनुक्रम पर एक पदानुक्रमित पोस्टीरियर (hierarchical posterior) को परिभाषित करता है, जहाँ $h(K)$ उच्च शोर (high noise) है और $h(1)$ कम शोर (low noise) है।

वेरिएशनल पोस्टीरियर फॉर्मूलेशन (Variational Posterior Formulation):
पोस्टीरियर $q_\lambda(z_{h(1):h(K)})$ को एक मार्कोव चेन के रूप में परिभाषित किया गया है:
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$
- उच्च शोर ( $h(K)$ ): इसे फैक्टराइज्ड गौसियन (factorized Gaussian) के रूप में मॉडल किया गया है।
- मध्यवर्ती/निम्न शोर: इसे एक गौसियन के रूप में मॉडल किया गया है जहाँ माध्य (mean) डिफ्यूजन प्रायर प्रेडिक्शन ( $\hat{x}_\theta$ ) और एक सीखने योग्य, इमेज-विशिष्ट वेरिएशनल पैरामीटर ( $\mu$ ) का एक कॉनवेक्स कॉम्बिनेशन है। वेरिएंस (variance) को भी सीखा जाता है, जिससे मॉडल को मास्क किए गए क्षेत्रों में अनिश्चितता को गतिशील रूप से बढ़ाने की अनुमति मिलती है।
- नॉन-गौसियन प्रकृति (Non-Gaussian Nature): हालांकि प्रत्येक चरण में वेरिएशनल डिस्ट्रीब्यूशन गौसियन है, लेकिन समग्र सन्निकटन नॉन-गौसियन है क्योंकि इसमें नॉन-लीनियर डिनोइजिंग नेटवर्क $\hat{x}_\theta(\cdot)$ शामिल है।
अनुकूलन उद्देश्य (Optimization Objective - Variational Bound):
VIPaint अवलोकन $y$ के मार्जिनल लाइकलीहुड पर एक वेरिएशनल लोअर बाउंड को कम करता है, जो तीन पदों से बना है:
- पुनर्निर्माण हानि (Reconstruction Loss): यह सुनिश्चित करता है कि निम्नतम शोर स्तर $z_{h(1)}$ पर नमूने प्रेक्षित पिक्सेल $y$ के साथ सुसंगत हों। यह पूर्ण जनरेशन चेन के माध्यम से महंगी बैकप्रोपैगेशन से बचने के लिए वन-स्टेप एप्रोक्सिमेशन का उपयोग करता है।
- प्रायर हानि (Prior Loss): यह उच्चतम शोर स्तर $z_{h(K)}$ को $[h(K), T]$ रेंज में एनकोडेड उच्च-स्तरीय सिमेंटिक्स के साथ संरेखित करने के लिए नियमित (regularize) करता है।
- पदानुक्रमित हानि (Hierarchical Loss): यह पदानुक्रम में आसन्न कीपॉइंट्स के बीच निरंतरता सुनिश्चित करता है, जो महत्वपूर्ण शोर रेंज $[h(1), h(K)]$ में मध्यम-स्तर के विवरणों को कैप्चर करता है।
सैंपलिंग रणनीति (Sampling Strategy):
- अनुकूलन (Optimization): वेरिएशनल पैरामीटर $\lambda$ को प्रत्येक विशिष्ट इमेज क्वेरी के लिए ग्रेडिएंट डिसेंट का उपयोग करके अनुकूलित किया जाता है (कोई एम्बेरेशन नहीं)।
- एन्सेस्ट्रल सैंपलिंग (Ancestral Sampling): एक बार अनुकूलित होने के बाद, $h(K)$ से $h(1)$ तक एन्सेस्ट्रल सैंपलिंग द्वारा विविध नमूने उत्पन्न किए जाते हैं।
- परिष्करण (Refinement): $t < h(1)$ के लिए, मॉडल बारीक विवरण उत्पन्न करने के लिए ग्रेडिएंट-आधारित रिफाइनमेंट (लेंज्विन डायनेमिक्स के समान) का उपयोग करता है जो प्रेक्षण के साथ सुसंगत हो।

3. प्रमुख योगदान (Key Contributions)

पदानुक्रमित नॉन-गौसियन सन्निकटन (Hierarchical Non-Gaussian Approximation): VIPaint एक नवीन VI फ्रेमवर्क पेश करता है जो एकल बिंदु के बजाय लेटेंट ट्राजेक्टरी के अनुक्रम पर डिफ्यूजन पोस्टीरियर का अनुमान लगाता है। यह वैश्विक सिमेंटिक्स (उच्च शोर) और स्थानीय विवरणों (निम्न शोर) दोनों को एक साथ कैप्चर करता है।
जीरो-शॉट प्रयोज्यता (Zero-Shot Applicability): यह विधि बिना किसी रिट्रेनिंग, फाइन-ट्यूनिंग या विशिष्ट मास्क आकृतियों के लिए विशेष डेटासेट के, प्री-ट्रेंड मॉडल्स (Stable Diffusion 3.5 सहित) के साथ सीधे काम करती है।
स्थिरता और अनिश्चितता (Stability and Uncertainty): सीधे शोर-मुक्त स्तर ( $t=0$ ) पर अनुकूलन से बचकर और वेरिएंस को सीखकर, VIPaint स्थिर अनुकूलन प्राप्त करता है और स्वाभाविक रूप से पोस्टीरियर अनिश्चितता को कैप्चर करता है, जिससे कई विविध, प्रशंसनीय इनपेंटिंग्स बनाना संभव होता है।
LDM संगतता (LDM Compatibility): यह विधि स्पष्ट रूप से लेटेंट डिफ्यूजन मॉडल्स के साथ काम करने के लिए डिज़ाइन की गई है, जो पिछले पिक्सेल-आधारित VI दृष्टिकोणों की सीमाओं को दूर करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ImageNet64, ImageNet256, LSUN-Churches, और Stable Diffusion 3.5 (1024x1024) पर VIPaint का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- बड़े मास्क: VIPaint, विशेष रूप से बड़े मास्क वाले क्षेत्रों (छवि का 40-80%) के लिए, PSNR, SSIM और LPIPS में बेसलाइन्स (DPS, RePaint, CoPaint, REDdiff) से काफी बेहतर प्रदर्शन करता है।
- LDMs: Stable Diffusion 3.5 पर, VIP_Paint, DPS और ControlNet तथा SD-Inpainting जैसे विशिष्ट मॉडल्स की तुलना में बेहतर परिणाम प्राप्त करता है, बावजूद इसके कि यह इस कार्य के लिए प्रशिक्षित नहीं है।
- अन्य इनवर्स समस्याएं: यह विधि गाऊसियन डीब्लरिंग (Gaussian debluring) और सुपर-रिज़ॉल्यूशन कार्यों में भी मजबूत प्रदर्शन प्रदर्शित करती है।
गुणात्मक प्रदर्शन (Qualitative Performance):
- वैश्विक सुसंगतता (Global Coherence): बेसलाइन्स के विपरीत, जो अक्सर बड़े मास्क में धुंधले या संरचनात्मक रूप से असंगत परिणाम देते हैं, VIPaint वैश्विक संरचना और सिमेंटिक निरंतरता को बनाए रखता है।
- विविधता (Diversity): VIPaint एक ही मास्क की गई छवि के लिए कई अलग-अलग, उच्च-गुणवत्ता वाले पूर्ण रूप (completions) उत्पन्न करता है, जबकि कई बेसलाइन एक एकल मोड में सिमट जाते हैं या असंगत भिन्नताएं उत्पन्न करते हैं।
- आर्टिफैक्ट में कमी (Artifact Reduction): यह DPS जैसे ग्रेडिएंट-आधारित सैंपलिंग विधियों की तुलना में मास्क सीमाओं पर कम आर्टिफैक्ट के साथ शार्प परिणाम देता है।
दक्षता (Efficiency):
- हालांकि प्रति इमेज अनुकूलन आवश्यक है, VIPaint-2 (2 कीपॉइंट्स के साथ) सैंपलिंग-आधारित विधियों के साथ गणनात्मक रूप से प्रतिस्पर्धी है और व्यापक फाइन-ट्यूनिंग की आवश्यकता वाले तरीकों की तुलना में काफी तेज़ है।

5. महत्व (Significance)

VIPaint डिफ्यूजन मॉडल्स को इनवर्स समस्याओं पर लागू करने में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है। इसे एक पदानुक्रमित लेटेंट ट्राजेक्टरी पर वेरिएशनल इन्फरेंस समस्या के रूप में फ्रेम करके, यह जनरेटिव फाउंडेशन मॉडल्स की शक्ति और आंशिक अवलोकनों (partial observations) के बीच के अंतर को पाटता है।

इसकी बड़े मास्क और लेटेंट डिफ्यूजन मॉडल्स को संभालने की क्षमता, बिना रिट्रेनिंग के, इसे एक मजबूत, सामान्य-उद्देश्य वाला टूल बनाती है। यह दृष्टिकोण सुझाव देता है कि भविष्य के इनवर्स प्रॉब्लम सॉल्वर ह्यूरिस्टिक गाइडेंस या कार्य-विशिष्ट प्रशिक्षण के बजाय सिद्धांत आधारित संभावabilistic इन्फरेंस के माध्यम से प्री-ट्रेंड फाउंडेशन मॉडल्स की पूरी क्षमता का लाभ उठा सकते हैं।