💻 computer science

Timestep Rescheduling in Diffusion Inversion

यह शोध पत्र एक नवीन नॉन-यूनिफॉर्म (गैर-समान) टाइमस्टेप शेड्यूलर प्रस्तुत करता है जो इमेज रिकंस्ट्रक्शन और एडिटिंग के लिए डिफ्यूजन इन्वर्जन की सटीकता को बिना किसी अतिरिक्त पैरामीटर या ओवरहेड के महत्वपूर्ण रूप से बढ़ाने के लिए, टाइमस्टेप आकार और इन्वर्जन एरर के बीच परवलयिक (पैराबोलिक) संबंध का लाभ उठाते हुए कम्प्यूटेशनल प्रयास को रणनीतिक रूप से आवंटित करता है।

मूल लेखक: Shangquan Sun, Ting Gong, Zhirui Liu, Jiamin Wu, Runkai Zhao, Mianxin Liu, Wenqi Ren, Xiaochun Cao

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shangquan Sun, Ting Gong, Zhirui Liu, Jiamin Wu, Runkai Zhao, Mianxin Liu, Wenqi Ren, Xiaochun Cao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई मशीन है जो स्थिर शोर (static noise) के बादल को एक सुंदर, स्पष्ट तस्वीर में बदल सकती है। आधुनिक "डिफ्यूजन मॉडल्स" इसी तरह काम करते हैं: वे अराजकता से शुरू होते हैं और धीरे-धीरे उसे साफ करते हैं, तब तक जब तक कि एक छवि प्रकट न हो जाए।

लेकिन क्या होगा अगर आप इसके विपरीत करना चाहते हैं? क्या होगा यदि आपके पास एक असली फोटो हो (जैसे आपके कुत्ते की एक तस्वीर) और आप इसे मशीन में वापस डालना चाहें ताकि उस सटीक "शोर के बादल" को खोज सकें जिसने इसे बनाया था? इस प्रक्रिया को डिफ्यूजन इनवर्जन (Diffusion Inversion) कहा जाता है। यह एक केक को "अन-बेक" करने या बनाने की प्रक्रिया को उलटने की कोशिश करने जैसा है ताकि सटीक रेसिपी और सामग्री का पता लगाया जा सके।

समस्या यह है कि यह "अन-बेकिंग" बहुत कठिन है। मशीन को बनाने (शोर जोड़ने) के लिए प्रशिक्षित किया गया था, न कि अन-बेक करने (शोर हटाने) के लिए। जब हम रिवर्स प्रक्रिया को दोहराने की कोशिश करते हैं, तो हम अक्सर गलतियाँ करते हैं। यदि हम इसे बहुत तेज़ी से करने की कोशिश करते हैं (बड़े कदम उठाकर), तो केक खराब हो जाता है। यदि हम बहुत छोटे, सावधानीपूर्वक कदम उठाते हैं, तो इसमें बहुत समय लगता है।

समस्या: "गोल्डिलॉक्स" स्टेप साइज (The "Goldilocks" Step Size)

इस शोध पत्र के लेखकों ने एक छिपे हुए दोष की खोज की है कि वर्तमान में हम रिवर्स प्रक्रिया को कैसे करने की कोशिश करते हैं। उन्होंने पाया कि हमारे द्वारा लिए गए "कदमों" का आकार बहुत मायने रखता है, और यह एक सीधी रेखा नहीं है।

इनवर्जन प्रक्रिया को सीढ़ियों के नीचे (शोर वाले चित्र से लेकर साफ शोर तक) उतरने वाली एक लंबी, घुमावदार सीढ़ी के रूप में सोचें।

पुराना तरीका: अधिकांश लोग पूरी राह समान आकार के कदम उठाते हैं।
खोज: लेखकों ने पाया कि आपके द्वारा की जाने वाली "लड़खड़ाहट" या त्रुटि इस बात पर निर्भर करती है कि आप सीढ़ियों पर कहाँ हैं।
- बिल्कुल ऊपर (शुरुआत में) और बिल्कुल नीचे (अंत में), बड़े कदम उठाने से आप लड़खड़ा जाते हैं और गिर जाते हैं (उच्च त्रुटि)।
- बीच में, आप बिना ज्यादा गिरे बड़े कदम उठा सकते हैं।
- हालाँकि, यदि आप हर जगह बहुत छोटे कदम लेते हैं, तो आप बहुत धीरे चलते हैं। यदि आप हर जगह बहुत बड़े कदम उठाते हैं, तो आप सीढ़ियों से गिर जाते हैं।

त्रुटि एक पैराबोलिक कर्व (एक U-आकार की तरह) का अनुसरण करती है: यह शुरुआत में अधिक होती है, बीच में कम होती है, और अंत में फिर से बढ़ जाती है।

समाधान: एक स्मार्ट वॉकिंग प्लान

समान कदम उठाने के बजाय, लेखक एक टाइमस्टेप रीशेड्यूलिंग (Timestep Rescheduling) विधि का प्रस्ताव देते हैं। इसे सीढ़ियों से नीचे उतरने के लिए एक स्मार्ट GPS के रूप में समझें।

ग्लोबल स्ट्रेच (बड़ी तस्वीर): सबसे पहले, वे पथ के शुरुआती और अंतिम हिस्से को थोड़ा फैलाते हैं। चूंकि वे "खतरे के क्षेत्र" हैं जहाँ आप आसानी से लड़खड़ा सकते हैं, इसलिए वे सुरक्षित रहने के लिए वहां कदम छोटे रखते हैं। बीच में, जहाँ यह अधिक सुरक्षित है, वे थोड़े बड़े कदमों की अनुमति देते हैं।
लोकल डायनेमिक प्रोग्रामिंग (बारीक ट्यूनिंग): फिर, वे एक चतुर गणितीय ट्रिक (डायनेमिक प्रोग्रामिंग) का उपयोग करते हैं जो कुछ कदम आगे देख सकती है। यह अगले कुछ कदमों को देखने जैसा है कि क्या कोई सीढ़ी फिसलन भरी है। यदि कोई विशिष्ट कदम जोखिम भरा दिखता है, तो वे कुल लड़खड़ाहट को कम करने के लिए केवल उस स्थान के लिए अपने कदम को समायोजित करते हैं।

यह क्यों महत्वपूर्ण है

सबसे अच्छी बात? यह कोई नई मशीन या नई रेसिपी नहीं है। यह केवल हमारे पास मौजूद मशीनों के लिए कदमों को चलाने का एक बेहतर तरीका है।

कोई अतिरिक्त लागत नहीं: इसके लिए अधिक कंप्यूटर पावर या समय की आवश्यकता नहीं है। "योजना बनाना" वास्तविक काम शुरू होने से पहले ही तुरंत हो जाता है।
बेहतर परिणाम: जब उन्होंने मौजूदा तरीकों पर इसका परीक्षण किया, तो शोर से पुनर्गठित तस्वीरें बहुत अधिक स्पष्ट थीं। फल का आकार, मेज की संरचना, या किसी व्यक्ति का चेहरा जैसे विवरण बहुत बेहतर तरीके से संरक्षित रहे।
एडिटिंग (संपादन): यह तब भी मदद करता है जब लोग फोटो को एडिट करने की कोशिश करते हैं (जैसे कुत्ते को बिल्ली में बदलना)। बैकग्राउंड स्थिर रहता है, और बदलाव अधिक स्वाभाविक दिखते हैं।

संक्षेप में

शोध पत्र कहता है: "हमने पाया कि इमेज क्रिएशन प्रोसेस को रिवर्स करने के लिए जो 'कदम' हम लेते हैं, वे वर्तमान में बहुत एकसमान हैं। कदमों को वहां छोटा करके जहां प्रक्रिया अस्थिर है (शुरुआत और अंत में) और वहां बड़ा करके जहां प्रक्रिया स्थिर है (बीच में), हम बिना किसी नई तकनीक या अतिरिक्त कंप्यूटिंग पावर के बहुत बेहतर परिणाम प्राप्त कर सकते हैं।"

यह महसूस करने जैसा है कि एक फिसलन भरी पहाड़ी से नीचे उतरने के लिए, आपको हर जगह एक ही आकार का कदम नहीं रखना चाहिए; आपको ऊपर और नीचे छोटे, सावधानी भरे कदम उठाने चाहिए, और बीच में आत्मविश्वास भरे लंबे कदम लेने चाहिए।

तकनीकी सारांश: डिफ्यूजन इनवर्जन में टाइमस्टेप रीशेड्यूलिंग (Timestep Rescheduling in Diffusion Inversion)

समस्या विवरण (Problem Statement)
डिफ्यूजन इनवर्जन एक वास्तविक छवि $z_0$ को डिफ्यूजन मॉडल के गॉसियन लेटेंट स्पेस ( $z_T$ ) में मैप करने की प्रक्रिया है, जो इमेज रिकंस्ट्रक्शन और एडिटिंग जैसे कार्यों को सक्षम बनाती है। हालांकि डीडिम (DDIM) एक नियतात्मक (deterministic) और कुशल फॉर्मूलेशन प्रदान करता है, लेकिन इनवर्जन प्रक्रिया स्वाभाविक रूप से अनुमानित (approximate) होती है। मानक दृष्टिकोण में डिनोइजिंग स्टेप को विश्लेषणात्मक रूप से उलटने का प्रयास किया जाता है, जिससे विचलन उत्पन्न होते हैं जो समय के साथ संचित होते जाते हैं, जिससे ध्यान देने योग्य रिकंस्ट्रक्शन त्रुटियां और घटिया एडिटिंग फिडेलिटी (fidelity) होती है।

मौजूदा विधियां मुख्य रूप से इनवर्जन समीकरण को परिष्कृत करने के लिए फिक्स्ड-पॉइंट समस्याओं को हल करके इन त्रुटियों को कम करने का प्रयास करती हैं। हालांकि, ये दृष्टिकोण एक महत्वपूर्ण कारक को काफी हद तक अनदेखा कर देते हैं: टाइमस्टेप शेड्यूलिंग (डिफ्यूजन टाइमस्टेप्स का चयन और अंतराल) का इनवर्जन फिडेलिटी पर प्रभाव। अधिकांश पाइपलाइनें समान रूप से अंतराल वाले (uniformly spaced) टाइमस्टेप्स का उपयोग करती हैं, जिन्हें लेखक उप-इष्टतम (suboptimal) बताते हैं। शोध पत्र का तर्क है कि टाइमस्टेप्स का वितरण वैश्विक इनवर्जन त्रुटियों (global inversion errors) के संचय को महत्वपूर्ण रूप से प्रभावित करता है, फिर भी डिफ्यूजन सैंपलिंग या ट्रेनिंग में इसकी भूमिका की तुलना में यह संबंध कम खोजा गया है।

कार्यप्रणाली: TRDI (Timestep Rescheduling in Diffusion Inversion)
लेखक TRDI का प्रस्ताव करते हैं, जो एक नॉन-यूनिफॉर्म टाइमस्टेप शेड्यूलर है जिसे बिना किसी अतिरिक्त पैरामीटर या इंफरेंस चरण के दौरान कंप्यूटेशनल ओवरहेड के समग्र इनवर्जन त्रुटि को कम करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली इनवर्जन त्रुटि के सैद्धांतिक विश्लेषण पर आधारित है और इसे दो चरणों वाली "कोर्स-टू-फाइन" (coarse-to-fine) रणनीति के माध्यम से लागू किया गया है।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight):
लेखक यह व्युत्पन्न करते हैं कि टाइमस्टेप जंप $\Delta t$ द्वारा प्रेरित इनवर्जन त्रुटि को एक स्केल्ड फिक्स्ड-पॉइंट समस्या के रूप में पुनर्गठित किया जा सकता है। त्रुटि का परिमाण $\delta$ , एक स्केलिंग गुणांक $c_\alpha(t, \Delta t)$ द्वारा क्रमिक मॉडल भविष्यवाणियों ( $\Delta \epsilon_\theta$ ) के बीच के अंतर के अनुपात में होता है।

मुख्य अवलोकन: स्केलिंग गुणांक टाइमस्टेप इंडेक्स के सापेक्ष एक परवलयाकार प्रवृत्ति (parabolic trend) प्रदर्शित करता है। त्रुटियां छोटे टाइमस्टेप्स (शुरुआती डिफ्यूजन स्टेप्स) और बड़े टाइमस्टेप्स (देर के स्टेप्स) दोनों पर केंद्रित होती हैं, और बीच में एक गिरावट (dip) होती है। इसके अलावा, बड़े स्टेप साइज ( $\Delta t$ ) स्वाभाविक रूप से बड़ी त्रुटियां उत्पन्न करते हैं।

ग्लोबल रीस्केलिंग (कोर्स एडजस्टमेंट):
इस परवलयाकार त्रुटि वितरण को संबोधित करने के लिए, लेखक एक ग्लोबल रीस्केलिंग तंत्र पेश करते हैं। वे एक पावर-लॉ ट्रांसफॉर्मेशन का उपयोग करके मूल यूनिफॉर्म टाइमस्टेप सीक्वेंस $t_k$ को एक हाइपरपैरामीटर $\gamma$ द्वारा नियंत्रित करते हैं, जिसे संशोधित किया जाता है:
$t_k = t_1 + (t_K - t_1) \left( \frac{k-1}{K-1} \right)^\gamma$

जब $\gamma > 1$ होता है, तो टाइमस्टेप्स शुरुआती स्टेप्स की ओर खींचे जाते हैं (उच्च-त्रुटि वाले शुरुआती क्षेत्र के लिए अधिक रेजोल्यूशन आवंटित करना)।
जब $\gamma < 1$ होता है, तो टाइमस्टेप्स अंत की ओर घने हो जाते हैं।
यह चरण स्टेप्स के आवंटन को वैश्विक रूप से समायोजित करके शेड्यूलर को फाइन-ग्रेन्ड ऑप्टिमाइजेशन के लिए तैयार करता है।

डायनेमिक प्रोग्रामिंग के माध्यम से लोकल रीशेड्यूलिंग (फाइन एडजस्टमेंट):
संचित त्रुटि को और कम करने के लिए, लेखक एक विंडो-आधारित डायनेमिक प्रोग्रामिंग (DP) दृष्टिकोण का उपयोग करते हैं।

कॉस्ट मैप (Cost Map): एक कॉस्ट मैप $E[k, t]$ को $k$ -वें इनवर्जन स्टेप पर स्टेप इंडेक्स $t$ तक पहुँचने के लिए न्यूनतम संचित त्रुटि को ट्रैक करने के लिए इनिशियलाइज़ किया जाता है।
रिकर्सन (Recursion): वर्तमान स्टेप के चारों ओर $2d+1$ चौड़ाई वाली स्लाइडिंग विंडो के भीतर, एल्गोरिदम पिछले संचित त्रुटि और वर्तमान स्टेप के त्रुटि गुणांक के योग को कम करने के लिए आसन्न टाइमस्टेप्स के बीच स्थानीय रूप से इष्टतम ट्रांजिशन की खोज करता है।
बैकट्रैकिंग (Backtracking): पहले स्टेप से अंतिम स्टेप तक बैकट्रैकिंग करके इष्टतम टाइमस्टेप सीक्वेंस प्राप्त किया जाता है।

संपूर्ण रीशेड्यूलिंग प्रक्रिया ज्ञात नॉइज़ शेड्यूल के आधार पर ऑफलाइन (या प्री-प्रोसेसिंग स्टेप के रूप में) की जाती है, जिसका अर्थ है कि यह वास्तविक इमेज इनवर्जन या एडिटिंग प्रक्रिया में नगण्य रनटाइम ओवरहेड जोड़ती है।

प्रमुख योगदान (Key Contributions)

सैद्धांतिक सूत्रीकरण (Theoretical Formulation): शोध पत्र टाइमस्टेप जंप और इनवर्जन त्रुटि के बीच एक सैद्धांतिक संबंध को व्युत्पन्न करता है, जो त्रुटि को नॉइज़ शेड्यूल पर निर्भर स्केल्ड फिक्स्ड-पॉइंट समस्या के रूप में फ्रेम करता है।
अनुकूली शेड्यूलर (Adaptive Scheduler): यह एक कोर्स-टू-फाइन रीशेड्यूलिंग फ्रेमवर्क (TRDI) प्रस्तावित करता है जो कम-त्रुटि वाले क्षेत्रों को बड़े स्टेप्स और उच्च-त्रुटि वाले क्षेत्रों को सूक्ष्म स्टेप्स को अनुकूल रूप से आवंटित करता है, जिससे दक्षता और सटीकता के बीच प्रभावी संतुलन बनता है।
प्लग-एंड-प्ले एन्हांसमेंट (Plug-and-Play Enhancement): इस पद्धति को एक "ऑफ-द-शेल्फ" एन्हांसमेंट के रूप में डिज़ाइन किया गया है जिसके लिए कोई अतिरिक्त पैरामीटर, ट्रेनिंग या महत्वपूर्ण कंप्यूटेशनल ओवरहेड की आवश्यकता नहीं है, जिससे यह मौजूदा इनवर्जन पाइपलाइनों के साथ संगत है।

प्रायोगिक परिणाम (Experimental Results)
लेखक विभिन्न डिफ्यूजन मॉडल्स (Stable Diffusion v1.5, SDXL, और SDXL Turbo) और बेसलाइन इनवर्जन विधियों (DDIM, ReNoise, NPI, GNRI) का उपयोग करके इमेज रिकंस्ट्रक्शन (MSCOCO डेटासेट) और इमेज एडिटिंग (PIE-Bench) पर व्यापक प्रयोगों के माध्यम से TRDI को मान्य करते हैं।

रिकंस्ट्रक्शन: SD v1.5 पर, TRDI को एकीकृत करने से सभी बेसलाइन्स में मेट्रिक्स में लगातार सुधार हुआ। उदाहरण के लिए, DDIM बेसलाइन के साथ, PSNR 20.07 से बढ़कर 20.21 हो गया, और LPIPS 193.97 से घटकर 187.85 हो गया (परसेप्चुअल क्वालिटी में सुधार)। गुणात्मक परिणामों ने उन संरचनात्मक विवरणों में सुधार दिखाया जिन्हें बेसलाइन्स सटीक रूप से रिकंस्ट्रक्ट करने में विफल रहे थे, जैसे कि ट्रेन की खिड़कियां और फलों के आकार।
एडिटिंग: PIE-Bench पर, TRDI ने उच्च CLIP समानता बनाए रखते हुए स्ट्रक्चरल फिडेलिटी और बैकग्राउंड प्रिजर्वेशन में महत्वपूर्ण सुधार किया। विशेष रूप से, SDXL Turbo (4 स्टेप्स) जैसे फ्यू-स्टेप मॉडल्स के लिए, जहाँ बैकग्राउंड डिग्रेडेशन आमतौर पर गंभीर होता है, TRDI ने बैकग्राउंड प्रिजर्वेशन (जैसे, DDIM के लिए स्ट्रक्चर डिस्टेंस को 17.43% कम करना) में पर्याप्त सुधार हासिल किया।
एब्लेशन स्टडीज (Ablation Studies): अध्ययन ने पुष्टि की कि एक स्केलिंग फैक्टर $\gamma \approx 1.05$ और विंडो विड्थ $d=8$ ने स्ट्रक्चरल फिडेलिटी और सिमेंटिक एडिटेबिलिटी के बीच सबसे अच्छा ट्रेड-ऑफ प्रदान किया।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि टाइमस्टेप शेड्यूलिंग डिफ्यूजन इनवर्जन फिडेलिटी में एक महत्वपूर्ण, लेकिन पहले अनदेखा किया गया कारक है। टाइमस्टेप जंप और त्रुटि संचय के बीच परवलयाकार संबंध को प्रकट करके, लेखक प्रदर्शित करते हैं कि कंप्यूटेशनल स्टेप्स का एक रणनीतिक, नॉन-यूनिफॉर्म आवंटन वैश्विक इनवर्जन त्रुटियों को महत्वपूर्ण रूप से कम कर सकता है।

लेखक TRDI को मजबूत इनवर्जन फॉर्मूलेशन (जैसे फिक्स्ड-पॉइंट इटरेशन या स्टोकेस्टिक इनवर्जन) के विकल्प के रूप में नहीं, बल्कि एक पूरक, लाइटवेट शेड्यूलर-लेवल रेट्रोफिट के रूप में प्रस्तुत करते हैं। यह मौजूदा नियतात्मक इनवर्जन पाइपलाइनों को बिना किसी अतिरिक्त कंप्यूटेशनल लागत या मॉडल रिट्रेनिंग की आवश्यकता के बेहतर रिकंस्ट्रक्शन और एडिटिंग परिणाम प्राप्त करने की अनुमति देता है। यह कार्य इस बात पर जोर देता है कि स्टेप्स कैसे लिए जाते हैं, इसके जितना महत्वपूर्ण यह है कि स्टेप्स कब लिए जाते हैं।

समस्या: "गोल्डिलॉक्स" स्टेप साइज (The "Goldilocks" Step Size)

समाधान: एक स्मार्ट वॉकिंग प्लान

यह क्यों महत्वपूर्ण है

संक्षेप में

इसी तरह के और पेपर