⚡ electrical engineering

Turbo-DDCM: Fast and Flexible Zero-Shot Diffusion-Based Image Compression

यह शोध पत्र Turbo-DDCM को प्रस्तुत करता है, जो एक तेज़ और लचीला ज़ीरो-शॉट इमेज कंप्रेशन तरीका है जो प्रति चरण कई शोर वेक्टरों (noise vectors) को कुशलतापूर्वक संयोजित करके और क्षेत्र प्राथमिकता एवं विरूपण नियंत्रण के लिए अनुकूलन योग्य वेरिएंट प्रदान करके मौजूदा DDCM ढांचे को महत्वपूर्ण रूप से त्वरित करता है, और यह सब करते हुए अत्याधुनिक प्रदर्शन बनाए रखता है।

मूल लेखक: Amit Vaisman, Guy Ohayon, Hila Manor, Michael Elad, Tomer Michaeli

प्रकाशित 2026-04-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amit Vaisman, Guy Ohayon, Hila Manor, Michael Elad, Tomer Michaeli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से विस्तृत पेंटिंग है (एक उच्च-रिज़ॉल्यूशन वाली छवि) जिसे आप अपने मित्र को भेजना चाहते हैं। लेकिन एक समस्या है: आपका इंटरनेट कनेक्शन धीमा है, और फ़ाइल इतनी बड़ी है कि उसे आसानी से भेजना बहुत मुश्किल है।

पारंपरिक रूप से, फ़ाइल को छोटा करने के लिए, आपको एक "लॉसी" (lossy) विधि का उपयोग करना होगा, जैसे कि पेंटिंग को तब तक कुचलना जब तक कि वह धुंधली या पिक्सेलेटेड न हो जाए। आप जगह बचाने के लिए विवरण खो देते हैं।

Turbo-DDCM गुणवत्ता खोए बिना छवियों को सिकोड़ने का एक नया, सुपर-स्मार्ट तरीका है, और यह इसे अविश्वसनीय रूप से तेज़ करता है। यह कैसे काम करता है, यहाँ कुछ सरल कहानियों के माध्यम से समझाया गया है।

1. पुराना तरीका: "अनुमान और जाँच" करने वाला कलाकार

कल्पना कीजिए कि एक पिछला तरीका (जिसे DDCM कहा जाता है) आपकी पेंटिंग को फिर से बनाने की कोशिश कर रहे एक कलाकार के रूप में है।

उस कलाकार के पास शोर/नॉइज़ (जैसे टीवी पर दिखने वाली बर्फ जैसी सफेदी) का एक विशाल पुस्तकालय है।
अपनी छवि को फिर से बनाने के लिए, कलाकार बर्फ से ढके एक खाली कैनवास से शुरुआत करता है।
उन्हें अपने पुस्तकालय से एक विशिष्ट शोर का कण चुनना होता है, उसे कैनवास में जोड़ना होता है, और देखना होता है कि क्या वह मदद करता है।
यदि वह सही नहीं दिखता है, तो वे दूसरे कण को आज़माते हैं। वे ऐसा सैकड़ों बार (चरणों में) करते हैं ताकि चित्र सही बन सके।
समस्या: यह समुद्र तट से रेत का एक विशिष्ट कण खोजने जैसा है, जहाँ आप एक उठाते हैं, उसे देखते हैं, वापस रखते हैं, और फिर दूसरा उठाते हैं। इसमें बहुत समय लगता है (प्रति छवि मिनटों में) और यह कंप्यूटर के लिए बहुत थकाऊ है।

2. नया तरीका: "टर्बो" टीम

Turbo-DDCM खेल बदल देता है। एक-एक करके शोर का कण चुनने के बजाय, कल्पना कीजिए कि उनके पास एक सुपरपावर है।

टीम वर्क का उदाहरण: एक बार में एक शोर वेक्टर चुनने के बजाय, Turbo-DDCM एक साथ पूरी टीम के शोर वेक्टर्स को पकड़ लेता है।
गणित का जादू: यह एक चतुर गणितीय शॉर्टकट (एक "क्लोज्ड-फॉर्म सॉल्यूशन") का उपयोग करता है जो तुरंत यह पता लगा लेता है कि शोर के कौन से 50, 100, या यहाँ तक कि 300 कणों का सटीक संयोजन चित्र को सबसे बेहतर तरीके से ठीक करेगा। यह अनुमान नहीं लगाता; यह एक सेकंड के भीतर सटीक मिश्रण की गणना करता है।
परिणाम: क्योंकि यह एक अकेले कण के बजाय शोर की एक "टीम" के साथ चित्र को ठीक कर सकता है, इसलिए इसे 1,000 के बजाय केवल 30 चरणों की आवश्यकता होती है।
- पुराना तरीका: 1,000 चरण = 65 सेकंड।
- टर्बो तरीका: 30 चरण = 1.8 सेकंड।

यह एक देश के पार पैदल चलने से लेकर एक सुपरसोनिक जेट लेने जैसा है।

3. "ज़िप कोड" का कमाल (जगह बचाना)

आप अपने मित्र को निर्देश कैसे भेजते हैं?

पुराना तरीका: आप एक लंबी सूची भेजते हैं जैसे, "शोर #4,521 चुनें, फिर शोर #99, फिर शोर #12..." यह सूची लंबी है और जगह लेती है।
टर्बो तरीका: यह पेपर एक नया "ज़िप कोड" सिस्टम पेश करता है। चूंकि शोर की टीम को चुनने का क्रम वास्तव में मायने नहीं रखता (केवल यह मायने रखता है कि कौन से शोर चुने गए हैं), नया सिस्टम उस सूची को एक छोटे, कुशल कोड में संकुचित कर देता है।
उदाहरण: केक में इस्तेमाल होने वाली हर सामग्री की सूची देने वाला 10 पन्नों का पत्र भेजने के बजाय, आप बस एक छोटा कोड भेज देते हैं जो कहता है "चॉकलेट केक, एक्स्ट्रा फज"। यह लगभग 40% अधिक जगह बचाता है।

4. "वीआईपी सेक्शन" (प्राथमिकता जागरूकता)

कभी-कभी, आपको इस बात से फर्क नहीं पड़ता कि फोटो का बैकग्राउंड थोड़ा धुंधला है, लेकिन आपको व्यक्ति का चेहरा एकदम स्पष्ट चाहिए (जैसे मेडिकल स्कैन या वीडियो कॉल में)।

Turbo-DDCM में एक विशेष मोड है जहाँ आप छवि के महत्वपूर्ण हिस्से के चारों ओर एक घेरा बना सकते हैं।
एल्गोरिदम फिर कहता है, "ठीक है, मैं चेहरे के लिए अपने सबसे अच्छे, सबसे विस्तृत शोर संयोजनों का उपयोग करूँगा, और मैं बैकग्राउंड के लिए एक सरल, सस्ता मिश्रण उपयोग करूँगा।"
यह सुनिश्चित करता है कि महत्वपूर्ण हिस्से एकदम परफेक्ट दिखें बिना अधिक इंटरनेट बैंडविड्थ खर्च किए।

5. "लक्ष्य गुणवत्ता" मोड (Target Quality Mode)

आमतौर पर, आप कंप्रेसर को बताते हैं, "इस फ़ाइल को 1 मेगाबाइट का बना दो।" लेकिन कभी-कभी, एक जटिल छवि 1MB पर खराब दिख सकती है, जबकि एक सरल छवि बहुत अच्छी दिख सकती है।

Turbo-DDCM में एक नया मोड है जहाँ आप कहते हैं, "मैं चाहता हूँ कि चित्र इतना शार्प हो (जैसे, 25 PSNR)।"
सिस्टम स्वचालित रूप से यह पता लगा लेता है कि उस शार्पनेस लक्ष्य तक पहुँचने के लिए कितने स्थान (बिट्स) की आवश्यकता है, जिससे यह चलते-फिरते खुद को एडजस्ट करता है ताकि कम फ़ाइल आकार की सीमा के कारण आपकी तस्वीर धुंधली न हो जाए।

सारांश: यह एक बड़ी बात क्यों है?

गति: यह सबसे तेज़ "जीरो-शॉट" (बिना किसी ट्रेनिंग की आवश्यकता के) तरीका है। यह अगली सबसे अच्छी चीज़ से लगभग 10 गुना तेज़ है।
गुणवत्ता: यह चित्र को उतना ही अच्छा बनाए रखता है जितना कि धीमे और भारी तरीके।
लचीलापन: यह किसी भी छवि पर काम करता है, इसके लिए किसी विशेष कंप्यूटर चिप की आवश्यकता नहीं है, और यह आपको छवि के महत्वपूर्ण हिस्सों को प्राथमिकता देने की अनुमति देता है।

संक्षेप में: Turbo-DDCM एक ऐसे घोंघे से अपग्रेड करने जैसा है जो एक भारी ईंट (छवि) लेकर चलता है, एक रॉकेट शिप में, जो उसी ईंट को ले जाता है लेकिन आपके जूते के फीते बांधने से पहले ही पहुँच जाता है। यह तेज़ है, स्मार्ट है, और चित्र को एकदम परफेक्ट रखता है।

यहाँ शोध पत्र "TURBO-DDCM: FAST AND FLEXIBLE ZERO-SHOT DIFFUSION-BASED IMAGE COMPRESSION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि ज़ीरो-शॉट डिफ्यूजन-आधारित इमेज कंप्रेशन विधियों ने अत्याधुनिक (SOTA) रेट-डिस्ट्रोशन-परसेप्शन ट्रेड-ऑफ हासिल कर लिए हैं, वे अत्यधिक कम्प्यूटेशनल लागत और धीमी इन्फरेंस टाइम (inference times) से ग्रस्त हैं। मौजूदा विधियाँ (जैसे DDCM, PSC, DiffC) अक्सर सैकड़ों या हजारों डिफ्यूजन स्टेप्स और शोर वेक्टर (noise vectors) चुनने के लिए महंगे पुनरावृत्ति खोज प्रक्रियाओं (जैसे Matching Pursuit) की आवश्यकता रखती हैं। इसके परिणामस्वरूप राउंड-ट्रिप कंप्रेशन/डीकंप्रेशन समय दर्जनों सेकंड से लेकर कई मिनटों तक होता है, जो उन्हें वास्तविक दुनिया के अनुप्रयोगों के लिए अव्यावहारिक बनाता है। इसके अलावा, मौजूदा ज़ीरो-शॉट विधियों में अक्सर उपयोगकर्ता-निर्धारित प्राथमिकताओं (Region-of-Interest) को संभालने या केवल बिटरेट के बजाय डिस्ट्रोशन स्तरों (PSNR) को नियंत्रित करने में लचीलेपन की कमी होती है।

2. कार्यप्रणाली: Turbo-DDCM (Methodology: Turbo-DDCM)

लेखक Turbo-DDCM का प्रस्ताव करते हैं, जो डिनोइजिंग डिफ्यूजन कोडबुक मॉडल्स (DDCM) पर आधारित एक अत्यधिक कुशल ज़ीरो-शॉट कंप्रेशन फ्रेमवर्क है। मुख्य नवाचार धीमी, पुनरावृत्ति शोर चयन प्रक्रिया को एक क्लोज्ड-फॉर्म, थ्रेशोल्डिंग-आधारित ऑप्टिमाइज़ेशन से बदलने में निहित है जो कई शोर वेक्टर्स के एक साथ संयोजन की अनुमति देता है।

A. कुशल मल्टी-एटम चयन (The Core Innovation)

मानक DDCM में, एनकोडर प्रत्येक चरण में पुनर्निर्माण त्रुटि (reconstruction error) को कम करने के लिए एक पुनरुत्पादक गाऊसी कोडबुक (Gaussian codebook) से एक एकल शोर वेक्टर चुनता है। गुणवत्ता में सुधार के लिए, DDCM कई एटम्स के कॉनवेक्स कॉम्बिनेशन (convex combination) को चुनने के लिए मैचिंग पर्टसूट (Matching Pursuit - MP) रणनीति का उपयोग करता है, लेकिन यह पुनरावृत्ति वाला और धीमा है।

Turbo-DDCM इसे एक प्रतिबंधित स्पार्स लीस्ट-स्क्वायर्स समस्या (constrained sparse least-squares problem) के रूप में पुनर्गठित करता है:
$s^*_t = \arg \min_{s_t} \| C_t s_t - (x_0 - \hat{x}_{0|t}) \|_2^2 \quad \text{s.t.} \quad \|s_t\|_0 = M, \quad (s_t)_i \in V \cup \{0\}$
जहाँ:

$C_t$ $K$ i.i.d. गाऊसी एटम्स का कोडबुक है।
$x_0 - \hat{x}_{0|t}$ डिनोइज़र के प्रेडिक्शन और लक्षित छवि के बीच का अवशेष (residual) है।
$M$ संयोजित किए जाने वाले एटम्स की संख्या है।
$V$ एक क्वांटाइजेशन सेट है (जैसे, $\{-1, +1\}$ )।

मुख्य अंतर्दृष्टि (Key Insight): उच्च-आयामी स्थानों (high-dimensional spaces) में, गाऊसी रैंडम वेक्टर्स लगभग ऑर्थोगोनल (nearly orthogonal) होते हैं। इस गुण का लाभ उठाते हुए, लेखक एक क्लोज्ड-फॉर्म समाधान निकालते हैं जो एक थ्रेशोल्डिंग एल्गोरिदम का उपयोग करता है:

सभी कोडबुक एटम्स और अवशेष (residual) के बीच इनर प्रोडक्ट की गणना करें।
सबसे बड़े एब्सोल्यूट इनर प्रोडक्ट वाले शीर्ष $M$ एटम्स का चयन करें।
इनर प्रोडक्ट के चिह्न के आधार पर गुणांक (coefficients) असाइन करें (यह नकारात्मक गुणांकों की अनुमति देकर खोज स्थान को प्रभावी रूप से दोगुना कर देता है, जो DDCM के कॉनवेक्स कॉम्बिनेशन के विपरीत है)।

यह दृष्टिकोण इटरेटिव ग्रीडी सर्च की आवश्यकता को समाप्त करता है, जिससे जटिलता $\Theta(M^2 C K d)$ (DDCM MP) से घटकर $\Theta(Kd)$ हो जाती है, जिससे क्रमों (orders of magnitude) की गति वृद्धि प्राप्त होती है।

B. कुशल बिटस्ट्रीम प्रोटोकॉल (Efficient Bitstream Protocol)

मूल DDCM प्रोटोकॉल चयनित एटम्स के इंडेक्स को क्रमिक रूप से एनकोड करता है, जिससे क्रम मायने नहीं रखने पर (चूंकि संयोजन क्रमविनिमेय/commutative है) फैक्टोरियल रेडंडेंसी होती है। Turbo-DDCM एक लेक्सिकोग्राफिकल एनकोडिंग प्रोटोकॉल (lexicographical encoding protocol) पेश करता है:

यह $K$ एटम्स में से $M$ इंडेक्स के संयोजन को एक एकल पूर्णांक (संयोजन की रैंक) के रूप में एनकोड करता है, न कि एक क्रमबद्ध अनुक्रम के रूप में।
यह बिटरेट ओवरहेड को काफी कम करता है (आमतौर पर ~40% की कमी) और चयनित शोर का अधिक कुशल प्रतिनिधित्व करने की अनुमति देता है।

C. लचीले वेरिएंट्स (Flexible Variants)

प्रायोरिटी-अवेयर कंप्रेशन (Priority-Aware Compression): यह विधि एक लेटेंट प्रायोरिटी मास्क $w$ को शामिल करती है। ऑप्टिमाइज़ेशन समस्या को $w$ द्वारा अवशेष (residual) को वेट देने के लिए संशोधित किया जाता है, जिससे मॉडल कुल बिटरेट बदले बिना उपयोगकर्ता-निर्दिष्ट क्षेत्रों (जैसे फोटो में चेहरे) को अधिक "बिट्स" (बेहतर पुनर्निर्माण) आवंटित कर सकता है।
डिस्ट्रोशन-कंट्रोल्ड कंप्रेशन (Distortion-Controlled Compression): एक निश्चित बिटरेट को लक्षित करने के बजाय, सिस्टम लक्षित PSNR प्राप्त करने के लिए आवश्यक बिटरेट का अनुमान लगाता है। यह JPEG फ़ाइल आकार (एक तेज़ प्रॉक्सी) और डिफ्यूजन पद्धति के परिणामी PSNR के बीच सहसंबंध का लाभ उठाता है ताकि प्रति छवि बिटरेट को गतिशील रूप से समायोजित किया जा सके।

3. मुख्य योगदान (Key Contributions)

Turbo-DDCM एल्गोरिदम: एक नया ज़ीरो-शॉट कंप्रेशन तरीका जो आवश्यक डिफ्यूजन स्टेप्स की संख्या को 92% (लग ~1000 से ~30 तक) कम कर देता है, जबकि SOTA प्रदर्शन बनाए रखता है।
क्लोज्ड-फॉर्म नॉइज़ कॉम्बिनेशन: इटरेटिव मैचिंग पर्टसूट के स्थान पर कई शोर वेक्टर्स का तेज़, थ्रेशोल्ड-आधारित चयन लाता है, जिससे नगण्य रनटाइम लागत के साथ बड़े $M$ (300 एटम्स तक) का उपयोग संभव होता है।
नया बिट प्रोटोकॉल: एक लेक्सिकोग्राफिकल एनकोडिंग स्कीम जो फैक्टोरियल रेडंडेंसी को समाप्त करती है, जिससे एनकोडिंग दक्षता में काफी सुधार होता है।
लचीलापन: प्रायोरिटी-अवेयर (ROI) और डिस्ट्रोशन-कंट्रोल्ड (PSNR-लक्षित) वेरिएंट्स की शुरुआत, जो पहले ज़ीरो-शॉट डिफ्यूजन कंप्रेशन में अनुपस्थित थे।
गति: यह एक मानक GPU पर प्रति छवि ~1.8 सेकंड का राउंड-ट्रिप समय प्राप्त करता है (512x512), जो मौजूदा सबसे तेज़ ज़ीरो-शॉट विधियों (DiffC) की तुलना में लगभग एक क्रम (order of magnitude) तेज़ और DDCM की तुलना में 30-50 गुना तेज़ है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Kodak24 और DIV2K डेटासेट्स पर SOTA ज़ीरो-शॉट विधियों (PSC, DDCM, DiffC) और ट्रेनिंग-आधारित विधियों (StableCodec, HiFiC, BPG) के विरुद्ध किया गया।

प्रदर्शन (रेट-डिस्ट्रोशन-परसेप्शन): Turbo-DDCM अन्य ज़ीरो-शॉट विधियों की तुलना में प्रतिस्पर्धी या बेहतर PSNR, LPIPS और FID स्कोर प्राप्त करता है। यह DDCM और PSC से काफी बेहतर प्रदर्शन करता है। हालांकि यह बहुत उच्च बिटरेट पर विशेष प्रशिक्षण-आधारित विधियों (जैसे StableCodec) से थोड़ा पीछे रह जाता है (SD 2.1 लेटेंट स्पेस की अंतर्निहित सीमाओं के कारण), यह लो-टू-मिड बिटरेट पर उत्कृष्ट प्रदर्शन करता है।
गति:
- Turbo-DDCM: ~1.3s – 2.5s (बिटरेट के आधार पर)।
- DiffC (SOTA ज़ीरो-शॉट): ~2.2s – 19s (कस्टम CUDA कर्नेल के साथ)।
- DDCM: ~16s – 87s।
- PSC: >300s।
- Turbo-DDCM, उच्च बिटरेट पर DDCM की तुलना में ~34x तेज़ और DiffC की तुलना में ~3x तेज़ है, जबकि DiffC कस्टम हार्डवेयर एक्सेलेरेशन का उपयोग करता है।
स्केलेबिलिटी: इसका रनटाइम स्थिर रहता है, जबकि DiffC में बिटरेट बढ़ने के साथ रनटाइम काफी बढ़ जाता है।
वेरिएंट्स: प्रायोरिटी-अवेयर वेरिएंट अत्यंत कम बिटरेट पर भी विशिष्ट क्षेत्रों को उच्च निष्ठा (fidelity) के साथ सफलतापूर्वक पुनर्निर्मित करता है जहाँ अन्य विधियाँ विफल हो जाती हैं। डिस्ट्रोशन-कंट्रोल्ड वेरिएंट निश्चित-बिटरेट दृष्टिकोणों की तुलना में छवियों के बीच PSNR विचरण (variance) को ~40% कम करता है।

5. महत्व (Significance)

Turbo-DDCM ज़ीरो-शॉट डिफ्यूजन कंप्रेशन को व्यावहारिक बनाने की दिशा में एक बड़ी सफलता है। शोर चयन (noise selection) की कम्प्यूटेशनल बाधा को हल करके, यह डिफ्यूजन मॉडल्स की उच्च धारणात्मक गुणवत्ता (perceptual quality) और वास्तविक दुनिया के अनुप्रयोगों की गति संबंधी आवश्यकताओं के बीच के अंतर को पाटता है।

यूनिवर्सल बैकन (Universal Backbone): यह "ज़ीरो-शॉट" लाभ को बरकरार रखता है, जिससे एक ही प्री-ट्रेंड मॉडल (जैसे Stable Diffusion) का उपयोग कंप्रेशन, रेस्टोरेशन और एडिटिंग के लिए बिना री-ट्रेनिंग के किया जा सकता है।
हार्डवेयर एग्नोस्टिक (Hardware Agnostic): यह अपनी गति वृद्धि कस्टम हार्डवेयर (CUDA कर्नेल) के बजाय एल्गोरिथमिक दक्षता (क्लोज्ड-फॉर्म समाधान) के माध्यम से प्राप्त करता है, जिससे यह मानक GPUs पर सुलभ हो जाता है।
भविष्य की दिशा: यह जनरेटिव AI पाइपलाइनों में स्थिर बिटरेट बाधाओं से आगे बढ़कर, अनुकूलित, उपयोगकर्ता-केंद्रित कंप्रेशन (ROI, लक्ष्य PSNR) के द्वार खोलता है।

संक्षेप में, Turbo-DDCM डिफ्यूजन-आधारित इमेज कंप्रेशन को एक धीमी, प्रयोगात्मक तकनीक से एक तेज़, लचीली और प्रतिस्पर्धी समाधान में बदल देता है जो व्यावहारिक तैनाती के लिए उपयुक्त है।