💻 computer science

Clustered Codebook Quantization for 2D Gaussian-based Image Compression

यह शोध पत्र क्लस्टर-गाइडेड वेक्टर क्वांटाइजेशन (CGVQ) को प्रस्तुत करता है, जो एक ऐसी विधि है जो 2D गॉसियन-आधारित इमेज कंप्रेशन के लिए बेसलाइन के समान दृश्य गुणवत्ता बनाए रखते हुए बिट्स-पर-पिक्सेल में 20% की कमी प्राप्त करने के लिए क्वांटाइजेशन से पहले गॉसियन मापदंडों को सजातीय समूहों में विभाजित करती है।

मूल लेखक: Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

प्रकाशित 2026-07-08

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Runze Cheng, Yicheng Zhan, Josef Spjut, Kaan Akşit

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, उच्च-रिज़ॉल्यूशन वाली डिजिटल पेंटिंग है जो लाखों छोटे, चमकते हुए, अंडाकार स्टिकर (जिन्हें "2D गॉसियन प्रिमिटिव्स" कहा जाता है) से बनी है। प्रत्येक स्टिकर के पास विशिष्ट निर्देश हैं कि उसे कहाँ बैठना है, कितना बड़ा होना है, कैसे घूमना है और किस रंग में चमकना है। यह तरीका छवियों को शार्प और वास्तविक दिखाने के लिए बेहतरीन है, लेकिन एक समस्या है: हर एक स्टिकर के सटीक निर्देशों को स्टोर करने के लिए बहुत अधिक डिजिटल स्थान की आवश्यकता होती है, जैसे कि अपने बैकपैक में एक पूरी लाइब्रेरी ले जाने की कोशिश करना।

यह शोध पत्र एक नई तरकीब पेश करता है जिसे CGVQ (क्लस्टर्ड कोडबुक क्वांटाइजेशन) कहा जाता है, ताकि चित्र की गुणवत्ता खोए बिना आपके बैकपैक को छोटा किया जा सके। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: एक आकार सबके लिए उपयुक्त नहीं (One Size Doesn't Fit All)

पहले, स्थान बचाने के लिए, शोधकर्ताओं ने सभी स्टिकर्स को एक ही विशाल "निर्देश शब्दकोश" (एक ग्लोबल कोडबुक) में फिट करने की कोशिश की। कल्पना कीजिए कि आप एक शहर की हर वस्तु का वर्णन करने की कोशिश कर रहे हैं—एक नन्ही चींटी से लेकर एक गगनचुंबी इमारत तक—केवल 1,000 शब्दों की एक सूची का उपयोग करके। आपको "बड़ी चीज़" या "छोटी चीज़" जैसे बहुत अस्पष्ट शब्दों का उपयोग करना पड़ेगा, जो विवरण को सटीक नहीं रहने देता। इससे छवियां धुंधली हो जाती हैं या उनमें "आर्टिफैक्ट्स" (अजीब ग्लिच) आ जाते हैं क्योंकि शब्दकोश विवरणों के लिए पर्याप्त विशिष्ट नहीं था।

समाधान: शैली के आधार पर छँटाई (Sorting by Style)

लेखकों का नया विचार यह है कि उन्हें सिकोड़ने (shrink करने) से पहले स्टिकर्स को समूहों में बाँटना।

छँटाई (K-Means क्लस्टरिंग): कल्पना कीजिए कि आपके पास मिश्रित लेगो ब्रिक्स (LEGO bricks) का एक डिब्बा है। उन सभी का एक साथ वर्णन करने के बजाय, आप उन्हें ढेरों में बाँट देते हैं: लाल ईंटों के लिए एक ढेर, नीली ईंटों के लिए एक, छोटी 1x1 ईंटों के लिए एक, और बड़ी 4x4 ईंटों के लिए एक। शोध पत्र में, वे छवि के स्टिकर्स को उनके "व्यक्तित्व" के आधार पर छाँटते हैं—कि वे कैसे घूमते हैं, वे कितने बड़े हैं, और उनका रंग क्या है।
विशेषज्ञ शब्दकोश (क्लस्टर-विशिष्ट कोडबुक): एक बार जब स्टिकर्स को इन व्यवस्थित ढेरों में बाँट दिया जाता है, तो सिस्टम प्रत्येक ढेर के लिए एक छोटा, विशिष्ट शब्दकोश बनाता है।
- "लाल ईंट" वाले ढेर को लाल रंगों के विशिष्ट शेड्स वाला शब्दकोश मिलता है।
- "छोटी ईंट" वाले ढेर को सटीक छोटे आकार वाला शब्दकोश मिलता है।
- चूंकि प्रत्येक शब्दकोश को केवल एक प्रकार के स्टिकर का वर्णन करना होता है, इसलिए यह बहुत अधिक सटीक हो सकता है और काम करने के लिए कम शब्दों (बिट्स) का उपयोग कर सकता है।

परिणाम: एक छोटा बैकपैक, वही चित्र

इन विशेष शब्दकोशों का उपयोग करके, सिस्टम छवि को बहुत अधिक कुशलता से वर्णित कर सकता है।

दावा: शोध पत्र कहता है कि यह विधि पिछले सबसे अच्छे तरीके (GI) की तुलना में फ़ाइल के आकार को लगभग 20% कम कर देती है, जबकि छवि को उतना ही शार्प बनाए रखती है।
समझौता (Trade-off): इसकी एक छोटी सी कीमत है। स्टिकर्स को समूहों में छाँटने और कई शब्दकोशों को प्रबंधित करने में प्रोसेस करने में थोड़ा अधिक समय लगता है। शोध पत्र नोट करता है कि जैसे-जैसे वे अधिक समूहों का उपयोग करते हैं (बेहतर गुणवत्ता प्राप्त करने के लिए), छवि को सेव करने और लोड करने की गति धीमी हो जाती है। यह एक समझौता है कि आप फ़ाइल को कितना छोटा चाहते हैं और आप इसे कितनी तेज़ी से खोलना चाहते हैं।

संक्षेप में

इसे यात्रा के लिए पैकिंग करने जैसा समझें।

पुराना तरीका: आप सब कुछ एक बड़े सूटकेस में फेंक देते हैं और उसे "सामान" लेबल कर देते हैं। यह भारी और अस्त-व्यस्त है।
नया तरीका (CGVQ): आप अपने कपड़ों को "शर्ट," "पैंट," और "जूते" में बाँटते हैं और उन्हें अलग-अलग, बिल्कुल सही आकार के बैगों में पैक करते हैं। आप उसी मात्रा में सामान को कम कुल स्थान में फिट कर सकते हैं, और आप अपनी ज़रूरत की चीज़ जल्दी पा सकते हैं (हालांकि शुरुआत में छाँटने में एक मिनट लगता है)।

शोध पत्र यह सिद्ध करता है कि छवि डेटा को पहले समान समूहों में व्यवस्थित करके, आप छवि को धुंधला किए बिना उसे काफी अधिक कंप्रेस कर सकते हैं।

तकनीकी सारांश: 2D गाऊसीयन-आधारित इमेज कंप्रेशन के लिए क्लस्टर्ड कोडबुक क्वांटाइजेशन

समस्या विवरण

गाऊसीयन-आधारित इमेज रिप्रजेंटेशन, जैसे कि Zhang et al. [2025a] द्वारा प्रस्तावित, उच्च दृश्य निष्ठा (visual fidelity) और रेजोल्यूशन-स्वतंत्र रेंडरिंग प्राप्त करने के लिए कॉम्पैक्ट पैरामीट्रिक प्रिमिटिव्स (2D Gaussians) का उपयोग करते हैं। हालांकि, प्रत्येक प्रिमिटिव के लिए आवश्यक बड़ी संख्या में अनकन्स्ट्रेंड फ्लोटिंग-पॉइंट पैरामीटर्स (पोजीशन, रोटेशन-स्केल, और कलर) को स्टोर करना बिटरेट-डिस्टॉर्शन दक्षता को काफी कम कर देता है, विशेष रूप से उच्च-फिडेलिटी लक्ष्यों के लिए।

जबकि पिछले कार्य (GI) ने इन एट्रिब्यूट्स को डिस्क्रीट कोडबुक्स में कंप्रेस करने के लिए ग्लोबल वेक्टर क्वांटाइजेशन (VQ) और रेसिडुअल वेक्टर क्वांटाइजेशन (RQ) का उपयोग करके इसे संबोधित करने का प्रयास किया, लेकिन एक सिंगल ग्लोबल कोडबुक प्राकृतिक इमेज पैरामीटर्स की विशाल विविधता को मैप करने में संघर्ष करती है। यह क्षमता संबंधी सीमा अनिवार्य रूप से क्वांटाइजेशन एरर और विजुअल आर्टिफैक्ट्स की ओर ले जाती है। मुख्य चुनौती सटीक गाऊसीय पुनर्निर्माण (reconstruction) को बनाए रखते हुए कोडबुक दक्षता में सुधार के लिए पैरामीटर एंट्रॉपी को सीमित करना है।

कार्यप्रणाली: क्लस्टर-गाइडेड वेक्टर क्वांटाइजेशन (CGVQ)

लेखक CGVQ का प्रस्ताव करते हैं, जो क्वांटाइजेशन से पहले 2D गाऊसीय प्रिमिटिव्स को होमोजेनियस समूहों में विभाजित करता है। अंतर्निहित सिद्धांत यह है कि एक निश्चित कोडबुक क्षमता के लिए, संकीर्ण पैरामीटर वितरण बेहतर क्वांटाइजेशन परिणाम देते हैं।

1. क्लस्टरिंग रणनीति

कोडबुक ट्रेनिंग से पहले, विधि K-Means क्लस्टरिंग का उपयोग करके फीचर समानता के आधार पर 2D गाऊसीय प्रिमिटिव्स को समूहित करती है:

फीचर वेक्टर: प्रत्येक प्रिमिटिव $G_i$ के लिए, एक फीचर वेक्टर $f_i$ रोटेशन ( $r_i$ ), स्केल ( $s_i$ ), और RGB कलर ( $c_i$ ) एट्रिब्यूट्स को जोड़कर बनाया जाता है।
पोजीशन का अपवर्जन: 2D पोजीशन ( $\mu_i$ ) को क्लस्टरिंग फीचर्स से जानबूझकर बाहर रखा गया है क्योंकि कंप्रेशन क्वालिटी स्थानिक सटीकता (spatial accuracy) के प्रति अत्यधिक संवेदनशील है; पोजीशन के आधार पर ग्रुपिंग करने से ज्योमेट्रिक फिडेलिटी खराब हो सकती है।
प्रक्रिया: इंट्रा-क्लस्टर वेरिएंस को कम करने के लिए नॉर्मलाइज्ड फीचर्स को $K$ विलगित (disjoint) क्लस्टर्स में विभाजित किया जाता है। क्लस्टर्स की संख्या $K$ को रिकंस्ट्रक्शन फिडेलिटी और कंप्रेशन दक्षता के बीच संतुलन बनाने के लिए मैन्युअल रूप से चुना जाता है (आमतौर पर 4 और 16 के बीच)।
निरंतरता: क्लस्टरिंग को प्रारंभिक ट्रेनिंग कन्वर्ज होने के बाद एक बार किया जाता है, और परिणामी क्लस्टर असाइनमेंट को सभी पैरामीटर-विशिष्ट क्वांटाइजर्स के बीच साझा किया जाता है।

2. प्रति-क्लस्टर कोडबुक ट्रेनिंग

एक सिंगल ग्लोबल कोडबुक के बजाय, CGVQ प्रत्येक एट्रिब्यूट प्रकार के विशिष्ट सांख्यिकीय गुणों का लाभ उठाने के लिए प्रति क्लस्टर तीन स्वतंत्र कोडबुक्स को प्रशिक्षित करता है:

पोजीशन ( $\mu$ ): "स्ट्रेट-थ्रू" फेकVQ एस्टिमेटर के साथ 16-बिट फ्लोटिंग-पॉइंट क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) का उपयोग करके मॉडल किया गया है।
रोटेशन-स्केल (RS): यूनिफॉर्म वेक्टर क्वांटाइजेशन (UQ) कोडबुक का उपयोग करके मॉडल किया गया है।
कलर ( $c$ ): फाइन-ग्रेन्ड रेसिडुअल रिफाइनमेंट के लिए रेसिडुअल वेक्टर क्वांटाइजेशन (RQ) कोडबुक का उपयोग करके मॉडल किया गया है।

इन कोडबुक्स को एक जॉइंट लॉस फंक्शन $L = L_{recon} + L_{vq}$ को मिनिमाइज करके एंड-टू-एंड प्रशिक्षित किया जाता है। रिकंस्ट्रक्शन लॉस ( $L_{recon}$ ) पिक्सेल-वाइज $L_1$ लॉस और फीचर स्पेस में परसेप्चुअल $L_1$ लॉस को जोड़ता है, जबकि $L_{vq}$ एन्कोडर आउटपुट्स को उनके असाइन किए गए कोडबुक एंट्रीज की ओर रेगुलराइज करने के लिए एक कमिटमेंट लॉस के रूप में कार्य करता है।

3. डिकोडिंग पाइपलाइन

डिकोडिंग के दौरान, प्रत्येक कंप्रेस्ड क्लस्टर को स्वतंत्र रूप से प्रोसेस किया जाता है:

क्वांटाइजेशन इंडेक्स का उपयोग तीन समर्पित कोडबुक्स (पोजीशन के लिए FP16, RS के लिए UQ, और कलर के लिए RQ) में वैल्यूज को लुकअप करने के लिए किया जाता है।
सभी $K$ क्लस्टर्स से डिकोड किए गए प्रिमिटिव्स को रेंडरिंग के लिए एक सिंगल गाऊसीय सेट में संयोजित किया जाता है।
बिटरेट रिडक्शन: अंतिम बिटरेट को और कम करने के लिए क्वांटाइजेशन इंडेक्स टेबल्स को 'पार्शियल बिट्स बैक एनकोडिंग' के माध्यम से प्रोसेस किया जाता है।

मुख्य योगदान

पार्टीशन क्वांटाइजेशन: CGVQ का प्रस्ताव, जो ग्लोबल क्वांटाइजेशन रणनीति लागू करने के बजाय, क्वांटाइजेशन से पहले 2D गाऊसीय प्रिमिटिव्स को लो-वेरिएंस समूहों में विभाजित करता है।
लोकलाइज्ड कोडबुक्स: यह प्रदर्शन कि लोकलाइज्ड, क्लस्टर-विशिष्ट कोडबुक्स ग्लोबल कोडबुक बेसलाइन्स की तुलना में बेहतर कंप्रेशन-फिडेलिटी ट्रेड-ऑफ प्रदान करते हैं, जिससे समान बिटरेट्स पर PSNR और SSIM में सुधार होता है।
क्लस्टरिंग ऑप्टिमाइजेशन: गाऊसीय रिप्रजेंटेशन के लिए भविष्य के कोडबुक क्वांटाइजेशन को अनुकूलित करने की दिशा के रूप में K-Means क्लस्टरिंग की क्षमता को उजागर करना।

प्रयोगात्मक परिणाम

प्रयोग Kodak डेटासेट पर 10K से 25K गाऊसीय प्रिमिटिव्स के साथ किए गए।

रेट-डिस्टॉर्शन परफॉरमेंस: CGVQ लगातार GI बेसलाइन से बेहतर प्रदर्शन करता है। समान रिकंस्ट्रक्शन फिडेलिटी (लगभग 31.0 dB) पर, CGVQ 20% बिट्स-पर-पिक्सेल (bpp) की कमी प्राप्त करता है (GI के 2.40 bpp के मुकाबले 1.92 bpp)।
हाई-फिडेलिटी रिजीम: लाभ उच्च-गुणवत्ता वाले रिजीम (30 dB से ऊपर) में सबसे अधिक स्पष्ट है, जहाँ CGVQ उच्च PSNR और मजबूत स्ट्रक्चरल सिमिलरिटी (SSIM) बनाए रखता है।
पैरामीटर एफिशिएंसी: 15K प्रिमिटिव्स के फिक्स्ड काउंट के साथ, CGVQ GI की तुलना में PSNR में 1.68 dB का सुधार करता है। इसके अलावा, 15K प्रिमिटिव्स वाला CGVQ, 19K प्रिमिटिव्स वाले GI के समान विजुअल क्वालिटी प्राप्त करता है, जो आवश्यक प्रिमिटिव काउंट में 21% की कमी को दर्शाता है।
कंप्यूटेशनल ट्रेड-ऑफ: क्लस्टर्स ( $K$ ) की संख्या बढ़ाने से कंप्रेशन क्वालिटी में सुधार होता है लेकिन रनटाइम ओवरहेड भी बढ़ता है। जैसे-जैसे $K$ 1 से बढ़कर 16 होता है, एनकोडिंग FPS $2.91 \times 10^{-2}$ से गिरकर $1.9 \times 10^{-3}$ हो जाता है, और डिकोडिंग FPS 133.3 से गिरकर 33.3 हो जाता है।

महत्व और दावे

पेपर का दावा है कि CGVQ इस सिद्धांत का लाभ उठाकर 2D गाऊसीय प्रिमिटिव्स की स्टोरेज कॉस्ट को प्रभावी ढंग से संबोधित करता है कि संकीर्ण पैरामीटर वितरण को सटीक रूप से क्वांटाइज करना आसान होता है। प्रकटीकरण (appearance) और एनिसोट्रॉपी (anisotropy) के आधार पर प्रिमिटिव्स को होमोजेनियस क्लस्टर्स में विभाजित करके, विधि क्लस्टर के भीतर पैरामीटर वेरिएंस को सीमित करती है, जिससे लोकलाइज्ड मल्टी-कोडबुक डिजाइन ग्लोबल दृष्टिकोण की तुलना में हाई-फ्रीक्वेंसी डिटेल्स को अधिक सटीकता से कैप्चर कर पाते हैं।

लेखक इस कार्य को GI फ्रेमवर्क के विस्तार के रूप में प्रस्तुत करते हैं, जो एक अधिक कुशल क्वांटाइजेशन रणनीति प्रदान करता है जो रेट-डिस्टॉर्शन परफॉरमेंस में सुधार करता है। हालांकि, वे स्पष्ट रूप से एक ट्रेड-ऑफ को स्वीकार करते हैं: जबकि फाइन क्लस्टरिंग के साथ कंप्रेशन क्वालिटी में सुधार होता है, यह एनकोडिंग और डिकोडिंग की गति में कमी की कीमत पर आता है। इस पद्धति को गाऊसीय-आधारित इमेज कंप्रेशन के लिए कोडबुक क्वांटाइजेशन को अनुकूलित करने की दिशा में एक कदम के रूप में प्रस्तुत किया गया है, जो विजुअल फिडेलिटी और कंप्यूटेशनल एफिशिएंसी के बीच संतुलन बनाता है।