💻 computer science

Beyond Stationarity: Rethinking Codebook Collapse in Vector Quantization

यह शोध पत्र एनकोडर अपडेट की नॉनस्टेशनरी प्रकृति को वेक्टर क्वांटाइजेशन में कोडबुक कोलैप्स के मूल कारण के रूप में पहचानता है और लगभग पूर्ण कोडबुक उपयोगिता और बेहतर पुनर्निर्माण गुणवत्ता प्राप्त करने के लिए दो नवीन विधियों, NSVQ और TransVQ का प्रस्ताव करता है।

मूल लेखक: Hao Lu, Onur C. Koyun, Yongxin Guo, Zhengjie Zhu, Abbas Alili, Metin Nafi Gurcan

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Lu, Onur C. Koyun, Yongxin Guo, Zhengjie Zhu, Abbas Alili, Metin Nafi Gurcan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: "लाइब्रेरी" की समस्या

कल्पना कीजिए कि आप हर संभव छवि (जैसे चेहरे, परिदृश्य या बिल्लियाँ) को स्टोर करने के लिए एक विशाल लाइब्रेरी बना रहे हैं। जगह बचाने के लिए, आप इन छवियों को एक कोडबुक (Codebook) में व्यवस्थित करने का निर्णय लेते हैं—जो लगभग 1,000 मानक "बिल्डिंग ब्लॉक्स" (या "कोड्स") का एक शब्दकोश है।

जब कंप्यूटर एक नई तस्वीर देखता है, तो वह पूरी तस्वीर को स्टोर नहीं करता। इसके बजाय, वह अपने शब्दकोश को देखता है और कहता है, "यह तस्वीर मुख्य रूप से ब्लॉक #42 और ब्लॉक #99 से बनी है।" यह केवल 42 और 99 नंबरों को सेव करता है। यह वेक्टर क्वांटाइजेशन (Vector Quantization - VQ) है। आधुनिक AI इसी तरह कुशलता से इमेज जेनरेट करता है।

समस्या: "मृत" अलमारियाँ (The "Dead" Shelves)
यह पेपर एक निराशाजनक समस्या की पहचान करता है जिसे कोडबुक कोलैप्स (Codebook Collapse) कहा जाता है।
कल्पना कीजिए कि आपके पास 1,000 अलमारियों वाली एक लाइब्रेरी है। लेकिन कुछ हफ्तों के उपयोग के बाद, आपको एहसास होता है कि 90% अलमारियाँ पूरी तरह खाली हैं। लाइब्रेरियन (AI) लगातार उन्हीं 100 लोकप्रिय किताबों को उठाता रहता है और बाकी 900 को अनदेखा कर देता है।

क्यों? क्योंकि "किताबें" (कोड वेक्टर्स) फंस गई हैं। वे सीखना बंद कर देती हैं।
परिणाम: AI जटिल नई छवियों का सटीक वर्णन नहीं कर पाता क्योंकि उसे केवल सीमित उपकरणों के सेट का उपयोग करने के लिए मजबूर किया जाता है। यह 100 रंगों के बॉक्स होने के बावजूद केवल तीन रंगों का उपयोग करके एक मास्टरपीस पेंट करने जैसा है।

मूल कारण: "बदलता लक्ष्य" (The "Moving Target")

लेखकों ने खोजा कि ऐसा क्यों होता है। यह केवल बुरा भाग्य नहीं है; यह इसलिए है क्योंकि एनकोडर (Encoder) (AI का वह हिस्सा जो तस्वीर को देखता है और तय करता है कि कौन सा ब्लॉक उपयोग करना है) लगातार अपना मन बदल रहा है।

उपमा: चलता हुआ बस स्टॉप (The Moving Bus Stop)
कल्पना कीजिए कि कोडबुक एक बस स्टॉप है, और डेटा (तस्वीरें) बस का इंतजार कर रहे यात्री हैं।

सेटअप: बस स्टॉप यात्रियों को पकड़ने के लिए बिल्कुल सही जगह पर सेट किया गया है।
ड्रिफ्ट (विस्थापन): जैसे-जैसे AI सीखता है, "बस स्टॉप" (जिस तरह से AI दुनिया को देखता है) थोड़ा खिसकने लगता है। शायद यह थोड़ा बाईं ओर खिसक जाए, या ज़ूम इन हो जाए।
कोलैप्स: जो यात्री पुराने बस स्टॉप के पास खड़े थे, वे अब दूर हो गए हैं। बस ड्राइवर (AI) उन्हें उठाना बंद कर देता है क्योंकि वे "रेंज से बाहर" हैं।
परिणाम: वे यात्री (अनयूज्ड कोड वेक्टर्स) पीछे छूट जाते हैं। उन्हें कभी अपडेट नहीं किया जाता, इसलिए वे बेकार "डेड कोड्स" बन जाते हैं। इस बीच, बस ड्राइवर उन्हीं कुछ यात्रियों को उठाता रहता है जो नए बस स्टॉप के ठीक बगल में खड़े होते हैं।

समाधान: दो नई रणनीतियाँ

पेपर इन समस्याओं को ठीक करने के लिए दो चतुर तरीके प्रस्तावित करता है, जिससे यह सुनिश्चित होता है कि लाइब्रेरी की हर एक अलमारी का उपयोग किया जाए।

1. NS-VQ: "रिपल इफेक्ट" (The "Ripple Effect")

विचार: जब बस ड्राइवर बस स्टॉप को हटाता है, तो उसे पीछे छूटे हुए यात्रियों को अनदेखा नहीं करना चाहिए। उन्हें एक "रिपल" (लहर) भेजकर यह बताना चाहिए कि उन्हें करीब आना चाहिए।

यह कैसे काम करता है:
पारंपरिक AI में, यदि किसी कोड को नहीं चुना जाता है, तो उसे कोई अपडेट नहीं मिलता। वह समय में वहीं जम जाता है।
NS-VQ (Non-Stationary Vector Quantization) में, AI एक गणितीय "रिपल" (कर्नेल नियम) का उपयोग करता है। भले ही वर्तमान तस्वीर के लिए किसी विशिष्ट कोड को नहीं चुना गया हो, AI गणना करता है: "चूंकि बस स्टॉप हिला है, इसलिए आपको भी थोड़ा हिलना चाहिए।"

रूपक: यह कक्षा में एक शिक्षक की तरह है। यदि शिक्षक ब्लैकबोर्ड को खिसकाता है, तो वह केवल सामने बैठे छात्र को ही नहीं कहता, बल्कि वह धीरे से सभी को अपनी स्थिति बदलने के लिए प्रेरित करता है ताकि हर कोई सही जगह पर रहे।
परिणाम: कोई भी कोड पीछे नहीं छूटता। पूरी लाइब्रेरी सक्रिय और उपयोगी बनी रहती है।

2. TransVQ: "स्मार्ट ट्रांसलेटर" (The "Smart Translator")

विचार: हर किताब को व्यक्तिगत रूप से हिलाने के बजाय, आइए पूरी लाइब्रेरी के सामने एक "स्मार्ट ट्रांसलेटर" रखें जो एक साथ पूरे संग्रह को नया आकार दे सके।

यह कैसे काम करता है:
यह तरीका एक ट्रांसफॉर्मर (Transformer) का उपयोग करता है (एक प्रकार का AI जो संदर्भ समझने में प्रसिद्ध है, जैसे चैटबॉट्स)। यह शब्दकोश और AI के बीच एक हल्के वजन वाले फिल्टर के रूप में कार्य करता है।

रूपक: कल्पना कीजिए कि लाइब्रेरी लेगो ब्रिक्स (Lego bricks) का एक सेट है। हर ईंट को मैन्युअल रूप से हिलाने के बजाय, आप पूरे बॉक्स को एक "जादुई सांचे" (ट्रांसफॉर्मर) में डालते हैं। जैसे-जैसे AI सीखता है, वह सांचा पूरे बॉक्स के ब्रिक्स को एक साथ नया आकार देता है ताकि वे नई तस्वीरों के साथ पूरी तरह फिट हो सकें।
लाभ: यह लाइब्रेरी के गणितीय नियमों को बरकरार रखता है (ताकि AI भ्रमित न हो) लेकिन पूरे शब्दकोश को एक साथ विकसित होने की अनुमति देता है, जिससे किसी भी एकल शेल्फ के बेकार होने की संभावना खत्म हो जाती है।

परिणाम: एक पूर्ण लाइब्रेरी

शोधकर्ताओं ने सेलिब्रिटी चेहरों (CelebA-HQ) के डेटासेट पर इन विचारों का परीक्षण किया।

पुराना तरीका: जैसे-जैसे उन्होंने शब्दकोश को बड़ा किया, AI और खराब होता गया क्योंकि अधिक अलमारियाँ "डेड" हो गईं।
नया तरीका (NS-VQ और TransVQ): उन्होंने शब्दकोश को बहुत बड़ा बनाया, और 100% अलमारियों का उपयोग किया गया।
निष्कर्ष: जेनरेट की गई छवियां अधिक शार्प, विस्तृत और वास्तविक दिखने वाली थीं क्योंकि AI के पास अपनी पूरी शब्दावली तक पहुंच थी, न कि केवल एक छोटे से हिस्से तक।

यह क्यों महत्वपूर्ण है?

यह पेपर महत्वपूर्ण है क्योंकि यह AI को ठीक करने के लिए केवल "अंदाजे" लगाने से आगे बढ़ता है।

पहले: लोग "डेड शेल्व्स" की समस्या को ठीक करने के लिए रैंडम ट्रिक्स (जैसे शब्दकोश को रीसेट करना या शोर/नॉइज़ जोड़ना) का उपयोग करते थे। यह काम करता था, लेकिन किसी को नहीं पता था कि क्यों।
अब: लेखकों ने साबित किया कि समस्या "बदलता लक्ष्य" (non-stationarity) है। इस गतिशीलता को ठीक करके, उन्होंने बेहतर, बड़े और अधिक विश्वसनीय AI मॉडल बनाने के लिए एक ठोस, सैद्धांतिक आधार तैयार किया है।

संक्षेप में: उन्होंने पता लगाया कि AI अपने अधिकांश उपकरणों को क्यों अनदेखा कर रहा था, और उन्होंने ऐसे दो नए सिस्टम बनाए जो यह सुनिश्चित करते हैं कि हर उपकरण को मौका मिले, जिसके परिणामस्वरूप अधिक स्मार्ट और रचनात्मक AI प्राप्त हुआ।

1. समस्या का विवरण: कोडबुक कोलैप्स (Codebook Collapse)

वेक्टर क्वांटाइजेशन (VQ) आधुनिक जनरेटिव मॉडल्स (जैसे VQ-VAE, VQ-GAN, लेटेंट डिफ्यूजन मॉडल्स) का एक आधार स्तंभ है। हालाँकि, यह कोडबुक कोलैप्स नामक एक निरंतर समस्या से ग्रस्त है।

घटना: जैसे-जैसे कोडबुक का आकार बढ़ता है, कोड वेक्टर्स का एक बड़ा हिस्सा उपयोग में नहीं आता ("डेड" या मृत रह जाता है)।
वर्तमान सीमाएँ: मौजूदा समाधान (जैसे स्टोकेस्टिक क्वांटाइजेशन, कोडबुक रिसेट्स, डिस्ट्रीब्यूशन रेगुलराइजेशन) काफी हद तक ह्यूरिस्टिक (अनुभवजन्य) हैं। वे उपयोगिता (utilization) को अनुभवजन्य रूप से तो सुधारते हैं, लेकिन उनमें ठोस सैद्धांतिक आधार की कमी है, जिससे उच्च उपयोगिता होने पर भी प्रदर्शन असंगत रहता है।
अंतराल (Gap): कोई स्पष्ट सैद्धांतिक स्पष्टीकरण नहीं है कि कोडबुक एंट्रीज अपडेट प्राप्त करने में विफल क्यों होती हैं और निष्क्रिय क्यों हो जाती हैं।

2. सैद्धांतिक अंतर्दृष्टि: नॉन-स्टेशनैरिटी (Non-Stationarity)

लेखक एक नया सैद्धांतिक परिप्रेक्ष्य प्रस्तावित करते हैं जो एन्कोडर अपडेट्स की नॉन-स्टेशनरी प्रकृति को कोडबुक कोलैप्स के मूल कारण के रूप में पहचानता है।

तंत्र (Mechanism): मानक VQ-VAE में, एन्कोडर पैरामीटर्स ( $\theta$ ) को बैकप्रोपैगेशन के माध्यम से अपडेट किया जाता है। इसके कारण लेटेंट रिप्रेजेंटेशन $E_\theta(x)$ समय के साथ बदलता (drift) रहता है।
परिणाम: जब एन्कोडर ड्रिफ्ट करता है, तो इनपुट से लेटेंट स्पेस का मैपिंग शिफ्ट हो जाता है। जो कोड वेक्टर्स डेटा के एक विशिष्ट क्षेत्र के लिए पहले अनुकूल (optimal) थे, वे अब नए इनपुट्स के लिए चुने नहीं जाते क्योंकि एन्कोडर का आउटपुट उनके वोरोनोई रीजन्स (Voronoi regions) से बाहर चला गया है।
प्रभाव: बिना चुने गए कोड वेक्टर्स को कोई ग्रेडिएंट अपडेट प्राप्त नहीं होता, जिससे वे "डेड" हो जाते हैं और विकसित होते डेटा डिस्ट्रीब्यूशन को ट्रैक करने में विफल रहते हैं। यही कारण है कि बड़े बैच साइज (जो एक साथ अधिक कोड्स को अपडेट करते हैं) अनुभवजन्य रूप से कोडबुक कोलैप्स को कम करते हैं।

3. कार्यप्रणाली (Methodology)

इसे संबोधित करने के लिए, लेखक दो नई विधियाँ प्रस्तावित करते हैं जो $k$ -means समाधान के सैद्धांतिक अभिसरण (convergence) को सुरक्षित रखते हुए एन्कोडर ड्रिफ्ट को स्पष्ट रूप से संभालती हैं।

A. नॉन-स्टेशनरी वेक्टर क्वांटाइजेशन (NS-VQ)

NS-VQ अपडेट नियम को इस तरह संशोधित करता है कि एन्कोडर ड्रिफ्ट को गैर-चयनित (non-selected) कोड्स तक पहुँचाया जा सके।

मुख्य विचार: केवल "विजेता" कोड (वह जो इनपुट के सबसे करीब है) को अपडेट करने के बजाय, NS-VQ वर्तमान इनपुट के ग्रेडिएंट के आधार पर सभी कोड वेक्टर्स को अपडेट करने के लिए एक कर्नल-आधारित नियम लागू करता है।
तंत्र:
1. यह न्यूरल टैनजेंट कर्नेल (NTK) का उपयोग करके गैर-चयनित कोड्स के लिए लेटेंट रिप्रेजेंटेशन में परिवर्तन ( $\Delta E$ ) का अनुमान लगाता है।
2. इसे व्यावहारिक बनाने के लिए, यह इनपुट एम्बेडिंग और कोड वेक्टर्स के बीच की दूरी के आधार पर NTK को एक गॉसियन RBF कर्नेल के साथ अनुमानित करता है।
3. अपडेट नियम: एक गैर-चयनित कोड $c_{q_j}$ के लिए, अपडेट इनपुट एम्बेडिंग से दूरी के समानुपाती होता है, जिसे एक कर्नेल फंक्शन द्वारा स्केल किया जाता है:
  $\Delta c_{q_j} \approx \exp\left(-\frac{\|E(x_i) - c_{q_j}\|^2}{2\sigma^2}\right) (E(x_i) - c_{q_j})$
संशोधित STE: लेखकों ने एन्कोडर ड्रिफ्ट के तहत स्थिरता में सुधार के लिए स्ट्रैट-थ्रू एस्टीमेटर (STE) को भी परिष्कृत किया है, जिसमें अतिरिक्त हाइपरपैरामीटर्स की आवश्यकता नहीं होती।

B. ट्रांसफॉर्मर-आधारित वेक्टर क्वांटाइजेशन (TransVQ)

TransVQ एक अलग दृष्टिकोण अपनाता है, जहाँ वह कोडबुक को एक डायनेमिक इकाई के रूप में मानता है जो एन्कोडर अपडेट्स के अनुकूल होती है।

मुख्य विचार: यदि एन्कोडर ड्रिफ्ट करता है, तो संरेखण (alignment) बनाए रखने के लिए कोडबुक को भी रूपांतरित होना चाहिए।
तंत्र:
1. एक हल्का, लर्न करने योग्य मैपिंग फंक्शन $P_\phi(\cdot)$ (जिसे सिंगल-हेड लीनियर अटेंशन ट्रांसफॉर्मर और उसके बाद एक MLP के रूप में लागू किया गया है) पूरे कोडबुक $C$ पर लागू किया जाता है।
2. रूपांतरित कोडबुक $C' = P_\phi(C)$ का उपयोग क्वांटाइजेशन के लिए किया जाता है।
3. ट्रेनिंग के दौरान, केवल मैपिंग फंक्शन के पैरामीटर्स $\phi$ को अपडेट किया जाता है। मूल कोडबुक $C$ स्थिर (frozen) रहता है।
4. मुख्य लाभ: पिछले लीनियर मैपिंग तरीकों (जैसे SimVQ) के विपरीत, जो $k$ -means कन्वर्जेंस गारंटी को तोड़ देते हैं, TransVQ $k$ -means समाधान की ओर अभिसरण के लिए सैद्धांतिक शर्तों को बनाए रखते हुए पूरे कोडबुक को एन्कोडर ड्रिफ्ट के प्रति सुचारू रूप से अनुकूलित होने की अनुमति देता है।

4. मुख्य योगदान

सैद्धांतिक आधार: VQ-VAE में एन्कोडर अपडेट्स की नॉन-स्टेशनरी प्रकृति के परिणाम के रूप में कोडबुक कोलैप्स को पहचानने और गणितीय रूप से समझाने वाला पहला कार्य।
NS-VQ: कर्नेल-आधारित प्रोपेगेशन का उपयोग करने वाला एक अभिनव अपडेट नियम, जो यह सुनिश्चित करता है कि गैर-चयनित कोड्स को सार्थक अपडेट प्राप्त हों, जिससे शुरुआती कोलैप्स को रोका जा सके।
TransVQ: एक लर्न करने योग्य कोडबुक मैपिंग दृष्टिकोण जो पूरे कोडबुक को एन्कोडर ड्रिफ्ट के अनुकूल बनाता है, जबकि $k$ -means कन्वर्जेंस गुणों को सख्ती से बनाए रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि दोनों विधियाँ बेसलाइन की तुलना में लगभग 100% कोडबुक उपयोगिता और बेहतर पुनर्निर्माण गुणवत्ता (reconstruction quality) प्राप्त करती हैं।

5. प्रयोगात्मक परिणाम

प्रयोग CelebA-HQ डेटासेट (256x256) पर VQ-VAE फ्रेमवर्क का उपयोग करके किए गए।

मेट्रिक्स: पुनर्निर्माण गुणवत्ता को rFID, LPIPS और SSIM द्वारा मापा गया; उपयोगिता को कोडबुक उपयोग प्रतिशत द्वारा मापा गया।
प्रदर्शन:
- उपयोगिता (Utilization): दोनों विधियों (NS-VQ और TransVQ) ने विभिन्न कोडबुक आकारों (64 से 8912) और आयामों (3D और 64D) में ~100% कोडबुक उपयोगिता प्राप्त की। इसके विपरीत, बेसलाइन जैसे VQGAN-FC ने कोडबुक आकार बढ़ने पर 0-34% उपयोगिता तक गिरावट दर्ज की।
- पुनर्निर्माण गुणवत्ता:
  - TransVQ ने सभी परीक्षण की गई विधियों में सर्वश्रेष्ठ rFID (13.70) और SSIM (0.94) प्राप्त किया।
  - NS-VQ ने भी बेसलाइन (rFID 14.01) से बेहतर प्रदर्शन किया।
  - दोनों विधियों ने एक सुसंगत रुझान दिखाया जहाँ कोडबुक का आकार बढ़ने से प्रदर्शन में सुधार हुआ (बेसलाइन के विपरीत, जहाँ कोलैप्स के कारण प्रदर्शन गिर जाता है)।
बैच साइज विश्लेषण: प्रयोगों ने सैद्धांतिक भविष्यवाणी की पुष्टि की कि बड़े बैच साइज मानक VQ में कोडबुक कोलैप्स को कम करते हैं, जिससे नॉन-स्टेशनरी हाइपोथेसिस प्रमाणित होता है।

6. महत्व और भविष्य की दिशाएँ

सिद्धांत और व्यवहार को जोड़ना: यह शोध VQ रिसर्च को ह्यूरिस्टिक सुधारों से हटाकर ऑप्टिमाइजेशन डायनेमिक्स की एक सिद्धांत-आधारित समझ की ओर ले जाता है।
स्केलेबिलिटी: कोलैप्स समस्या को हल करके, ये विधियाँ बड़े कोडबुक्स के उपयोग को सक्षम बनाती हैं, जो हाई-फिडेलिटी जनरेटिव मॉडलिंग और बड़े पैमाने के विजुअल-लैंग्वेज मॉडल्स (VLMs) के लिए महत्वपूर्ण हैं।
भविष्य का कार्य: लेखक $\sigma^2$ के मैनुअल ट्यूनिंग को हटाने के लिए अडैप्टिव हाइपरपैरामीटर कंट्रोल, इन विधियों को डिफ्यूजन और ऑटोरेग्रेसिव मॉडल्स में एकीकृत करने, और डायनेमिक कोडबुक एक्सपेंशन रणनीतियों की जांच करने का सुझाव देते हैं।

संक्षेप में, यह कार्य वेक्टर क्वांटाइजेशन की समझ को पुनर्परिभाषित करता है, यह सिद्ध करता है कि एन्कोडर ड्रिफ्ट ही कोडबुक कोलैप्स का कारण है, और पूर्ण कोडबुक उपयोगिता तथा बेहतर जनरेटिव क्वालिटी प्राप्त करने के लिए NS-VQ और TransVQ को मजबूत, सैद्धांतिक रूप से सुदृढ़ समाधानों के रूप में प्रस्तुत करता है।