🤖 machine learning

VFM-VAE: Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models

यह शोध पत्र VFM-VAE प्रस्तुत करता है, जो एक नवीन दृष्टिकोण है जो डिस्टिलेशन के बिना लेटेंट डिफ्यूजन मॉडल्स के लिए डायरेक्ट टोकनाइज़र के रूप में फ्रोजन विजन फाउंडेशन मॉडल्स का लाभ उठाता है, जिससे पूर्व विधियों की तुलना में बेहतर इमेज जनरेशन गुणवत्ता और 10 $\times$ प्रशिक्षण गति प्राप्त होती है।

मूल लेखक: Tianci Bi, Xiaoyi Zhang, Yan Lu, Nanning Zheng

प्रकाशित 2026-04-24

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tianci Bi, Xiaoyi Zhang, Yan Lu, Nanning Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को सुंदर चित्र बनाना सिखाने की कोशिश कर रहे हैं। आपके पास दो मुख्य काम हैं:

अनुवादक (The Translator): कोई ऐसा व्यक्ति जो एक जटिल, उच्च-रिज़ॉल्यूशन वाली फोटो को छोटा करके एक छोटे, कुशल "गुप्त कोड" (लेटेंट स्पेस) में बदल देता है जिसे रोबोट समझ सके।
कलाकार (The Artist): वह रोबोट खुद, जो उस गुप्त कोड के साथ खेलकर नए चित्र बनाना सीखता है।

वर्षों तक, "अनुवादक" (जिसे टोकेनाइज़र कहा जाता था) सबसे कमजोर कड़ी रहा। यह एक ऐसे अनुवादक की तरह था जो कहानी का सामान्य विचार तो जानता था लेकिन विशिष्ट विवरण, रंग और भावनाओं को भूल जाता था। इसे ठीक करने के लिए, पिछले शोधकर्ताओं ने एक सुपर-स्मार्ट AI (एक विज़न फाउंडेशन मॉडल या VFM) से ज्ञान को अपने अनुवादक में "डिस्टिल" (distill) करने की कोशिश की। उन्होंने अनुवादक को उस स्मार्ट AI की नकल करने के लिए मजबूर किया।

समस्या:
इस शोध के लेखकों ने महसूस किया कि यह "नकल" करने वाला दृष्टिकोण एक छात्र को रटकर पाठ्यपुस्तक याद करने के लिए कहने जैसा था। छात्र परीक्षा तो पास कर सकता है, लेकिन वह मूल शिक्षक की गहरी समझ और लचीलापन खो देता है। जब पुराने अनुवादक (पुराना टोकेनाइज़र) ने कठिन स्थितियों (जैसे कि थोड़ी घूमी हुई फोटो या शोर/नॉइज़) को संभालने की कोशिश की, तो वह भ्रमित हो गया और टूट गया। उसके द्वारा बनाया गया "गुप्त कोड" नाजुक था और महत्वपूर्ण अर्थ खो चुका था।

समाधान: VFM-VAE
एक छात्र को शिक्षक की नकल करने के लिए कहने के बजाय, लेखकों ने कहा: "क्यों न हम अनुवाद करने के लिए शिक्षक को ही काम पर लगा दें?"

उन्होंने VFM-VAE प्रस्तावित किया, जिसमें एक चतुर मोड़ है:

जमा हुआ शिक्षक (एन्कोडर - The Frozen Teacher): उन्होंने एक सुपर-स्मार्ट, प्री-ट्रेंड AI (विज़न फाउंडेशन मॉडल) लिया और उसे फ्रीज़ (freeze) कर दिया। उन्होंने इसे कुछ भी नया सीखने या बदलने नहीं दिया। यह AI पहले से ही वस्तुओं, उनके आकार और उनके अर्थों को समझने में विशेषज्ञ है। उन्होंने इस फ्रीज़ किए गए AI का उपयोग "अनुवादक" के रूप में किया ताकि गुप्त कोड बनाया जा सके।
नया डिकोडर (The New Decoder): स्मार्ट AI का उपयोग करने के साथ एकमात्र समस्या यह है कि वह समझने में तो बहुत अच्छा है लेकिन चित्र बनाने (पिक्सेल-दर-पिक्सेल इमेज को फिर से बनाने) में बुरा है। यह एक शानदार कला समीक्षक की तरह है जो पेंटिंग का वर्णन तो पूरी तरह से कर सकता है लेकिन ब्रश नहीं पकड़ सकता।
- इसलिए, लेखकों ने एक बिल्कुल नया, विशेष रूप से डिज़ाइन किया गया "चित्रकार" (एक डिकोडर) बनाया, जिसका काम विशेष रूप से स्मार्ट AI के समृद्ध, सिमेंटिक नोट्स लेना और उन्हें वापस एक उच्च-गुणवत्ता वाली, यथार्थवादी छवि में बदलना है।

उपमा: वास्तुकार और निर्माता (The Analogy: The Architect and the Builder)

पुराना तरीका: आप एक जूनियर आर्किटेक्ट (पुराना टोकेनाइज़र) को नियुक्त करते हैं और उसे एक विश्व प्रसिद्ध मास्टर आर्किटेक्ट (VFM) की तरह सोचने के लिए प्रशिक्षित करने की कोशिश करते हैं। जूनियर आर्किटेक्ट तनाव में आ जाता है, विवरण भूल जाता है, और ब्लूप्रिंट अस्थिर हो जाते हैं।
VFM-VAE तरीका: आप मास्टर आर्किटेक्ट (फ्रीज़ किया गया VFM) को एकदम सटीक, विस्तृत ब्लूप्रिंट बनाने के लिए नियुक्त करते हैं। फिर, आप एक विशेष निर्माण दल (नया डिकोडर) को नियुक्त करते जिसका एकमात्र काम उन ब्लूप्रिंट्स को पढ़ना और घर को पूरी तरह से बनाना है। आप मास्टर आर्किटेक्ट को बदलने की कोशिश नहीं करते; आप बस उन्हें अपना विजन लागू करने के लिए एक टीम देते हैं।

यह एक बड़ी बात क्यों है?

मजबूती (Robustness): क्योंकि "मास्टर आर्किटेक्ट" फ्रीज़ और अपरिवर्तित है, इसलिए ब्लूप्रिंट (गुप्त कोड) अविश्वसनीय रूप से स्थिर हैं। भले ही आप फोटो को हिला दें या घुमा दें, अर्थ वही रहता है। कोड टूटता नहीं है।
गति (Speed): रोबोट कलाकार (डिफ्यूजन मॉडल) बहुत तेज़ी से सीखता है क्योंकि उसे मिलने वाले ब्लूप्रिंट इतने स्पष्ट और अर्थपूर्ण होते हैं। शोध पत्र दिखाता है कि वे 80 प्रशिक्षण दौरों में शीर्ष स्तर के परिणाम तक पहुँच गए, जो पिछले तरीकों की तुलना में 10 गुना तेज़ है।
गुणवत्ता (Quality): अंतिम चित्र अधिक स्पष्ट और यथार्थवादी हैं। उन्होंने 1.62 का स्कोर (gFID) प्राप्त किया, जो स्टेट-ऑफ-द-आर्ट है, जिसका अर्थ है कि चित्र वास्तविक फोटो से लगभग अभिन्न हैं।

संक्षेप में:
एक साधारण मॉडल को स्मार्ट बनाने की कोशिश करने के बजाय, यह पेपर कहता है, "आइए स्मार्ट मॉडल को कठिन सोच का काम करने दें, और जटिल विवरणों को संभालने के लिए एक विशेष उपकरण बनाएं।" यह एक ऐसा सिस्टम बनाता है जो पहले के किसी भी सिस्टम की तुलना में तेज़, मजबूत और बेहतर कला बनाने वाला है।

यहाँ शोध पत्र "VFM-VAE: Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लेटेंट डिफ्यूजन मॉडल्स (LDMs) छवियों को लेटेंट स्पेस में कंप्रेस करने के लिए अपने विजुअल टोकनाइज़र्स (आमतौर पर वेरिएशनल ऑटोएनकोडर, या VAEs) की गुणवत्ता पर बहुत अधिक निर्भर करते हैं। हालिया दृष्टिकोणओं ने इन VAE एनकोडर्स में विज़न फाउंडेशन मॉडल्स (VFMs) जैसे कि DINOv2 या SigLIP से रिप्रेजेंटेशन को डिस्टिल (distill) करके इन टोकनाइज़र्स को बेहतर बनाने का प्रयास किया है।

हालाँकि, लेखक इस डिस्टिलेशन दृष्टिकोण में एक महत्वपूर्ण खामी की पहचान करते हैं:

रिप्रेजेंटेशन डिग्रेडेशन (Representation Degradation): VFM फीचर्स की नकल करने के लिए VAE को प्रशिक्षित करने से अनिवार्य रूप से मूल VFM की मजबूती (robustness) कमजोर हो जाती है।
भंगुरता (Brittleness): ये डिस्टिल्ड रिप्रेजेंटेशन सिमेंटिक-प्रिजर्विंग ट्रांसफॉर्मेशन (जैसे शोर, रोटेशन, स्केलिंग) के तहत प्रदर्शन में महत्वपूर्ण गिरावट (CKNNA द्वारा मापा गया) प्रदर्शित करते हैं, जो महत्वपूर्ण संरचनात्मक जानकारी के नुकसान का संकेत देता है।
ट्रेड-ऑफ (The Trade-off): VFMs सिमेंटिक समझ के लिए अनुकूलित (optimized) होते हैं, जबकि मानक VAE डिकोडर्स पिक्सेल रिकंस्ट्रक्शन के लिए अनुकूलित होते हैं। डिस्टिलेशन के माध्यम से इन दोनों लक्ष्यों को जोड़ने से अक्सर एक उप-इष्टतम (suboptimal) संतुलन प्राप्त होता है।

2. कार्यप्रणाली: VFM-VAE (Methodology: VFM-VAE)

यह शोध पत्र VFM-VAE प्रस्तावित करता है, जो एक ऐसा फ्रेमवर्क है जो डिस्टिलेशन को पूरी तरह से दरकिनार कर देता है। एक VFM की नकल करने वाले एनकोडर को प्रशिक्षित करने के बजाय, यह सीधे एक फ्रोज़न (frozen) VFM एनकोडर को VAE के फ्रंट-एंड के रूप में उपयोग करता है और VFM के सिमेंटिक-रिच, स्पेशियली कोर्स (spatially coarse) फीचर्स से छवियों को पुनर्गठित करने के लिए एक विशेष डिकोडर डिजाइन करता है।

मुख्य आर्किटेक्चरल घटक (Key Architectural Components):

फ्रोज़न VFM एनकोडर (Frozen VFM Encoder):
- यह एक प्री-ट्रेंड VFM (जैसे SigLIP2-Large) को एनकोडर $\Phi$ के रूप में उपयोग करता है, और इसके समृद्ध सिमेंटिक रिप्रेजेंटेशन को बनाए रखने के लिए इसे फ्रोज़न रखता है।
- यह फाइन-ग्रैन्ड स्पेशियल डिटेल्स और हाई-लेवल सिमेंटिक्स दोनों को कैप्चर करने के लिए मल्टी-स्केल फीचर्स (शैलो, मिडिल, और फाइनल लेयर्स) निकालता है।
- यह इन फीचर्स को कॉन्कैटिनेट करता है और उन्हें एक लाइटवेट, लर्नबल प्रोजेक्शन नेटवर्क के माध्यम से भेजकर लेटेंट डिस्ट्रीब्यूशन पैरामीटर्स ( $\mu, \sigma$ ) उत्पन्न करता है।
विशेष डिकोडर आर्किटेक्चर (Specialized Decoder Architecture):
कोर्स, सिमेंटिक-रिच VFM लेटेंट्स से हाई-फिडेलिटी इमेज को पुनर्गठित करने के लिए, लेखक दो नवीन तंत्र पेश करते हैं:
- मल्टी-स्केल लेटेंट फ्यूजन (Multi-Scale Latent Fusion): यह लेटेंट कोड को एक ग्लोबल कंपोनेंट ( $z_g$ ) जो समग्र स्टाइल को कैप्चर करता है, और विभिन्न रेजोल्यूशन पर स्पेशियल कंपोनेंट्स ( $z_s$ ) में विभाजित करता है।
- प्रोग्रेसिव रेजोल्यूशन रिकंस्ट्रक्शन ब्लॉक्स (Progressive Resolution Reconstruction Blocks): डिकोडर बढ़ते हुए रेजोल्यूशन (जैसे $8 \to 16 \to \dots \to 256$ $8 \to 16 \to \dots \to 256$ ) पर संचालित होने वाले ब्लॉक्स के एक अनुक्रम के माध्यम से छवियां सिंथेसाइज़ करता है।
  - ग्लोबल कंट्रोल: ग्लोबल लेटेंट $z_g$ को हर ब्लॉक में मॉड्यूलेटेड ConvNeXt ब्लॉक्स के माध्यम से इंजेक्ट किया जाता है, जिससे सभी स्केल्स पर सुसंगत स्टाइल सुनिश्चित होता है।
  - स्पेशियल इंजेक्शन: स्पेशियल लेटेंट्स को केवल शुरुआती, लो-रेजोल्यूशन ब्लॉक्स में इंजेक्ट किया जाता है ताकि लेआउट स्थापित किया जा सके, जिससे बाद के ब्लॉक्स हाई-फ्रीक्वेंसी डिटेल्स पर ध्यान केंद्रित कर सकें।
  - मल्टी-रेजोल्यूशन सुपरविजन: प्रत्येक ब्लॉक के साथ एक लाइटवेट "ToRGB" हेड जोड़ा जाता है, जो प्रत्येक चरण पर पिक्सेल-लेवल रिकंस्ट्रक्शन लॉस को लागू करता है ताकि मोड कोलैप्स को रोका जा सके और स्थिर प्रशिक्षण सुनिश्चित हो सके।
ट्रेनिंग ऑब्जेक्टिव्स (Training Objectives):
लॉस फंक्शन सिमेंटिक प्रिजर्वेशन और रिकंस्ट्रक्शन फिडेलिटी को संतुलित करता है:
- रिप्रेजेंटेशन रेगुलराइजेशन ( $L_{rep}$ ): यह KL डाइवर्जेंस और एक VFM फीचर लॉस (कोसाइन सिमिलैरिटी/मैट्रिक्स डिस्टेंस) को जोड़ता है ताकि यह सुनिश्चित हो सके कि लेटेंट स्पेस फ्रोज़न VFM के साथ संरेखित (aligned) रहे।
- मल्टी-रेजोल्यूशन रिकंस्ट्रक्शन: हर रेजोल्यूशन स्टेज पर लागू $L_1$ लॉस।
- परसेप्चुअल और एडवरसैरियल लॉसेस: वास्तविकता बढ़ाने के लिए LPIPS और एक DINO-आधारित डिस्क्रिमिनेटर लॉस।
डायग्नोस्टिक मेट्रिक: SE-CKNNA
लेखक सिमेंटिक-इक्विवेरिएंट CKNNA (SE-CKNNA) पेश करते हैं। स्टैंडर्ड CKNNA के विपरीत, जो क्लीन इमेजेस पर एलाइनमेंट को मापता है, SE-CKNNA सिमेंटिक-प्रिजर्विंग परटर्बेशन्स (शोर, स्केलिंग, रोटेशन) के वितरण पर एलाइनमेंट स्कोर का औसत निकालता है। यह टोकनाइज़र की स्थिरता का अधिक मजबूत माप प्रदान करता है।

3. मुख्य योगदान (Key Contributions)

डायरेक्ट फ्रोज़न VFM इंटीग्रेशन: LDMs के लिए एनकोडर फ्रंट के रूप में सीधे एक फ्रोज़न VFM का उपयोग करने का प्रस्ताव, जो डिस्टिलेशन के कारण होने वाले रिप्रेजेंटेशन डिग्रेडेशन को समाप्त करता है।
नवीन डिकोडर डिज़ाइन: एक मल्टी-स्केल फ्यूजन और प्रोग्रेसिव रिकंस्ट्रक्शन आर्किटेक्चर पेश करता है जो सिमेंटिक-रिच लेकिन स्पेशली कोर्स VFM फीचर्स से हाई-फिडेलिटी इमेज बनाने में सक्षम है।
SE-CKNNA मेट्रिक: परटर्बेशन्स के तहत टोकनाइज़र-VFM एलाइनमेंट स्थिरता को मापने के लिए एक मजबूत मेट्रिक विकसित करता है, जो पिछले डिस्टिलेशन-आधारित VA-VAE मेथड्स की भंगुरता को उजागर करता है।
ड्यूल-साइड एलाइनमेंट स्ट्रैटेजी: यह प्रदर्शित करता है कि एक VFM-अलाइन्ड टोकनाइज़र (VFM-VAE) को एक VFM-अलाइन्ड डिफ्यूजन मॉडल के साथ जोड़ने से सहक्रियात्मक लाभ (synergistic benefits) मिलते हैं, जिससे बेहतर इंटरनल रिप्रेजेंटेशन लर्निंग होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन ImageNet 256 $\times$ 256 और 512 $\times$ 512 पर किया गया।

दक्षता और गति (Efficiency & Speed):
- VFM-VAE + LightningDiT केवल 80 एपोच में 2.22 का gFID प्राप्त करता है, जो पिछले टोकनाइज़र्स (VA-VAE) की तुलना में 10 $\times$ की गति वृद्धि है, जिन्हें समान प्रदर्शन तक पहुँचने के लिए 800 एपोच की आवश्यकता थी।
- 640 एपोच तक निरंतर प्रशिक्षण के साथ, यह 1.62 का स्टेट-ऑफ-द-आर्ट gFID (बिना क्लासिफायर-फ्री गाइडेंस के) प्राप्त करता है।
मजबूती (Robustness):
- सिमेंटिक-प्रिजर्विंग ट्रांसफॉर्मेशन के तहत, VFM-VAE SE-CKNNA में +1.6% का सापेक्ष परिवर्तन दिखाता है, जबकि डिस्टिलेशन-आधारित VA-VAE -33.2% की गिरावट झेलता है, जो यह सिद्ध करता है कि फ्रोज़न अप्रोच कहीं अधिक मजबूत है।
रिप्रेजेंटेशन लर्निंग:
- डिफ्यूजन लेयर्स का विश्लेषण दिखाता है कि VFM-VAE का उपयोग करने वाले मॉडल्स, SD-VAE या VA-VAE का उपयोग करने वाले मॉडल्स की तुलना में मजबूत इंटरनल रिप्रेजेंटेशन (उच्च लेयर-वाइज CKNNA) विकसित करते हैं, भले ही डिफ्यूजन मॉडल में कोई स्पष्ट एलाइनमेंट न हो।
सामान्यीकरण (Generalization):
- यह दृष्टिकोण विभिन्न VFMs (SigLIP2, DINOv2, EVA-CLIP) में काम करता है और 512 $\times$ 512 रेजोल्यूशन तथा टेक्स्ट-टू-इमेज कार्यों (BLIP3-o के साथ एकीकरण) तक स्केल करता है।

5. महत्व (Significance)

यह कार्य लेटेंट डिफ्यूजन मॉडल्स के लिए टोकनाइज़र्स डिजाइन करने के प्रतिमान (paradigm) को मौलिक रूप से बदल देता है।

पैराडाइम शिफ्ट: यह इस प्रचलित धारणा को चुनौती देता है कि VAE एनकोडर्स को VFMs के साथ संरेखित करने के लिए स्क्रैच से प्रशिक्षित किया जाना चाहिए। इसके बजाय, यह सिद्ध करता है कि फ्रोज़न VFMs बेहतर एनकोडर्स हैं यदि उन्हें ऐसे डिकोडर के साथ जोड़ा जाए जो उनकी विशिष्ट फीचर विशेषताओं को संभाल सके।
दक्षता: पूर्व-प्रशिक्षित ज्ञान का सीधे लाभ उठाकर, यह प्रशिक्षण प्रक्रिया को काफी तेज कर देता है, जिससे कंप्यूटेशनल लागत में दस गुना कमी आती है।
गुणवत्ता: परिणामी मॉडल बेहतर सिमेंटिक निरंतरता और मजबूती के साथ स्टेट-ऑफ-द-आर्ट जनरेशन क्वालिटी प्राप्त करते हैं, जो जेनरेटिव AI के लिए विजुअल टोकनाइज़र्स के लिए एक नया बेंचमार्क सेट करते हैं।