💻 computer science

Qwen-Image-VAE-2.0 Technical Report

Qwen-Image-VAE-2.0 एक उच्च-संपीड़न (high-compression) वाला वेरिएशनल ऑटोएनकोडर (Variational Autoencoder) सुइट है जो ग्लोबल स्किप कनेक्शंस (Global Skip Connections), सिंथेटिक रेंडरिंग के साथ बड़े पैमाने पर प्रशिक्षण और उन्नत अर्थ संबंधी संरेखण (enhanced semantic alignment) जैसे वास्तुशिल्प नवाचारों के माध्यम से अत्याधुनिक पुनर्निर्माण निष्ठा (reconstruction fidelity) और उत्कृष्ट प्रसार क्षमता (superior diffusability) प्राप्त करता है, जो विशेष रूप से टेक्स्ट-समृद्ध परिदृश्यों में उत्कृष्ट प्रदर्शन करता है।

मूल लेखक: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yilei Chen, Yixian Xu, Yuxiang Chen, Zhendong Wang, Zihao Liu, Zikai Zhou, Yiliang Gu, Yi Wang, Xiaoxiao Xu, Lin Qu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त को शहर की व्यस्त सड़क की एक विशाल, हाई-डेफिनिशन फोटो भेजने की कोशिश कर रहे हैं, लेकिन आपका इंटरनेट कनेक्शन बहुत धीमा है। आपके पास दो विकल्प हैं:

पुराना तरीका: फोटो को थोड़ा छोटा कर दें (जैसे कि एक मानक पोस्टकार्ड)। यह ठीक-ठाक दिखता है, लेकिन यदि आपका दोस्त छोटे स्ट्रीट साइन या लाइसेंस प्लेट पढ़ने की कोशिश करता है, तो अक्षर धुंधले धब्बों में बदल जाते हैं।
नया तरीका (Qwen-Image-VAE-2.0): आप फोटो को एक डाक टिकट के आकार तक छोटा कर देते हैं (एक "उच्च संपीड़न" या high compression अनुपात)। आमतौर पर, यह इमेज को एक गड़बड़ी बना देगा। लेकिन यह नई तकनीक इसे इतना छोटा करने के बावजूद स्ट्रीट साइन को पूरी तरह से पठनीय और विवरणों को स्पष्ट रखने में सक्षम है।

यहाँ एक सरल विवरण दिया गया है कि कैसे Qwen-Image-VAE-2.0 टीम ने उनकी रिपोर्ट के विचारों का उपयोग करके इस कार्य को पूरा किया:

1. समस्या: "सिकुड़ने" का ट्रेड-ऑफ (The "Squeeze" Trade-off)

AI इमेज जनरेशन की दुनिया में, एक नियम है: यदि आप स्पेस बचाने के लिए किसी इमेज को बहुत अधिक सिकोड़ते हैं (कंप्रेशन), तो आप आमतौर पर बारीक विवरण खो देते हैं (रिकंस्ट्रक्शन)। यदि आप विवरणों को बनाए रखने के लिए "सिकुड़े हुए" डेटा को बड़ा बनाने की कोशिश करते हैं, तो बाद में नई इमेज बनाने वाला AI भ्रमित हो जाता है और उसे सीखने में बहुत समय लगता है (डिफ्यूसिबिलिटी)। यह एक पूरी लाइब्रेरी को जूते के डिब्बे में फिट करने की कोशिश करने जैसा है; या तो किताबें फट जाएंगी, या डिब्बा इतना भारी हो जाएगा कि कोई उसे उठा नहीं पाएगा।

2. समाधान: एक स्मार्ट "सूटकेस" (A Smarter "Suitcase")

Qwen टीम ने एक नया प्रकार का डिजिटल सूटकेस (एक VAE) बनाया है जो तीन चतुर तरीकों से इस समस्या को हल करता है:

"ग्लोबल स्किप कनेक्शन" (द डायरेक्ट लाइन):
कल्पना कीजिए कि आप एक सूटकेस पैक कर रहे हैं। आमतौर पर, आप सब कुछ करीने से तह करके रखते हैं, जिससे नाजुक चीजें जैसे कि एक नाजुक फूलदान (बारीक टेक्स्ट विवरण) कुचल सकती हैं। Qwen टीम ने मूल फोटो से पैक किए गए सूटकेस तक एक "डायरेक्ट लाइन" जोड़ी है। वे सबसे महत्वपूर्ण, हाई-फ्रीक्वेंसी विवरणों (जैसे अक्षरों के तीखे किनारे) को लेते हैं और उन्हें बिना तह किए सीधे सूट्सकेस में रख देते हैं। यह सुनिश्चित करता है कि भले ही इमेज बहुत छोटी हो, टेक्स्ट के तीखे किनारे बरकरार रहें।
"चौड़ा" सूटकेस (विस्तारित चैनल्स):
आमतौर पर, जब आप किसी इमेज को सिकोड़ते हैं, तो आप सूट्सकेस को संकरा बना देते हैं। लेकिन यदि आपके पास पैक करने के लिए बहुत सारी जानकारी है, तो एक संकरा सूट्सकेस चीजों को कुचल देता है। Qwen टीम ने सूट्सकेस को चौड़ा बनाया (चैनल डायमेंशन बढ़ाकर)। इससे उन्हें सिकुड़ी हुई इमेज के विवरणों को पैक करने के लिए अधिक जगह मिलती है और कुछ भी खोता नहीं है। उन्होंने साबित किया कि भले ही सूट्सकेस चौड़ा है, लेकिन बाद में इसे ले जाने वाला AI धीमा या भारी नहीं होता है।
"ट्रेनिंग व्हील्स" (सिमेंटिक अलाइनमेंट):
चौड़े सूट्सकेस के साथ एक आम समस्या यह होती है कि उसे ले जाने वाला AI इस बात को लेकर भ्रमित हो जाता है कि उसके अंदर क्या है। इसे ठीक करने के लिए, टीम ने सूट्सकेस को एक "स्मार्ट मैप" (एक टूल जिसे DINOv2 कहा जाता है) के साथ मिलान करके अपनी सामग्री को व्यवस्थित करना सिखाया। यह मैप जानता है कि चीजें वैचारिक रूप से कैसी दिखती हैं। सूट्सकेस की सामग्री को इस मैप के साथ संरेखित करके, AI बाद में तेजी से सीखता है और बेहतर इमेज बनाता है। उन्होंने इसे चरणों में किया: पहले, उन्होंने बुनियादी बातों को सिखाने के लिए सख्त संरेखण (strict alignment) लागू किया, फिर नियमों को ढीला किया ताकि AI चित्र को सुंदर बनाने पर ध्यान केंद्रित कर सके।

3. "टेक्स्ट-रिच" चुनौती (The "Text-Rich" Challenge)

अधिकांश AI परीक्षण बिल्लियों या परिदृश्यों (landscapes) की तस्वीरें उपयोग करते हैं। लेकिन Qwen टीम जानती थी कि टेक्स्ट को सिकोड़ना सबसे कठिन काम है। एक धुंधली बिल्ली अभी भी बिल्ली ही रहती है; लेकिन एक धुंधला अक्षर "A" एक धब्बे जैसा दिखता है।

इसे ठीक करने के लिए, उन्होंने केवल रैंडम फोटो का उपयोग नहीं किया। उन्होंने:

अरबों इमेज एकत्र कीं।
विशेष रूप से पाठ्यपुस्तकों, पोस्टरों और समाचार पत्रों जैसे लाखों दस्तावेज़ जुटाए।
एक सिंथेटिक पाइपलाइन (एक रोबोट फैक्ट्री) बनाई जिसने रैंडम बैकग्राउंड (जैसे ईंट की दीवार या पेड़ पर साइन लगाना) पर टेक्स्ट प्रिंट किया, ताकि AI को वास्तविक दुनिया की अव्यवस्थित स्थितियों में टेक्स्ट को संभालने के लिए प्रशिक्षित किया जा सके।

4. नया टेस्ट: "ओमनीडॉक-टोकनबेंच" (OmniDoc-TokenBench)

टीम ने महसूस किया कि मानक परीक्षण (जो केवल पिक्सेल ब्राइटनेस को मापते हैं) यह जांचने के लिए अच्छे नहीं हैं कि टेक्स्ट पठनीय है या नहीं। इसलिए, उन्होंने OmniDoc-TokenBench नामक एक नया परीक्षण बनाया।

यह कैसे काम करता है: वे एक दस्तावेज़ लेते हैं, उसे AI के साथ सिकोड़ते हैं, और फिर एक "रीडिंग रोबोट" (OCR) से मूल और सिकुड़ी हुई दोनों वर्ज़न से टेक्स्ट पढ़ने के लिए कहते हैं।
स्कोर: वे तुलना करते हैं कि रोबोट ने क्या पढ़ा। यदि रोबलेट मूल से "Hello" पढ़ता है और सिकुड़ी हुई इमेज से "Helo" पढ़ता है, तो स्कोर गिर जाता है। यह मापता है कि टेक्स्ट वास्तव में पठनीय है या नहीं, न कि केवल यह कि रंग सही दिख रहे हैं या नहीं।

5. परिणाम

रिकंस्ट्रक्शन (पुनर्निर्माण): जब उन्होंने अपने मॉडल का परीक्षण किया, तो यह इमेज को 16x या यहाँ तक कि 32x तक सिकोड़ सकता था (इमेज को मूल आकार के 1/16 या 1/32 हिस्से तक छोटा करना) और फिर भी टेक्स्ट को पूरी तरह से पठनीय रख सकता था। अन्य मॉडल्स इस आकार पर टेक्स्ट को निरर्थक बना देते हैं।
गति: क्योंकि उन्होंने "एनकोडर" (सूटकेस पैक करने वाला हिस्सा) को बहुत हल्का बनाया और भारी "अटेंशन" तंत्र को हटा दिया, इसलिए वे बहुत तेज़ी से इमेज पैक करते हैं।
जनरेशन (निर्माण): जब उन्होंने इस पैक किए गए सूट्सकेस का उपयोग एक नया इमेज जनरेटर (DiT) प्रशिक्षित करने के लिए किया, तो जनरेटर अन्य उच्च-संपीड़न वाले मॉडल्स की तुलना में बहुत तेजी से सीखा।

सारांश

Qwen-Image-VAE-2.0 एक अत्यधिक कुशल पैकिंग सेवा की तरह है। यह एक विशाल, टेक्स्ट-हैवी दस्तावेज़ को बिना अक्षरों को कुचले एक बहुत छोटे आकार में सिकोड़ सकता है, और यह अपनी सामग्री को इतनी अच्छी तरह से व्यवस्थित करता है कि अगला व्यक्ति (इमेज जनरेटर) इसे अनपैक कर सके और बहुत तेज़ी से नई, उच्च-गुणवत्ता वाली इमेज बना सके। यह उस पुराने संकट को हल करता है जहाँ आपको "छोटा फ़ाइल आकार," "स्पष्ट टेक्स्ट," और "तेज़ जनरेशन" में से किसी एक को चुनना पड़ता था—यह मॉडल आपको ये तीनों चीजें देता है।

तकनीकी सारांश: Qwen-Image-VAE-2.0

समस्या विवरण

लेटेंट डिफ्यूजन मॉडल्स (LDMs) इमेज सिंथेसिस के लिए प्रमुख प्रतिमान बन गए हैं, जो आमतौर पर इमेजेस को लेटेंट स्पेस में प्रोजेक्ट करने के लिए $f8$ के स्थानिक संपीड़न अनुपात (spatial compression ratio) वाले वेरिएशनल ऑटोएनकोडर्स (VAEs) पर निर्भर करते हैं। हालाँकि, जैसे-जैसे उद्योग नेटिव हाई-रिज़ॉल्यूशन सिंथेसिस की ओर बढ़ रहा है, $f8$ मानक कम्प्यूटेशनल बाधाएं उत्पन्न कर रहा है। आधुनिक डिफ्यूजन ट्रांसफॉर्मर (DiTs) की जटिलता लेटेंट टोकन की संख्या के साथ द्विघातीय (quadratically) रूप से बढ़ती है; अतः दक्षता के लिए स्थानिक संपीड़न अनुपात को बढ़ाना (जैसे, $f16$ या $f32$ तक) आवश्यक है।

उच्च-संपीड़न VAEs में प्रगति के बावजूद, एक महत्वपूर्ण त्रिपक्षीय समझौता (tripartite trade-off) मौजूद है: संपीदन अनुपात (compression ratio), पुनर्निर्माण निष्ठा (reconstruction fidelity), और डिफ्यूसिबिलिटी (diffusability) (वह सुगमता जिससे एक वितरण को डिफ्यूजन द्वारा मॉडल किया जा सके)।

पुनर्निर्माण निष्ठा (Reconstruction Fidelity): उच्च संपीड़न अनुपात अक्सर पुनर्निर्माण की गुणवत्ता में गंभीर गिरावट का कारण बनते हैं, विशेष रूप से टेक्स्ट-रिच परिदृश्यों में जहाँ सूक्ष्म विवरण और अक्षरों की स्पष्टता खो जाती है।
डिफ्यूसिबिलिटी (Diffusability): सूचना संबंधी बाधाओं को कम करने के लिए लेटेंट चैनल आयाम को बढ़ाने से अक्सर एक अत्यधिक जटिल, असंरचित लेटेंट वितरण परिणाम स्वरूप मिलता है। यह डाउनस्ट्रीम डिफ्यूजन मॉडल्स के अभिसरण (convergence) और जनरेटिव प्रदर्शन में बाधा डालता है।
मूल्यांकन अंतराल (Evaluation Gaps): मानक बेंचमार्क (जैसे, ImageNet, FFHQ) और पिक्सेल-स्तरीय मेट्रिक्स (PSNR, SSIM) टेक्स्ट-रिच पुनर्निर्माण के मूल्यांकन के लिए उपयुक्त नहीं हैं, क्योंकि मामूली स्ट्रोक विरूपण भी टेक्स्ट को अपठनीय बना सकते हैं, भले ही वे पिक्सेल मेट्रिक्स को महत्वपूर्ण रूप से प्रभावित न करें।

कार्यप्रणाली (Methodology)

Qwen-Image-VAE-2.0 इन चुनौतियों को वास्तुशिल्प नवाचारों, व्यापक डेटा इंजीनियरिंग और उन्नत प्रशिक्षण रणनीतियों के माध्यम से संबोधित करता है।

1. मॉडल आर्किटेक्चर

बड़े चैनलों के साथ उच्च-संपीड़न: मॉडल $f16$ और $f32$ के स्थानिक संपीड़न अनुपातों को अपनाता है। स्थानिक सूचना के नुकसान की भरपाई करने के लिए, चैनल आयाम ( $C$ ) को काफी विस्तारित किया गया है (192 चैनलों तक), जिससे कुल सूचना बाधा क्षमता ( $N(z) = CHW/f^2$ ) बढ़ जाती है, बिना DiT प्रशिक्षण दक्षता से समझौता किए, क्योंकि DiTs लेटेंट्स को एक निश्चित हिडन डायमेंशन में प्रोजेक्ट करते हैं।
ग्लोबल स्किप कनेक्शंस (GSC): आक्रामक डाउनसैंपलिंग के दौरान खो जाने वाले सूक्ष्म विवरणों को संरक्षित करने के लिए, आर्किटेक्चर GSC पेश करता है। यह पिक्सेल से लेटेंट स्पेस तक एक सीधा रेसिडुअल पथ स्थापित करता है, जो प्रारंभिक डाउनसैंपलिंग को बायपास करता है। यह स्थानिक जानकारी को चैनल आयाम में "फोल्ड" करने के लिए 'स्पेस-टू-चैनल' ऑपरेशन का उपयोग करता है, जिससे नेटवर्क को हाई-फ्रीक्वेंसी सिग्नल मिलते हैं।
अटेंशन-मुक्त बैकबोन (Attention-Free Backbone): अल्ट्रा-हाई-रिज़ॉल्यूशन इनपुट के लिए थ्रूपुट और स्केलेबिलिटी सुनिश्चित करने के लिए, मॉडल एक अटेंशन-फ्री बैकबोन का उपयोग करता है। यह सेल्फ-अटेंशन की $O(N^2)$ कम्प्यूटेशनल और मेमोरी जटिलता से बचता है, और इसके बजाय कनवल्शनल ऑपरेशन्स पर निर्भर करता है।
एसिमेट्रिक एनकोडर-डिकोडर: एक हल्का एनकोडर डिफ्यूजन प्रशिक्षण के दौरान एनकोडिंग ओवरहेड को कम करता है, जबकि एक भारी डिकोडर उच्च-निष्ठा पुनर्निर्माण सुनिश्चित करता है।

2. डेटा इंजीनियरिंग

स्केल और क्यूरेशन: प्रशिक्षण कॉर्पस को अरबों छवियों तक बढ़ाया गया। लो-क्वालिटी सैंपल्स को क्लैरिटी और ब्लर फिल्टर्स का उपयोग करके हटा दिया गया।
टेक्स्ट-रिच फोकस: वास्तविक दुनिया के दस्तावेजों (अकादमिक पेपर, स्लाइड्स, पोस्टर, वेब पेज) का एक विशेष संग्रह क्यूरेट किया गया। एक OCR फ़िल्टर ने उन सैंपल्स को प्राथमिकता दी जिनमें उच्च कैरेक्टर डेंसिटी थी।
सिंथेटिक रेंडरिंग पाइपलाइन: सिंथेटिक और वास्तविक दुनिया के डेटा के बीच के अंतर को पाटने के लिए, एक पाइपलाइन सामान्य-डोमेन इमेजेस से बेतरतीब ढंग से लिए गए बैकग्राउंड्स पर टेक्स्ट को रेंडर करती है। यह "बैकग्राउंड-कंटेन्ड सिंथेसिस" बैकग्राउंड-फ्री डेटा पर प्रशिक्षित मॉडल्स में देखी गई खराब सामान्यीकरण क्षमता को रोकता है। पाइपलाइन विभिन्न आकार के पात्रों (5–20 पिक्सेल) के साथ अल्फाबेटिक (अंग्रेजी) और लोगोग्राफिक (चीनी) दोनों भाषाओं का समर्थन करती है ताकि सूक्ष्म विवरण कैप्चर किए जा सकें।

3. प्रशिक्षण रणनीति

सरलीकृत लॉस फंक्शन: प्रशिक्षण उद्देश्य KL रेगुलाइजेशन और GAN लॉस को हटा देता है।
- कोई KL लॉस नहीं: गौसियन प्रायर (Gaussian prior) बाधा को हटाने से सिमेंटिक एलाइनमेंट उद्देश्यों के साथ संघर्ष रुक जाता है, जिससे अधिक लचीला लेटेंट स्पेस मिलता है।
- कोई GAN लॉस नहीं: पर्याप्त डेटा और इटरेशन के साथ, पिक्सेल-लेवल ( $L1$ ) और परसेप्चुअल ( $L_{lpips}$ ) लॉस शार्प पुनर्निर्माण के लिए पर्याप्त हैं, जिससे ऑप्टिमाइज़ेशन सरल और स्थिर हो जाता है।
सिमेंटिक एलाइनमेंट: यह सुनिश्चित करने के लिए कि लेटेंट स्पेस "डिफ्यूसिबिलिटी-फ्रेंडली" है, मॉडल लेटेंट रिप्रेजेंटेशन को एक प्री-ट्रेंड DINOv2 एनकोडर के इंटरमीडिएट फीचर्स के साथ अलाइन करता है।
- लेयर चयन: स्मूथ स्थानिक मानचित्र प्रदान करने के लिए अंतिम लेयर के बजाय एनकोडर की मध्यवर्ती लेयर्स का उपयोग किया जाता है।
- लॉस घटक: एलाइनमेंट लॉस ( $L_{align}$ ) मार्जिनल कोसाइन सिमिलैरिटी (फीचर दिशाओं को अलाइन करना) और मार्जिनल डिस्टेंस मैट्रिक्स सिमिलैरिटी (सापेक्ष स्थानिक लेआउट को संरक्षित करना) को जोड़ता है।
स्टेज्ड ट्रेनिंग प्रतिमान:
- रिज़ॉल्यूशन: लो-रिज़ॉल्यूशन से लेकर 2K तक करिकुलम लर्निंग।
- टेक्स्ट इन्फ्यूजन: सामान्य इमेजेस से वास्तविक दुनिया के टेक्स्ट-रिच सैंपल्स, और अंत में विभिन्न कठिनाई वाले सिंथेटिक टेक्स्ट डेटा की ओर प्रगति।
- एलाइनमेंट कैलिब्रेशन: प्रशिक्षण सख्त सिमेंटिक एलाइनमेंट के साथ शुरू होता है ताकि DiT कन्वर्जेंस को तेज किया जा सके, और फिर पिक्सेल-लेवल पुनर्निर्माण गुणवत्ता के साथ सिमेंटिक निरंतरता को संतुलित करने के लिए धीरे-धीरे मार्जिन को ढीला किया जाता है।

मुख्य योगदान

हाई-कंप्रेशन VAE सूट: $f16$ और $f32$ इमेज VAEs का परिचय, जो कुशल, नेटिव हाई-रिज़ॉल्यूशन इमेज जेनरेशन के लिए एक मजबूत समाधान प्रदान करते हैं।
श्रेष्ठ पुनर्निर्माण प्रदर्शन: कई बेंचमार्क्स पर स्टेट-ऑफ-द-आर्ट (SOTA) पुनर्निर्माण हासिल करना। मॉडल टेक्स्ट-रिच परिदृश्यों में असाधारण पठनीयता बनाए रखता है जहाँ पारंपरिक उच्च-संपीड़न मॉडल विफल हो जाते हैं, यहाँ तक कि अत्यधिक $f32$ संपीड़न पर भी।
बेहतर लेटेंट डिफ्यूसिबिलिटी: यह प्रदर्शन करना कि रिफाइंड सिमेंटिक एलाइनमेंट के माध्यम से बड़े-चैनल VAEs उत्कृष्ट डिफ्यूसिबिलिटी प्राप्त कर सकते हैं। यह त्रिपक्षीय समझौते को हल करता है, जिससे बड़े लेटेंट डायमेंशन के बावजूद तीव्र DiT कन्वर्जेंस संभव होता है।
OmniDoc-TokenBench: लगभग 3,000 विविध टेक्स्ट-रिच डॉक्यूमेंट इमेजेस (नौ श्रेणियों और अंग्रेजी/चीनी दोनों को कवर करते हुए) वाला एक नया बेंचमार्क प्रस्तावित करना। यह पेज-लेवल डॉक्यूमेंट रीडेबिलिटी को मापने के लिए एक OCR-आधारित नॉर्मलाइज्ड एडिट डिस्टेंस (NED) मेट्रिक का उपयोग करता है, जिसके लिए वर्ड-लेवल बाउंडिंग बॉक्स एनोटेशन की आवश्यकता नहीं होती है।

परिणाम

पुनर्निर्माण निष्ठा (Reconstruction Fidelity)

सामान्य डोमेन: ImageNet और FFHQ पर, Qwen-Image-VAE-2.0 अपने संपीड़न स्तरों ( $f16$ और $f32$ ) के भीतर SOTA पुनर्निर्माण निष्ठा प्राप्त करता है। विशेष रूप से, $f32c192$ वेरिएंट 4x संपीड़न कारक के बावजूद स्थापित $f8$ VAEs (जैसे, Wan2.1) के तुल्य प्रदर्शन करता है।
टेक्स्ट-रिच परिदृश्य (OmniDoc-TokenBench):
- $f16$ सेटिंग्स में, मॉडल 0.9617 का NED प्राप्त करता है ( $f16c128$ ), जो अग्रणी $f8$ बेसलाइन्स (जैसे, FLUX.1-dev 0.9546 पर) को भी पीछे छोड़ देता है।
- $f32$ सेटिंग्स में, जहाँ प्रतिस्पर्धी लगभग पूर्ण टेक्स्ट विनाश (NED < 0.57) प्रदर्शित करते हैं, $f32c192$ मॉडल 0.8555 का NED प्राप्त करता है, जो सभी $f32$ प्रतिस्पर्धियों से बेहतर है और कई $f16$ बेसलाइन्स से भी आगे है।
- गुणात्मक परिणाम दिखाते हैं कि मॉडल स्पष्ट कैरेक्टर बाउंड्री और वर्ड स्पेसिंग को सुरक्षित रखता है, जबकि बेसलाइन्स धुंधलापन, स्ट्रोक मर्जिंग या पूर्ण टेक्स्ट कोलैप्स का शिकार होते हैं।

डिफ्यूसिबिलिटी (Diffusability)

डाउनस्ट्रीम DiT प्रदर्शन: ImageNet 256x256 पर SiT को प्रशिक्षित करने वाले प्रयोगों से पता चलता है कि Qwen-Image-VAE-2.0 लेटेंट स्पेस तीव्र DiT कन्वर्जेंस की सुविधा प्रदान करते हैं।
जेनरेशन क्वालिटी: मॉडल अपने बड़े लेटेंट डायमेंशन के बावजूद, इनसेप्शन स्कोर (IS) और जेनेरेटिव FID (gFID) में मौजूदा उच्च-संपीड़न बेसलाइन्स को लगातार पछाड़ते हैं।
फाउंडेशन मॉडल इंटीग्रेशन: VAE को Qwen-Image-2.0 फाउंडेशन मॉडल में एकीकृत किया गया था, जो बड़े पैमाने पर जटिल ओपन-वोकाबुलरी कंडीशनिंग और जटिल कंपोजिशनल बाधाओं को सफलतापूर्वक सपोर्ट करता है।

महत्व

यह पेपर Qwen-Image-VAE-2.0 को एक अग्रणी मॉडल के रूप में स्थापित करता है जो संपीड़न, निष्ठा और डिफ्यूसिबिलिटी के ऐतिहासिक समझौतों को सफलतापूर्वक पार करता है। विस्तारित चैनल डायमेंशन, ग्लोबल स्किप कनेक्शंस और एक नवीन सिमेंटिक एलाइनमेंट रणनीति का लाभ उठाकर, यह टेक्स्ट पठनीयता या जनरेटिव कन्वर्जेंस स्पीड से समझौता किए बिना कुशल हाई-रिज़ॉल्यूशन सिंथेसिस को सक्षम बनाता है। OmniDoc-TokenBench का प्रस्ताव वर्तमान बेंचमार्किंग प्रथाओं में एक महत्वपूर्ण अंतर को पाटते हुए, टेक्स्ट-रिच पुनर्निर्माण के मूल्यांकन के लिए एक आवश्यक मानक प्रदान करता है। यह कार्य अगली पीढ़ी के विजुअल सिंथेसिस सिस्टम के लिए एक तकनीकी मार्ग स्थापित करता है, विशेष रूप से उन सिस्टमों के लिए जिन्हें नेटिव हाई-रिज़ॉल्यूशन क्षमताओं और मजबूत टेक्स्ट हैंडलिंग की आवश्यकता है।