🤖 AI

UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model

UniWeTok एक एकीकृत बाइनरी टोकेनाइज़र है जिसमें एक विशाल $2^{128}$ कोडबुक, SigLu एक्टिवेशन के साथ एक कनवल्शन-अटेंशन हाइब्रिड आर्किटेक्चर, और एक नवीन तीन-चरणीय प्रशिक्षण ढांचा है जो मौजूदा मॉडलों की तुलना में काफी कम कम्प्यूटेशनल लागत के साथ इमेज जनरेशन और मल्टीमॉडल अंडरस्टैंडिंग में अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) को देखना, समझना और कला बनाना सिखाने की कोशिश कर रहे हैं। सबसे बड़ी समस्या यह है कि कंप्यूटर छवियों को लाखों छोटे रंगीन बिंदुओं (पिक्सेल) के रूप में "देखते" हैं। एक-एक करके हर पिक्सेल की भविष्यवाणी करने की कोशिश करना एक पेंटिंग का वर्णन समुद्र तट पर रेत के हर एक कण के रंग की सूची बनाकर करने जैसा है। यह बहुत धीमा, महंगा है, और रोबोट भ्रमित हो जाता है।

इसे ठीक करने के लिए, शोधकर्ता एक टोकनाइज़र (Tokenizer) का उपयोग करते हैं। टोकनाइज़र को एक अनुवादक के रूप में समझें जो एक जटिल छवि को "कोड शब्दों" (टोकन) के एक छोटे, सरल वाक्य में बदल देता है जिसे रोबोट आसानी से समझ और भविष्यवाणी कर सकता है।

हालाँकि, मौजूदा अनुवादकों के साथ एक समस्या है: वे या तो छवि के अर्थ को समझाने में बहुत अच्छे हैं (समझने के लिए अच्छे) लेकिन चित्र बनाने में खराब हैं (बनाने के लिए खराब), या वे चित्र बनाने में बहुत अच्छे हैं लेकिन सारा अर्थ खो देते हैं। यह एक ऐसे अनुवादक की तरह है जो या तो सूर्यास्त के बारे में एक सुंदर कविता लिख सकता है लेकिन सूरज नहीं बना सकता, या वह एक सटीक सूरज बना सकता है लेकिन यह नहीं बता सकता कि उसे देखते समय कैसा महसूस होता है।

UniWeTok वह नया अनुवादक है जो अंततः यह दोनों काम पूरी तरह से करता है। यह इस प्रकार काम करता है, कुछ मजेदार उपमाओं का उपयोग करते हुए:

1. विशाल शब्दकोश (The $2^{128}$ Codebook)

कल्पना कीजिए कि आपके पास एक शब्दकोश है। अधिकांश शब्दकोशों में कुछ हज़ार शब्द होते हैं। UniWeTok का शब्दकोश इतना विशाल है कि इसमें $2^{128}$ शब्द हैं।

उपमा: यदि एक सामान्य शब्दकोश एक छोटा पुस्तकालय है, तो UniWeTok का शब्दकोश पूरे इंटरनेट के आकार के पुस्तकालय जैसा है।
यह क्यों मायने रखता है: क्योंकि शब्दकोश इतना बड़ा है, प्रत्येक "शब्द" (टोकन) भारी मात्रा में जानकारी रख सकता है। UniWeTok का एक एकल शब्द एक जटिल बनावट (texture), एक विशिष्ट चेहरा, या एक पूरा दृश्य वर्णित कर सकता है, जबकि अन्य मॉडलों को एक ही बात कहने के लिए सैकड़ों शब्दों की आवश्यकता होती है। यह रोबोट को बहुत तेज़ और अधिक कुशल बनाता है।

2. "प्री-पोस्ट" अध्ययन सत्र (Pre-Post Distillation)

यह सुनिश्चित करने के लिए कि रोबोट यह समझ सके कि वह क्या देख रहा है, शोधकर्ताओं ने एक "शिक्षक-छात्र" पद्धति का उपयोग किया।

उपमा: कल्पना कीजिए कि एक छात्र (UniWeTok) एक पेंटिंग के बारे में सीखने की कोशिश कर रहा है।
- प्री-डिस्टिलेशन (Pre-Distillation): पेंटिंग देखने से पहले, छात्र एक विशेषज्ञ कला समीक्षक को उस कृति के भाव और अर्थ का वर्णन करते हुए सुनता है।
- पोस्ट-डिस्टिलेशन (Post-Distillation): पेंटिंग को याददाश्त से फिर से बनाने के बाद, विशेषज्ञ उसके काम की जाँच करता है और कहता है, "तुमने रंगों को सही पकड़ा, लेकिन तुम भावना को चूक गए।"
परिणाम: कार्य से पहले और बाद में विशेषज्ञ को सुनने से, छात्र विवरण और गहरे अर्थ दोनों को एक साथ पकड़ना सीख जाता है।

3. "जेनरेटिव" कोच (Generative-Aware Prior)

आमतौर पर, मॉडल छवियों को समझना सीखते हैं, लेकिन वे उन्हें बनाना भूल जाते हैं।

उपमा: कल्पना कीजिए कि एक शेफ जो भोजन चखने में बहुत अच्छा है (समझना) लेकिन उसने कभी भोजन पकाया नहीं है (बनाना)। UniWetok एक "जेनरेटिव कोच" को काम में नियुक्त करता है जो अभ्यास के दौरान शेफ के कान में फुसफुसाता है: "हे, याद रखो, तुम्हें बाद में इसे पकाना भी होगा, इसलिए सामग्री को ताजा और व्यवस्थित रखें।"
परिणाम: मॉडल छवि डेटा को इस तरह से व्यवस्थित करना सीखता है जिससे बाद में नई छवियां बनाना आसान हो जाता है, बिना अपनी वर्तमान छवि को समझने की क्षमता को खोए।

4. हाइब्रिड इंजन (Convolution-Attention + SigLu)

UniWeTok का मस्तिष्क अलग तरह से बना है।

उपमा: एक शहर को देखने के बारे में सोचें।
- कन्वोल्यूशन (Convolution) व्यक्तिगत इमारतों की ईंटों और गारे (स्थानीय विवरण) को देखने जैसा है।
- अटेंशन (Attention) पूरे शहर के तालमेल को देखने के लिए स्काईलाइन को देखने जैसा है (ग्लोबल कॉन्टेक्स्ट)।
- UniWeTok एक ही समय में दोनों का उपयोग करता है।
SigLu एक्टिवेशन: यह एक विशेष "ब्रेक" सिस्टम है। पिछले मॉडलों में, विवरण और अर्थ को एक साथ सीखने की कोशिश करने से मस्तिष्क भ्रमित हो जाता था और क्रैश हो जाता था (ऑप्टिमाइज़ेशन संघर्ष)। SigLu एक स्मार्ट गवर्नर की तरह काम करता है जो इंजन को सुचारू रूप से चलाने में मदद करता है, यह सुनिश्चित करता है कि मॉडल विशाल शब्दकोश से अभिभूत न हो जाए।

5. तीन-चरणीय प्रशिक्षण (Curriculum Learning)

आप एक बच्चे को पीएचडी थीसिस से पढ़ना नहीं सिखाते। आप पिक्चर बुक्स से शुरू करते हैं, फिर चैप्टर बुक्स, और फिर जटिल उपन्यास।

चरण 1: मॉडल छोटी, सरल छवियों (256x256 पिक्सेल) पर सीखता है।
चरण 2: यह विभिन्न आकारों और आकृतियों की छवियों को संभालना सीखता है।
चरण 3: इसे मानव चेहरे और टेक्स्ट जैसी कठिन चीजों पर "विशेष प्रशिक्षण" दिया जाता है, जिन्हें सही करना मुश्किल होता है।

बड़ी जीत

परिणामस्वरूप एक ऐसा मॉडल मिलता है जो तेज़, सस्ता और स्मार्ट है।

दक्षता (Efficiency): यह अन्य शीर्ष मॉडलों की तुलना में एक छवि का वर्णन करने के लिए 75% कम टोकन (शब्दों) का उपयोग करता है।
गुणवत्ता (Quality): यह ऐसी छवियां उत्पन्न कर सकता है जो लगभग पूर्ण दिखती हैं (पिछले सर्वश्रेष्ठ मॉडलों को पछाड़ते हुए) और छवियों के बारे में जटिल प्रश्नों को समझ सकता है।
बहुमुखी प्रतिभा (Versatility): यह एक ही मस्तिष्क का उपयोग करके किसी छवि के बारे में चैट कर सकता है, शून्य से एक नई छवि बना सकता है, या मौजूदा छवि को संपादित कर सकता है (जैसे बिल्ली के रंग को गुलाबी में बदलना)।

संक्षेप में: UniWeTok विज़न (दृष्टि) के क्षेत्र में "स्विस आर्मी नाइफ" है। यह केवल देखता नहीं है; यह छवि के पीछे की कहानी को समझता है और उतनी ही अच्छी तरह से एक नई पेंटिंग भी बना सकता है, और वह भी अपने प्रतिस्पर्धियों की तुलना में बहुत कम कंप्यूटर पावर का उपयोग करके।

यहाँ शोध पत्र "UniWeTek: एक यूनिफाइड मल्टीमॉडल लार्ज लैंग्वेज मॉडल के लिए $2^{128}$ कोडबुक आकार वाला एक यूनिफाइड बाइनरी टोकेनाइज़र" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यूनिफाइड मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को एक ऐसे विज़ुअल रिप्रेजेंटेशन की आवश्यकता होती है जो एक साथ तीन परस्पर विरोधी उद्देश्यों को पूरा करे:

उच्च-सटीक पुनर्निर्माण (High-fidelity reconstruction): सूक्ष्म बनावट और विवरणों को संरक्षित करना।
जटिल अर्थपूर्ण निष्कर्षण (Complex semantic extraction): गहन समझ और तर्क करने में सक्षम बनाना।
जेनेरेटिव उपयुक्तता (Generative suitability): बिना मोड कोलैप्स (mode collapse) के स्थिर ऑटो-रिग्रेसिव जनरेशन का समर्थन करना।

मौजूदा समाधान इन लक्ष्यों के बीच संतुलन बनाने में संघर्ष करते हैं:

कंटीन्यूअस टोकेनाइज़र्स (जैसे, VQGAN, डिफ्यूजन-आधारित) अक्सर ऑटो-रिग्रेसिव जनरेशन के दौरान एरर एक्युमुलेशन और मोड कोलैप्स से ग्रस्त होते हैं।
डिस्क्रीट टोकेनाइज़र्स ऐतिहासिक रूप से खराब पुनर्निर्माण गुणवत्ता और सीमित अर्थपूर्ण निष्कर्षण के लिए आलोचना का सामना करते रहे हैं। हालांकि हाल के कार्यों ने (जैसे, WeTok, BitDance) सूचना घनत्व में सुधार के लिए कोडबुक के आकार को विशाल आयामों ( $>2^{128}$ ) तक बढ़ाया है, वे अक्सर पर्याप्त अर्थपूर्ण जानकारी निकालने में विफल रहते हैं या यूनिफाइड अंडरस्टैंडिंग और जनरेशन कार्यों के लिए अनुकूलित नहीं होते हैं।
वर्तमान यूनिफाइड MLLMs अक्सर समझ और जनरेशन के लिए अलग-अलग एनकोडर्स का उपयोग करते हैं या डिफ्यूजन उद्देश्यों पर निर्भर करते हैं जो ऑटो-रिग्रेसिव प्रतिमान (paradigm) को तोड़ देते हैं, जिससे मल्टी-टर्न एडिटिंग या इंटरलीव्ड कार्यों में उप-इष्टतम प्रदर्शन होता है।

2. कार्यप्रणाली: UniWeTok (Methodology: UniWeTok)

UniWeTok एक यूनिफाइड डिस्क्रीट टोकेनाइज़र है जिसे उच्च-सटीक संपीड़न (compression), अर्थपूर्ण समझ और जेनेरेटिव प्रायर्स (generative priors) के बीच के अंतर को पाटने के लिए डिज़ाइन किया गया है। यह $2^{128}$ के विशाल बाइनरी कोडबुक का उपयोग करता है और 32× स्थानिक डाउनसैंपलिंग दर प्राप्त करता है।

A. प्रशिक्षण ढांचा (Training Framework)

लेखकों ने टोकेनाइज़र की क्षमताओं को बढ़ाने के लिए दो नवीन लॉस फंक्शन पेश किए हैं:

प्री-पोस्ट डिस्टिलेशन (PPD):
- लक्ष्य: डिस्क्रीट टोकन्स को मजबूत अर्थपूर्ण निष्कर्षण क्षमता प्रदान करना।
- तंत्र: एक प्री-ट्रेंड सिमेंटिक एनकोडर (टीचर, जैसे, ViT-SigLIP) इनपुट इमेज को सिमेंटिक लेटेंट्स में एनकोड करता है। UniWeTok एनकोडर अपने इंटरमीडिएट फीचर्स (Pre-Distillation) और फाइनल क्वांटाइज्ड फीचर्स (Post-Distillation) दोनों को टीचर के आउटपुट के साथ कोसाइन सिमिलरिटी लॉस का उपयोग करके अलाइन करता है।
- प्रभाव: यह सुनिश्चित करता है कि संपीड़ित डिस्क्रीट टोकन्स उच्च-स्तरीय अर्थपूर्ण अवधारणाओं को बनाए रखते हैं जो MLLM समझ के लिए आवश्यक हैं।
जेनेरेटिव-अवेयर प्रायर (GAP):
- लक्ष्य: उन कठिनाइयों को कम करना जिनका सामना बड़े कोडबुक का उपयोग करने वाले डाउनस्ट्रीम जनरेशन कार्यों को करना पड़ता है।
- तंत्र: क्वांटाइज्ड लेटेंट सीक्वेंस को एक लाइटवेट, रैंडमली इनिशियलाइज्ड जेनेरेटिव मॉडल (BitDance पर आधारित) में फीड किया जाता है ताकि एक 'नेक्स्ट-टोकन डिफ्यूजन टास्क' किया जा सके। यह प्रशिक्षण के दौरान एक "जेनेरेटिव प्रायर" इंजेक्ट करता है, जो टोकेनाइज़र को ऐसे टोकन्स उत्पन्न करना सिखाता है जो ऑटो-रिग्रेसिव जनरेशन के लिए उपयुक्त वितरण (distribution) का पालन करते हैं।
- प्रभाव: पुनर्निर्माण या समझ क्षमताओं से समझौता किए बिना जनरेशन की गुणवत्ता (FID) में सुधार करता है।

B. मॉडल आर्किटेक्चर (Model Architecture)

हाइब्रिड बैकबोन:
- यह कन्वोल्यूशनल लेयर्स (लोकल इंडक्टिव बायस और टेक्सचर डिटेल के लिए) को ट्रांसफॉर्मर ब्लॉक्स (ग्लोबल कॉन्टेक्स्ट और सिमेंटिक रीजनिंग के लिए) के साथ जोड़ता है।
- एनकोडर और डिकोडर इस संरचना को मिरर करते हैं, जिससे कम्प्यूटेशनल दक्षता और रिसेप्टिव फील्ड के बीच संतुलन बनता है।
SigLu एक्टिवेशन फंक्शन:
- समस्या: स्टैंडर्ड ग्रुप-वाइज लुकअप-फ्री क्वांटाइजेशन (GQ) कमिटमेंट लॉस (आउटपुट को $\pm 1$ से बांधना) और टोकन एंट्रॉपी लॉस (आउटपुट को अनंत की ओर ले जाना) के बीच एक ऑप्टिमाइज़ेशन संघर्ष पैदा करता है, जिससे सिमेंटिक डिस्टिलेशन विफल हो जाता है।
- समाधान: SigLu एक्टिवेशन फंक्शन ( $1 - \frac{e^x}{1+e^x}$ ) को अंतिम एनकोडर लेयर के रूप में लागू किया गया है। यह स्वाभाविक रूप से एनकोडर आउटपुट को $[-1, 1]$ अंतराल के भीतर सीमित करता है।
- परिणाम: यह टोकन एंट्रॉपी लॉस को कमिटमेंट लॉस के समकक्ष बनाता है, जिससे मॉडल कमिटमेंट वेट को शून्य सेट कर सकता है और स्थिर सिमेंटिक डिस्टिलेशन संभव होता है।

C. तीन-चरणीय प्रशिक्षण पाइपलाइन (Three-Stage Training Pipeline)

वेरिएबल रेजोल्यूशन और परसेप्चुअली सेंसिटिव परिदृश्यों (चेहरे, टेक्स्ट) को संभालने के लिए, UniWeTok एक करिकुलम लर्निंग रणनीति का उपयोग करता है:

चरण 1 (लार्ज-स्केल प्रीट्रेनिंग): कम्प्यूटेशनल दक्षता के लिए एक फिक्स्ड रेजोल्यूशन (256×256) पर जनरल-डोमेन डेटा पर प्रशिक्षित।
चरण 2 (मल्टी-रेजोल्यूशन कॉन्टिनुअल प्री-ट्रेनिंग): अनुकूलन क्षमता सुनिश्चित करने के लिए कई रेजोल्यूशन पर एक साथ प्रशिक्षण।
चरण 3 (टेक्स्ट-फेस एनीलिंग): उच्च-संवेदनशील क्षेत्रों (चेहरे और टेक्स्ट) में विवरणों को रिफाइन करने के लिए इन पर ध्यान केंद्रित करना।

3. मुख्य योगदान (Key Contributions)

यूनिफाइड फ्रेमवर्क: एक ही मॉडल के भीतर $2^{128}$ बाइनरी कोडबुक का उपयोग करके उच्च-सटीक पुनर्निर्माण, मजबूत अर्थपूर्ण निष्कर्षण और जेनेरेटिव उपयुक्तता को सफलतापूर्वक एकीकृत करने वाला पहला डिस्क्रीट टोकेनाइज़र।
SigLu एक्टिवेशन: एक नवीन एक्टिवेशन फंक्शन जो एंट्रॉपी और कमिटमेंट लॉस के बीच के ऑप्टिमाइज़ेशन संघर्ष को हल करता है, जिससे डिस्क्रीट टोकन्स पर स्थिर सिमेंटिक डिस्टिलेशन संभव होता है।
प्रशिक्षण नवाचार: प्री-पोस्ट डिस्टिलेशन और जेनेरेटिव-अवेयर प्रायर लॉस का परिचय, जो समझ और जनरेशन दोनों कार्यों में प्रदर्शन को काफी बढ़ाता है।
दक्षता: प्रतिस्पर्धियों (जैसे, REPA के लिए 262B बनाम UniWeTok के लिए 33B ट्रेनिंग टोकन्स) की तुलना में काफी कम ट्रेनिंग कंप्यूट के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

UniWeTok का मूल्यांकन ImageNet, जनरल-डोमेन डेटासेट (DataComp-1B) और विभिन्न MLLM बेंचमार्क पर किया गया।

इमेज जनरेशन (Class-to-Image):
- ImageNet 256×256 पर FID 1.38 प्राप्त किया, जो REPA (1.42) और अन्य SOTA मॉडल्स से बेहतर है।
- केवल 33B ट्रेनिंग टोकन्स की आवश्यकता थी (REPA के 262B के मुकाबले) और यह प्रति इमेज केवल 64 टोकन उत्पन्न करता है (टोकन काउंट में 75% की कमी)।
पुनर्निर्माण (Reconstruction):
- 32× डाउनसैंपलिंग के साथ ImageNet पर SOTA rFID (0.79) और PSNR (23.26) प्राप्त किया।
- MS-COCO और ImageNet वैलिडेशन सेट्स पर केवल 25% विज़ुअल टोकन काउंट का उपयोग करते हुए जनरल-डोमेन टोकेनाइज़र्स (जैसे, WeTok, Open-MAGVIT2) से बेहतर प्रदर्शन किया।
यूनिफाइड MLLM प्रदर्शन:
- समझ (Understanding): SEED-Bench, POPE, और MMMU जैसे बेंचमार्क पर UniWeTok-Chat मॉडल (Qwen3-8B पर आधारित) ने प्रतिस्पर्धी स्कोर प्राप्त किए, जो स्पेशलाइज्ड अंडरस्टैंडिंग मॉडल्स के बराबर या उनसे बेहतर हैं।
- जनरेशन (Generation): UniWeTok-Gen ने 86.63 का DPG स्कोर प्राप्त किया, जो प्रमुख ओपन-सोर्स मॉडल FLUX.1 [Dev] (83.84) से बेहतर है।
- एडिटिंग (Editing): UniWeTek-Edit ने 5.09 का GEdit ओवरऑल स्कोर प्राप्त किया, जो OmniGen (5.06) से बेहतर है और निजी मॉडल्स को टक्कर देता है, जो पहली बार है जब किसी ऑटो-रिग्रेसिव मॉडल ने समान पैरामीटर स्केल पर डिफ्यूजन मॉडल्स को इस विशिष्ट एडिटिंग बेंचमार्क पर पीछे छोड़ा है।

5. महत्व (Significance)

UniWeTok यह प्रदर्शित करता है कि एक एकल, अच्छी तरह से अनुकूलित डिस्क्रीट टोकेनाइज़र, यूनिफाइड MLLMs की जटिल चुनौतियों को संबोधित करने के लिए पर्याप्त है। पुनर्निर्माण गुणवत्ता, अर्थपूर्ण घनत्व और जेनेरेटिव स्थिरता के बीच ऐतिहासिक ट्रेड-ऑफ को हल करके, यह भविष्य के यूनिफाइड विजन-लैंग्वेज मॉडल्स के लिए एक मजबूत और कुशल बेसलाइन प्रदान करता है। यह कार्य सुझाव देता है कि उचित आर्किटेक्चरल और ट्रेनिंग नवाचारों (SigLu, PPD, GAP) के साथ जुड़े होने पर, विशाल बाइनरी कोडबुक, अलग-अलग एनकोडर्स या हाइब्रिड डिफ्यूजन-LLM आर्किटेक्चर की आवश्यकता को समाप्त कर सकते हैं, जिससे वास्तव में यूनिफाइड मल्टीमॉडल इंटेलिजेंस की दिशा में मार्ग सुगम होता है।

1. विशाल शब्दकोश (The 21282^{128}2128 Codebook)