तकनीकी सारांश: TaTok – सैद्धांतिक रूप से सुदृढ़ अनुकूली इमेज टोकनाइजेशन (Theoretically Grounded Adaptive Image Tokenization)

1. समस्या विवरण (Problem Statement)

वर्तमान डिस्क्रीट इमेज टोकनाइजेशन विधियाँ, जो लंबी इमेज सीक्वेंस प्रोसेसिंग और यूनिफाइड मल्टीमॉडल मॉडल्स के लिए आवश्यक हैं, दो मौलिक सैद्धांतिक दोषों से ग्रस्त हैं, जो छवियों की परिवर्तनशील सूचना घनत्व (information density) पर फिक्स्ड कंप्रेशन रेट्स के कठोर अनुप्रयोग से उत्पन्न होते हैं:

1. सूचना अपर्याप्तता (Information Insufficiency): मौजूदा पैच-केवल (patch-only) योजनाएं वैश्विक अर्थपूर्ण (global semantic) और संरचनात्मक जानकारी को पूरी तरह से कैप्चर करने में विफल रहती हैं। डेटा प्रोसेसिंग इनइक्वैलिटी (Data Processing Inequality) और रेट-डिस्टॉर्शन थ्योरी पर आधारित सैद्धांतिक विश्लेषण यह सिद्ध करता है कि नियत (deterministic) पैच विभाजन और क्वांटाइजेशन के परिणामस्वरूप एक अपरिहार्य पुनर्निर्माण हानि निचला स्तर ($D_{min} > 0$) होता है। फलस्वरूप, उच्च-आवृत्ति (high-frequency) विवरण और निरंतर ग्रेस्केल जानकारी को केवल स्थानीय पैच टोकन का उपयोग करके पूरी तरह से रिकवर नहीं किया जा सकता है।
2. सूचना अतिरेक (Information Redundancy): प्राकृतिक छवियों में मजबूत स्थानीय स्थिरता (local stationarity) और गैर-स्थानीय अर्थपूर्ण सहसंबंध (non-local semantic correlations) प्रदर्शित होते हैं। विजन ट्रांसफार्मर (ViT) एनकोडर्स द्वारा प्रोसेस किए जाने पर, ये सहसंबंध पैच टोकनों के बीच महत्वपूर्ण म्यूचुअल इंफॉर्मेशन ओवरलैप पैदा करते हैं। यह अतिरेक कम्प्यूटेशनल जटिलता (सेल्फ-अटेंशन के लिए $O(N^2)$ के रूप में स्केल होती है) को बढ़ाता है और ब्लॉकिंग आर्टिफैक्ट्स या ओवर-स्मूथिंग के माध्यम से पुनर्निर्माण की गुणवत्ता को कम करता है, फिर भी वर्तमान विधियों में गुणवत्ता से समझौता किए बिना इसे समाप्त करने के लिए सिद्धांतों पर आधारित तंत्र का अभाव है।

मौजूदा दृष्टिकोण वैश्विक संदर्भ के लिए पदानुक्रमित एकत्रीकरण (hierarchical aggregation) या स्पार्स सिलेक्शन के लिए ह्यूरिस्टिक नियमों का उपयोग करके इन मुद्दों को अलग-अलग हल करने का प्रयास करते हैं, लेकिन वे एक सहक्रियात्मक (synergistic), सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करने में विफल रहते हैं जो वैश्विक जानकारी को मॉडल करने और अतिरेक को छाँटने (pruning) को एक साथ संभाल सके।

2. कार्यप्रणाली: TaTok फ्रेमवर्क (Methodology: The TaTok Framework)

लेखक TaTok का प्रस्ताव करते हैं, जो एक सैद्धांतिक रूप से सुदृढ़ अनुकूली इमेज टोकनाइजेशन फ्रेमवर्क है जो ग्लोबल इंफॉर्मेशन मॉडलिंग और डायनेमिक रेडंडेंसी प्रूनिंग को एक एंड-टू-एंड ट्रेन करने योग्य सिस्टम में एकीकृत करता है।

2.1 ग्लोबल टोकन ऑग्मेंटेशन (सूचना अपर्याप्तता का समाधान)

पैच-केवल योजनाओं में निहित सूचना हानि की भरपाई के लिए, TaTok एक लर्न करने योग्य ग्लोबल टोकन ($g$) पेश करता है।

• सैद्धांतिक आधार: म्यूचुअल इंफॉर्मेशन थ्योरी से प्रेरणा लेते हुए, लेखक सिद्ध करते हैं (लेम्मा 3.1) कि टोकन अनुक्रम को एक ग्लोबल टोकन $g$ के साथ जोड़ने से, जो छवि की समग्र जानकारी $G(x)$ का अनुमान लगाता है, टोकन अनुक्रम और मूल छवि के बीच म्यूचुअल इंफॉर्मेशन बढ़ता है: $I(x; [g; z]) = I(x; z) + I(x; g | z)$।
• प्रभाव: प्रमेय 3.2 प्रदर्शित करता है कि यह ऑग्मेंटेशन पुनर्निर्माण हानि के सैद्धांतिक इन्फिमम (infimum) को कम करता है ($\epsilon'_{inf} < \epsilon_{inf}$), जिससे कम टोकन के साथ उच्च-निष्ठा (high-fidelity) रिकवरी संभव होती है। ग्लोबल टोकन को कंडीशनल एंट्रॉपी $h(G(x) | g)$ को मिनिमाइज करने के लिए अनुकूलित किया जाता है, जो सीधे तौर पर ऑगमेंटेड अनुक्रम की म्यूचुअल इंफॉर्मेशन को बढ़ाता है।

2.2 डायनेमिक टोकन फिल्टरिंग (DTF) (अतिरेक का समाधान)

अतिरेक को समाप्त करने के लिए, TaTok संचयी कंडीशनल एंट्रॉपी (cumulative conditional entropy) पर आधारित एक डायनेमिक टोकन फिल्टरिंग (DTF) एल्गोरिदम का उपयोग करता है।

• तंत्र: एक निश्चित संख्या के टोकन के बजाय, DTF एक पूर्व-निर्धारित सूचना आवश्यकता को पूरा करने के लिए आवश्यक न्यूनतम पैच टोकनों ($N$) का अनुकूल रूप से चयन करता है।
• चयन मानदंड: पैच टोकनों को उनके कंडीशनल एंट्रॉपी $H(z_i | g)$ के आधार पर सॉर्ट किया जाता है, जो ग्लोबल टोकन के दिए जाने पर प्रत्येक पैच द्वारा योगदान की गई अद्वितीय जानकारी को मापता है।
• बाधाएं (Constraints): चयन प्रक्रिया दो बाधाओं को संतुष्ट करती है:
  1. न्यूनतम सूचना बाधा: संचयी सूचना को रेट-डिस्टॉर्शन थ्योरी से प्राप्त एक थ्रेशोल्ड $T$ को पूरा करना चाहिए।
  2. सूचना हानि दर बाधा: खोई हुई अद्वितीय जानकारी का अनुपात एक पूर्व-निर्धारित दर $\epsilon$ से अधिक नहीं होना चाहिए।
• प्रक्रिया: एल्गोरिदम अद्वितीय जानकारी के अवरोही क्रम (descending order) में टोकन को तब तक संचित करता है जब तक कि बाधाएं संतुष्ट न हो जाएं, यह सुनिश्चित करते हुए कि केवल सूचना-समृद्ध पैच ही रखे जाएं।

.3 डी-टोकनाइजेशन और ट्रेनिंग

• पुनर्निर्माण (Reconstruction): चयनित टॉप-$N$ पैच टोकनों को ग्लोबल टोकनों के साथ जोड़ा जाता है ताकि एक ऑगमेंटेड अनुक्रम बनाया जा सके। इसे क्वांटाइज किया जाता है और इमेज को पुनर्गठित करने के लिए एक डिकोडर (विस्तारित ViT) में भेजा जाता है। मूल पैच काउंट के साथ संरेखित करने के लिए, अनुक्रम को लर्न करने योग्य मास्क टोकन के साथ पैड किया जाता है।
• लॉस फंक्शन: फ्रेमवर्क को एक कंपोजिट लॉस का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है:
  • रिकंस्ट्रक्शन लॉस ($L_{rec}$): पिक्सेल-वाइज MSE।
  • क्वांटाइजेशन लॉस ($L_{commit}$): ऑगमेंटेड टोकन को कोडबुक के साथ संरेखित करता है।
  • ग्लोबल सिमेंटिक एलाइनमेंट लॉस ($L_{glob}$): ग्लोबल टोकन और छवि की समग्र जानकारी के बीच कंडीशनल एंट्रॉपी को कम करता है।

3. मुख्य योगदान (Key Contributions)

1. दोषों का सैद्धांतिक प्रमाण: यह पेपर सूचना सिद्धांत का उपयोग करके कठोरता से सिद्ध करता है कि मौजूदा डिस्क्रीट टोकनाइज़र अपरिहार्य सूचना अपर्याप्तता (रेट-डिस्टॉर्शन बाधाओं के कारण) और अंतर्निहित सूचना अतिरेक (छवि सहसंबंधों के कारण) से ग्रस्त हैं।
2. एकीकृत फ्रेमवर्क (TaTok): यह पहला एंड-टू-एंड ट्रेन करने योग्य टोकनाइज़र प्रस्तावित करता है जो लर्न करने योग्य ग्लोबल टोकन और एक डायनेमिक फिल्टरिंग तंत्र को एकीकृत करता है। यह सैद्धांतिक रूप से सिद्ध करता है कि यह संयोजन पैच-ओनली स्कीमों की तुलना में पुनर्निर्माण हानि के निचले स्तर को कम करता है।
3. अनुकूली दक्षता (Adaptive Efficiency): एक फिक्स्ड ग्रिड के बजाय सूचना समृद्धि के आधार पर टोकन आवंटित करके, TaTok गुणवत्ता से समझौता किए बिना बेहतर कंप्रेशन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग ImageNet 256×256 इमेज जनरेशन और रिकंस्ट्रक्शन कार्यों पर किए गए।

• पुनर्निर्माण गुणवत्ता (Reconstruction Quality): TaTok केवल 56.4 टोकन (कोडबुक साइज 4096) का उपयोग करके एक पुनर्निर्माण FID (rFID) 1.51 प्राप्त करता है। यह ViT-VQGAN (1024 टोकन के साथ rFID 1.28) और TiTok-B-57 (57 टोकन के साथ rFID 1.75) जैसे स्टेट-ऑफ-द-आर्ट तरीकों को पीछे छोड़ते हुए, प्रति टोकन बेहतर सूचना संरक्षण प्रदर्शित करता है।
• जेनरेशन गुणवत्ता (Generation Quality): MaskGIT-ViT जनरेटर के साथ युग्मित होकर, TaTok 1.89 का जेनरेशन FID (gFID) प्राप्त करता है, जो MaskGIT-VQGAN (gFID 6.18) और TiTok-B-64 (gFID 2.48) से बेहतर है।
• दक्षता (Efficiency): TaTok मानक बेसलाइनों की तुलना में 4.5× कंप्रेशन रेश्यो में सुधार प्रदर्शित करता है। इंफरेंस स्पीड के मामले में, यह MaskGIT-VQGAN (9.7 सैंपल/सेकंड) की तुलना में 8.7× थ्रूपुट स्पीडअप (A100 पर 94.3 सैंपल/सेकंड) प्राप्त करता है, जबकि काफी कम पैरामीटर्स का उपयोग करता है (177M बनाम 3.8B)।
• एब्लेशन स्टडीज (Ablation Studies):
  • ग्लोबल टोकन: प्रयोग पुष्टि करते हैं कि ग्लोबल टोकन जोड़ने से पुनर्निर्माण में महत्वपूर्ण सुधार होता है (16 टोकन के साथ rFID 2.17 से गिरकर 1.51 हो जाता है), जो "सूचना अपर्याप्तता" परिकल्पना को प्रमाणित करता है।
  • अतिरेक (Redundancy): 50% पैच टोकन को ट्रंकेट (रैंडमली या पोजीशन द्वारा) करने से rFID में नगण्य गिरावट आती है, जो उच्च अतिरेक की पुष्टि करता है। हालांकि, 50% से अधिक हटाने पर गुणवत्ता गिर जाती है, जो अनुकूली चयन की आवश्यकता को सिद्ध करता है।
  • फिल्टरिंग रणनीति: TaTok की एंट्रॉपी-आधारित चयन रणनीति रैंडम, यूनिफॉर्म, या फिक्स्ड-पोजीशन (प्रथम/अंतिम N) सैंपलिंग रणनीतियों की तुलना में काफी बेहतर प्रदर्शन करती है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि TaTok वर्तमान टोकनाइज़र्स की "वन-साइज़-फिट्स-ऑल" कंप्रेशन रणनीतियों के लिए एक सैद्धांतिक रूप से सुदृढ़ विकल्प प्रदान करता है। रेट-डिस्टॉर्शन थ्योरी के माध्यम से सूचना घनत्व और टोकन काउंट के बीच के ट्रेड-ऑफ को स्पष्ट रूप से मॉडल करके, TaTok सक्षम बनाता है:

• कॉम्पैक्ट लेकिन सटीक प्रतिनिधित्व: कम टोकन के साथ स्टेट-ऑफ-द-आर्ट जेनरेशन क्वालिटी प्राप्त करना।
• स्केलेबिलिटी: मल्टीमॉडल मॉडल्स में कुशल लॉन्ग-सीक्वेंस प्रोसेसिंग के लिए एक आधार प्रदान करना।
• नई अंतर्दृष्टि: यह कार्य प्रकट करता है कि एज पैच टोकन अक्सर असमान रूप से अधिक पोजीशनल जानकारी ले जाते हैं, जो यह समझने के विस्तार को बढ़ाता है कि 2D स्थानिक डेटा को 1D टोकन अनुक्रमों में कैसे एनकोड किया जाता है।

लेखक TaTok को केवल एक वृद्धिशील सुधार के रूप में नहीं, बल्कि अनुकूली, सूचना-सैद्धांतिक टोकन आवंटन की ओर एक बदलाव के रूप में देखते हैं, जो सूचना अपर्याप्तता और अतिरेक की मुख्य बाधाओं को संबोधित करता है जिन्होंने डिस्क्रीट विजुअल टोकनाइज़र्स की दक्षता को सीमित किया है।