What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models
यह शोध पत्र EmbedLens को प्रस्तुत करता है जो यह प्रकट करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स महत्वपूर्ण विजुअल टोकन स्पर्सिटी (visual token sparsity) और रेडंडेंसी (redundancy) प्रदर्शित करते हैं, यह दर्शाते हुए कि केवल "जीवित" (alive) टोकन्स का एक उपसमुच्चय ही आवश्यक सिमेंटिक जानकारी वहन करता है जिसे पूर्ण आंतरिक गणना के बजाय मिड-लेयर इंजेक्शन (mid-layer injection) के माध्यम से कुशलतापूर्वक संसाधित किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) एक सुपर-स्मार्ट अनुवादक है जो एक दोस्त को एक तस्वीर का वर्णन करने की कोशिश कर रहा है। तस्वीर एक कैमरे (विज़न एनकोडर) द्वारा ली गई है, जिसे छोटे-छोटे चौकोर टुकड़ों (पैच) में काट दिया गया है, और फिर अनुवादक (LLM) को शब्दों में बदलने के लिए सौंप दिया गया है।
लंबे समय तक, हमने यह माना कि अनुवादक को तस्वीर का अर्थ समझने के लिए हर एक टुकड़े को देखना होगा और बहुत अधिक मानसिक कसरत करनी होगी।
यह शोध पत्र, "What Do Visual Tokens Really Encode?", पर्दे के पीछे झाँकता है और खोज निकालता है कि अनुवादक वास्तव में बहुत सारा अनावश्यक काम कर रहा है। वास्तव में, उन्हें मिलने वाले तस्वीर के टुकड़े ज्यादातर कचरा हैं, और अनुवादक का मस्तिष्क इस तरह से बना हुआ है कि उसके सोचने के कुछ चरण खुद ही फालतू (redundant) हैं।
सरल उपमाओं का उपयोग करते हुए इसका विवरण यहाँ दिया गया है:
1. पिक्चर टाइल्स (तस्वीर के टुकड़ों) के तीन प्रकार
जब कैमरा तस्वीर के टुकड़ों को अनुवादक के पास भेजता है, तो वे सभी समान नहीं होते। शोधकर्ताओं ने पाया कि वे तीन अलग-अलग समूहों में आते हैं:
- "डेड" टाइल्स (स्थिर शोर/Static Noise): कल्पना कीजिए कि आप एक बिल्ली की फोटो देख रहे हैं, लेकिन 30% टुकड़े बस खाली ग्रे वर्ग या रैंडम शोर (static) हैं। वे बिल्ली, बैकग्राउंड या कुछ भी उपयोगी नहीं दिखाते। वे बस "डेड वेट" (बोझ) हैं।
- खोज: मॉडल इन्हें अनदेखा करता है। यदि आप इन्हें हटा देते हैं, तो अनुवादक वास्तव में बेहतर काम करता है क्योंकि वह शोर से विचलित नहीं होता।
- "सिंक" टाइल्स (अटेंशन एंकर्स): ये रिमोट कंट्रोल के "स्टार्ट" बटन की तरह हैं। इनमें कोई चित्र संबंधी जानकारी (जैसे "बिल्ली" या "पेड़") नहीं होती, लेकिन अनुवादक का मस्तिष्क अपने फोकस को स्थिर रखने के लिए उन्हें देखने के लिए प्रशिक्षित किया गया है। वे एक संरचनात्मक गोंद (structural glue) की तरह काम करते हैं।
- खोज: ये भी तस्वीर को समझने के लिए बेकार हैं। आप इन्हें हटा सकते हैं, और अनुवादक बस अपना ध्यान टेक्स्ट प्रॉम्प्ट में मौजूद "स्टार्ट" बटन पर केंद्रित कर देता है। इससे कोई नुकसान नहीं होता।
- "अलाइव" टाइल्स (असली जानकारी): केवल यही टाइल्स वास्तव में मायने रखती हैं। इनमें विशिष्ट विवरण होते हैं: बिल्ली के कान, लाल गेंद, या साइन बोर्ड पर लिखा टेक्स्ट।
- खोज: आश्चर्यजनक रूप से, केवल लगभग 60% टाइल्स ही "अलाइव" हैं। बाकी 40% डेड या सिंक टाइल्स हैं।
2. "प्री-ट्रांसलेटेड" (पहले से अनुवादित) रहस्य
यहाँ सबसे चौंकाने वाला हिस्सा है। हम सोचते थे कि अनुवादक को इन "अलाइव" टाइल्स को अवधारणाओं (concepts) में बदलने के लिए बहुत काम करना पड़ता है।
- पुराना विचार: टाइल्स कच्चे पिक्सेल के रूप में आती हैं। अनुवादक का मस्तिष्क (LLM) यह समझने के लिए कि "ओह, यह एक लाल गेंद है," उन्हें कई परतों के माध्यम से प्रोसेस करता है।
- नई खोज: "अलाइव" टाइल्स पहले से ही अनुवादित होकर आती हैं। वे एक पहले से पैक किए गए लंच की तरह हैं। जब तक वे अनुवादक तक पहुँचती हैं, उनमें पहले से ही "लाल गेंद" या "टेक्स्ट" की महक आ चुकी होती है। वे भाषा के साथ इतनी अच्छी तरह से जुड़ी हुई हैं कि अनुवादक को समझने के लिए बहुत अधिक मेहनत करने की आवश्यकता नहीं होती।
3. "मिडल-सीट" शॉर्टकट
चूंकि "अलाइव" टाइल्स इतनी अच्छी तरह से तैयार होकर आती हैं, इसलिए अनुवादक को उन्हें प्रोसेस करने के लिए अपने पूरे दिमाग का उपयोग करने की आवश्यकता नहीं होती है।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। आमतौर पर, वे प्रश्न पढ़ते हैं, मन में उसके बारे में सोचते हैं (उथले स्तर/shallow layers), और फिर उत्तर लिखते हैं।
- निष्कर्ष: इन चित्र टाइल्स के लिए, मस्तिष्क के शुरुआती स्तरों में "सोचने" वाला हिस्सा वास्तव में बेकार है। यह वैसा ही है जैसे कुछ लिखने से पहले कागज को 10 सेकंड तक घूरकर गणित की समस्या हल करने की कोशिश करना। यह सिर्फ समय बर्बाद करता है।
- समाधान: शोधकर्ताओं ने पाया कि यदि आप अनुवादक के मस्तिष्क के शुरुआती कुछ "सोचने वाले स्तरों" को छोड़ देते हैं और सीधे मध्यवर्ती परतों (middle layers) में चित्र टाइल्स को इंजेक्ट कर देते हैं, तो यह उतना ही अच्छा (और कभी-कभी बेहतर) काम करता है। यह छात्र के मध्य मस्तिष्क को सीधे उत्तर कुंजी (answer key) देने जैसा है, जिससे भ्रम के चरणों को छोड़ दिया जाता है।
4. "कलर कन्फ्यूजन" (रंग का भ्रम) जाल
शोध में यह भी पाया गया कि मॉडल के रंग देखने के तरीके में एक अजीब सी खामी है।
- परिदृश्य: यदि आप मॉडल को चमकीले हरे बैकग्राउंड पर एक काला अक्षर "A" दिखाते हैं, तो मॉडल अक्सर कहता है कि अक्षर हरा है।
- कारण: मॉडल आलसी है। विशिष्ट अक्षर को देखने के बजाय, वह पूरे पैच के "वाइब" (vibe) को देखता है। वह हरे बैकग्राउंड को देखता है और मान लेता है कि पूरी चीज़ हरी है। यह किसी व्यक्ति के व्यक्तित्व का निर्णय उसके कपड़ों के रंग के आधार पर करने जैसा है, न कि उसके वास्तविक व्यक्तित्व के आधार पर।
यह क्यों मायने रखता है? (इसका महत्व क्या है?)
यह शोध AI को तेज़ और सस्ता बनाने के लिए गेम-चेंजर है:
- कचरे की छंटनी (Pruning the Junk): चूंकि 40% चित्र टाइल्स बेकार हैं (डेड/सिंक), हम उन्हें मॉडल के सोचने शुरू करने से पहले ही हटा सकते हैं। इससे मॉडल तेजी से चलता है और कम मेमोरी का उपयोग करता है।
- बोरिंग चीजों को छोड़ना: चूंकि मस्तिष्क के शुरुआती स्तर चित्रों के लिए ज्यादा मदद नहीं करते, इसलिए हम मॉडल को उन्हें छोड़ने के लिए कह सकते हैं। यह एक कर्मचारी को यह बताने जैसा है, "कागजी कार्रवाई न करें; सीधे असेंबली लाइन पर जाएँ।"
- बेहतर डिज़ाइन: भविष्य के AI मॉडल को इस तरह बनाया जा सकता है कि वे चित्रों को सीधे मस्तिष्क के बीच में इंजेक्ट करें, जिससे वे अधिक कुशल और मतिभ्रम (hallucinations/मनगढ़ंत बातें बनाना) से कम ग्रस्त होंगे।
संक्षेप में: यह शोध पत्र प्रकट करता है कि वर्तमान AI मॉडल बहुत सारा भारी, बेकार सामान (डेड टोकन) ढो रहे हैं और चक्कर काट रहे हैं (रिडंडेंट प्रोसेसिंग), जबकि वे केवल एक शॉर्टकट (मिडल-लेयर इंजेक्शन) ले सकते हैं और कचरे को पीछे छोड़ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।