💻 computer science

Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models

यह शोध पत्र QTSplus को प्रस्तुत करता है, जो एक हल्का क्वेरी-अवेयर टोकन चयन मॉड्यूल है जो टेम्पोरल अंडरस्टैंडिंग कार्यों पर प्रदर्शन को बनाए रखते हुए या उसे बढ़ाते हुए, लॉन्ग-वीडियो मल्टीमॉडल लैंग्वेज मॉडल्स में कंप्यूटेशनल लागत और लेटेंसी को काफी कम करने के लिए टेक्स्ट क्वेरी की जटिलता के आधार पर विजुअल टोकन को गतिशील रूप से फ़िल्टर करता है।

मूल लेखक: Siyou Li, Huanan Wu, Juexi Shao, Yinghao Ma, Yujian Gan, Yihao Luo, Yuwei Wang, Dong Nie, Lu Wang, Wenqing Wu, Le Zhang, Massimo Poesio, Juntao Yu

प्रकाशित 2026-02-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siyou Li, Huanan Wu, Juexi Shao, Yinghao Ma, Yujian Gan, Yihao Luo, Yuwei Wang, Dong Nie, Lu Wang, Wenqing Wu, Le Zhang, Massimo Poesio, Juntao Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "सीइंग द फॉरेस्ट एंड द ट्रीज़" (Seeing the Forest and the Trees) पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "लाइब्रेरी ऑफ अलेक्जेंड्रिया" वाली समस्या

कल्पना कीजिए कि आपके पास एक मल्टीमॉडल AI (एक सुपर-स्मार्ट रोबोट जो देख और पढ़ सकता है) है। आप उससे एक 3 घंटे लंबी फिल्म के बारे में कोई सवाल पूछना चाहते हैं।

वर्तमान में, वीडियो को समझने के लिए, AI को हर एक फ्रेम को एक "टोकन" (एक तस्वीर का डिजिटल शब्द) में बदलना पड़ता है।

समस्या: एक 3 घंटे की फिल्म में हजारों फ्रेम होते हैं। यदि AI हर एक को पढ़ने की कोशिश करता है, तो यह वैसा ही है जैसे किसी लाइब्रेरियन से एक साधारण सवाल का जवाब खोजने के लिए 'लाइब्रेरी ऑफ अलेक्जेंड्रिया' की हर एक किताब पढ़ने के लिए कहना: "चेज़ सीन (पीछा करने वाले दृश्य) में कार का रंग क्या था?"
परिणाम: AI अभिभूत (overwhelmed) हो जाता है। उसकी मेमोरी खत्म हो जाती है, सोचने में बहुत समय लगता है, और वह अक्सर उस विशिष्ट विवरण को मिस कर देता है जिसके बारे में आपने पूछा था क्योंकि वह बहुत अधिक जानकारी में डूब जाता है।

समाधान: QTSplus (एक "स्मार्ट लाइब्रेरियन")

लेखक QTSplus नामक एक नया टूल प्रस्तावित करते हैं। इसे एक सुपर-स्मार्ट, क्वेरी-अवेयर (सवाल के प्रति जागरूक) लाइब्रेरियन के रूप में समझें जो वीडियो कैमरा और AI मस्तिष्क के बीच खड़ा है।

AI को पूरी लाइब्रेरी सौंपने के बजाय, QTSplus पहले आपके सवाल को देखता है, फिर शेल्फों की ओर दौड़ता है, केवल वही विशिष्ट किताबें (वीडियो फ्रेम्स) चुनता है जिनकी आपको आवश्यकता है, और उन्हें सौंप देता है।

यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "प्रासंगिकता स्कोर" (लाइब्रेरियन का अंतर्ज्ञान)

जब आप पूछते हैं, "आदमी क्या कर रहा है?", तो QTSplus केवल अनुमान नहीं लगाता। यह क्रॉस-अटेंशन (Cross-Attention) नामक तकनीक का उपयोग करता है।

उपमा: कल्पना कीजिए कि लाइब्रेरियन आपके सवाल वाला कार्ड पकड़े हुए है। जैसे ही वे वीडियो फ्रेम्स के पास से गुजरते हैं, वे प्रत्येक फ्रेम को आपके सवाल के साथ कितनी समानता है, इसके आधार पर एक "प्रासंगिकता स्कोर" (relevance score) देते हैं।
यदि एक फ्रेम में एक आदमी बीयर पीते हुए दिखाया गया है, तो उसे उच्च स्कोर (high score) मिलता है।
यदि एक फ्रेम में एक पेड़ या खाली दीवार दिखाई देती है, तो उसे कम स्कोर (low score) मिलता है।

2. "अनुकूली बजट" (यह जानना कि कितना पढ़ना है)

यही सबसे चतुर हिस्सा है। AI "वीडियो का 10% रखें" जैसा कोई निश्चित नियम इस्तेमाल नहीं करता है। यह सवाल के आधार पर अपनी रणनीति बदलता है।

परिदृश्य A: आप पूछते हैं, "पूरी फिल्म का सारांश दें।"
- QTSplus कहता है: "ठीक है, यह एक व्यापक सवाल है। मुझे पूरी कहानी बताने के लिए बहुत सारे फ्रेम रखने होंगे।" (उच्च बजट)।
परिदृश्य B: आप पूछते हैं, "लाल बत्ती कब हरी हुई?"
- QTSplus कहता है: "यह एक विशिष्ट क्षण है। मुझे केवल ट्रैफिक लाइट के आसपास के कुछ सेकंड रखने की आवश्यकता है। मैं बाकी सब हटा सकता हूँ।" (कम बजट)।

यह सवाल की जटिलता और वीडियो में महत्वपूर्ण सुराग कितने फैले हुए हैं, इसके आधार पर एक "रिटेंशन फ्रैक्शन" (Retention Fraction) (कितना रखना है उसका प्रतिशत) की गणना करता है।

3. "टाइम ट्रैवलर" (क्रम को सुरक्षित रखना)

एक बार जब लाइब्रेरियन बेहतरीन फ्रेम्स चुन लेता है, तो एक जोखिम होता है: वे गड़बड़ (jumbled) हो सकते हैं। यदि आप AI को फिल्म की शुरुआत से पहले फिल्म के अंत का फ्रेम दिखाते हैं, तो वह भ्रमित हो जाएगा।

समाधान: QTSplus चुने गए फ्रेम्स में एक छोटा सा "टाइम स्टैम्प" जोड़ता है।
उपमा: यह चुनी गई किताबों के पन्नों को एक बाइंडर में वापस रखने जैसा है जिस पर स्टिकी नोट्स लगे हैं जो कहते हैं "पेज 1," "पेज 50," और "पेज 100।" यह सुनिश्चित करता है कि AI कहानी के प्रवाह को सही क्रम में समझे, भले ही उसने 99% पन्ने छोड़ दिए हों।

परिणाम: तेज़, हल्का और सटीक

पेपर ने इसका परीक्षण Qwen2.5-VL मॉडल (एक बहुत लोकप्रिय AI) पर किया। यहाँ क्या हुआ:

संपीड़न (Compression): इसने वीडियो डेटा की मात्रा को 89% तक कम कर दिया। (कल्पना कीजिए कि 100 पन्नों के दस्तावेज़ को बिना कहानी खोए 11 पन्नों तक सिकोड़ देना)।
गति (Speed): AI सवालों के जवाब देने में 28% तेज़ हो गया।
सटीकता (Accuracy): आश्चर्यजनक रूप से, यह मूर्ख नहीं हुआ। वास्तव में, क्रम (पहले क्या हुआ?) और दिशा (कार किस दिशा में जा रही थी?) के बारे में सवालों के लिए, यह वास्तव में बेहतर हो गया क्योंकि यह अप्रासंगिक फ्रेम्स से विचलित नहीं हो रहा था।

यह क्यों महत्वपूर्ण है

इससे पहले, AI के साथ लंबे वीडियो देखना एक 'फायरहोस' (पानी की तेज़ धार) से पानी पीने जैसा था। या तो आपको वीडियो को छोटे, असंबद्ध क्लिप्स में काटना पड़ता था (जिससे बड़ी तस्वीर छूट जाती थी) या AI को बहुत अधिक डेटा के कारण घुटने देना पड़ता था।

QTSplus AI को स्मार्ट चश्मे देने जैसा है। यह AI को एक 3 घंटे की फिल्म देखने, उबाऊ हिस्सों को अनदेखा करने, आपके द्वारा पूछे गए विषय पर ध्यान केंद्रित करने और बिना सिरदर्द के तेज़ी से उत्तर देने की अनुमति देता है। यह हमें सामान्य कंप्यूटरों पर घंटों लंबे वास्तविक दुनिया के वीडियो को संभालने के लिए AI को स्केल करने की अनुमति देता है, न कि केवल सुपरकंप्यूटरों पर।

यहाँ शोध पत्र "Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models" (QTSplus) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) कंप्यूटेशनल और मेमोरी बाधाओं के कारण लंबे वीडियो को समझने (long-video understanding) में संघर्ष करते हैं।

रैखिक स्केलिंग (Linear Scaling): विजन एनकोडर (जैसे, ViT) द्वारा उत्पन्न विजुअल टोकन की संख्या वीडियो की अवधि और रिज़ॉल्यूशन के साथ रैखिक रूप से बढ़ती है। कई घंटों के वीडियो के लिए, इसके परिणामस्वरूप लाखों टोकन उत्पन्न होते हैं।
क्वाड्रेटिक लागत (Quadratic Cost): LLM के सेल्फ-अटेंशन मैकेनिज्म में इन टोकन को प्रोसेस करने से द्विघातीय (quadratic) कंप्यूटेशनल लागत ( $O(N^2)$ ) और भारी KV-कैश मेमोरी उपयोग होता है, जिससे सामान्य हार्डवेयर पर लंबे वीडियो का इन्फरेंस (inference) करना असंभव हो जाता है।
मौजूदा विधियों की सीमाएँ: वर्तमान समाधान अक्सर स्टैटिक कम्प्रेशन (static compression) (जैसे, फिक्स्ड फ्रेम डाउनसैंपलिंग या यूनिफॉर्म टोकन प्रूनिंग) का उपयोग करते हैं। यह अक्षम है क्योंकि अलग-अलग क्वेरीज़ के लिए विवरण के अलग-अलग स्तरों की आवश्यकता होती है:
- विशिष्ट क्वेरीज़ (जैसे, "लाइट कब हरी हुई?") के लिए केवल कुछ स्थानीय क्षणों की आवश्यकता होती है।
- व्यापक क्वेरीज़ (जैसे, "वीडियो का सारांश दें") के लिए वैश्विक कवरेज की आवश्यकता होती है।
- स्टैटिक बजट या तो अप्रासंगिक फ्रेमों पर संसाधनों को बर्बाद करता है या मॉडल को आवश्यक संदर्भ (context) से वंचित कर देता है।

2. कार्यप्रणाली: QTSplus (Methodology: QTSplus)

लेखक QTSplus (Query-aware Token Selector) का प्रस्ताव करते हैं, जो एक हल्का इंटरमीडिएट मॉड्यूल है जिसे विजन एनकोडर और LLM के बीच रखा गया है। यह इनपुट टेक्स्ट क्वेरी के आधार पर सबसे प्रासंगिक विजुअल टोकन को गतिशील रूप से चुनता है।

मुख्य घटक (Core Components):

क्रॉस-अटेंशन स्कोरिंग (Cross-Attention Scoring):
- यह मॉड्यूल टेक्स्ट क्वेरी टोकन और विजुअल टोकन के बीच क्रॉस-अटेंशन की गणना करता है।
- यह सभी अटेंशन हेड्स और टेक्स्ट टोकन्स में अधिकतम अटेंशन वेट लेकर प्रत्येक विजुअल पैच के लिए एक प्रासंगिकता स्कोर ( $r_i$ ) प्राप्त करता है। यह पहचानता है कि कौन से विजुअल पैच क्वेरी से अर्थपूर्ण रूप से जुड़े हैं।
अनुकूली बजट भविष्यवाणी (Adaptive Budget Prediction):
- एक निश्चित टोकन संख्या के बजाय, QTSplus एक हल्के "बजट हेड" (एक MLP) का उपयोग करके एक रिटेंशन फ्रैक्शन ( $\rho \in [0, 1]$ ) की भविष्यवाणी करता है।
- बजट हेड के लिए इनपुट:
  - $s_q$ : क्वेरी का मीन एम्बेडिंग (जो अर्थपूर्ण कठिनाई/इरादे को दर्शाता है)।
  - $\log M$ : कुल उपलब्ध विजुअल टोकन का लॉगरिदम (लंबे वीडियो के लिए स्केल स्थिरता सुनिश्चित करता है)।
  - $r_{max}$ : पीक रेलेवेंस स्कोर (यह दर्शाता है कि क्या साक्ष्य एक ही स्थान पर केंद्रित हैं)।
  - $H(p)$ : नॉर्मलाइज्ड रेलेवेंस डिस्ट्रीब्यूशन का एंट्रॉपी (यह दर्शाता है कि साक्ष्य फैले हुए हैं या बिखरे हुए हैं)।
- प्रेडिक्टेड बजट $n = \min(\lceil \rho M \rceil, n_{max})$ है।
डिफरेंशिएबल गेटिंग (ट्रेनिंग) बनाम हार्ड गेटिंग (इन्फरेंस):
- ट्रेनिंग: इसमें Gumbel-Softmax straight-through estimator का उपयोग किया जाता है। एक थ्रेशोल्ड $t$ को डायनेमिक रूप से न्यूटन की विधि (Newton's method) के माध्यम से हल किया जाता है ताकि यह सुनिश्चित हो सके कि रखे गए टोकन की अपेक्षित संख्या प्रेडिक्टेड बजट $\rho M$ से मेल खाती है। यह चयन प्रक्रिया के माध्यम से ग्रेडिएंट्स को बहने की अनुमति देता है।
- इन्फरेंस: यह एक हार्ड Top- $n$ गेट पर स्विच हो जाता है, जो उच्चतम प्रासंगिकता स्कोर वाले शीर्ष $n$ टोकन का चयन करता है।
लाइटवेट री-एनकोडिंग (Lightweight Re-encoding):
- चयनित टोकन को एब्सोल्यूट टाइम इंफॉर्मेशन के साथ एक सिंगल सेल्फ-अटेंशन ब्लॉक (MHA + FFN) के माध्यम से पास किया जाता है।
- यह चरण चुनी गई स्निपेट्स के टेम्पोरल ऑर्डर (कालानुक्रमिक क्रम) और ग्लोबल कॉन्टेक्स्ट को बनाए रखता है, जिससे प्रूनिंग के बाद सीक्वेंस कोहेरेंस (अनुक्रम निरंतरता) के नुकसान को रोका जा सकता है।
ट्रेनिंग स्ट्रैटेजी (टीचर-स्टूडेंट डिस्टिलेशन):
- टीचर: सभी विजुअल टोकन को प्रोसेस करने वाला फुल Qwen2.5-VL मॉडल।
- स्टूडेंट: कंप्रेस्ड टोकन को प्रोसेस करने वाला QTSplus-ऑगमेंटेड मॉडल।
- लॉस फंक्शन: MCQ लॉस, VQA सीक्वेंस डिस्टिलेशन लॉस और कंप्यूट-अवेयर पेनल्टी (उच्च टोकन काउंट को दंडित करने के लिए जो दक्षता को प्रोत्साहित करता है) को जोड़ता है।
- डेटा पाइपलाइन: वीडियो कैप्शन से उच्च गुणवत्ता वाले सिंगल-चॉइस प्रश्न (VSCQ) और VQA पेयर्स को सिंथेसाइज करने के लिए एक कंट्रोल्ड जनरेशन पाइपलाइन का उपयोग करती है, जिसे टीचर मॉडल द्वारा सत्यापित किया जाता है।

3. मुख्य योगदान (Key Contributions)

क्वेरी-अवेयर डायनेमिक सिलेक्शन: एक ऐसा तंत्र पेश किया गया जो स्टैटिक रेट के बजाय क्वेरी कॉम्प्लेक्सिटी और एविडेंस डिस्पर्शन के आधार पर प्रति इंस्टेंस टोकन बजट को अनुकूलित करता है।
टेम्पोरल प्रिजर्वेशन (Temporal Preservation): टेम्पोरल कंसिस्टेंसी बनाए रखने के लिए एब्सोल्यूट टाइम एम्बेडिंग्स के साथ एक लाइटवेट री-एनकोडर को एकीकृत किया गया है।
एफिशिएंसी-परफॉरमेंस ट्रेड-ऑफ: यह प्रदर्शित किया गया कि प्रासंगिक साक्ष्य को खोए बिना टोकन काउंट को भारी मात्रा में (89% तक) कम करना संभव है, जिससे फुल मॉडल के बराबर या बेहतर प्रदर्शन प्राप्त होता है।
जनरलाइजेबिलिटी (Generalizability): दिखाया गया कि यह मॉड्यूल न्यूनतम ट्यूनिंग के साथ विभिन्न बैकबोन मॉडल्स (Qwen, LLaVA, InternVL) पर प्रभावी ढंग से काम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन आठ लॉन्ग-वीडियो बेंचमार्क (TempCompass, Video-MME, LVBench, MLVU, MVBench, आदि) पर Qwen2.5-VL (3B और 7B वेरिएंट) पर किया गया।

दक्षता लाभ (Efficiency Gains):
- टोकन रिडक्शन: विजन स्ट्रीम को 89% तक कंप्रेस करता है (उदाहरण के लिए, 600-फ्रेम वीडियो के लिए ~180k टोकन को ~20k में बदलना)।
- लेटेंसी: लंबे वीडियो पर एंड-टू-एंड इन्फरेंस लेटेंसी को 28% तक कम करता है।
- स्केलेबिलिटी: मल्टी-ऑवर वीडियो को कमोडिटी GPUs (जैसे, A100) पर प्रोसेस करने में सक्षम बनाता है जहाँ ओरिजिनल मॉडल मेमोरी सीमाओं के कारण विफल हो जाएगा।
परफॉरमेंस एक्यूरेसी (Performance Accuracy):
- ओवरऑल: सामान्य मल्टीमॉडल कार्यों पर मूल Qwen2.5-VL के साथ लगभग समानता (near-parity) प्राप्त करता है।
- टेम्पोरल टास्क: उन कार्यों में बेस मॉडल से काफी बेहतर प्रदर्शन करता है जिनमें टेम्पोरल रीजनिंग की आवश्यकता होती है:
  - TempCompass direction एक्यूरेसी पर +20.5 पॉइंट्स।
  - TempCompass order एक्यूरेसी पर +5.6 पॉइंट्स।
  - Video-MMMU adaptation पर +4.7 पॉइंट्स।
- एब्लेशन स्टडी (Ablation Study): पुष्टि की गई कि क्वेरी-अवेयर सिलेक्शन और री-एनकोडिंग मॉड्यूल दोनों ही महत्वपूर्ण हैं। री-एनकोडर को हटाने से उन कार्यों पर प्रदर्शन गिर जाता है जिनमें सख्त टेम्पोरल अलाइनमेंट (जैसे, कैरेक्टर ऑर्डर, काउंटरफैक्चुअल इन्फरेंस) की आवश्यकता होती है।
जनरलाइजेशन (Generalization): LLaVA-Video-7B और InternVL2.5-8B पर सफलतापूर्वक लागू किया गया, जिससे टोकन काउंट कम करते हुए VideoMME पर ~99% प्रदर्शन बरकरार रहा।

5. महत्व (Significance)

वास्तविक दुनिया के अनुप्रयोगों के लिए स्केलेबिलिटी: QTSplus वास्तविक दुनिया के लंबे वीडियो परिदृश्यों (जैसे, निगरानी, सर्जिकल कोचिंग, कंटेंट विश्लेषण) में MLLMs को तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है, जहाँ घंटों का फुटेज आम है।
पैराडाइम शिफ्ट: यह "वन-साइज़-फिट्स-ऑल" कम्प्रेशन से हटकर अनुकूली, क्वेरी-कंडीशन्ड टोकनाइजेशन की ओर बढ़ता है, जो यह सिद्ध करता है कि मॉडल केवल "पेड़ों" (प्रासंगिक साक्ष्य) पर ध्यान केंद्रित करके घंटों के वीडियो पर प्रभावी ढंग से तर्क कर सकते हैं, जबकि "जंगल" (टेम्पोरल स्ट्रक्चर) का दृश्य भी बनाए रखते हैं।
संसाधन दक्षता: यह क्वाड्रेटिक अटेंशन बॉटलनेक को कम करके उच्च-स्तरीय वीडियो समझ को मानक हार्डवेयर पर सुलभ बनाता है, जिससे संभावित रूप से लॉन्ग-वीडियो AI क्षमताओं का लोकतंत्रीकरण होता है।