💻 computer science

OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance

OmniDrop एक ट्रेनिंग-फ्री, लेयर-वाइज टोकन प्रूनिंग फ्रेमवर्क है जो ओम्नी-मोडल LLMs के लिए है, जो टेक्स्ट क्वेरीज़ और एक टेम्पोरल डाइवर्सिटी स्कोर का उपयोग करके डिकोडर लेयर्स के भीतर अनावश्यक ऑडियोविजुअल टोकन को प्रगतिशील रूप से हटाता है, जिससे प्रदर्शन में मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करते हुए लेटेंसी और मेमोरी उपयोग में महत्वपूर्ण कमी आती है।

मूल लेखक: Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक ("Omni-LLM") है जो एक ही समय में वीडियो देख सकता है और ऑडियो सुन सकता है। आप उससे एक सवाल पूछते हैं, जैसे "बैकग्राउंड में कौन गा रहा है?" या "कार का रंग क्या है?"

समस्या यह है कि उच्च-गुणवत्ता वाला वीडियो और ऑडियो डेटा का एक विशाल सैलाब की तरह होते हैं। वीडियो के केवल एक मिनट के लिए, रोबोट को 10,000 से अधिक छोटे टुकड़ों (जिन्हें "टोकन" कहा जाता है) को प्रोसेस करना पड़ता है। उन सभी के बारे में एक साथ सोचने की कोशिश करना एक फायरहोस (तेज धार वाले पाइप) से पानी पीने जैसा है—यह धीमा है, बहुत अधिक ऊर्जा खर्च करता है, और रोबोट को सुस्त बना देता है।

इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर रोबोट के सोचने शुरू करने से पहले ही वीडियो और ऑडियो के "बोरिंग" हिस्सों को फेंक देने की कोशिश करते हैं। वे यह मान लेते हैं कि यदि कोई ध्वनि और चित्र एक ही समय में होते हैं, तो वे आपस में संबंधित होने चाहिए।

पेपर का बड़ा विचार: "OmniDrop"
इस पेपर के लेखक कहते हैं, "रुकिए, यह धारणा गलत है।" सिर्फ इसलिए कि एक ध्वनि और एक चित्र एक साथ होते हैं, इसका मतलब यह नहीं है कि वे आपके विशिष्ट प्रश्न के लिए महत्वपूर्ण हैं।

चीजों को तुरंत फेंकने के बजाय, उन्होंने एक नया सिस्टम बनाया जिसे OmniDrop कहा जाता है। यह कैसे काम करता है, इसके लिए कुछ सरल उपमाओं का उपयोग किया गया है:

1. "धीमी शुरुआत" की रणनीति (लेयर-वाइज प्रूनिंग)

कल्पना कीजिए कि रोबोट का दिमाग एक बहु-मंजिला इमारत है।

पुराना तरीका: आप सामने के दरवाजे (इनपुट) पर खड़े होते हैं और तुरंत 50% लोगों (डेटा) को बाहर निकाल देते हैं क्योंकि वे एक-दूसरे के समान दिखते हैं। यह जोखिम भरा है क्योंकि आप उस व्यक्ति को भी बाहर निकाल सकते हैं जिसके पास वास्तव में उत्तर है।
OmniDrop तरीका: आप सभी को इमारत में आने देते हैं। शुरुआती मंजिलों (शुरुआती लेयर्स) पर, सभी आपस में मिलते हैं और बातें करते हैं। यह ऑडियो और वीडियो को एक साथ मिलकर दृश्य को समझने की अनुमति देता है।
ट्विस्ट: जैसे-जैसे समूह ऊपर की मंजिलों (गहरी लेयर्स) की ओर बढ़ता है, रोबोट को एहसास होने लगता है, "ओह, मुझे प्रश्न का उत्तर देने के लिए केवल इन विशिष्ट लोगों से बात करने की आवश्यकता है।" इसके बाद यह धीरे-धीरे, फिर आक्रामक रूप से, महत्वहीन लोगों को जाने के लिए कहना शुरू कर देता है। यह सुनिश्चित करता है कि रोबोट यह जानने से पहले कि वह क्या खोज रहा है, "बड़ी तस्वीर" को न खो दे।

2. "सवाल एक टॉर्च की तरह" (क्वेरी-गाइडेड)

रोबोट को कैसे पता चलता है कि किसे रखना है?

पुराना तरीका: यह ऑडियो और वीडियो को देखता है और अनुमान लगाने की कोशिश करता है कि उनमें से कौन से एक-दूसरे से मेल खाते हैं।
OmniDrop तरीका: यह आपके टेक्स्ट प्रश्न के आधार पर एक टॉर्च की रोशनी डालता है।
- यदि आप पूछते हैं, "वह आवाज क्या है?", तो टॉर्च ऑडियो टोकन को हाइलाइट करती है और वीडियो टोकन को धुंधला कर देती है।
- यदि आप पूछते हैं, "शर्ट का रंग क्या है?", तो टॉर्च वीडियो टोकन को हाइलाइट करती है।
- रोबोट उन टोकन को रखता है जिन पर "टॉर्च" की रोशनी पड़ती है और उन्हें हटा देता है जो अंधेरे में हैं। यह छंटनी (प्रूनिंग) को स्मार्ट और कार्य के प्रति विशिष्ट बनाता है।

3. "बीच का हिस्सा न छोड़ें" का नियम (टेम्पोरल डायवर्सिटी)

एक खतरा है: यदि रोबोट केवल उन्हीं टोकन को रखता है जिन्हें टॉर्च हिट करती है, तो वह बाकी सब कुछ भूल सकता है, जिससे कहानी में एक "गैप" पैदा हो सकता है।

समाधान: OmniDrop एक नियम जोड़ता है जिसे टेम्पोरल डायवर्सिटी कहा जाता है। भले ही कोई विशिष्ट क्षण सबसे महत्वपूर्ण न हो, लेकिन यदि वह मुख्य घटना से समय में दूर है, तो रोबोट उसे बने रहने के लिए थोड़ा "बोनस स्कोर" देता है।
उपमा: कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं। यदि आप केवल उन वाक्यों को रखते हैं जहाँ नायक बोलता है, तो आप परिवेश (सेटिंग) को मिस कर देंगे। OmniDrop कहता है, "नायक के संवादों को रखें, लेकिन बीच के शांत हिस्सों से भी कुछ वाक्य रखें ताकि कहानी टूटी हुई महसूस न हो।"

परिणाम

लेखकों ने Qwen2.5-Omni (एक लोकप्रिय मॉडल) का विभिन्न वीडियो और ऑडियो परीक्षणों पर परीक्षण किया।

गति: इसने रोबोट को 40% तेज़ सोचने में सक्षम बनाया (इंतज़ार का समय कम हुआ)।
मेमोरी: इसने 14.7% कम मेमोरी का उपयोग किया।
स्मार्टनेस: आश्चर्यजनक रूप से, यह जानने के बारे में कि क्या फेंकना है, बेहतर होने के कारण, रोबोट वास्तव में अन्य तरीकों की तुलना में सवालों के जवाब देने में बेहतर (परीक्षणों पर 3.58 अंक अधिक) हो गया जो केवल डेटा के रैंडम टुकड़ों को फेंक देते थे।

संक्षेप में:
OmniDrop एक फिल्म के स्मार्ट संपादक की तरह है। फिल्म को देखने से पहले ही उसे आधा काटने के बजाय, यह आपको पूरी फिल्म देखने देता है, यह पता लगाता है कि आपके विशिष्ट प्रश्न के लिए कौन से दृश्य वास्तव में मायने रखते हैं, और फिर यह बाकी हिस्सों को देखते समय ही काट देता है, जिससे यह सुनिश्चित होता है कि आपको बिना कहानी खोए जल्दी उत्तर मिले।

तकनीकी सारांश: OmniDrop

समस्या विवरण

ओम्नी-मोडल लार्ज लैंग्वेज मॉडल्स (Omni-LLMs) ने टेक्स्ट, ऑडियो और वीडियो को एकीकृत करके समग्र मल्टीमॉडल समझ में महत्वपूर्ण क्षमता प्रदर्शित की है। हालांकि, वास्तविक समय के अनुप्रयोगों और दीर्घकालिक तर्क (long-form reasoning) के लिए एक महत्वपूर्ण बाधा उच्च-रिज़ॉल्यूशन टेम्पोरल डेटा के कारण होने वाला "टोकन विस्फोट" (token explosion) है। ऑडियो और वीडियो सिग्नल टेक्स्ट की तुलना में बहुत अधिक टोकन उत्पन्न करते हैं (उदाहरण के लिए, एक मिनट के वीडियो क्लिप से 10,000 से अधिक टोकन प्रोजेक्ट हो सकते हैं), जिससे कम्प्यूटेशनल और मेमोरी ओवरहेड्स में द्विघातीय (quadratic) वृद्धि होती है।

Omni-LLMs के लिए मौजूदा टोकन संपीड़न (compression) विधियाँ आमतौर पर इनपुट एम्बेडिंग स्तर पर छंटनी (pruning) करती हैं। ये दृष्टिकोण इस धारणा पर निर्भर करते हैं कि ऑडियो-वीडियो टोकन साझा प्रतिनिधित्व स्थानों (shared representation spaces) या टेम्पोरल सह-अस्तित्व (temporal co-occurrence) के माध्यम से अर्थपूर्ण रूप से संरेखित हैं। लेखक तर्क देते हैं कि ये धारणाएं दो प्राथमिक कारणों से अविश्वसनीय हैं:

कमजोर Pre-LLM संरेखण (Weak Pre-LLM Alignment): LLM एम्बेडिंग स्पेस के भीतर ऑडियो और वीडियो एम्बेडिंग्स, LLM द्वारा प्रोसेस किए जाने से पहले, अलग-अलग सबस्पेस में स्थित होते हैं, जिसके परिणामस्वरूप कम क्रॉस-मोडल कोसाइन समानता (cosine similarity) होती है जो सार्थक अर्थपूर्ण संबंधों को पहचानने में विफल रहती है।
अविश्वसनीय टेम्पोरल सह-अस्तित्व (Unreliable Temporal Co-occurrence): साथ-साथ होने वाली ऑडियो और विजुअल घटनाएं आवश्यक रूप से अर्थपूर्ण पत्राचार का संकेत नहीं देती हैं (उदाहरण के लिए, बैकग्राउंड म्यूजिक या ऑफ-स्क्रीन नैरेशन दृश्य सामग्री के साथ संरेखित नहीं हो सकता है)।

परिणामस्वरूप, एम्बेडिंग दूरी या सह-अस्तित्व के आधार पर इनपुट-स्तरीय छंटनी अक्सर महत्वपूर्ण मोडैलिटी-विशिष्ट साक्ष्य को हटा देती है, जिससे उप-इष्टतम (suboptimal) टोकन चयन होता है।

कार्यप्रणाली: OmniDrop

इन सीमाओं को संबोधित करने के लिए, लेखक OmniDrop का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, लेयर-वाइज टोकन प्रूनिंग फ्रेमवर्क है। पूर्ववर्ती विधियों के विपरीत, OmniDrop इनपुट स्टेज के बजाय LLM डिकोडर लेयर्स के भीतर प्रगतिशील रूप से टोकन को छाँटता है, जो तीन मुख्य तंत्रों का उपयोग करता है:

1. प्रोग्रेसिव लेयर-वाइज टोकन प्रूनिंग (PLP)

इस अवलोकन से प्रेरित होकर कि ओम्नी-मोडल सूचना संलयन (fusion) डिकोडर लेयर्स के माध्यम से प्रगतिशील रूप से होता है, OmniDrop एक डायनेमिक प्रूनिंग शेड्यूल अपनाता है।

प्रारंभिक लेयर्स (Early Layers): छंटनी रूढ़िवादी (कम अनुपात) होती है ताकि ऑडियो और वीडियो स्ट्रीम के बीच पर्याप्त ओम्नी-मोडल सूचना संलयन और एकीकरण की अनुमति मिल सके।
गहरी लेयर्स (Deep Layers): एक बार जब मॉडल स्पष्ट क्वेरी-प्रासंगिक टोकन प्राथमिकताएं बना लेता है, तो छंटनी आक्रामक (उच्च अनुपात) हो जाती है।
कार्यान्वयन: लेयर $l$ के लिए प्रूनिंग अनुपात $p_l$ एक सिग्मॉइड फंक्शन का पालन करता है:
$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$
यह सुनिश्चित करता है कि एकीकरण के लिए उथली (shallow) लेयर्स में टोकन सुरक्षित रखे जाएं और गहरी लेयर्स में जहां सूचनात्मक टोकन अधिक सुस्पष्ट होते हैं, उन्हें हटा दिया जाए।

2. क्वेरी-गाइडेड टोकन महत्व (Query-Guided Token Importance)

ऑडियो और वीडियो टोकन की सीधे तुलना करने के बजाय, OmniDrop टेक्स्ट क्वेरी का उपयोग एक अर्थपूर्ण मध्यस्थ (semantic mediator) के रूप में करता है।

तंत्र: ऑडियो और वीडियो टोकन के लिए महत्व स्कोर $S$ का निर्धारण टेक्स्ट टोकन से ऑडियो-विजुअल टोकन तक के औसत अटेंशन स्कोर के आधार पर किया जाता है:
$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$
अनुकूलनशीलता (Adaptivity): यह मॉडल को कार्य आवश्यकताओं के आधार पर टोकन बजट को गतिशील रूप से आवंटित करने की अनुमति देता है। ऑडियो-केंद्रित कार्यों के लिए, अधिक ऑडियो टोकन रखे जाते हैं; वीडियो-केंद्रित कार्यों के लिए, अधिक वीडियो टोकन रखे जाते हैं। यह विशिष्ट क्वेरी के लिए न्यूनतम सूचना हानि सुनिश्चित करता है।

3. टेम्पोरल डायवर्सिटी स्कोर (TDS)

उन टोकन की अत्यधिक छंटनी को रोकने के लिए जो प्राथमिक अटेंशन पीक से टेम्पोरल रूप से दूर हैं (जिससे ग्लोबल कॉन्टेक्स्ट का नुकसान हो सकता है), OmniDrop एक डायवर्सिटी मेट्रिक पेश करता है।

प्रक्रिया:
1. उस "की चंक" ( $c_{max}$ ) की पहचान करें जिसमें उच्चतम महत्व स्कोर वाला टोकन है।
2. सबसे कम स्कोर वाले टोकनों का एक कैंडिडेट बफर चुनें।
3. $c_{max}$ से सामान्यीकृत टेम्पोरल दूरी $D$ की गणना करें।
4. फाइनल स्कोर को बढ़ाएं: $S_{TDS} = S + \lambda_{div} \cdot D$ ।
प्रभाव: प्राथमिक अटेंशन पीक से टेम्पोरल रूप से दूर स्थित टोकनों को स्कोर बूस्ट मिलता है, जो अनुक्रम (sequence) में संतुलित टोकन उत्तरजीविता को प्रोत्साहित करता है और ग्लोबल टेम्पोरल कॉन्टेक्स्ट को संरक्षित करता है।

4. इंट्रा-मोडैलिटी प्रूनिंग (Intra-Modality Pruning)

LLM में टोकन फीड करने से पहले, OmniDrop रेडंडेंसी (redundancy) को हटाने के लिए स्वतंत्र इंट्रा-मोडैलिटी प्रूनिंग करता है:

ऑडियो: ऑडियो एनकोडर की अंतिम लेयर से उच्चतम अटेंशन स्कोर वाले टोकन रखता है।
वीडियो: कोसाइन सिमिलरिटी के आधार पर क्रमिक रेडंडेंट विजुअल टोकन को फ़िल्टर करने के लिए टेम्पोरल टोकन मर्जिंग (TTM) का उपयोग करता है।
परिणाम: यह प्री-प्रोसेसिंग लेयर-वाइज़ प्रूनिंग शुरू होने से पहले प्रारंभिक टोकन संख्या को ~45% तक कम कर देता है।

मुख्य योगदान

इनपुट-लेवल सीमाओं का विश्लेषण: पेपर यह प्रदर्शित करता है कि इनपुट-लेवल ऑडियो-वीडियो समानता टोकन प्रूनिंग के लिए एक कमजोर सिग्नल प्रदान करती है, क्योंकि यह प्री-LLM एम्बेडिंग्स में अपर्याप्त संरेखण और अर्थपूर्ण प्रासंगिकता के प्रॉक्सी के रूप में अविश्वसनीय टेम्पोरल सह-अस्तित्व पर आधारित है।
OmniDrop फ्रेमवर्क: एक अभिनव, ट्रेनिंग-फ्री, लेयर-वाइज प्रूनिंग फ्रेमवर्क जो मोडैलिटी-अज्ञेय (modality-agnostic) और टास्क-एडेप्टिव टोकन चयन के लिए टेक्स्ट क्वेरी का लाभ उठाता है। यह एक प्रोग्रेसिव प्रूनिंग शेड्यूल और ग्लोबल कॉन्टेक्स्ट को बनाए रखने के लिए एक टेम्पोरल डायवर्सिटी स्कोर का उपयोग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध बेंचमार्क (VideoMME, WorldSense, AVUT) पर व्यापक प्रयोगों से पता चलता है कि OmniDrop मौजूदा SOTA ट्रेनिंग-फ्री विधियों (OmniZip, DASH) से बेहतर प्रदर्शन करता है, जबकि लेटेंसी और मेमोरी उपयोग को काफी कम कर देता है।

प्रयोगात्मक परिणाम

Qwen2.5-Omni (7B और 3B मॉडल्स) पर मूल्यांकन करते हुए, OmniDrop ने निम्नलिखित प्राप्त किया:

प्रदर्शन लाभ: सभी बेसलाइन्स से 3.58 अंक (विशेष रूप से 7B मॉडल के साथ AVUT बेंचमार्क पर) तक बेहतर प्रदर्शन किया। विशेष रूप से, 30% टोकन रिटेंशन पर, OmniDrop ने VideoMME पर 100% फुल-टोकन बेसलाइन को भी पीछे छोड़ दिया।
मजबूती (Robustness): अत्यधिक संपीड़न (20% रिटेंशन) के तहत, OmniDrop ने 1.0 अंक से अधिक की गिरावट दिखाने वाले बेसलाइन्स की तुलना में न्यूनतम प्रदर्शन गिरावट (औसत गिरावट 0.18–0.47 अंक) दिखाई।
दक्षता: फुल-टोकन इन्फरेंस की तुलना में प्रीफिल लेटेंसी को 40% तक और GPU मेमोरी उपयोग को 14.7% तक कम कर दिया, जबकि प्रतिस्पर्धी प्रदर्शन बनाए रखा।
टास्क अडैप्टिविटी: विश्लेषण ने पुष्टि की कि क्वेरी-गाइडेड तंत्र विशिष्ट कार्य आवश्यकताओं के लिए टोकन रिटेंशन रेश्यो को सफलतापूर्वक अनुकूलित करता है (जैसे, ऑडियो रिकग्निशन कार्यों के लिए अधिक ऑडियो रखना और सीन रिकग्निशन के लिए अधिक वीडियो रखना)।

महत्व और दावे

पेपर का दावा है कि OmniDrop टोकन प्रूनिंग को इनपुट स्तर से डिकोडर लेयर्स में मौलिक रूप से स्थानांतरित करके स्केलेबल और रिस्पॉन्सिव Omni-LLMs के लिए एक व्यावहारिक समाधान प्रदान करता है। टेक्स्ट क्वेरी को गाइड सिग्नल के रूप में उपयोग करके और ओम्नी-मोडल फ्यूजन की प्रगतिशील प्रकृति को स्वीकार करके, यह विधि बिना किसी मॉडल रिट्रेनिंग या आर्किटेक्चरल संशोधनों के बेहतर दक्षता-प्रदर्शन ट्रेड-ऑफ प्राप्त करती है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान में विधि टोकन चयन के लिए टेक्स्ट प्रॉम्प्ट्स पर निर्भर है, जो केवल ऑडियो/वीडियो इनपुट वाले परिदृश्यों में इसके उपयोग को सीमित करती है। इसके अतिरिक्त, एक ट्रेनिंग-फ्री फ्रेमवर्क के रूप में, हाइपरपैरामीटर्स (जैसे प्रूनिंग शेड्यूल्स) लर्निंग के बजाय अनुभवजन्य (empirically) रूप से निर्धारित किए जाते हैं। भविष्य का कार्य टेक्स्टल गाइडेंस के बिना अर्थपूर्ण संबंधों को कैप्चर करने के तरीकों और कैलिब्रेशन डेटा के माध्यम से प्रूनिंग निर्णयों को अनुकूलित करने की खोज करना है।