💻 computer science

2D or 3D: Who Governs Salience in VLA Models? -- Tri-Stage Token Pruning Framework with Modality Salience Awareness

यह शोध पत्र मल्टी-विजुअल-मोडल विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स के लिए एक त्रि-चरणीय टोकन प्रूनिंग फ्रेमवर्क प्रस्तावित करता है जो न्यूनतम सटीकता हानि के साथ 2.55x तक इन्फरेंस स्पीडअप प्राप्त करने के लिए 2D/3D मोडैलिटी सैलिएंस अंतरों को गतिशील रूप से कैप्चर करता है।

मूल लेखक: Zihao Zheng, Sicheng Tian, Zhihao Mao, Lingyue Zhang, Chenyue Li, Ziyun Zhang, Hong Gao, Yuchen Huang, Yutong Xu, Guojie Luo, Xiang Chen

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihao Zheng, Sicheng Tian, Zhihao Mao, Lingyue Zhang, Chenyue Li, Ziyun Zhang, Hong Gao, Yuchen Huang, Yutong Xu, Guojie Luo, Xiang Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: रोबोट का ओवरलोडेड दिमाग

कल्पना कीजिए कि एक रोबोट को घर के काम सीखना है, जैसे फ्रिज बंद करना या केला उठाना। इसके लिए, वह एक "दिमाग" का उपयोग करता है जिसे VLA मॉडल (विज़न-लैंग्वेज-एक्शन) कहा जाता है।

पुराना तरीका (केवल 2D): रोबोट पहले दुनिया को वैसे देखता था जैसे कोई व्यक्ति एक तस्वीर को देखता है। वह सपाट (flat) छवियों को देखता था। यह ठीक था, लेकिन रोबोट के लिए गहराई (depth) का अंदाजा लगाना (जैसे फ्रिज का हैंडल कितनी दूर है) मुश्किल था।
नया तरीका (2D + 3D): बेहतर होने के लिए, वैज्ञानिकों ने रोबोट को आँखों की एक दूसरी जोड़ी दी जो 3D में देख सकती है (जैसे डेप्थ मैप या पॉइंट क्लाउड)। अब, रोबोट देख सकता है कि चीजें अंतरिक्ष में बिल्कुल कहाँ स्थित हैं।

समस्या: रोबोट को 3D विजन देना एक सुपरपावर देने जैसा है, लेकिन इसकी एक भारी कीमत है। रोबोट को अब दोगुनी जानकारी प्रोसेस करनी पड़ती है (सपाट फोटो + 3D डेटा)। यह ऐसा है जैसे कोई व्यक्ति किताब पढ़ने की कोशिश कर रहा हो और उसी समय कोई उसके कान में दूसरी कहानी चिल्ला रहा हो। रोबोट अभिभूत (overwhelmed) हो जाता है, धीमा सोचने लगता है, और वास्तविक दुनिया में उपयोगी होने के लिए पर्याप्त तेज़ी से काम नहीं कर पाता।

समाधान: "ट्राय-स्टेज" स्मार्ट फ़िल्टर

इस शोध के लेखकों ने महसूस किया कि रोबोट को तेज़ बनाने के मौजूदा तरीके एक कुंद चाकू (blunt knife) का उपयोग करने जैसे थे: वे केवल समय बचाने के लिए जानकारी के रैंडम टुकड़ों को काट देते थे। लेकिन यह खतरनाक था क्योंकि रोबदान उस महत्वपूर्ण 3D डेटा को काट सकता था जिसकी उसे कप पकड़ने के लिए ज़रूरत थी, या उस महत्वपूर्ण 2D डेटा को जिसे लेबल पढ़ने के लिए चाहिए था।

उन्होंने एक सरल प्रश्न पूछा: "अभी बॉस कौन है? क्या 2D इमेज अधिक महत्वपूर्ण है, या 3D डेप्थ मैप अधिक महत्वपूर्ण है?"

उन्होंने पाया कि उत्तर इस बात पर निर्भर करता है कि रोबोट क्या कर रहा है और समय के किस पड़ाव पर है। इसलिए, उन्होंने एक ट्राय-स्टेज टोकन प्रूनिंग फ्रेमवर्क बनाया। इसे एक बहुत ही बुद्धिमान बाउंसर (bouncer) के रूप में समझें जो यह तय करता है कि क्लब में किसे वीआईपी रूम (रोबोट के दिमाग) में रहने दिया जाए और किसे बाहर निकाला जाए, जो तीन अलग-अलग नियमों पर आधारित है।

"बाउंसर" के तीन चरण

चरण 1: डेटा प्रीप्रोसेसिंग (द "रॉ मटेरियल" चेक)

उपमा (Analogy): कल्पना कीजिए कि आप भोजन तैयार करने वाले एक शेफ हैं। आपके पास सब्जियों का एक ढेर (2D इमेज) है और मसालों का एक ढेर (3D डेटा) है।
अंतर्दृष्टि (Insight): शोधकर्ताओं ने पाया कि कुछ कार्यों के लिए, सब्जियां मुख्य व्यंजन होती हैं और मसाले केवल सजावट होते हैं। अन्य कार्यों के लिए, मसाले मुख्य स्वाद होते हैं।
कार्रवाई: बाउंसर कच्चे माल को देखता है। यदि 3D डेटा केवल "शोर" (जैसे अतिरिक्त बैकग्राउंड का कचरा) है, तो बाउंसर उसे तुरंत फेंक देता है। यदि 2D इमेज धुंधली है लेकिन 3D आकार स्पष्ट है, तो बाउंसर 3D को रखता है और 2D को फेंक देता है।
परिणाम: उन्होंने तय करने के लिए दो "थ्रेशोल्ड" (नियम) सेट किए: "केवल 2D रखें," "केवल 3D रखें," या "दोनों रखें।"

चरण 2: सिमेंटिक सिंथेसिस (द "कॉन्टेक्स्ट" चेक)

उपमा: अब रोबोट एक विशिष्ट दृश्य देख रहा है, जैसे कि किचन काउंटर। दृश्य के तीन भाग हैं: बैकग्राउंड (दीवार), रोबोट का हाथ (औजार), और टारगेट ऑब्जेक्ट (केला)।
अंतर्दृष्टि:
- बैकग्राउंड: दीवार को 3D डेप्थ की आवश्यकता नहीं है। यह बस एक सपाट दीवार है। यहाँ से 3D डेटा हटा दें!
- रोबोट का हाथ: हाथ को टकराने से बचने के लिए अपने स्वयं के 3D आकार को जानने की आवश्यकता है। 3D को रखें!
- टारगेट (केला): केले को उठाने के लिए, आपको उसके रंग (2D) और उसके आकार (3D) दोनों को देखने की आवश्यकता है। दोनों को रखें!
कार्रवाई: बाउंसर दृश्य को इन तीन ज़ोन में विभाजित करता है। "बैकग्राउंड" ज़ोन में, वे 90% डेटा को आक्रामक रूप से काट देते हैं। "टारगेट" ज़ोन में, वे सब कुछ सुरक्षित रखते हैं।

चरण 3: एक्शन इटरेशन (द "टाइम" चेक)

उपमा: कल्पना कीजिए कि रोबोट केले की ओर बढ़ रहा है।
- चरण 1: हाथ दूर है। उसे मुख्य रूप से सामान्य आकार (3D) देखने की आवश्यकता है।
- चरण 2: हाथ करीब है। उसे यह जानने के लिए केले के छिलके की बनावट (texture) देखने की आवश्यकता है कि वह पका है या नहीं (2D)।
- चरण 3: हाथ पकड़ता है। उसे फिर से सटीक गहराई (depth) की आवश्यकता है।
अंतर्दृष्टि: 2D बनाम 3D का महत्व पल-पल बदलता रहता है। यदि रोबोट केवल वर्तमान सेकंड के आधार पर यह तय करता है कि क्या रखना है, तो वह "जिटरी" (jittery - अस्थिर) हो सकता है (बहुत तेज़ी से मोड बदलना)।
कार्रवाई: बाउंसर एक "स्लाइडिंग विंडो" (जैसे इतिहास की किताब के माध्यम से देखना) का उपयोग करता है। यह याद रखता है कि पिछले कुछ सेकंड में क्या हुआ था। यदि रोबोट एक क्षण पहले 3D पर निर्भर था, तो वह मानता है कि उसे शायद अभी भी इसकी आवश्यकता होगी, जिससे निर्णय सुचारू (smooth) हो जाता है ताकि रोबोट घबराकर बहुत तेज़ी से मोड न बदले।

जादुई परिणाम

इस तीन-चरणीय स्मार्ट फ़िल्टर का उपयोग करके, रोबोट यह कर सकता है:

कचरे को फेंकना: यह 70-80% तक अनावश्यक डेटा को हटा देता है।
सोना (Gold) बचाना: यह उस विशिष्ट क्षण और विशिष्ट वस्तु के लिए आवश्यक सटीक 2D या 3D डेटा को रखता है।
तेज़ चलना: रोबोट 2.55 गुना तेज़ हो जाता है।

मुख्य बात (Bottom Line):
इस पेपर से पहले, 3D विजन वाले रोबोट व्यावहारिक होने के लिए बहुत धीमे थे। यह नया तरीका रोबोट को धूप का चश्मा देने जैसा है जो स्वचालित रूप से सही लेंस (2D या 3D) को टिंट (tint) कर देता है, जो इस पर निर्भर करता है कि वह क्या देख रहा है। रोबोट अब दुनिया को स्पष्ट रूप से देखने की अपनी क्षमता खोए बिना वास्तविक समय के कार्यों को करने के लिए पर्याप्त तेज़ है।

संक्षेप में: उन्होंने रोबोट को सिखाया कि कब अपनी 2D आँखों से देखना है, कब अपनी 3D आँखों से देखना है, और कब ऊर्जा बचाने के लिए एक आँख बंद करनी है, और यह सब बिना केला गिराए किया।

यहाँ शोध पत्र "2D or 3D: Who Governs Salience in VLA Models? — Tri-Stage Token Pruning Framework with Modality Salience Awareness" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल एम्बोडेड इंटेलिजेंस (embodied intelligence) के लिए मुख्यधारा हैं। जबकि शुरुआती मॉडल केवल 2D छवियों (SVLA) पर निर्भर थे, अत्याधुनिक मॉडल अब स्थानिक धारणा (spatial perception) को बढ़ाने के लिए 3D मोडैलिटीज़ (जैसे पॉइंट क्लाउड) को एकीकृत करते हैं, जिससे मल्टी-विजुअल-मोडल VLAs (MVLA) का निर्माण होता है।

हालाँकि, यह विस्तार एक महत्वपूर्ण बाधा उत्पन्न करता है:

कंप्यूटेशनल ओवरहेड (Computational Overhead): 3D डेटा को एकीकृत करने से इनपुट टोकन की संख्या काफी बढ़ जाती है (उदाहरण के लिए, 256 से बढ़कर 512 हो जाना), जिससे उच्च इन्फरेंस लेटेंसी (3–5 Hz) होती है, जो वास्तविक समय की रोबोटिक आवश्यकताओं (20–30 Hz) को पूरा करने में विफल रहती है।
मौजूदा प्रूनिंग की अप्रभाविता (Ineffectiveness of Existing Pruning): वर्तमान टोकन प्रूनिंग विधियाँ केवल 2D-ओनली मॉडल्स के लिए डिज़ाइन की गई हैं। वे MVLA मॉडल्स के बीच सैलियन्स विसंगतियों (salience discrepancies) को ध्यान में रखने में विफल रहती हैं। 2D लॉजिक के आधार पर टोकन को अंधाधुंध प्रून करना MVLA मॉडल्स में गंभीर प्रदर्शन गिरावट का कारण बनता है क्योंकि 2D और 3D टोकन कार्य के चरण और सिमेंटिक संदर्भ के आधार पर अलग-अलग योगदान देते हैं।

2. कार्यप्रणाली: त्रि-चरणीय टोकन प्रूनिंग फ्रेमवर्क (Methodology: Tri-Stage Token Pruning Framework)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जो MVLA इन्फरेंस पाइपलाइन के तीन विशिष्ट चरणों में टोकन का विश्लेषण और प्रूनिंग करता है: डेटा प्रीप्रोसेसिंग (Data Preprocessing), सिमेंटिक सिंथेसिस (Semantic Synthesis), और एक्शन इटरेशन (Action Iteration)।

A. त्रि-चरणीय सैलियन्स विश्लेषण (Tri-Stage Salience Analysis)

फ्रेमवर्क पहले यह स्थापित करता है कि कब और कौन सी मोडैलिटी सैलियन्स को नियंत्रित करती है:

डेटा प्रीप्रोसेसिंग चरण (Data Preprocessing Stage):
- निष्कर्ष: रॉ फीचर रिप्रेजेंटेशन में 3D की तुलना में 2D मोडैलिटी सामान्यतः उच्च सैलियन्स प्रदर्शित करती है।
- मेट्रिक: मोडैलिटी योगदान को मापने के लिए अंतिम-परत फीचर्स के $L_1$ नॉर्म पर आधारित प्रस्तावित मात्रात्मक मेट्रिक ( $MS^1$ )।
सिमेंटिक सिंथेसिस चरण (Semantic Synthesis Stage):
- निष्कर्ष: सैलियन्स सिमेंटिक क्षेत्र के अनुसार भिन्न होती है। टारगेट ऑब्जेक्ट (Target Object) और रोबोट बॉडी (Robot Body) क्षेत्रों में 3D मोडैलिटी काफी अधिक सैलियंट हो जाती है (ज्यामिति/टकराव के लिए महत्वपूर्ण), जबकि बैकग्राउंड (Background) क्षेत्रों में 2D का प्रभुत्व रहता है।
- मेट्रिक: 3D फीचर्स को "पैरेलल" (2D के साथ रेडंडेंट) और "ऑर्थोगोनल" (अद्वितीय 3D जानकारी) घटकों में अलग करने के लिए अटेंशन स्कोर का उपयोग करने वाला प्रस्तावित डिकंपोजिशन मैकेनिज्म ( $MS^2$ )।
एक्शन इटरेशन चरण (Action Iteration Stage):
- निष्कर्ष: मोडैलिटी सैलियन्स टेम्पोरल डायनेमिक (Temporally Dynamic) होती है। रोबोट जैसे-जैसे कार्य निष्पादित करता है, 2D बनाम 3D पर निर्भरता बदलती रहती है (जैसे, ग्रैस्पिंग के लिए 3D की आवश्यकता होती है लेकिन नेविगेशन के लिए 2D की)।
- मैकेनिज्म: समय के साथ प्रूनिंग बजट को अनुकूलित करने के लिए एक प्रेडिक्शन मैकेनिज्म की आवश्यकता होती है।

B. प्रूनिंग फ्रेमवर्क (एल्गोरिदम) (The Pruning Framework (Algorithm))

विश्लेषण के आधार पर, फ्रेमवर्क एक कैस्केडेड प्रूनिंग रणनीति लागू करता है:

चरण 1: डेटा प्रीप्रोसेसिंग (डुअल-थ्रेशोल्ड कैंडिडेट डिटरमिनेशन)
- पैच को वर्गीकृत करने के लिए फीचर नॉर्म रेशियो ( $MS^1$ ) का उपयोग करता है।
- रिटेंशन (रखने) का निर्णय लेने के लिए डुअल थ्रेशोल्ड ( $\tau_{2D}, \tau_{3D}$ $τ_{2 D}, τ_{3 D}$ ) लागू करता है:
  - कम 3D रेशियो $\rightarrow$ केवल 2D रखें।
  - उच्च 3D रेशियो $\rightarrow$ केवल 3D रखें।
  - इंटरमीडिएट $\rightarrow$ दोनों रखें।
चरण 2: सिमेंटिक सिंथेसिस (सिमेंटिक-बेसलाइन कैंडिडेट डिटरमिनेशन)
- अटेंशन स्कोर को तीन सिमेंटिक सेट्स में क्लस्टर करता है: बैकग्राउंड ( $S_{bg}$ ), रोबोट ( $S_{rob}$ ), और ऑब्जेक्ट ( $S_{obj}$ )।
- बैकग्राउंड: आक्रामक रूप से प्रून किया जाता है (90% रैंडम ड्रॉप) क्योंकि यह लो-सैलियन्स है।
- रोबोट/ऑब्जेक्ट: रिटेंशन एडेप्टिव (अनुकूलनीय) है। यदि 3D ऑर्थोगोनल फीचर्स बेसलाइन से अधिक हैं, तो दोनों मोडैलिटीज़ रखी जाती हैं; अन्यथा, 2D को प्राथमिकता दी जाती है।
चरण 3: एक्शन इिटरेशन (टेम्पोरल डायनेमिक्स और फ्यूजन)
- EMA स्मूथिंग: फ्लिकरिंग (flickering) को रोकने और टेम्पोरल निरंतरता का लाभ उठाने के लिए स्लाइडिंग विंडो के साथ एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करता है।
- फ्यूजन: चरण 1 (मोडैलिटी) और चरण 2 (सिमेंटिक) के कैंडिडेट का इंटरसेक्शन निकालता है।
- कॉन्फ्लिक्ट रेजोल्यूशन (Conflict Resolution): यदि इंटरसेक्शन खाली है (उदाहरण के लिए, एक महत्वपूर्ण सिमेंटिक क्षेत्र जिसे मोडैलिटी मेट्रिक्स द्वारा प्रूनिंग के लिए चिह्नित किया गया है), तो सिस्टम फीचर लॉस को रोकने के लिए सिमेंटिक आवश्यकता के आधार पर डिफ़ॉल्ट रूप से काम करता है।
- कोल्ड स्टार्ट (Cold Start): ऐतिहासिक डेटा के बिना पहले कुछ फ्रेमों को संभालने के लिए रॉ ऑब्जर्वेशन का उपयोग करता है और फिर EMA पर स्विच करता है।

3. मुख्य योगदान (Key Contributions)

त्रि-चरणीय विश्लेषण (Tri-Stage Analysis): यह पहली व्यापक विश्लेषण है जो प्रकट करती है कि 2D/3D मोडैलिटी सैलियन्स स्थिर नहीं है बल्कि डेटा स्टेज, सिमेंटिक क्षेत्र, और टेम्पोरल इटरेशन के अनुसार बदलती रहती है।
मोडैलिटी-अवेयर प्रूनिंग फ्रेमवर्क (Modality-Aware Pruning Framework): एक अभिनव फ्रेमवर्क जो MVLA के विशिष्ट संदर्भ के आधार पर इष्टतम प्रूनिंग कॉन्फ़िगरेशन (2D-ओनली, 3D-ओनली, या दोनों) को स्वचालित रूप से चुनता है।
दक्षता बनाम सटीकता (Efficiency vs. Accuracy): यह यूनिफॉर्म प्रूनिंग के बजाय बुद्धिमानी से रेडंडेंट टोकन को हटाकर भारी गति (speedup) प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन RLBench सिमुलेशन बेंचमार्क और MLA मॉडल का उपयोग करके वास्तविक दुनिया के रोबोटिक कार्यों पर किया गया।

स्पीडअप (Speedup): अनप्रून्ड बेसलाइन की तुलना में 2.55× तक इन्फरेंस स्पीडअप प्राप्त किया।
सटीकता (Accuracy): उच्च टास्क सक्सेस रेट (SR) बनाए रखा। 70% प्रूनिंग दर पर, SR केवल 2.5% गिरा (48.8% से 46.3%), जबकि नेटिव प्रूनिंग के कारण विनाशकारी विफलता हुई (जैसे, 6.7% SR तक गिरना)।
तुलना (Comparison): यह SOTA बेसलाइन्स (SP-VLA, VLA-Pruner) को काफी बेहतर प्रदर्शन करता है जो 2D-ओनली मॉडल्स से अनुकूलित किए गए हैं। उदाहरण के लिए, "क्लोज बॉक्स" कार्य पर 60% प्रूनिंग के साथ, प्रस्तावित विधि ने 60.0% SR प्राप्त किया, जबकि SP-VLA ने 16.7% प्राप्त किया।
ओवरहेड (Overhead): प्रूनिंग मैकेनिज्म स्वयं केवल ~5.8% ओवरहेड (~61ms प्रति स्टेप) जोड़ता है, जो लेटेंसी रिडक्शन की तुलना में नगण्य है।
वास्तविक दुनिया का सत्यापन (Real-World Validation): सॉन्गलिंग पाइपर (Songling Piper) रोबोटिक आर्म पर परीक्षण किया गया, जो पुष्टि करता है कि प्रमुख इंटरेक्शन चरणों (जैसे ग्रैस्पिंग) के दौरान 3D प्रूनिंग दर कम हो जाती है, जो सैद्धांतिक विश्लेषण के अनुरूप है।

5. महत्व (Significance)

यह शोध पत्र उन्नत एम्बोडेड AI की तैनाती में एक महत्वपूर्ण अंतर को संबोधित करता है। यह पहचानकर कि 2D और 3D मोडैलिटीज़ एक दूसरे के विकल्प नहीं हैं और उनका महत्व गतिशील रूप से बदलता रहता है, लेखक MVLA मॉडल्स में "टोकन विस्फोट" की समस्या के लिए एक स्केलेबल समाधान प्रदान करते हैं। यह फ्रेमवर्क 3D डेटा से प्राप्त स्थानिक समझ से समझौता किए बिना वास्तविक समय के रोबोटिक कंट्रोल (20–30 Hz) को सक्षम बनाता है, जो अधिक कुशल और सक्षम एम्बोडेड इंटेलिजेंस सिस्टमों के लिए मार्ग प्रशस्त करता है।