⚡ electrical engineering

Overcoming Visual Clutter in Vision Language Action Models via Concept-Gated Visual Distillation

यह शोध पत्र कॉन्सेप्ट-गेटेड विजुअल डिस्टिलेशन (CGVD) प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त, मॉडल-अज्ञेय (मॉडल-एग्नोस्टिक) इन्फरेंस फ्रेमवर्क है जो निर्देशों का विश्लेषण करके व्याकुलता पैदा करने वाले तत्वों (डिस्ट्रैक्टर्स) की पहचान करने और स्वच्छ अवलोकन उत्पन्न करने के लिए फूरियर-आधारित इनपेंटिंग का उपयोग करके विजन-लैंग्वेज-एक्शन मॉडल्स में "प्रिसिजन-रीज़निंग गैप" को दूर करता है, जिससे अत्यधिक अव्यवस्थित वातावरण में रोबोटिक मैनिपुलेशन की सफलता दर में उल्लेखनीय सुधार होता है।

मूल लेखक: Sangmim Song, Sarath Kodagoda, Marc Carmichael, Karthick Thiyagarajan

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sangmim Song, Sarath Kodagoda, Marc Carmichael, Karthick Thiyagarajan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशिष्ट चम्मच उठाने और उसे तौलिए पर रखने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। रोबोट अविश्वसनीय रूप से बुद्धिमान है; उसने लाखों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं, इसलिए वह जानता है कि "चम्मच" और "तौलिया" क्या होता है।

हालाँकि, एक समस्या है। आप चम्मच को एक मेज पर रखते हैं जो बिखरी हुई (messy) है। वहाँ कांटे, चाकू, कैंची और अन्य चम्मच हर जगह बिखरे हुए हैं।

जब रोबोट इस बिखराव को देखता है, तो वह भ्रमित हो जाता है। वह लक्षित चम्मच को देखता है, लेकिन वह अन्य सभी चमकदार धातु की वस्तुओं को भी देखता है। उसका "दिमाग" विजुअल शोर (visual noise) से अभिभूत हो जाता है। वह गलत चम्मच उठा सकता है, या वह हिचकिचाकर वस्तु को गिरा सकता है। शोधपत्र में, लेखक इसे "प्रिसिजन-रीज़निंग गैप" (Precision-Reasoning Gap) कहते हैं। रोबोट जानता है कि उसे क्या करना है (Reasoning), लेकिन वह इसे इतनी सटीकता से नहीं देख पाता (Precision) क्योंकि बैकग्राउंड बहुत शोर भरा है।

समाधान: CGVD (द "स्मार्ट नॉइज़-कैंसलिंग" ग्लासेस)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे कॉन्सेप्ट-गेटेड विजुअल डिस्टिलेशन (CGVD) कहा जाता है। इसे एक नया कौशल सिखाने के बजाय, एक स्मार्ट, नॉइज़-कैंसलिंग चश्मे के रूप में सोचें जिसे रोबोट केवल तभी पहनता है जब कार्य करने का समय होता है।

यह कैसे काम करता है, यहाँ सरल उपमाओं का उपयोग करके चरण-दर-चरण दिया गया है:

1. "गेस्ट लिस्ट" (इंस्ट्रक्शन पार्सिंग)

सबसे पहले, रोबोट निर्देश पढ़ता है: "चम्मच को तौलिए पर रखो।"
पूरी तस्वीर को देखने के बजाय, CGVD एक क्लब के सख्त बाउंसर की तरह काम करता है। यह एक "सेफ लिस्ट" (चम्मच, तौलिया और रोबोट का हाथ) और एक "डिस्ट्रैक्टर लिस्ट" (बाकी सब कुछ: कांटे, चाकू, अव्यवस्था) बनाता है।

2. "डबल-चेक" (टू-लेयर रिफाइनमेंट)

कभी-कभी, एक कांटा इतना अधिक चम्मच जैसा दिखता है कि रोबोट की आँखें धोखा खा जाती हैं। इसे ठीक करने के लिए, CGVD दो-चरणीय सत्यापन प्रक्रिया का उपयोग करता है:

चरण A: यह पूछता है, "क्या यह वस्तु निश्चित रूप से एक चम्मच है?"
चरण B: यह पूछता है, "क्या यह वस्तु एक कांटा भी है?"
यदि कोई वस्तु चम्मच जैसी दिखती है लेकिन वास्तव में एक कांटा है, तो सिस्टम उसे एक "नेगेटिव स्कोर" देता है और उसे नकली घोषित कर देता है। यह सुनिश्चित करता है कि रोबोट गलती से असली चम्मच को न मिटा दे या किसी नकली को न रख ले।

3. "मैजिक इरेज़र" (इनपेंटिंग)

यह सबसे शानदार हिस्सा है। एक बार जब सिस्टम जान जाता है कि किसे रखना है और किसे हटाना है, तो यह केवल खराब चीजों को धुंधला नहीं करता है। यह डिस्ट्रैक्टर्स (विचलित करने वाली वस्तुओं) के ऊपर पेंट करने के लिए एक डिजिटल मैजिक इरेज़र (जिसे LaMa कहा जाता है) का उपयोग करता है।

कल्पना करें कि आप एक बिखरे हुए कमरे को देख रहे हैं। CGVD एक फोटो लेता है, डिजिटल रूप से सारी अव्यवस्था को बैकग्राउंड की दीवार के रंग से पेंट कर देता है, और फिर इस "साफ" फोटो को रोबट को दिखाता है।
अब रोबोट को केवल चम्मच और तौलिए के साथ एक साफ मेज दिखाई देती है। भ्रमित करने वाला शोर गायब हो गया है।

4. "घोस्ट इमेज" (टेम्पोरल कंसिस्टेंसी)

आप सोच सकते हैं: "क्या होगा अगर रोबोट हिलता है और बैकग्राउंड बदल जाता है?"
CGVD इस मामले में स्मार्ट है। यह भारी "सफाई" का काम केवल शुरुआत में एक बार करता है। उसके बाद, यह साफ, पेंट किए गए बैकग्राउंड को लाइव वीडियो फीड के साथ मिला देता है। यह एक वीडियो गेम में पारदर्शी ओवरले (transparent overlay) रखने जैसा है। रोबोट वास्तविक दुनिया को चलते हुए देखता है, लेकिन विचलित करने वाली वस्तुएं स्थायी रूप से "घोस्ट आउट" (अदृश्य) कर दी जाती हैं ताकि वे रोबोट के दिमाग को भ्रमित न करें।

यह क्यों मायने रखता है?

शोधपत्र में बहुत ही अव्यवस्थ वातावरण में रोबोटों पर इसका परीक्षण किया गया।

CGVD के बिना: जब कई भ्रमित करने वाली वस्तुएं थीं, तो रोबोट लगभग 57% बार विफल रहा। वह शोर में खो गया।
CGVD के साथ: रोबोट 77.5% बार सफल रहा।

रोबोट के सोचने की कोशिश करने से पहले उसके विजुअल इनपुट को साफ करके, रोबोट अपना पूरा "दिमागी बल" कार्य पर केंद्रित कर सकता है।

कमी (सीमाएं)

यह विधि पूर्ण नहीं है। यह मानती है कि बैकग्राउंड मुख्य रूप से स्थिर (जैसे एक मेज) है। यदि कोई व्यक्ति काम करते समय अव्यवस्था को हिला देता है, तो "साफ" की गई छवि वास्तविकता के साथ तालमेल से बाहर हो सकती है। इसके अलावा, यदि अव्यवस्था वास्तव में रोबोट की मदद करती है (जैसे कि एक विजुअल एंकर प्रदान करना), तो उसे हटाना कभी-कभी चीजों को थोड़ा कठिन बना सकता है।

बड़ी तस्वीर

CGVD को वास्तविक दुनिया और रोबोट के दिमाग के बीच एक अनुवादक (translator) के रूप में समझें। वास्तविक दुनिया अराजक है और इसमें बहुत सारे भटकाव हैं। रोबोट का दिमाग शक्तिशाली है लेकिन आसानी से अभिभूत हो जाता है। CGVD अराजक दुनिया को एक साफ, सरल निर्देश पुस्तिका में अनुवाद करता है, जिससे रोबोट एक सर्जन की सटीकता के साथ जटिल कार्यों को करने में सक्षम होता है, यहाँ तक कि एक अराजक रसोई में भी।

यहाँ शोध पत्र "Overcoming Visual Clutter in Vision Language Action Models via Concept-Gated Visual Distillation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: प्रिसिजन-रीजनिंग गैप (Precision-Reasoning Gap)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल्स ने रोबोटिक्स में प्रभावशाली ज़ीरो-शॉट जनरलाइजेशन (zero-shot generalization) प्रदर्शित किया है, जिससे वे ओपन-वोकैबुलरी निर्देशों का पालन करने में सक्षम हुए हैं। हालाँकि, वे अव्यवस्थित वातावरण (cluttered environments) में एक गंभीर विफलता मोड का सामना करते हैं, जिसे "प्रिसिजन-रीजनिंग गैप" कहा जाता है।

समस्या: जबकि VLA मॉडल किसी लक्षित वस्तु (जैसे, "चम्मच") को अर्थपूर्ण रूप से पहचान सकते हैं, पृष्ठभूमि के विचलित करने वाले तत्वों (जैसे, कांटे, चाकू, या समान दिखने वाली वस्तुएं) से उत्पन्न उच्च-आवृत्ति वाला सिमेंटिक शोर फीचर डाइल्यूशन (feature dilution) का कारण बनता है।
तंत्र (Mechanism): विचलित करने वाले तत्व सटीक हेरफेर (manipulation) के लिए आवश्यक ज्यामितीय ग्राउंडिंग (geometric grounding) को दूषित कर देते हैं। इससे अटेंशन करप्शन (attention corruption) होता है, जहाँ मॉडल का लेटेंट रिप्रजेंटेशन (latent representation) अर्थपूर्ण रूप से समान वस्तुओं द्वारा भ्रमित हो जाता है, जिसके परिणामस्वरूप उच्च-विचलन वाले प्रक्षेपवक्र (high-variance trajectories), हिचकिचाहट, या गलत वस्तु को पकड़ना जैसी स्थितियाँ उत्पन्न होती हैं।
मौजूदा समाधानों की सीमाएँ:
- अनुकूलन/फाइन-ट्यूनिंग (Adaptation/Fine-tuning): इसके लिए महंगी, आर्किटेक्चर-विशिष्ट रिट्रेनिंग की आवश्यकता होती है और यह जनरलाइजेशन को सीमित करता है।
- इन्फरेंस-टाइम इंटरवेंशन (जैसे, BYOVLA): यह बाहरी API (जैसे, GPT-4o) पर निर्भर है, जिसमें कई फॉरवर्ड पास की आवश्यकता होती है, और यह केवल संभाव्य सुरक्षा (probabilistic protection) प्रदान करता है।
- डेटा ऑग्मेंटेशन (Data Augmentation): इसके लिए भारी मात्रा में रिट्रेनिंग की आवश्यकता होती है और तैनाती (deployment) के समय कोई गारंटी नहीं देता है।

2. कार्यप्रणाली: कॉन्सेप्ट-गेटेड विजुअल डिस्टिलेशन (CGVD)

लेखक CGVD का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, मॉडल-एग्नोस्टिक इन्फरेंस फ्रेमवर्क है। यह एक "परसेप्शन रैपर" (perception wrapper) के रूप de रूप में कार्य करता है जो VLA पॉलिसी तक पहुँचने से पहले विजुअल ऑब्जर्वेशन को प्रीप्रोसेस करता है। इसका मूल दर्शन यह है कि भाषा के निर्देश का उपयोग करके विजुअल कंटेंट को गेट (gate) करना, जिससे गैर-कारण पिक्सेल (non-causal pixels) को हटाया जा सके और स्थानिक ज्यामिति (spatial geometry) को सुरक्षित रखा जा सके।

पाइपलाइन चार प्रमुख चरणों से मिलकर बनी है:

A. कॉन्सेप्ट-गेटेड डिकंपोजिशन (Concept-Gated Decomposition)

सिस्टम प्राकृतिक भाषा के निर्देश (जैसे, "तौलिये पर चम्मच रखें") को पार्स करके दो सेट परिभाषित करता है:

सेफ सेट ( $S$ ): वे एंटिटीज जिन्हें दृश्यमान रहना चाहिए (लक्ष्य: "चम्मच", एंकर: "तौलिया", रोबोट)।
डिस्ट्रैक्टर सेट ( $D$ ): वे सिमेंटिक श्रेणियाँ जिन्हें हटाया जाना है (जैसे, "कांटा", "कैंची", "चाकू")।

B. टू-लेयर टारगेट रिफाइनमेंट (Two-Layer Target Refinement)

ओपन-सेट विजन मॉडल्स में निहित सिमेंटिक भ्रम (जहाँ एक स्पैटुला को चम्मच समझ लिया जा सकता है) को संबोधित करने के लिए, CGVD प्रारंभिक फ्रेम ( $t=0$ ) पर एक कठोर रिफाइनमेंट प्रक्रिया का उपयोग करता है:

क्रॉस-वैलिडेशन (Cross-Validation): प्रत्येक डिटेक्टेड इंस्टेंस के लिए एक "जेनुइननेस स्कोर" ( $g$ $g$ ) की गणना करता है, जो सेफ सेट बनाम डिस्ट्रैक्टर सेट में इसकी कॉन्फिडेंस की तुलना करता है।
- $g = \sigma_{safe} - \max(\sigma_{dist})$ ।
- वास्तविक लक्ष्य $g > 0$ देते हैं; छद्म (imposters - जो डिस्ट्रैक्टर को लक्ष्य के रूप में गलत पहचानते हैं) $g < 0$ देते हैं।
स्पेशियल डिसएम्बिग्यूएशन (Spatial Disambiguation): जेनुइननेस स्कोर और सेफ-सेट कॉन्फिडेंस को संयोजित करने वाले एक कंपोजिट स्कोर का उपयोग करके कनेक्टेड कंपोनेंट्स का मूल्यांकन करता है। केवल उच्चतम स्कोर वाले कंपोनेंट को ही वास्तविक लक्ष्य के रूप में रखा जाता है।

C. सेट-थ्योरेटिक मास्क कंपोजिशन (Set-Theoretic Mask Composition)

सिस्टम सेट ऑपरेशन्स का उपयोग करके एक अंतिम इनपेंटिंग मास्क ( $M_{inp}$ ) बनाता है:

यह डिस्ट्रैक्टर मास्क ( $M_{dist}$ ) को डाइलेट (dilate) करता है और डाइलेटेड सेफ-सेट मास्क ( $M_{safe}$ ) को इसमें से घटाता है।
यह एक "प्रोटेक्टिव बफर" बनाता है जो यह सुनिश्चित करता है कि लक्ष्य और रोबोट आर्म को गलती से कभी हटाया न जाए।

D. इनपेंटिंग के माध्यम से क्लीन सीन जनरेशन (Clean Scene Generation via Inpainting)

इनपेंटिंग: मास्क किए गए क्षेत्रों (डिस्ट्रैक्टर्स) को एक फोटोरियलिस्टिक, क्लीन बैकग्राउंड बनाने के लिए LaMa (एक फूरियर कॉन्वोल्यूशन-आधारित इनपेंटिंग मॉडल) का उपयोग करके भरा जाता है।
टेम्पोरल कंसिस्टेंसी (Temporal Consistency): क्लीन सीन की गणना $t=0$ पर एक बार की जाती है और इसे कैश (cache) किया जाता है। बाद के फ्रेम ( $t > 0$ ) के लिए, सिस्टम लाइव कैमरा फीड को कैश किए गए क्लीन बैकग्राउंड के साथ ब्लेंड करता है, जिससे यह सुनिश्चित होता है कि रोबोट आर्म (विजुअल प्रोप्रियोसेप्शन) इनपेंटिंग आर्टिफ़ेक्ट्स द्वारा बाधित न हो।

3. मुख्य योगदान

CGVD फ्रेमवर्क: एक अभिनव, ट्रेनिंग-फ्री इन्फरेंस विधि जो भाषा-आधारित सेगमेंटेशन और इनपेंटिंग के माध्यम से चयनात्मक रूप से डिस्ट्रैक्टर्स को हटाती है, जो एक सिमेंटिक इंफॉर्मेशन बॉटलनेक के रूप में कार्य करती है।
इंटरैक्शन-अवेयर मास्किंग लॉजिक: एक टू-लेयर रिफाइनमेंट पाइपलाइन (क्रॉस-वैलिडेशन + स्पेशियल डिसएम्बिग्यूएशन) जो गणितीय रूप से फॉल्स पॉजिटिव्स को दंडित करती है, जिससे ओपन-सेट मॉडल्स द्वारा विजुअली समान डिस्ट्रैक्टर्स को लक्ष्य समझने की समस्या हल होती है।
स्केलेबल रोबस्टनेस: विभिन्न VLA आर्किटेक्चर ( $\pi_0$ , GR00T) में अत्यधिक अव्यवस्थित दृश्यों में पॉलिसी कोलैप्स को रोकने की क्षमता का प्रदर्शन।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन SimperEnv बेंचमार्क में WidowX रोबोट आर्म के साथ "तौलिये पर चम्मच रखें" और "प्लेट पर गाजर रखें" जैसे कार्यों के लिए किया गया।

सिमेंटिक क्लटर में प्रदर्शन:
- घने सिमेंटिक डिस्ट्रैक्टर्स (लक्ष्य के समान वस्तुएं) वाले वातावरण में, बेसलाइन VLA की सफलता दर गिरकर 43.0% हो गई।
- CGVD ने 77.5% की सफलता दर प्राप्त की, जो बेसलाइन से काफी बेहतर है।
- डिस्ट्रैक्टर्स की संख्या बढ़ने पर (18 डिस्ट्रैक्टर्स तक) प्रदर्शन का अंतर और बढ़ गया।
एट्रीब्यूट एडहेरेंस (Attribute Adherence):
- जटिल प्रॉम्प्ट्स के लिए (जैसे, "तौलिये पर हरे हैंडल वाला चम्मच रखें"), क्लटर बढ़ने पर बेसलाइन तेजी से गिरी (57.0% तक)।
- CGVD ने 73.0% का एक स्थिर सफलता दर फ्लोर बनाए रखा, प्रभावी रूप से एट्रीब्यूट-विरोधी वस्तुओं को बैकग्राउंड की तरह माना।
एब्लेशन स्टडीज (Ablation Studies):
- टू-लेयर टारगेट रिफाइनमेंट को हटाने से सफलता दर 77.5% से गिरकर 65.0% हो गई।
- LaMa इनपेंटिंग को साधारण मीन-कलर फिल से बदलने पर सबसे बड़ी गिरावट आई (56.5% तक), जो सिद्ध करता है कि फोटोरियलिस्टिक बैकग्राउंड ज्योमेट्री को बनाए रखना VLA की प्लानिंग के लिए महत्वपूर्ण है।
- रोबोट मास्क प्रोटेक्शन को हटाने से रोबोट आर्म के अवरुद्ध होने के कारण सफलता घटकर 73.0% रह गई।
लेटेंसी (Latency):
- कंप्यूटेशनल रूप से महंगे ऑपरेशन (सेगमेंटेशन/इनपेंटिंग) केवल शुरुआती फ्रेम ( $t=0$ ) तक सीमित हैं।
- $t>0$ के लिए रनटाइम ओवरहेड नगण्य है (~बेस कंट्रोल फ्रीक्वेंसी में 100ms का अतिरिक्त समय), जिससे रियल-टाइम क्षमता बनी रहती है।

5. महत्व और सीमाएं

महत्व:
CGVD इन्फरेंस-टाइम विजुअल डिस्टिलेशन को रोबोटिक मैनिपुलेशन के लिए एक महत्वपूर्ण पूर्व शर्त के रूप में स्थापित करता है। यह रिट्रेनिंग की लागत के बिना सिमेंटिक रीजनिंग और ज्यामितीय सटीकता के बीच के अंतर को पाटता है, जिससे फाउंडेशन मॉडल्स को अनस्ट्रक्चर्ड, मानव-केंद्रित वातावरण में व्यवहार्य बनाया जाता है।

सीमाएं:

स्टैटिक बैकग्राउंड धारणा (Static Background Assumption): यह विधि $t=0$ पर इनपेंटेड बैकग्राउंड को कैश करती है। यदि कार्य के दौरान कोई डिस्ट्रैक्टर गतिशील रूप से हिलता है, तो कैश किया गया बैकग्राउंड भौतिक दृश्य से असंतुलित (desynchronize) हो जाएगा।
कॉन्टेक्स्ट-डिपेंडेंट क्लटर: कुछ कार्यों में (जैसे, "प्लेट पर गाजर"), मध्यम क्लटर VLA के लिए एक सहायक विजुअल एंकर के रूप में कार्य कर सकता है। ऐसे संदर्भ को आक्रामक तरीके से हटाने से बेसलाइन की तुलना में प्रदर्शन थोड़ा कम हो सकता है।
स्टार्टअप लेटेंसी: प्रारंभिक फ्रेम प्रोसेसिंग के कारण शुरुआत में थोड़ा विलंब होता है, हालांकि यह मैकेनिकल मूवमेंट के समय की तुलना में नगण्य है।

भावी कार्य: लेखक गतिशील क्लटर को संभालने के लिए रियल-टाइम मास्क अपडेटिंग का पता लगाने की योजना बना रहे हैं।