💻 computer science

TransMASK: Masked State Representation through Learned Transformation

TransMASK एक स्व-पर्यवेक्षित (self-supervised) विधि है जो विशेषज्ञ नीति (expert policy) के जैकोबियन (Jacobian) के साथ एक रूपांतरण मैट्रिक्स (transformation matrix) को संरेखित करके अप्रासंगिक अवस्था घटकों (state components) को मास्क करना सीखती है, जिससे बिना किसी अतिरिक्त लेबल या मौजूदा इमिटेशन लर्निंग फ्रेमवर्क में संशोधन के, नए वातावरणों में रोबोट की सामान्यीकरण क्षमता (generalization) में सुधार होता है।

मूल लेखक: Sagar Parekh, Preston Culbertson, Dylan P. Losey

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sagar Parekh, Preston Culbertson, Dylan P. Losey

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशिष्ट हरे ब्लॉक को उठाने और उसे मेज के केंद्र में रखने के लिए सिखा रहे हैं। आप रोबोट को यह कार्य करने के लिए अपना हाथ स्वयं हिलाकर दिखाते हैं (इसे 'इमिटेशन लर्निंग' या अनुकरण सीखना कहा जाता है)।

समस्या: रोबोट बहुत विचलित हो रहा है
जब आप प्रदर्शन करते हैं, तो आपका मस्तिष्क स्वाभाविक रूप से बैकग्राउंड (पृष्ठभूमि) को अनदेखा कर देता है। आप केवल हरे ब्लॉक, अपने हाथ और लक्ष्य स्थान पर ध्यान केंद्रित करते हैं। आपको इस बात से कोई फर्क नहीं पड़ता कि मेज लकड़ी की बनी है या संगमरमर की, या कोने में खिलौनों का ढेर लगा है।

लेकिन रोबोट सब कुछ देखता है। उसकी "आंखें" (कैमरे) मेज की बनावट, प्रकाश व्यवस्था, दीवारों का रंग और कमरे की हर वस्तु को रिकॉर्ड करती हैं। यदि आप एक मानक रोबोट पॉलिसी को प्रशिक्षित करते हैं, तो वह गलती से यह सीख सकता है कि "लकड़ी की मेज = ब्लॉक उठाओ" और "संगमरमर की मेज = कुछ न करो।" या, वह बैकग्राउंड में रखे एक लाल ब्लॉक से भ्रमित होकर उसे उठाने की कोशिश कर सकता है।

जब आप रोबोट को किसी दूसरे कमरे में ले जाते हैं जहाँ मेज अलग हो या बिखराव अलग हो, तो रोबोट विफल हो जाता है क्योंकि वह गलत चीजों पर ध्यान दे रहा था।

समाधान: TransMASK (एक "फोकस फिल्टर")
इस पेपर के लेखक, TransMASK, एक चतुर तरीका प्रस्तावित करते हैं जिससे रोबक को बिना किसी मानवीय निर्देश के शोर (noise) को अनदेखा करना सिखाया जा सके।

रोबोट के दुनिया के दृश्य को हजारों नंबरों (पिक्सेल, स्थिति, रंग) से भरी एक विशाल, अराजक स्प्रेडशीट के रूप में सोचें।

मानक दृष्टिकोण: रोबोट क्या करना है यह तय करने के लिए पूरी स्प्रेडशीट को पढ़ने की कोशिश करता है।
TransMASK दृष्टिकोण: TransMASK एक स्मार्ट हाइलाइटर या एक चुंबकीय फिल्टर की तरह काम करता है। यह उन कॉलमों की आवाज़ को कम करने (या म्यूट करने) में सीख जाता है जो महत्वपूर्ण नहीं हैं (जैसे मेज का रंग) और उन कॉलमों की आवाज़ को बढ़ा देता है जो महत्वपूर्ण हैं (जैसे हरे ब्लॉक की स्थिति)।

यह कैसे सीखता है? (द "चीट कोड")
आमतौर पर, रोबोट को चीजों को अनदेखा करना सिखाने के लिए, आपको अतिरिक्त लेबल देने की आवश्यकता होती है या उसे हजारों अलग-अलग अस्त-व्यस्त कमरों को दिखाना पड़ता है। TransMASK "सेल्फ-सुपरवाइज्ड" है, जिसका अर्थ है कि यह एक ट्रिक का उपयोग करके खुद ही सब कुछ समझ लेता है:

ग्रेडिएंट सुराग (The Gradient Clue): जब रोबोट आपके कार्यों की नकल करने की कोशिश करता है, तो वह गलतियाँ करता है। सीखने की प्रक्रिया के पीछे का गणित (जिसे "ग्रेडिएंट्स" कहा जाता है) स्वाभाविक रूप से इस बात को उजागर करता है कि किस जानकारी ने गलती का कारण बनाया।
तर्क: यदि रोबोट गलत मेज के रंग के कारण विफल होता है, तो गणित दिखाएगा कि "मेज का रंग" डेटा उसे सफल होने में मदद नहीं कर सका। यदि वह हरे ब्लॉक को देखकर सफल होता है, तो गणित दिखाएगा कि वह डेटा अत्यंत महत्वपूर्ण था।
परिणाम: समय के साथ, TransMASK स्वचालित रूप से एक "मास्क" (एक फिल्टर) बनाना सीख जाता है जो सहायक डेटा को रखता है और बेकार डेटा को हटा देता है। यह रोबोट के इस अहसास जैसा है कि, "हे, बैकग्राउंड का रंग मेरे हाथ की गति को नहीं बदलता, इसलिए मैं इसे देखना बंद कर दूँगा।"

एक रचनात्मक उपमा: शेफ और रसोई
कल्पना कीजिए कि एक मास्टर शेफ (मानव विशेषज्ञ) एक प्रशिक्षु (रोबोट) को सूप बनाना सिखा रहा है।

शेफ केवल बर्तन में मौजूद सामग्रियों (कार्य-प्रासंगिक अवस्था) की परवाह करता है।
रसोई अस्त-व्यस्त है: वहां गंदे बर्तन, टिकती हुई घड़ी और दीवार पर एक पोस्टर है (अप्रासंगिक अवस्था)।
पुराना रोबोट: प्रशिक्षु पूरी रसोई को याद करने की कोशिश करता है। "ओह, जब घड़ी में 12:00 बज रहे होते हैं, तब सूप का स्वाद अच्छा होता है!" यदि आप घड़ी को हटा देते हैं, तो प्रशिक्षु घबरा जाता है और खाना नहीं बना पाता।
TransMASK रोबोट: इस प्रशिक्षु के पास जादुई चश्मा है। जैसे ही वे शेफ को देखते हैं, चश्मा स्वचालित रूप से घड़ी, बर्तनों और पोस्टर को धुंधला (blur) कर देता है। प्रशिक्षु केवल बर्तन और सामग्रियों को देखता है। भले ही आप घड़ी बदल दें या दीवार का रंग बदल दें, प्रशिक्षु अभी भी सही सूप बना सकता है क्योंकि वे इन चीजों से कभी विचलित नहीं हुए।

यह क्यों महत्वपूर्ण है
पेपर दिखाता है कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है।

सिमुलेशन में: TransMASK के साथ प्रशिक्षित रोबोटों ने तब बहुत अधिक सफलता प्राप्त की जब मेज लकड़ी से संगमरमर में बदल गई, या जब कमरे में अतिरिक्त ब्लॉक जोड़े गए।
वास्तविक दुनिया में: उन्होंने इसे एक वास्तविक रोबोटिक आर्म पर परखा। खराब रोशनी और छाया के बावजूद, रोबोट ने बैकग्राउंड के शोर को अनदेखा करना और केवल उस वस्तु पर ध्यान केंद्रित करना सीखा जिसे उसे हिलाना था।

निष्कर्ष
TransMASK एक ऐसा टूल है जो रोबोट को शोर को अनसुना करना सिखाने में मदद करता है। पूरी दुनिया को याद करने के बजाय, रोबोट यह पहचानने में सीख जाता है कि "सिग्नल" (जो काम के लिए जरूरी है) क्या है और "शोर" (जो जरूरी नहीं है) क्या है, जिससे यह अधिक मजबूत और नए, अप्रत्याशित वातावरण में काम करने के लिए तैयार हो जाता है।

यहाँ शोध पत्र "TransMASK: Learned Transformation के माध्यम से Masked State Representation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इमिटेशन लर्निंग (Imitation Learning - IL) की एक मौलिक चुनौती को संबोधित करता है: जब रोबोटों को एक वातावरण में प्रशिक्षित किया जाता है और फिर उन्हें नए, अनदेखे वातावरण में तैनात किया जाता है, तो उनमें मजबूती (robustness) की कमी होती है।

मुख्य मुद्दा: मानव विशेषज्ञ कार्यों को केवल कार्य-प्रासंगिक विशेषताओं (task-relevant features) (जैसे वस्तु का स्थान, लक्ष्य स्थिति, रोबोट की मुद्रा) पर ध्यान केंद्रित करके प्रदर्शित करते हैं। हालांकि, रोबोट के अवलोकन (state $s$ ) में अक्सर कार्य-अप्रासंगिक विशेषताएँ (जैसे मेज की बनावट, पृष्ठभूमि का बिखराव, प्रकाश की स्थिति) शामिल होती हैं।
परिणाम: मानक IL नीतियां पूरे स्टेट वेक्टर पर ध्यान केंद्रित करने के लिए सीख जाती हैं। इससे भ्रामक सहसंबंध (spurious correlations) उत्पन्न होते हैं, जहाँ नीति प्रशिक्षण डेटा में मौजूद अप्रासंगिक विशेषताओं पर निर्भर हो जाती है। जब ये विशेषताएँ बदलती हैं (डिस्ट्रीब्यूशन शिफ्ट), तो नीति विफल हो जाती है।
मौजूदा सीमाएँ: प्रासंगिक अवस्थाओं (states) को निकालने के मौजूदा तरीकों के महत्वपूर्ण दोष हैं:
- डेटा ऑग्मेंटेशन/रैंडमाइजेशन (Data Augmentation/Randomization): यह इन-डोमेन प्रदर्शन को कम कर सकता है और बड़े डिस्ट्रीब्यूशन शिफ्ट के विरुद्ध विफल हो जाता है।
- विज़न-लैंग्वेज मॉडल्स (VLMs): इनके लिए फाइन-ट्यूनिंग की आवश्यकता होती है, जिससे 'कैटास्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) का जोखिम रहता है।
- इन्फॉर्मेशन बॉटलनेक (IB) और कंट्रास्टिव लर्निंग (Contrastive Learning): ये इल-पोज़्ड (ill-posed) अनुकूलन समस्याओं पर निर्भर करते हैं। वे अक्सर रिप्रेजेंटेशन कोलैप्स (representation collapse) (जहाँ लेटेंट स्टेट क्रिया का सीधा एनकोडिंग बन जाता है, न कि अवस्था का) से ग्रस्त होते हैं या उनके लिए कठिन-से-ट्यून किए जाने वाले हाइपरपैरामीटर और अतिरिक्त पर्यवेक्षण की आवश्यकता होती है।

2. कार्यप्रणाली: TransMASK

लेखक TransMASK प्रस्तावित करते हैं, जो एक सेल्फ-सुपरवाइज्ड विधि है जो एक मास्क मैट्रिक्स (mask matrix) सीखती है ताकि प्रेक्षित अवस्था (observed state) को केवल कार्य-प्रासंगिक जानकारी वाले लेटेंट रिप्रेजेंटेशन में बदला जा सके।

मुख्य अंतर्दृष्टि (Key Insights)

Jacobian एक प्रॉक्सी के रूप में: लेखकों का अनुमान है कि एक्सपर्ट पॉलिसी का जैकोबियन (Jacobian of the expert policy) ( $\nabla_s \pi^*(s)$ $\nabla_{s} π^{*} (s)$ ) का परिमाण (magnitude) कारण संबंधी प्रासंगिकता (causal relevance) को दर्शाता है।
- यदि अवस्था का एक तत्व कार्य के लिए अप्रासंगिक है, तो विशेषज्ञ की क्रिया उस पर निर्भर नहीं करती है; इस प्रकार, जैकोबियन में संबंधित कॉलम शून्य होता है।
- यदि अवस्था का एक तत्व प्रासंगिक है, तो जैकोबियन कॉलम का परिमाण गैर-शून्य होता है।
ग्रेडिएंट-संचालित लर्निंग (Gradient-Driven Learning): एक अलग रेगुलराइजेशन टर्म जोड़ने के बजाय (जैसा कि IB में होता है), TransMASK मास्क को सीखने के लिए मानक इमिटेशन लर्निंग लॉस (जैसे, बिहेवियर क्लोनिंग लॉस) के ग्रेडिएंट्स का लाभ उठाता है।

ढांचा (The Framework)

स्टेट डिसेंटैंगलमेंट धारणा (State Disentanglement Assumption): यह माना जाता है कि इनपुट स्टेट $s$ को प्रासंगिक तत्वों ( $\mu$ ) और अप्रासंगिक तत्वों ( $\eta$ ) में अलग किया जा सकता है।
लीनियर ट्रांसफॉर्मेशन (Linear Transformation): यह विधि एक सीखने योग्य मास्क मैट्रिक्स $M \in \mathbb{R}^{n \times n}$ पेश करती है। लेटेंट स्टेट $z$ की गणना इस प्रकार की जाती है:
$z = Ms$
यहाँ, $M$ एक फिल्टर के रूप में कार्य करता है। आदर्श रूप से, $\eta$ से संबंधित कॉलम शून्य की ओर अभिसरित (converge) होंगे, जबकि $\mu$ के लिए कॉलम परिमाण बनाए रखेंगे।
अनुकूलन (Optimization):
- पॉलिसी $\pi_\psi$ को मास्क किए गए स्टेट $z$ का उपयोग करके मानक इमिटेशन लॉस (जैसे, अनुमानित क्रिया और विशेषज्ञ क्रिया के बीच MSE) को कम करने के लिए प्रशिक्षित किया जाता है।
- लॉस फंक्शन: $L(\psi, M) = \sum \frac{1}{2} \| \pi_\psi(Ms) - a \|^2$ ।
- ग्रेडिएंट फ्लो (Gradient Flow): बैकप्रोपैगेशन के दौरान, ग्रेडिएंट्स पॉलिसी और मास्क $M$ के माध्यम से प्रवाहित होते हैं। अप्रासंगिक विशेषताओं से संबंधित $M$ के तत्व कम-परिमाण वाले ग्रेडिएंट प्राप्त करते हैं (क्योंकि वे त्रुटि को कम करने में मदद नहीं करते), जबकि प्रासंगिक विशेषताएँ उच्च-परिमाण वाले ग्रेडिएंट प्राप्त करती हैं।
नॉर्मलाइजेशन (Normalization): अनबाउंडेड स्केलिंग को रोकने और स्पर्सिटी (sparsity) लागू करने के लिए, $M$ की पंक्तियों (rows) पर एक नॉर्मलाइजेशन लेयर (जैसे, Softmax या Sparsemax) लागू की जाती है। यह मास्क को एक "हार्ड" सिलेक्शन की ओर अभिसरित होने के लिए मजबूर करता है, जो प्रभावी रूप से अप्रासंगिक स्टेट कंपोनेंट्स को शून्य कर देता है।

अटेंशन मैकेनिज्म से अंतर

अटेंशन मैकेनिज्म के समान होने के बावजूद, TransMASK एक स्थिर, इनपुट-स्वतंत्र मास्क (static, input-independent mask) सीखता है। मानक अटेंशन (जो इनपुट क्वेरी/की के आधार पर डायनेमिक वेट्स की गणना करता है) के विपरीत, TransMASK कार्य की संरचना के आधार पर एक निश्चित रूपांतरण सीखता है। यह सुनिश्चित करता है कि जब इनपुट डिस्ट्रीब्यूशन बदलता है, तो पॉलिसी गलती से अप्रासंगिक विशेषताओं को पुन: भारित (re-weight) न करे।

3. मुख्य योगदान (Key Contributions)

विफलता मोड की पहचान: यह शोध पत्र सैद्धांतिक और अनुभवजन्य रूप से प्रदर्शित करता है कि मानक रिप्रेजेंटेशन लर्निंग दृष्टिकोण (जैसे IB और VAE) IL सेटिंग्स में क्यों विफल होते हैं, विशेष रूप से "एक्शन रिप्रेजेंटेशन कोलैप्स" के जोखिम और हाइपरपैरामीटर ट्यूनिंग की कठिनाई को उजागर करता है।
TransMASK का व्युत्पन्न: एक नवीन विधि जो बिना किसी अतिरिक्त लेबल, बिना लॉस फंक्शन में बदलाव और बिना किसी सहायक डेटा के, इमिटेशन लर्निंग ग्रेडिएंट फ्लो के उप-उत्पाद (byproduct) के रूप में कार्य-प्रासंगिक अवस्थाओं को निकालती है।
डिस्ट्रीब्यूशन शिफ्ट के प्रति मजबूती: यह विधि ऐसे नीतियां तैयार करती है जो पर्यावरणीय परिवर्तनों (जैसे, मेज की बनावट बदलना, बिखराव जोड़ना) के विरुद्ध मौजूदा स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में काफी अधिक मजबूत हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिम्युलेटेड वातावरण (Panda-Gym) और वास्तविक रोबोटिक कार्यों (UR10 आर्म) दोनों में TransMASK का मूल्यांकन किया।

बेसलाइन्स (Baselines): व्यवहार क्लोनिंग (BC), वेरिएशनल ऑटोएनकोडर्स (VAE), कंट्रास्टिव लर्निंग (CLASS), और बूटस्ट्रैप योर ओन लेटेंट (VINN) के विरुद्ध तुलना की गई।
कार्य (Tasks): पिक-एंड-प्लेस, पुशिंग, और रुबिक्स क्यूब रोटेशन (सिम); पिक, स्टैक, और स्कूप (रियल-वर्ल्ड)।
स्थितियाँ: इन-डिस्ट्रीब्यूशन (ID) डेटा और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा (जैसे, लकड़ी से मार्बल में मेज का रंग बदलना, या मेज को सफेद चादर से ढकना) पर मूल्यांकन किया गया।

मुख्य निष्कर्ष:

प्रदर्शन: TransMASK ने लगातार सभी बेसलाइन्स को पछाड़ दिया।
- ID सेटिंग्स में, इसने अगले सर्वश्रेष्ठ बेसलाइन से 15% तक उच्च सफलता दर प्राप्त की।
- OOD सेटिंग्स में, इसने पर्यावरणीय व्यवधानों के तहत लगभग 9% उच्च सफलता दर बनाए रखी।
प्रिविलेज्ड बनाम विजुअल स्टेट्स: यह विधि लो-डायमेंशनल प्रिविलेज्ड स्टेट्स (सटीक निर्देशांक) और हाई-डायमेंशनल इमेज ऑब्जर्वेशन (सेगमेंटेशन मास्क के माध्यम से संसाधित) दोनों के साथ प्रभावी ढंग से काम करती है।
मास्क विज़ुअलाइज़ेशन: सीखे गए मास्क $M$ के विज़ुअलाइज़ेशन ने पुष्टि की कि विधि ने लक्ष्य वस्तु और रोबोट की मुद्रा को संरक्षित करते हुए डिस्ट्रैक्टर ऑब्जेक्ट्स और बैकग्राउंड फीचर्स के लिए वेट्स को सफलतापूर्वक शून्य कर दिया।
वास्तविक दुनिया की सफलता: वास्तविक दुनिया के प्रयोगों में, TransMASK ने OOD परिदृश्यों में BC और VAE को काफी पीछे छोड़ दिया, जो दर्शाता है कि यह अपूर्ण सेगमेंटेशन और लाइटिंग परिवर्तनों के बावजूद सामान्यीकरण (generalize) कर सकता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

TransMASK मजबूत इमिटेशन लर्निंग के लिए एक मॉड्यूलर, प्लग-एंड-प्ले समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

सरलता: इसके लिए जटिल आर्किटेक्चरल बदलावों, सहायक लॉस या बड़े पैमाने पर प्री-ट्रेनिंग की आवश्यकता नहीं है। इसे न्यूनतम ओवरहेड के साथ मौजूदा फ्रेमवर्क (जैसे, डिफ्यूजन पॉलिसी) के साथ जोड़ा जा सकता है।
सैद्धांतिक सुदृढ़ता: यह इन्फॉर्मेशन बॉटलनेक उद्देश्यों की इल-पोज़्ड प्रकृति से बचते हुए, पॉलिसी ऑप्टिमाइज़ेशन के आंतरिक ग्रेडिएंट्स का उपयोग करके स्टेट रिप्रेजेंटेशन को कार्य संरचना के साथ संरेखित करने का एक व्यवस्थित तरीका प्रदान करता है।
व्यावहारिक प्रभाव: यह रोबोटों को एक सेटिंग में प्रदर्शन (demonstrations) से सीखने और बिना पुनः प्रशिक्षण के नए वातावरण में सामान्य करने में सक्षम बनाता है, जो गतिशील, असंरचित वास्तविक दुनिया के वातावरण में स्वायत्त रोबोटों को तैनात करने की दिशा में एक महत्वपूर्ण कदम है।

सीमाएँ: यह विधि मानती है कि इनपुट स्टेट पर्याप्त रूप से डिसेंटैंगल्ड (जैसे, सेगमेंटेशन मास्क के माध्यम से) है। यदि स्टेट रिप्रेजेंटेशन में प्रासंगिक और अप्रासंगिक विशेषताएँ इस तरह मिली हुई हैं कि उन्हें रैखिक रूप से अलग नहीं किया जा सकता, तो प्रदर्शन कम हो सकता है। इसके अतिरिक्त, मास्क लर्निंग अनुकूलन प्रक्रिया की स्थिरता पर निर्भर करती है, जो शोर वाले डेटा (noisy data) के प्रति संवेदनशील हो सकती है।