← नवीनतम पेपर
🤖 machine learning

MEM: Multi-Scale Embodied Memory for Vision Language Action Models

यह शोध पत्र मल्टी-स्केल एम्बोडीड मेमोरी (MEM) का परिचय देता है, जो एक मिश्रित-मोडल आर्किटेक्चर है जो वीडियो-आधारित अल्पकालिक और टेक्स्ट-आधारित दीर्घकालिक मेमोरी को एकीकृत करता है ताकि विजन-लैंग्वेज-एक्शन मॉडल्स को पंद्रह मिनट तक के जटिल, लॉन्ग-होराइजन रोबोटिक कार्यों को प्रभावी ढंग से करने में सक्षम बनाया जा सके।

मूल लेखक: Marcel Torne, Karl Pertsch, Homer Walke, Kyle Vedder, Suraj Nair, Brian Ichter, Allen Z. Ren, Haohuan Wang, Jiaming Tang, Kyle Stachowicz, Karan Dhabalia, Michael Equi, Quan Vuong, Jost Tobias Springe
प्रकाशित 2026-03-05
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Marcel Torne, Karl Pertsch, Homer Walke, Kyle Vedder, Suraj Nair, Brian Ichter, Allen Z. Ren, Haohuan Wang, Jiaming Tang, Kyle Stachowicz, Karan Dhabalia, Michael Equi, Quan Vuong, Jost Tobias Springenberg, Sergey Levine, Chelsea Finn, Danny Driess

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल भोजन बनाना या एक गंदी रसोई साफ करना सिखा रहे हैं। यदि आप एक मानक रोबोट से यह करने के लिए कहते हैं, तो यह एक ऐसे व्यक्ति से रेसिपी का पालन करने के लिए कहने जैसा है जिसे भ記憶लोप (amnesia) हो। वे अपने सामने मौजूद सामग्रियों को देख सकते हैं, लेकिन जैसे ही वे कोई मसाला लेने के लिए अपनी पीठ घुमाते हैं, वे भूल जाते हैं कि वे क्या कर रहे थे। यदि उनसे एक चम्मच गिर जाता है, तो उन्हें याद नहीं रहता कि उन्होंने अभी उसे गिराया था, इसलिए वे बार-बार उसी तरह से उसे उठाने की कोशिश करते रहते हैं, और हर बार असफल होते हैं।

यह पेपर MEM (Multi-Scale Embodied Memory) नामक एक नई प्रणाली पेश करता है जो रोबोट को एक ऐसा "दिमाग" देती है जो दो बहुत अलग तरीकों से चीजों को याद रख सकता है, ठीक वैसे ही जैसे इंसान करते हैं।

यहाँ इसका सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: रोबोट की "कम एकाग्रता अवधि" (Short Attention Span)

आज के अधिकांश उन्नत रोबोट गोल्डफिश (goldfish) की तरह हैं। वे देख सकते हैं कि अभी इस वक्त क्या हो रहा है, लेकिन वे याद नहीं रख सकते कि 10 सेकंड पहले क्या हुआ था, 10 मिनट तो दूर की बात है।

  • समस्या: यदि कोई रोबोट काउंटर पोंछ रहा है, तो वह भूल सकता है कि उसने पहले ही बायां हिस्सा पोंछ लिया है। यदि वह खाना बना रहा है, तो वह भूल सकता है कि उसने पहले ही नमक डाल दिया है।
  • पुराना तरीका: इसे ठीक करने के लिए, वैज्ञानिकों ने रोबोट को पिछले एक घंटे के हर एक वीडियो फ्रेम को खिलाने की कोशिश की। लेकिन यह एक 500 पन्नों की किताब को 1 सेकंड में पढ़ने की कोशिश करने जैसा है। रोबोट का कंप्यूटर अभिभूत (overwhelmed) हो जाता है, और उसकी गति धीमी होकर रेंगने लगती है।

2. समाधान: दो प्रकार की याददाश्त

लेखकों ने महसूस किया कि इंसान हर चीज़ को एक ही तरह से याद नहीं रखते। हमारे पास अल्पकालिक स्मृति (short-term memory) होती है (जो मैंने अभी देखा) और दीर्घकालिक स्मृति (long-term memory) होती है (जिस योजना का मैं पालन कर रहा हूँ)। MEM रोबोट को ये दो अलग-अलग उपकरण देता है।

A. अल्पकालिक स्मृति: "सुपर-शार्प आँख" (वीडियो मेमोरी)

  • यह क्या है: एक हाई-स्पीड वीडियो कैमरा जो पिछले कुछ सेकंडों को हाई डेफिनेशन में याद रखता है।
  • उदाहरण: कल्पना कीजिए कि आप साबुन के एक फिसलन भरे टुकड़े को उठाने की कोशिश कर रहे हैं। आप उसे देखते हैं, उसे पकड़ने के लिए हाथ बढ़ाते हैं, और वह फिसल जाता है।
    • MEM के बिना: रोबोट भूल जाता है कि वह फिसला था और फिर से उसी ग्रिप (पकड़) के साथ वही कोशिश करता है।
    • MEM के साथ: रोबोट की "आँख" याद रखती है, "हे, मैंने अभी उस पकड़ को आजमाया था और वह विफल रहा।" वह तुरंत अपने हाथ का कोण बदल देता है, ठीक वैसे ही जैसे आप तब करेंगे जब आपको याद आए कि साबुन फिसलन भरा था।
  • यह क्यों विशेष है: यह occlusion (जब आपका अपना हाथ किसी वस्तु के दृश्य को बाधित करता है) जैसी समस्याओं को हल करता है। रोबोट याद रखता है कि एक पल पहले वहां क्या था, इसलिए वह भ्रमित नहीं होता जब वह एक क्षण के लिए वस्तु को नहीं देख पाता।

B. दीर्घकालिक स्मृति: "स्मार्ट डायरी" (टेक्स्ट मेमोरी)

  • यह क्या है: पिछले 15 मिनटों में जो हुआ उसका एक संक्षिप्त टेक्स्ट सारांश।
  • उदाहरण: कल्पना कीजिए कि आप एक बड़ी रसोई साफ कर रहे हैं। आपको यह याद रखने की ज़रूरत नहीं है कि आपने प्रत्येक प्लेट का रंग कैसा देखा था। आपको बस कहानी याद रखनी है: "मैंने प्लेटें धो दीं, उन्हें रैक में रख दिया, और कैबिनेट बंद कर दिया।"
  • जादू: रोबोट को सफाई के 10,000 वीडियो फ्रेम खिलाने के बजाय, रोबोट अपनी "डायरी" में एक छोटा सा नोट लिखता है: "पूर्ण हुआ: प्लेटें। अगला: फ्रिज।" यह अविश्वसनीय रूप से कुशल है। यह रोबोट को 15 मिनट के कार्य (जैसे पूरा रात्रिभोज बनाना) को बिना "कंप्यूटर सिरदर्द" के ट्रैक करने की अनुमति देता है।

3. वे एक साथ कैसे काम करते हैं: "मैनेजर और वर्कर"

पेपर में रोबोट के दिमाग को दो हिस्सों के रूप में वर्णित किया गया है जो तालमेल में काम करते हैं:

  1. उच्च-स्तरीय मैनेजर (टेक्स्ट मेमोरी): यह हिस्सा बड़ी तस्वीर देखता है। यह "डायरी" पढ़ता है ताकि पता चल सके, "ठीक है, हम रेसिपी के चरण 4 पर हैं। हमारे पास आलू हैं, लेकिन हमारे पास अभी तक मक्खन नहीं है।" यह रोबपथ बताता है कि अगला उप-कार्य (sub-task) क्या है।
  2. निम्न-स्तरीय वर्कर (वीडियो मेमोरी): यह हिस्सा तत्काल क्रिया को देखता है। यह मक्खन का जार देखता है, याद रखता है कि पिछली बार जब इसने इसे खोलने की कोशिश की थी और यह फिसल गया था, और सफलतापूर्वक खोलने के लिए अपनी पकड़ को एडजस्ट करता है।

4. परिणाम: यह अब क्या कर सकता है?

इस दोहरी-स्मृति प्रणाली के कारण, रोबोट अब वे चीजें कर सकता है जो पहले असंभव थीं:

  • पूरी रसोई साफ करना: यह याद रख सकता है कि इसने कौन से दराज खाली किए, किन सतहों को पोंछा, और अंत में इसे फ्रिज का दरवाजा बंद करने की आवश्यकता है।
  • भोजन बनाना: यह 15 मिनट तक एक रेसिपी का पालन कर सकता है, यह याद रखते हुए कि इसने कौन सी सामग्रियां डालीं और सैंडविच को कब पलटना है।
  • तुरंत अनुकूलित होना: यदि यह फ्रिज खोलने की कोशिश करता है और विफल रहता है, तो यह विफलता को याद रखता है, यह समझ जाता है कि दरवाजा दूसरी ओर खुलता है, और तुरंत फिर से प्रयास करता है। यह विफलता के लूप में नहीं फंसता।

मुख्य निष्कर्ष

MEM को एक रोबोट को तत्काल अतीत के लिए फोटोग्राफिक मेमोरी (जटिल शारीरिक गतिविधियों को संभालने के लिए) और दूर के अतीत के लिए एक स्मार्ट सारांश नोटबुक (लंबे लक्ष्यों को ट्रैक करने के लिए) देने के रूप में सोचें।

इससे पहले, रोबोट कम ध्यान अवधि वाले उन लोगों की तरह थे जो एक वाक्य भी पूरा नहीं कर पाते थे। अब, वे एक सक्षम सहायक की तरह हैं जो योजना को याद रख सकते हैं, नोटिस कर सकते हैं कि गलती कब हुई, और उसे ठीक कर सकते हैं—और यह सब करते हुए बातचीत को जारी रख सकते हैं। यह उन रोबोटों की दिशा में एक बड़ा कदम है जो वास्तव में हमारे घरों में रह और काम कर सकें, बिना किसी इंसान के हर कदम पर हाथ पकड़ने की आवश्यकता के जटिल काम संभाल सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →