🤖 AI

AURA: Action-Gated Memory for Robot Policies at Constant VRAM

AURA-Mem रोबोट नीतियों के लिए एक एक्शन-गेटेड रिकरेंट मेमोरी तंत्र पेश करता है जो निरंतर VRAM उपयोग बनाए रखता है और केवल तभी अपडेट करके मेमोरी राइट्स को महत्वपूर्ण रूप से कम करता है जब अवलोकन भविष्य के कार्यों को प्रभावित करते हैं, जिससे यह एज हार्डवेयर पर पारंपरिक KV-कैश दृष्टिकोणों से बेहतर प्रदर्शन करता है और बड़े मॉडलों की सफलता दर से मेल खाता है।

मूल लेखक: Josef Chen

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Josef Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "AURA: Action-Gated Memory for Robot Policies at Constant VRAM" पेपर का सरल भाषा में अनुवाद दिया गया है:

बड़ी समस्या: रोबोट का "अनंत" बैकपैक

कल्पना कीजिए कि एक रोबोट घर में रास्ता खोजने या फर्नीचर जोड़ने की कोशिश कर रहा है। अच्छे निर्णय लेने के लिए, उसे यह याद रखने की आवश्यकता है कि उसने अतीत में क्या देखा और क्या किया।

आजकल रोबटों के लिए मानक तरीका एक बढ़ते हुए स्क्रॉल (लम्बे कागज के टुकड़े) पर नोट्स लेने जैसा है। हर बार जब रोबोट एक कदम उठाता है, तो वह स्क्रॉल पर एक नई लाइन लिखता है।

समस्या: यदि रोबोट 100 कदम चलता है, तो स्क्रॉल 100 लाइनों का होगा। यदि वह 100,000 कदम चलता है, तो स्क्रॉल 100,000 लाइनों का होगा।
बाधा (Bottleneck): एक डेटा सेंटर (एक विशाल कंप्यूटर फार्म) में, एक बड़ा स्क्रॉल होना ठीक है। लेकिन एक किनारे पर मौजूद रोबोट के लिए (जैसे कि एक भौतिक रोबोटिक हाथ), 100,000 लाइनों के स्क्रॉल को पढ़ना बहुत समय और ऊर्जा लेता है। रोबोट की मेमोरी चिप (VRAM) छोटी, महंगी होती है और यदि आप इस पर बहुत बार लिखते हैं तो यह जल्दी खराब हो सकती है। रोबोट अंततः जगह खत्म होने या धीमा होने का शिकार हो जाता है।

समाधान: AURA-Mem (एक "स्मार्ट नोटबुक")

लेखकों ने एक नया मेमोरी सिस्टम बनाया है जिसे AURA-Mem कहा जाता है। बढ़ते हुए स्क्रॉल के बजाय, AURA-Mem एक एकल, निश्चित आकार की नोटबुक का उपयोग करता है जो रोबोट के काम करने के दौरान कभी बड़ी नहीं होती।

इसे एक व्हाइटबोर्ड की तरह समझें जो हमेशा एक ही आकार का रहता है (उदाहरण के लिए, 2 फीट द्वारा 2 फीट)।

तरीका: रोबोट हर बार हिलने पर व्हाइटबोर्ड पर नहीं लिखता है। वह केवल तभी लिखता है जब कुछ अजीब या चौंकाने वाला होता है जो उसके अगले कदम को बदल सकता है।
गेट (Gate): यहाँ एक "स्मार्ट गेटकीपर" (एक सीखा हुआ AI गेट) है जो तय करता है: "क्या मुझे अभी अपनी मेमोरी अपडेट करने की आवश्यकता है?"
- यदि रोबोट बस एक गलियारे में चल रहा है और कुछ भी नहीं बदल रहा है, तो गेट कहता है, "नहीं, व्हाइटबोर्ड को वैसा ही रहने दो।" (लिखना नहीं = ऊर्जा का उपयोग नहीं)।
- यदि रोबोट देखता है कि एक दरवाजा खुला है या उसका कोई औज़ार गिर गया है, तो गेट कहता है, "हाँ! इसे तुरंत लिख लो।"

यह कैसे काम करता है (The "Surprise" Signal)

अधिकांश मेमोरी सिस्टम सब कुछ याद रखने की कोशिश करते हैं या पुरानी चीजों को उनके "हालियापन" के आधार पर हटा देते हैं। AURA-Mem अलग है। यह केवल एक्शन-उपयोगिता (Action-Utility) पर ध्यान देता है।

पुराना तरीका: "मैंने 5 मिनट पहले एक बिल्ली देखी थी। मुझे उसे याद रखना चाहिए।" (भले ही बिल्ली रोबोट के अगले कदम को प्रभावित न करती हो)।
AURA का तरीका: "मैंने एक बिल्ली देखी। क्या इस बिल्ली को देखने से मेरा अगला कदम बदलेगा? नहीं? तो मैं इसे नहीं लिखूँगा।"
जादू: सिस्टम यह देखने के लिए प्रशिक्षित किया गया है कि उसने जो सोचा था वह क्या था और उसे वास्तव में क्या करने की आवश्यकता है, उसके बीच क्या अंतर है। यदि बड़ा अंतर (एक "सरप्राइज") है, तो यह मेमोरी को अपडेट करता है। यदि रोबोट बस सामान्य रूप से चल रहा है, तो यह शांत रहता है।

परिणाम: उन्होंने क्या साबित किया?

पेपर ने दो प्रकार की चुनौतियों पर इसका परीक्षण किया:

"अनंत वॉक" टेस्ट (The "Endless Walk" Test):
- उन्होंने एक रोबोट को 100,000 कदमों तक चलाया।
- मानक रोबोट: इसकी मेमोरी बढ़कर 25.6 मेगाबाइट (एक विशाल फ़ाइल) हो गई।
- AURA रोबोट: इसकी मेमोरी ठीक 4,224 बाइट्स रही (एक बहुत छोटी फ़ाइल, लगभग एक छोटे टेक्स्ट मैसेज के आकार की)।
- परिणाम: AURA ने मानक रोबोट के समान प्रदर्शन करते हुए भी 6,000 गुना कम मेमोरी स्पेस का उपयोग किया।
"कम लिखने" का टेस्ट (The "Write Less" Test):
- उन्होंने पूछा: "क्या हम कम लिखकर ऊर्जा बचा सकते हैं?"
- रैंडम राइटिंग: यदि आप रोबोट को बेतरतीब ढंग से लिखने के लिए कहते हैं (जैसे सिक्का उछालकर तय करना), तो वह कार्य करने में विफल रहता है।
- AURA राइटिंग: क्योंकि AURA केवल तभी लिखता है जब यह कार्य के लिए आवश्यक होता है, इसने उस रोबोट के समान सफलता दर हासिल की जो सब कुछ लिखता है, लेकिन इसने 5 से 9 गुना कम बार लिखा।
- यह क्यों मायने रखता है: मेमोरी में लिखने से चिप घिसती है और बैटरी खर्च होती है। कम लिखने का मतलब है कि रोबोट लंबे समय तक चलेगा और कम बिजली का उपयोग करेगा।

"जादुई संख्या" (प्रमाणपत्र)

लेखकों ने गणितीय रूप से यह सिद्ध करने की कोशिश की कि यह छोटी मेमोरी "पर्याप्त अच्छी" है। उन्होंने यह मापने के लिए एक जटिल फॉर्मूला (जिसे "Approximate Information State" बाउंड कहा जाता है) का उपयोग किया कि रोबोट चीजें भूलने से कितना नुकसान उठा सकता है।

ईमानदार सच्चाई: वे स्वीकार करते हैं कि वर्तमान पैमाने पर, गणितीय प्रमाण थोड़ा "ढीला" (loose) है (यह पूर्णता की गारंटी नहीं देता है)। हालांकि, उन्होंने इसे यह दिखाने के लिए भी मापा कि भविष्य में आप इसे कैसे सिद्ध करेंगे। मुख्य बात यह है कि रोबोट विफल नहीं हुआ; इसने बड़े-मेमोरी वाले संस्करण के समान ही प्रदर्शन किया।

सारांश उपमा (Summary Analogy)

कल्पमान कीजिए कि आप कार चला रहे हैं।

पुराना तरीका: आप जो भी पेड़, बादल और गड्ढे देखते हैं, उन्हें एक नोटबुक में लिखते जाते हैं। जब तक आप 100 मील की यात्रा पूरी करते हैं, आपका नोटबुक एक पूरी किताब बन जाती है। आपको यह तय करने के लिए कि क्या आपको ब्रेक लगाना है, पूरी किताब के पन्ने पलटने पड़ते हैं। यह धीमा और भारी है।
AURA का तरीका: आपके पास डैशबोर्ड पर एक छोटा सा 'स्टिकी नोट' है। आप केवल तभी इस पर लिखते हैं जब कुछ ऐसा होता है जो आपकी ड्राइविंग योजना को बदल देता है (जैसे, "आगे रेड लाइट है" या "बच्चा सड़क पर आ रहा है")। यदि सड़क साफ है, तो आप कुछ नहीं लिखते। आप उतनी ही सुरक्षा से गाड़ी चलाते हैं, लेकिन आपका स्टिकी नोट कभी बड़ा नहीं होता, और आप पन्ने पलटने में समय बर्बाद नहीं करते।

संक्षेप में: AURA-Mem एक ऐसा रोबोट मेमोरी सिस्टम है जिसे पता है कि कब चुप रहना है। यह स्थान बचाता है, ऊर्जा बचाता है, और थकता नहीं है, जबकि यह पुराने, भारी सिस्टम के समान ही काम करता है।

तकनीकी सारांश: AURA-Mem (स्थिर VRAM पर रोबोट नीतियों के लिए एक्शन-गेटेड मेमोरी)

1. समस्या विवरण

यह शोध पत्र उन एम्बोडीड AI एजेंटों (रोबोट्स) के सामने आने वाली "मेमोरी वॉल" (memory wall) को संबोधित करता है जो बैंडविड्थ और मेमोरी एंड्योरेंस (endurance) की सीमित क्षमता वाले एज हार्डवेयर पर संचालित होते हैं। मानक ट्रांसफॉर्मर-आधारित नीतियां एक की-वैल्यू (KV) कैश पर निर्भर करती हैं जो एपिसोड क्षितिज (episode horizon) के साथ रैखिक रूप से ( $O(T)$ ) बढ़ता है। हालांकि यह डेटा सेंटरों में स्वीकार्य है जहाँ अनुरोधों को बैच किया जाता है और रीसेट किया जाता है, लेकिन बैंडविड्थ-सीमित एक्सेलेरेटर्स (जैसे HBM, LPDDR) पर निरंतर, बिना रीसेट होने वाले एपिसोड चलाने वाले रोबोट्स के लिए यह दृष्टिकोण घातक है।

प्राथमिक बाधा कंप्यूट (FLOPs) नहीं, बल्कि मेमोरी राइट्स (memory writes) है। हाई-बैंडविड्थ मेमोरी (HBM) और फ्लैश स्टोरेज दुर्लभ, महंगे हैं और उनकी राइट एंड्योरेंस सीमित है। एक मानक KV-कैश को हर स्टेप पर डेटा की बढ़ती मात्रा को पढ़ने और लिखने की आवश्यकता होती है, जो अंततः लेटेंसी को थ्रॉटल (throttle) कर देता है और हार्डवेयर संसाधनों को समाप्त कर देता है। शोध पत्र का तर्क है कि रोबर्स को हर पिछले फ्रेम को पुनर्गठित करने की आवश्यकता नहीं है; उन्हें केवल अगले इष्टतम एक्शन को निर्धारित करने के लिए पर्याप्त संकुचित अवस्था (compressed state) की आवश्यकता होती है।

2. कार्यप्रणाली: AURA-Mem

AURA-Mem (एक्शन-यूटिलिटी रिकरेंट एडेप्टिव मेमोरी) एक बाउंडेड, स्थिर-आकार का मेमोरी मॉड्यूल है जिसे एक फ्रोजन विजन-लैंग्वेज-एक्शन (VLA) बैकबोन के चारों ओर लपेटने के लिए डिज़ाइन किया गया है। यह बढ़ते हुए KV-कैश को एक एकल, निश्चित-आकार के रिकरेंट स्टेट टेंसर से बदल देता है जिसे एक सीखे हुए, स्पार्स राइट मैकेनिज्म के माध्यम से अपडेट किया जाता है।

मुख्य आर्किटेक्चर

बाउंडेड फास्ट-वेट स्टेट (Bounded Fast-Weight State): मेमोरी एक एकल टेंसर $W \in \mathbb{R}^{B \times d_k \times d_v}$ है जो एक फास्ट-वेट एसोसिएटिव मेमोरी का प्रतिनिधित्व करता है। इसका आकार इनिशियलाइजेशन के समय ही निश्चित होता है, जिससे यह सुनिश्चित होता है कि इन्फरेंस-स्टेट VRAM फुटप्रिंट एपिसोड की लंबाई के बावजूद $O(1)$ रहता है।
सरप्राइज-गेटेड राइट्स (Surprise-Gated Writes): मानक रिकरेंट मॉडल्स के विपरीत, जो हर स्टेप पर स्टेट को अपडेट करते हैं, AURA-Mem एक सीखे हुए बाइनरी गेट $g_t \in \{0, 1\}$ $g_{t} \in {0, 1}$ का उपयोग करता है।
- सिग्नल: गेट को एक्शन-यूटिलिटी सरप्राइज द्वारा ट्रिगर किया जाता है, जिसे वर्तमान फास्ट-वेट स्टेट द्वारा इनकमिंग टोकन के पुनर्निर्माण (reconstruction) और वास्तविक टोकन के बीच के प्रेडिक्शन एरर के रूप में परिभाषित किया गया है।
- मैकेनिज्म: यदि सरप्राइज कम है (वर्तमान स्टेट वर्तमान अवलोकन को अच्छी तरह से समझा सकता है), तो गेट बंद रहता है ( $g_t=0$ ), और स्टेट को बिना किसी राइट के आगे बढ़ाया जाता है। यदि सरप्राइज अधिक है, तो गेट सक्रिय होता है ( $g_t=1$ ), और एक टेस्ट-टाइम ट्रेनिंग (TTT) अपडेट (एक डेल्टा-रूल ग्रेडिएंट स्टेप) नई जानकारी को $W$ में समाहित कर देता है।
ट्रेनिंग ऑब्जेक्टिव: सिस्टम को एक जेनेरिक लैंग्वेज-मॉडलिंग या रिकंस्ट्रक्शन लॉस के बजाय, एक क्लोज्ड-लूप एक्शन ऑब्जेक्टिव के विरुद्ध एंड-टू-एंड प्रशिक्षित किया जाता है।
- एक्शन-IB लॉस: प्रशिक्षण एक्शन प्रेडिक्शन एरर (बिहेवियर क्लोनिंग) और एक इंफॉर्मेशन बॉटलनेक (IB) टर्म के संयोजन को कम करता है ताकि यह सुनिश्चित हो सके कि संकुचित स्टेट केवल नियंत्रण के लिए प्रासंगिक जानकारी रखता है।
- राइट-स्पैरसिटी पेनल्टी: एक वन-साइडेड पेनल्टी एक लक्षित राइट रेट $\rho$ को लागू करती है, जो गेट को "हमेशा लिखने" की स्थिति में ढहने से रोकती है, जबकि इसे कार्य की कठिनाई के अनुसार अधिक लिखने की अनुमति देती है।

सैद्धांतिक ढांचा

शोध पत्र $(\epsilon, \delta)$ -AIS को परिभाषित करने के लिए एप्रोक्सिमेट इंफॉर्मेशन स्टेट (AIS) फ्रेमवर्क (Subramanian et al., 2022) का उपयोग करता है, जो संकुचित स्टेट और टास्क परफॉरमेंस के बीच एक सैद्धांतिक लिंक प्रदान करता है। यह एक $(\epsilon, \delta)$ -AIS को परिभाषित करता है जहाँ $\epsilon$ रिवॉर्ड प्रेडिक्शन एरर को और $\delta$ ट्रांजिशन प्रेडिक्शन एरर को बांधता है। पेपर एक वैल्यू-लॉस बाउंड $\|V^* - V^{\pi_Z}\|_\infty \leq 2(\epsilon + \gamma L_V \delta)/(1-\gamma)$ को व्युत्पन्न करता है, हालांकि यह स्पष्ट रूप से नोट करता है कि वर्तमान स्केल पर यह बाउंड संख्यात्मक रूप से रिक्त (vacuous/loose) है और एक औपचारिक गारंटी के बजाय एक कार्यप्रणाली प्रदर्शन के रूप में कार्य करता है।

3. प्रमुख योगदान

शोध पत्र चार विशिष्ट, स्वतंत्र रूप से गलत सिद्ध किए जा सकने वाले योगदानों का दावा करता है:

राइट-बैंडविड्थ फ्रंटियर (Write-Bandwidth Frontier): AURA-Mem एक घने "हर-स्टेप-पर-लिखने" वाले बेसलाइन की तुलना में प्रति सेकंड 4.98–9.19× कम मेमोरी राइट्स प्राप्त करता है, जबकि सिंथेटिक बेंचमार्क पर सांख्यिकीय रूप से समान कार्य सफलता बनाए रखता है। महत्वपूर्ण रूप से, बजट-मैच्ड नेटिव रणनीतियाँ (रैंडम या पीरियोडिक राइट्स) इस सटीकता को पुनः प्राप्त करने में विफल रहती हैं, जो यह दर्शाता है कि लाभ एक्शन-सरप्राइज सिग्नल से आता है।
कांस्टेंट इन्फरेंस-स्टेट VRAM: यह विधि क्षितिज (horizon) की परवाह किए बिना एक निश्चित मेमोरी फुटप्रिंट 4,224 बाइट्स (एक विशिष्ट कॉन्फ़िगरेशन $d_k=d_v=32$ , बैच=1, fp32 के लिए) बनाए रखती है। 100,000-स्टेप रोलआउट में, यह समकक्ष आयाम के बढ़ते KV-कैश की तुलना में 6,061× छोटा है।
एक्शन-सफिशिएंसी बाउंड इंस्टेंशिएशन: पेपर एम्बोडीड सेटिंग में एक बाउंडेड, स्पार्सली-रिटन रिकरेंट मेमोरी के लिए Subramanian et al. के AIS वैल्यू-लॉस बाउंड का पहला अनुभवजन्य इंस्टेंशिएशन प्रदान करता है। यह मापे गए $\epsilon$ मान ( $\epsilon_{mean} \approx 0.0021$ ) रिपोर्ट करता है, लेकिन स्वीकार करता है कि पूर्ण बाउंड वर्तमान स्केल पर लूज़ (loose) है।
रियल-वर्ल्ड VLA वैलिडेशन: इस मैकेनिज्म का परीक्षण एक वास्तविक, प्रशिक्षित OpenVLA-OFT 7B पॉलिसी पर क्लोज्ड-लूप LIBERO-Long रोलआउट्स में किया गया। AURA-Mem ने अनगेटेड बेस पॉलिसी के समान सफलता दर बनाए रखी और कांस्टेंट मेमोरी और 7.0× कम राइट्स के साथ, हमेशा-लिखने वाले KV आर्म से थोड़ा बेहतर प्रदर्शन किया।

4. प्रयोगात्मक परिणाम

सिंथेटिक बेंचमार्क: "नॉइजी लॉन्ग रिकॉल" कार्यों पर, AURA-Mem ने सबसे अच्छे $O(1)$ बेसलाइन (गैटिंग के बिना फिक्स्ड-साइज स्टेट) की सटीकता की बराबरी की, लेकिन काफी कम राइट ट्रैफिक के साथ। नेटिव गेटिंग रणनीतियाँ (रैंडम/पीरियोडिक) विफल रहीं, जो पुष्टि करती हैं कि राइट निर्णय की सामग्री (एक्शन-सरप्राइज) महत्वपूर्ण है, न कि केवल इसकी आवृत्ति।
KV-कैश तुलना: स्पार्स रिकॉल कार्यों पर एक प्रशिक्षित, पोजीशन-अवेयर ग्रोइंग-KV ट्रांसफॉर्मर के साथ हेड-टू-हेड तुलना करने पर, AURA-Mem ने क्षितिज $T=128$ से $1024$ तक सटीकता समानता (≈1.000 सफलता) प्राप्त की। हालाँकि, KV-कैश का मेमोरी फुटप्रिंट रैखिक रूप से बढ़ा (100k स्टेप्स पर 25.6 MB तक पहुँच गया), जबकि AURA-Mem स्थिर रहा।
हार्डवेयर माप: एक वास्तविक NVIDIA L40S GPU पर, इन्फरेंस स्टेट को 100,000 स्टेप्स में 4,224 बाइट्स पर स्थिर पाया गया, जो इसके $O(1)$ दावे को अनुभवजन्य रूप से प्रमाणित करता है।

5. महत्व और दावे

शोध पत्र AURA-Mem को एक ऐसी विधि के रूप में स्थापित करता है जो केवल स्टेट-ऑफ-द-आर्ट VLA मॉडल्स की कच्ची कार्य सटीकता में सुधार नहीं करती है, बल्कि लंबी अवधि के एम्बोडीड AI के लिए मेमोरी वॉल को हल करने वाला एक सिस्टम-लेवल एफिशिएंसी लेयर है।

"राइट-बैंडविड्थ फ्रंटियर": प्राथमिक दावा यह है कि AURA-Mem सटीकता बनाम मेमोरी राइट्स के पारेटो फ्रंटियर (Pareto frontier) को आगे बढ़ाता है। यह प्रदर्शित करता है कि रोबोट बिना प्रदर्शन से समझौता किए, एक्शन-रेलेवेंस द्वारा गेट किए गए मेमोरी अपडेट के साथ, स्थिर मेमोरी और नाटकीय रूप से कम राइट ट्रैफिक के साथ काम कर सकते हैं।
हार्डवेयर आर्थिक प्रभाव: पेपर इस बात पर जोर देता है कि राइट्स को कम करना सीधे तौर पर राइट-लिमिटेड मेमोरी (फ्लैश/HBM) के उपयोगी जीवनकाल को बढ़ाता है और ऊर्जा लागत को कम करता है, जिससे यह एक आर्थिक परिणामों वाला आर्किटेक्चरल वेरिएबल बन जाता है।
दावों में विनम्रता: लेखक अपनी सीमाओं के बारे में स्पष्ट हैं:
- AIS बाउंड को एक "मेथोडोलॉजी डेमोंस्ट्रेशन" के रूप में रिपोर्ट किया गया है और यह वर्तमान स्केल पर "रिक्त" (vacuous) है, न कि अनुकूलता की औपचारिक गारंटी।
- यह विधि एक मेमोरी लेयर है जो स्वाभाविक रूप से बेस पॉलिसी से रोबोट की सफलता दर को नहीं बढ़ाती है; यह संसाधन खपत को कम करते हुए सफलता को सुरक्षित रखती है।
- परिणाम विशिष्ट सिंथेटिक और नियंत्रित वास्तविक दुनिया के बेंचमार्क पर आधारित हैं; प्रति-स्टेप वॉल-क्लॉक लेटेंसी प्रोफाइलिंग अभी पूरी नहीं हुई है।

संक्षेप में, AURA-Mem "सब कुछ याद रखने" (बढ़ते KV-कैश) के बजाय "केवल वही याद रखने जो आपके एक्शन को बदलता है" (सरप्राइज-गेटेड फास्ट वेट्स) के प्रति एक पैराडाइम शिफ्ट का प्रस्ताव करता है, जिससे रोबोट स्थिर, संसाधन-सीमित हार्डवेयर पर अनिश्चित काल तक चल सकते हैं।