💻 computer science

Key-Gram: Extensible World Knowledge for Embodied Manipulation

Key-Gram एक कंडीशनल-मेमोरी फ्रेमवर्क है जो एम्बोडेड मैनिपुलेशन में विस्तार योग्य भाषाई विश्व ज्ञान को विजुअल रीजनिंग से अलग करता है, जिससे कार्य-विशिष्ट प्रायर्स (priors) को कुशल पुनर्प्राप्ति और इंजेक्शन के लिए एक बाहरी मेमोरी में संग्रहीत किया जाता है, जिससे विविध बेंचमार्क में कंपोजिशनल ग्राउंडिंग, ट्रांसफर और वास्तविक दुनिया के प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। आप उसे एक जटिल निर्देश देते हैं: "पीले और सफेद मग को माइक्रोवेव में रखें और दरवाजा बंद करें।"

वर्तमान रोबोट मस्तिष्क (AI मॉडल) एक ही समय में दो बहुत अलग काम करने की कोशिश करते हैं, जिससे उनकी सोचने की प्रक्रिया में ट्रैफिक जाम लग जाता है:

"क्या" का काम (The "What" Job): दुनिया के बारे में तथ्यों को याद रखना (जैसे, "माइक्रोवेव में दरवाजे होते हैं," "मग नाजुक होते हैं," "पीले और सफेद मग मौजूद हैं")।
"कैसे" का काम (The "How" Job): वीडियो फीड को देखना और शारीरिक गतिविधियों को समझना (जैसे, "हाथ बहुत बाईं ओर है, इसे दाईं ओर ले जाएं," "हैंडल को पकड़ें")।

मौजूदा रोबोटों में, ये दोनों काम एक ही विशाल मस्तिष्क में मिला दिए जाते हैं। "तथ्य" और "वीडियो" ध्यान खींचने के लिए आपस में लड़ते हैं, जैसे एक वक्ता को सुनने की कोशिश कर रही शोर भरी भीड़। यदि आप रोबोट को एक नया तथ्य सिखाना चाहते हैं (जैसे, "माइक्रोवेव में धातु न रखें"), तो आपको अक्सर पूरे मस्तिष्क को फिर से प्रशिक्षित करना पड़ता है, जो धीमा और जोखिम भरा है क्योंकि इससे वह अपने हाथों को हिलाना भूल सकता है।

समाधान: Key-Gram

यह पेपर Key-Gram पेश करता है, जो रोबोट के मस्तिष्क को व्यवस्थित करने का एक नया तरीका है। इसे एक स्मार्ट, बाहरी नोटबुक देने के रूप में समझें जिसे वह तुरंत पलट सकता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "इंडेक्स कार्ड" प्रणाली (Decomposition)

पूरे वाक्य "पीले और सफेद मग को माइक्रोवेव में रखें" को पढ़ने के बजाय, रोबोट इसे छोटे, विशिष्ट इंडेक्स कार्डों में तोड़ देता है जिन्हें Key-Grams कहा जाता है।

कार्ड A: "मग को माइक्रोवेव में रखें"
कार्ड B: "माइक्रोवेव का दरवाजा बंद करें"
कार्ड C: "पीला और सफेद मग"

2. "त्वरित खोज" (Hashing)

रोबोट उत्तर खोजने के लिए पूरी लाइब्रेरी नहीं पढ़ता है। यह एक जादुई हैश कोड (बारकोड स्कैनर की तरह) का उपयोग करता है ताकि वह तुरंत अपनी नोटबुक के ठीक उसी पन्ने पर कूद सके जहाँ उत्तर संग्रहीत है।

यह कार्ड A को देखता है और नियम पाता है: "माइक्रोवेव में दरवाजे होते हैं।"
यह कार्ड C को देखता है और नियम पाता है: "यह एक विशिष्ट प्रकार का मग है।"

यह खोज त्वरित ( $O(1)$ ) है, जिसका अर्थ है कि चाहे नोटबुक में 10 पन्ने हों या 10 मिलियन पन्ने, इसमें उतना ही समय लगता है।

3. "स्मार्ट सहायक" (Fusion)

एक बार जब रोबोट इस नोटबुक से तथ्य निकाल लेता है, तो वह उन्हें केवल स्क्रीन पर नहीं डाल देता। वह यह तय करने के लिए एक स्मार्ट फिल्टर (एक गेट) का उपयोग करता है कि तथ्यों का उपयोग कब और कहाँ करना है।

जब रोबोट माइक्रोवेव के दरवाजे को देख रहा होता है, तो फिल्टर कहता है, "हे, 'दरवाजा बंद करने' वाले तथ्य को देखो!"
जब रोबोट मग को देख रहा होता है, तो फिल्टर कहता है, "हे, 'पीले और सफेद मग' वाले तथ्य को देखो!"

मुख्य रोबोट मस्तिष्क ( "Vision Backbone") अब पूरी तरह से कठिन काम पर ध्यान केंद्रित करने के लिए स्वतंत्र है: वीडियो देखना और हाथों को हिलाना। उसे तथ्य याद रखने में ऊर्जा बर्बाद करने की आवश्यकता नहीं है; वह जब जरूरत हो तब नोटबुक से पूछ सकता है।

यह एक बड़ी बात क्यों है

पेपर का दावा है कि यह दृष्टिकोण तीन प्रमुख समस्याओं को हल करता है:

"भूलने" का कोई डर नहीं: क्योंकि तथ्य एक अलग नोटबुक में हैं, आप रोबोट के मस्तिष्क को फिर से लिखे बिना नए पन्ने (नया ज्ञान) जोड़ सकते हैं। यदि आप रोबोट को टोस्टर के बारे में सिखाना चाहते हैं, तो आपको बस नोटबुक में एक नया पन्ना जोड़ना होगा। रोबोट के हाथ हिलाने की क्षमता बिल्कुल वैसी ही रहती है।
जटिल कार्यों में बेहतर: परीक्षणों में, Key-Gram का उपयोग करने वाले रोबोट लंबे, बहु-चरणीय कार्यों (जैसे ब्रेड को छांटना, फिर उसे बॉक्स में रखना, फिर बॉक्स को हिलाना) में बहुत बेहतर थे। वे भ्रमित नहीं हुए या बीच के चरणों को भूले नहीं क्योंकि "तथ्य" हमेशा नोटबुक में मौजूद थे।
नए संयोजनों को संभालना: जब शोधकर्ताओं ने उन वस्तुओं को मिलाया जिन्हें रोबोट ने पहले कभी एक साथ नहीं देखा था (जैसे, एक पेन और एक लाइटर उठाना, जो उसने कभी भी एक जोड़ी के रूप में नहीं किया था), तो Key-Gram रोबोट अधिक बार सफल हुए। वे "पेन उठाने" के तथ्य को "लाइटर उठाने" के तथ्य के साथ तुरंत जोड़ सके।

परिणाम

शोधकर्ताओं ने सिम्युलेटेड रोबोट और एक वास्तविक डुअल-आर्म रोबोट पर इसका परीक्षण किया।

सिमुलेशन में: कठिन कार्यों पर रोबोटों की सफलता दर में लगभग 30% का सुधार हुआ।
वास्तविक दुनिया में: एक वास्तविक रोबोट आर्म पर, जटिल असेंबली कार्यों के लिए सुधार और भी स्पष्ट था, जो 52% की सफलता दर से बढ़कर 66% (27% सापेक्ष लाभ) हो गया।

निचोड़

Key-Gram तथ्यों के लिए एक अलग, विस्तार योग्य विश्वकोश देने जैसा है, जबकि इसके मुख्य मस्तिष्क को पूरी तरह से शारीरिक कार्य करने पर ध्यान केंद्रित करने देता है। यह अलगाव रोबोट को स्मार्ट, अनुकूलनीय और कम भूलने वाला बनाता है।

तकनीकी सारांश: Key-Gram

समस्या विवरण (Problem Statement)

एम्बोडीड मैनिपुलेशन (Embodied manipulation) के लिए ऐसे मॉडलों की आवश्यकता होती है जो पुन: प्रयोज्य विश्व ज्ञान (वस्तुएं, कौशल, संबंध, बाधाएं) को सुरक्षित रखने और क्रिया के तहत गतिशील दृश्य अवस्थाओं (dynamic visual states) के साथ निरंतर अनुकूलन करने में सक्षम हों। वर्तमान विजन-लैंग्वेज-एक्शन (VLA) मॉडल और वर्ल्ड-एक्शन मॉडल्स (WAMs) आमतौर पर एक साझा बैकबोन या कंडिशनिंग पाथवे के भीतर भाषाई ज्ञान को विजुअल कंप्यूटेशन के साथ जोड़ देते हैं। यह डिज़ाइन दो प्राथमिक समस्याओं की ओर ले जाता है:

मोडैलिटी कॉम्पिटिशन (Modality Competition): डेंस फ्यूजन दृष्टिकोणों में, निर्देशों के कुछ सीमित टोकन एक ही अटेंशन स्ट्रीम के भीतर विजुअल टोकन के एक बड़े और निरंतर बदलते सेट के साथ प्रतिस्पर्धा करते हैं, जिससे निर्देश-विशिष्ट जानकारी के कम होने (dilution) की संभावना बनी रहती है।
नाजुक ज्ञान विस्तार (Fragile Knowledge Extension): कंडीशनल जेनेरेटिव मॉडल्स में, भाषा अक्सर केवल एक प्रॉम्प्ट-जैसे स्टीयरिंग सिग्नल के रूप में कार्य करती है, जबकि कंपोजिशनल वर्ल्ड नॉलेज जेनेरेटिव बैकबोन के भीतर अंतर्निहित (implicitly baked) रहती है। फलस्वरूप, नए भौतिक नियमों (physical regimes) के अनुकूल होने या नया ज्ञान प्राप्त करने के लिए अक्सर ग्रेडिएंट अपडेट की आवश्यकता होती है जो पहले से प्राप्त विश्व ज्ञान को ओवरराइट कर सकते हैं, जिससे निरंतर अनुकूलन और मॉड्यूलर विस्तार स्वाभाविक रूप से नाजुक हो जाता है।

कार्यप्रणाली: Key-Gram (Methodology: Key-Gram)

लेखक Key-Gram का प्रस्ताव करते हैं, जो एक कंडीशनल-मेमोरी फ्रेमवर्क है जो भाषा-व्युत्पन्न विश्व ज्ञान को विजुअल-स्टेट रीजनिंग से कार्यात्मक रूप से अलग (decouple) करता है। इसका मूल दर्शन यह है कि विजुअल कंप्यूटेशन को दृश्य गतिशीलता (दृश्य विकास और क्रिया) पर ध्यान केंद्रित करना चाहिए, जबकि भाषा अमूर्त कार्य पूर्ववृत्तों (abstract task priors) पर एक संक्षिप्त, पुन: प्रयोज्य इंडेक्स के रूप में कार्य करती है।

1. स्पार्स की-ग्राम रिट्रीवल (Sparse Key-Gram Retrieval)

रॉ टोकन को प्रोसेस करने के बजाय, सिस्टम एक भाषाई निर्देश $I$ को कार्य-विशिष्ट की-ग्राम्स (जैसे, "mug को microwave में रखें," "दरवाजा बंद करें") के एक छोटे सेट में विभाजित करता है।

एक्सट्रैक्शन (Extraction): एक हल्का पार्सर निर्देश से निश्चित लंबाई वाले, ज्ञान-युक्त इकाइयों को निकालता है।
हैशड लुकअप (Hashed Lookup): प्रत्येक की-ग्राम को एक निश्चित लंबाई की पूर्णांक कुंजी (integer key) में परिवर्तित किया जाता है और डिटरमिनिस्टिक हैशड लुकअप के माध्यम से स्टेटिक मेमोरी एम्बेडिंग्स से मैप किया जाता है। इसमें कई हैश हेड्स ( $H$ ) और लेयर्स ( $\ell$ ) में मेमोरी इंडिसेस की गणना करने के लिए मल्टीप्लिकेटिव-XOR हैशिंग शामिल है।
विस्तार क्षमता (Extensibility): मेमोरी को कई फिजिकल सब-टेबल्स से बनी एक लॉजिकल टेबल के रूप में व्यवस्थित किया गया है। यह सिस्टम को बैकबोन को संशोधित किए बिना निर्देश की लंबाई (की-ग्राम स्लॉट्स जोड़कर) और कार्य जटिलता (समानांतर सब-टेबल्स जोड़कर) के साथ स्केल करने की अनुमति देता है।

2. कॉन्टेक्स्ट-एडेप्टिव फ्यूजन (Context-Adaptive Fusion)

रिट्रीव किए गए एम्बेडिंग्स को एक रेसिडुअल मॉड्यूल के माध्यम से विजुअल बैकबोन के चयनित ट्रांसफार्मर लेयर्स में इंजेक्ट किया जाता है:

गेटिंग (Gating): विजुअल हिडन स्टेट्स ( $H^{(\ell)}$ ) और प्रोजेक्टेड मेमोरी कीज़ ( $K_m^{(\ell)}$ ) के बीच स्केल्ड डॉट-प्रोडक्ट का उपयोग करके एक टोकन-वाइज गेट कंप्यूट किया जाता है। यह गेट ( $A^{(\ell)}$ ) यह निर्धारित करता है कि रिट्रीव किए गए भाषाई मेमोरी की प्रत्येक विजुअल टोकन के लिए प्रासंगिकता क्या है, जिससे यह सुनिश्चित होता है कि प्रायर (priors) केवल वहीं इंजेक्ट किए जाएं जहां उपयोगी हों।
कन्वोल्यूशनल रिफाइनमेंट (Convolutional Refinement): इंजेक्शन से पहले हेटेरोजेनियस इंस्ट्रक्शन-लेवल नॉलेज कंपोनेंट्स को मिक्स करने के लिए गेटेड मेमोरी फीचर्स को एक हल्के लॉन्ग-स्पैन कन्वोल्यूशन से गुजारा जाता है।
रेसिडुअल इंजेक्शन (Residual Injection): स्टैंडर्ड अटेंशन कंप्यूटेशन से पहले ओरिजिनल हिडन स्टेट्स में रिफाइंड फीचर्स को जोड़ा जाता ( $\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$ )।

3. प्रेडिक्शन हेड्स (Prediction Heads)

मेमोरी-गाइडेड बैकबोन दो डाउनस्ट्रीम पाथवे का समर्थन करता है:

विजन रीजनिंग (Vision Reasoning): भविष्य के कॉम्पैक्ट विजुअल लेटेंट्स (विजुअल फोरसाइट) की भविष्यवाणी करने के लिए फाइनल-लेयर हिडन स्टेट्स को क्रॉस-अटेंशन के माध्यम से अनुकूलित किया जाता है।
एक्शन इन्फरेंस (Action Inference): एक हल्का एक्शन एक्सपर्ट, फ्लो-मैचिंग डिनोइजिंग के माध्यम से एक्शन ट्रेजेक्टरीज को डिकोड करने के लिए बैकबोन के KV कैश का कंडीशनल कॉन्टेक्स्ट के रूप में उपयोग करता है।

4. सिस्टम दक्षता (System Efficiency)

मेमोरी टेबल को कुल मेमोरी साइज के सापेक्ष O(1) लुकअप के लिए डिज़ाइन किया गया है। इन्फरेंस के दौरान, इंडिसेस केवल निर्देश और फिक्स्ड हैश फंक्शन द्वारा निर्धारित होते हैं, जिससे बड़े नॉलेज टेबल्स को होस्ट (CPU) मेमोरी में रखा जा सकता है, जबकि बैकबोन विजुअल रीजनिंग पर केंद्रित रहता है।

मुख्य योगदान (Key Contributions)

फंक्शनली डिकपल्ड फ्रेमवर्क: Key-Gram निर्देश-साइड वर्ल्ड-नॉलेज रिट्रीवल को विजन-साइड फिजिकल रीजनिंग से अलग करता है, जिससे एम्बोडीड कंट्रोल में मोडैलिटी कॉम्पिटिशन कम होता है।
विस्तार योग्य बाहरी मेमोरी: यह एक स्ट्रक्चर्ड मेमोरी को स्टोर करता है जिसे डिटरमिनिस्टिक हैशड लुकअप के माध्यम से एक्सेस किया जाता है। यह बैकबोन वेट्स को दोबारा लिखे बिना मॉड्यूलर नॉलेज एक्सपेंशन (नई वस्तुओं, कौशलों या संबंधों को जोड़ना) को सक्षम बनाता है।
निरंतर प्रदर्शन लाभ: यह दृष्टिकोण विविध भाषाई स्वरूपों और वातावरणों में बेहतर कंपोजिशनल ग्राउंडिंग, ट्रांसफर और अनुकूलन प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने $\pi0$ और $\pi0.5$ बैकबोन का उपयोग करके RoboTwin2.0, LIBERO, LIBERO-Plus, और रियल-वर्ल्ड डुअल-आर्म मैनिपुलेशन कार्यों पर Key-Gram का मूल्यांकन किया।

RoboTwin2.0: Key-Gram ने $\pi0$ के लिए औसत सफलता दर में 29.5% और $\pi0.5$ के लिए 9.9% का सुधार किया। लाभ विशेष रूप से "Hard" सेटिंग्स और लंबे होरिजन (longer horizons) के साथ स्पष्ट थे।
LIBERO-Plus ट्रांसफर: LIBERO-ट्रेन्ड मॉडल्स से LIBERO-Plus में ज़ीरो-शॉट ट्रांसफर में, Key-Gram ने $\pi0$ के लिए 35.8% का सापेक्ष लाभ और $\pi0.5$ के लिए 4.5% का लाभ प्राप्त किया।
रियल-वर्ल्ड लॉन्ग-होराइजन टास्क: Piper डुअल-आर्म प्लेटफॉर्म पर, Key-Gram ने औसत प्रदर्शन में 15.4% ( $\pi0$ ) और 8.1% ( $\pi0.5$ ) का सुधार किया। सबसे बड़े लाभ असेंबली कार्यों में देखे गए, जो सुझाव देते हैं कि मेमोरी ऑब्जेक्ट रिलेशंस और सब-गोल स्ट्रक्चर को बनाए रखने में मदद करती है।
एक्सपेंशन टास्क: अनसीन कंपोजिशनल पेयरिंग्स (जैसे, ऑब्जेक्ट्स और टारगेट्स को पुनर्संयोजित करना) में, Key-Guard ने प्रदर्शन में काफी सुधार किया (जैसे, विशिष्ट ट्रांसफर टास्क पर $\pi0$ के लिए +34.6% और +41.7%), जबकि बेस मॉडल्स अक्सर इन रीकॉम्बिनेशन परिदृश्यों में विफल रहे।
एब्लेशन स्टडीज: लेयर प्लेसमेंट विश्लेषण से पता चला कि शुरुआती लेयर्स (जैसे, लेयर 1) में मेमोरी इंजेक्ट करना सबसे महत्वपूर्ण है, और गहरे इंजेक्शन के लिए रिटर्न घटता जाता है। यह इस परिकल्पना का समर्थन करता है कि एक्सटर्नल प्रायर प्रोसेसिंग पाइपलाइन के शुरुआती चरणों में निर्देश-संबंधी बोझ को कम करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि विजन-साइड फिजिकल रीजनिंग से भाषा-साइड वर्ल्ड-नॉलेज रिट्रीवल को अलग करना, डेंस टोकन फ्यूजन या कोर्स जेनेरेटिव कंडिशनिंग की तुलना में एम्बोडीड इंटेलिजेंस के लिए अधिक प्रभावी इंडक्टिव बायस प्रदान करता है।

Key-Gram, भाषा को एक प्रतिस्पर्धी टोकन स्ट्रीम के बजाय एक विस्तार योग्य इंडेक्स के रूप में मानकर, स्टेटिक वर्ल्ड नॉलेज और ऑनलाइन फिजिकल रीजनिंग के बीच के तनाव को संबोधित करता है। इस फ्रेमवर्क को बाहरी ज्ञान को एक मॉड्यूलर मेमोरी टेबल में बाहरीकरण (externalizing) करके निम्नलिखित क्षमताएं मिलती हैं:

मॉड्यूलर नॉलेज ग्रोथ: नई प्रविष्टियों के रूप में नया ज्ञान जोड़ा जा सकता है बिना मौजूदा वेट्स को ओवरराइट किए।
ग्रेडिएंट इंटरफेरेंस से सुरक्षा: बैकबोन अनुकूलन के दौरान मौजूदा मेमोरी सुरक्षित रहती है, जिससे यह आर्किटेक्चर ओपन-वर्ल्ड डिप्लॉयमेंट और निरंतर संचय के लिए स्वाभाविक रूप से संगत हो जाता है।
कुशल स्केलिंग: O(1) लुकअप पैटर्न और कंप्यूटेशन से मेमोरी का अलगाव, विजुअल बैकबोन की कम्प्यूटेशनल लागत को बढ़ाए बिना बड़े नॉलेज बेस को कुशलतापूर्वक संभालने की अनुमति देता है।

लेखक निष्कर्ष निकालते हैं कि यह लाइटवेट और विस्तार योग्य दिशा एम्बोडीड मैनिपुलेशन में कंपोजिशनल ग्राउंडिंग और ट्रांसफर में सुधार के लिए एक व्यावहारिक तंत्र प्रदान करती है।