← नवीनतम पेपर
⚡ electrical engineering

Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson

यह शोध पत्र प्रदर्शित करता है कि एक डेस्कटॉप GPU पर प्रशिक्षित द्वि-हस्त (bimanual) हेरफेर प्रणाली, CPU संसाधनों को मुक्त करने के लिए ज़ीरो-कॉपी GStreamer सेंसिंग और वास्तविक समय में लचीली वस्तुओं के पिक-एंड-प्लेस को प्राप्त करने के लिए TensorRT-क्वांटाइज्ड ACT (जो अभिसरण और विलंबता में डिफ्यूजन पॉलिसी से बेहतर प्रदर्शन करता है) का उपयोग करके, एक एंट्री-लेवल 8 GB जेसन ओरिन नैनो सुपर पर पूरी तरह से सफलतापूर्वक चल सकती है।

मूल लेखक: Ekansh Singh, Eva Samuel, Alessandra Reneau, Ryan Schmeelk, Yashvi Gandhi

प्रकाशित 2026-08-05
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Ekansh Singh, Eva Samuel, Alessandra Reneau, Ryan Schmeelk, Yashvi Gandhi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ रोबोट केवल कारखाने में काम करने वाली भारी मशीनें नहीं हैं, बल्कि फुर्तीले सहायक हैं जो कपड़े तह कर सकते हैं, आपको ड्रिंक थमा सकते हैं, या एक साथ दो हाथों से एक नरम बीनबैग उठा सकते हैं। लंबे समय तक, इन रोबोटों को ऐसे नाजुक कार्य सिखाने के लिए "टेलीऑपरेशन" की आवश्यकता होती थी, जहाँ एक इंसान दूर से ही रोबोट के हाथों को निर्देशित करता था ताकि उसे दिखाया जा सके कि काम कैसे करना है। फिर रोबोट इन गतिविधियों की नकल करके सीखता है, जिसे "इमिटेशन लर्निंग" (अनुकरण सीखना) कहा जाता है। लेकिन यहाँ एक पेंच है: अब तक, इन रोबोटों के "दिमाग" को आमतौर पर एक विशाल, महंगे कंप्यूटर की आवश्यकता होती थी—जैसे कि एक बड़ा ग्राफिक्स कार्ड वाला सुपरचार्ज्ड वर्कस्टेशन—ताकि वह सोच सके और हिल-डुल सके। इसका मतलब यह था कि रोबोट अक्सर एक भारी, अत्यधिक बिजली खपत करने वाली मशीन से बंधा रहता था, जिससे इसे वास्तविक घरों में या चलते-फिरते उपयोग करना कठिन हो जाता था। शोधकर्ता एक बड़ा सवाल पूछ रहे हैं: क्या हम इस विशाल दिमाग को सिकोड़कर एक छोटे, किफायती कंप्यूटर चिप में फिट कर सकते हैं जो सीधे रोबोट के अंदर ही रहता है?

यह शोध पत्र उस दिशा में एक साहसी कदम उठाता है। शोधकर्ताओं ने एक दो-हाथों वाला रोबोट सिस्टम बनाया है जो पूरी तरह से एक NVIDIA Jetson Orin Nano Super पर चलता है, जो कि एक छोटा, एंट्री-लेवल कंप्यूटर चिप है जिसमें केवल 8 GB मेमोरी (लगभग एक बड़े स्मार्टफोन के स्टोरेज के आकार की) है। उन्होंने इसका परीक्षण एक कठिन कार्य पर किया: दो हाथों से एक लचीले बीनबैग को उठाना और उसे एक लक्ष्य स्थान पर ले जाना। वे यह देखना चाहते थे कि क्या वे रोब tersebut को बिना किसी बड़े कंप्यूटर की मदद के तेज़ और स्मार्ट बना सकते हैं।

तीन बड़े आश्चर्य

टीम ने तीन बड़े अनुमानों के साथ शुरुआत की कि इस काम को करने में सबसे कठिन हिस्सा क्या होगा। उन्हें उम्मीद थी कि उन्हें मेमोरी की सीमाओं का सामना करना पड़ेगा, उन्हें दो अलग-अलग प्रकार के "दिमाग" आर्किटेक्चर में से एक को चुनना होगा, और उन्हें उम्मीद थी कि रोबोट को तेज़ बनाने के लिए सटीकता (accuracy) का त्याग करना पड़ेगा। लेकिन उनके प्रयोगों ने उनके इन अनुमानों को उलट दिया।

1. मेमोरी का मिथक: यह RAM नहीं, CPU था
शोधकर्ताओं को लगा कि तीन कैमरों (एक रोबोट के सिर पर, दो उसकी कलाइयों पर) से वीडियो स्ट्रीम करने से रोबोट की 8 GB मेमोरी भर जाएगी, जिससे वह क्रैश हो जाएगा या फ्रेम छोड़ देगा। उन्होंने एक विशेष "जीरो-कॉपी" पाइपलाइन बनाई ताकि वीडियो डेटा को मुख्य प्रोसेसर में इधर-उधर भेजने के बजाय ग्राफिक्स मेमोरी में ही रखा जा सके, यह उम्मीद करते हुए कि इससे जगह बचेगी।

  • वास्तविकता: वे मेमोरी के बारे में गलत थे। वीडियो डेटा को चलाने का मानक तरीका 8 GB की सीमा के भीतर बिल्कुल सही बैठा और इसने एक भी फ्रेम नहीं छोड़ा।
  • असली जीत: "जीरो-कॉपी" ट्रिक ने जगह नहीं बचाई; इसने समय और दिमागी शक्ति (brainpower) बचाई। रोबोट के मुख्य प्रोसेसर को वीडियो डेटा को इधर-उधर भेजने में ऊर्जा बर्बाद करने से रोककर, उन्होंने CPU की एक विशाल मात्रा को मुक्त कर दिया। एक सिंगल प्रोसेसर कोर का पीक उपयोग 98.0% के पसीने से लथपथ स्तर से गिरकर एक आरामदायक 77.0% पर आ गया। यह एक धावक का भारी बैग उतारने जैसा है; धावक बड़ा नहीं होता, लेकिन वह बहुत अधिक तेज़ी से और सुचारू रूप से दौड़ सकता है। यह अतिरिक्त "हेडरूम" बिना किसी रुकावट के रोबोट के कंट्रोल लूप को सुचारू रूप से चलाने के लिए महत्वपूर्ण था।

2. दिमाग की दौड़: गति बनाम धैर्य
टीम ने प्रदर्शनों के एक ही सेट पर दो अलग-अलग प्रकार के रोबोट दिमाग को प्रशिक्षित किया: ACT (एक्शन चंकिंग विद ट्रांसफॉर्मर्स) और Diffusion Policy

  • सेटअप: उन्होंने ACT को 100,000 ट्रेनिंग स्टेप्स (इस प्रकार के दिमाग के लिए एक मानक मात्रा) दिए और Diffusion Policy को 200,000 स्टेप्स दिए (दोगुना, क्योंकि डिफ्यूजन को सीखने के लिए अधिक समय चाहिए होता है)।
  • परिणाम: ACT ने कार्य को पूरी तरह से सीखा, 20 में से 19 परीक्षणों में सफल रहा। Diffusion Policy, दोगुना प्रशिक्षण समय मिलने के बावजूद, कोई उपयोगी रणनीति सीखने में विफल रहा (10 में से 0 परीक्षण)।
  • सीख: ऐसा इसलिए नहीं था कि Diffusion एक "बुरा" दिमाग है। यह इसलिए है क्योंकि Diffusion को प्रशिक्षित करना महंगा है। एक सीमित बजट में, "तेज़ सीखने वाला" (ACT) ही था जो दौड़ पूरी कर सका। शोधकर्ता इस बात पर जोर देते हैं कि इसका मतलब यह नहीं है कि Diffusion हमेशा के लिए बुरा है, बल्कि यह है कि इस विशिष्ट सेटअप के लिए वर्तमान में बहुत अधिक "ग्रेडिएंट स्टेप्स" (प्रशिक्षण समय) खर्च करना पड़ता है।

3. स्पीड ट्रिक: जब "काफी अच्छा" वास्तव में "परफेक्ट" होता है
रोबोट को वास्तविक समय (real-time) में प्रतिक्रिया देने के लिए पर्याप्त तेज़ बनाने के लिए, टीम ने ACT दिमाग को TensorRT नामक एक विशेष इंजन पर चलाने के लिए परिवर्तित किया और इसे कम परिशुद्धता (lower precision) के साथ चलाने का प्रयास किया (सुपर-सटीक FP32 के बजाय FP16 और INT8 गणित का उपयोग करके)।

  • स्पीड बूस्ट: परिशुद्धता को कम करने से रोबोट बहुत तेज़ी से सोचने लगा। निर्णय लेने में लगने वाला समय पूर्ण परिशुद्धता के साथ 114.02 ms (मिलीसेकंड) से घटकर FP16 के साथ 17.93 ms, और INT8 के साथ 12.65 ms रह गया। यह लगभग 9 गुना तेज़ है।
  • आश्चर्य: आमतौर पर, जब आप कम परिशुद्धता का उपयोग करके कंप्यूटर को "कम बुद्धिमान" बनाते हैं, तो वह गलतियाँ करता है। लेकिन यहाँ, "सबसे कम" गणित (INT8) के साथ भी, रोबोट 20 में से 19 बार सफल रहा। संख्यात्मक त्रुटियां (numerical errors) बहुत बड़ी थीं (कुछ संख्याओं में 16.98% तक का विचलन), लेकिन रोबोट ने फिर भी बीनबैग पकड़ लिया।
  • कैच (Catch): शोधकर्ताओं ने पाया कि आपको इस स्पीड ट्रिक की आवश्यकता है या नहीं, यह इस बात पर निर्भर करता है कि रोबोट अपनी चालों की योजना कैसे बनाता है। यदि रोबोट एक साथ 100 चालों का एक पूरा हिस्सा (chunk) प्लान करता है (जैसा कि उसने किया), तो वह धीमा होने का जोखिम उठा सकता है। लेकिन यदि उसे हर एक कदम के लिए फिर से योजना बनानी पड़ती है (जिसे "टेम्पोरल एनसेम्बलिंग" कहा जाता है), तो धीमा, पूर्ण-परिशुद्धता वाला संस्करण अपना समय सीमा (deadline) चूक जाएगा, और तेज़, कम-परिशुद्धता वाला संस्करण अनिवार्य हो जाएगा।

अंतिम निर्णय

शोध पत्र निष्कर्ष निकालता है कि आप वास्तव में एक छोटे, $8 GB के कंप्यूटर पर एक जटिल, दो-हाथों वाला रोबोट चला सकते हैं। इसका रहस्य केवल मेमोरी बचाने के बारे में नहीं है; यह प्रोसेसर के वर्कलोड को प्रबंधित करने के बारे में है ताकि वह अभिभूत (overwhelmed) न हो जाए।

वे किसी भी ऐसे व्यक्ति के लिए जो समान रोबोट बनाने की कोशिश कर रहा है, एक विशिष्ट सेटअप की सिफारिश करते हैं:

  • CPU पावर को मुक्त करने के लिए GStreamer वीडियो पाइपलाइन का उपयोग करें।
  • ACT पॉलिसी को प्रशिक्षित करें (इस कार्य के लिए यह Diffusion की तुलना में तेज़ी से सीखता है)।
  • पॉलिसी को FP16 परिशुद्धता में चलाएं (जो तेज़ और पर्याप्त सटीक है) या INT8 यदि आपको और भी अधिक गति की आवश्यकता है।

सबसे महत्वपूर्ण सबक? यह न मानें कि सबसे बड़ा कंप्यूटर ही एकमात्र तरीका है। कभी-कभी, रोबोट को स्मार्ट बनाने का सबसे अच्छा तरीका यह है कि उसे उन चीजों पर ऊर्जा बर्बाद करने से रोका जाए जिनकी उसे आवश्यकता नहीं है, और उसे अपने काम पर ध्यान केंद्रित करने दिया जाए। रोबोट को सुपरकंप्यूटर की आवश्यकता नहीं थी; उसे बस थोड़ी सी दक्षता (efficiency) की आवश्यकता थी।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →