🤖 machine learning

A Distributional Treatment of Real2Sim2Real for Object-Centric Agent Adaptation in Vision-Driven Deformable Linear Object Manipulation

यह शोध पत्र एक एंड-टू-एंड रियल2सिम2रियल (Real2Sim2Real) फ्रेमवर्क प्रस्तुत करता है जो विरूपणीय रैखिक वस्तु हेरफेर (deformable linear object manipulation) के लिए उपयोग किया जाता है, जो डोमेन-रैंडमाइज्ड सुदृढीकरण शिक्षण (reinforcement learning) के लिए भौतिक पैरामीटर वितरणों का अनुमान लगाने हेतु लाइकलीहुड-फ्री इन्फरेंस (likelihood-free inference) को नियोजित करता है, जिससे सिमुलेशन से वास्तविक दुनिया में विसुओमोटर नीतियों (visuomotor policies) की ज़ीरो-शॉट तैनाती संभव हो पाती है।

मूल लेखक: Georgios Kamaras, Subramanian Ramamoorthy

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Georgios Kamaras, Subramanian Ramamoorthy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक रोबोट को "स्पैगेटी" संभालना सिखाना

कल्पना कीजिए कि आप एक रोबोट को जूते का फीता बांधना, रस्सी हिलाना, या एक नाजुक सर्जिकल टांका लगाना सिखाने की कोशिश कर रहे हैं। ये वस्तुएं डिफॉर्मेबल लीनियर ऑब्जेक्ट्स (DLOs) हैं। वे लचीली, टेढ़ी-मेढ़ी और अप्रत्याशित होती हैं। एक कठोर डिब्बे के विपरीत, जो हमेशा एक ही तरह से रहता है, एक रस्सी हर बार छूने पर अपना आकार बदल लेती है।

समस्या यह है कि रोबोट आमतौर पर सिमुलेशन (वीडियो गेम की दुनिया) में प्रशिक्षित किए जाते हैं। लेकिन यहाँ एक "रियलिटी गैप" (वास्तविकता का अंतर) है: वीडियो गेम में भौतिक विज्ञान (physics) वास्तविक दुनिया के भौतिक विज्ञान के बिल्कुल समान नहीं होता है। गेम में एक रस्सी वास्तविक रस्सी की तुलना में थोड़ी अधिक सख्त या हल्की हो सकती है। यदि आप एक रोबोट को गेम में प्रशिक्षित करते हैं और फिर उसे वास्तविक दुनिया में रखते हैं, तो वह अक्सर विफल हो जाता है क्योंकि वह वास्तविक वस्तु के विशिष्ट "व्यक्तित्व" को नहीं समझ पाता है।

यह पेपर एक चतुर तीन-चरणीय समाधान प्रस्तुत करता है जिसे Real2Sim2Real कहा जाता है। इसे "डिटेक्टिव (जासूस) -> कोच -> एथलीट" पाइपलाइन के रूप में समझें।

चरण 1: डिटेक्टिव (Real2Sim)

लक्ष्य: केवल उसके हिलने-डुलने को देखकर यह पता लगाना कि वास्तविक वस्तु किस चीज से बनी है।

उपमा: कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्यमय स्प्रिंग के वजन और कठोरता का अनुमान लगाने की कोशिश कर रहे हैं। आप उसे सीधे तौल या माप नहीं सकते। इसके बजाय, आप उसे कुछ बार खींचते हैं और देखते हैं कि वह कैसे उछलता है।

पेपर की विधि: रोबोट एक वास्तविक रस्सी को पकड़ता है और उसे हिलाता है। वह उसकी गति (संकेत/clues) को रिकॉर्ड करता है।
जादुई टूल (Likelihood-Free Inference): रोबोट एक स्मार्ट एल्गोरिदम (BayesSim) का उपयोग करके पीछे की ओर काम करता है। वह पूछता है, "यदि रस्सी इतनी सख्त होती, तो क्या वह इस तरह से हिलती? यदि वह इतनी लंबी होती, तो क्या वह इस तरह से हिलती?"
परिणाम: एक एकल उत्तर (जैसे, "यह 20 सेमी लंबी है") का अनुमान लगाने के बजाय, जासूस एक प्रोबेबिलिटी मैप (संभावना मानचित्र) बनाता है। वह कहता है, "यह शायद 20 सेमी है, लेकिन इसकी एक छोटी संभावना है कि यह 21 सेमी है, और एक बहुत कम संभावना है कि यह 19 सेमी है।" यह मानचित्र वस्तु के भौतिक गुणों की अनिश्चितता को पकड़ लेता है।

चरण 2: कोच (सिमुलेशन में प्रशिक्षण)

लक्ष्य: रोबोट को उस वस्तु के सभी संभावित संस्करणों का मास्टर बनने के लिए प्रशिक्षित करना, न कि केवल एक के लिए।

उपमा: कल्पना कीजिए कि एक कोच एक एथलीट को दौड़ के लिए प्रशिक्षित कर रहा है।

पुराना तरीका (मानक प्रशिक्षण): कोच कहता है, "इस विशिष्ट ट्रैक पर, इस विशिष्ट हवा की गति के साथ दौड़ो।" एथलीट उस विशिष्ट ट्रैक के लिए तो अच्छा हो जाता है, लेकिन अगर हवा बदल जाए तो वह विफल हो जाता है।
पेपर का तरीका (डोमेन रैंडमाइजेशन): कोच चरण 1 में डिटेक्टिव द्वारा बनाए गए प्रोबेबिलिटी मैप को देखता है। वे कहते हैं, "ठीक है, रस्सी संभवतः 20 सेमी की है, लेकिन शायद 21 सेमी भी हो सकती है। आइए एथलीट को 20 सेमी, 20.5 सेमी, 21 सेमी और यहाँ तक कि 19 सेमी की रस्सियों के साथ मिलाकर प्रशिक्षित करें।"
परिणाम: रोबोट एक "सुपर-स्किल" सीखता है। वह केवल एक रस्सी को हिलाना नहीं सीखता; वह यह सीखता है कि उस जैसी दिखने वाली किसी भी रस्सी को कैसे संभालना है। यह उसे "रियलिटी गैप" के विरुद्ध मजबूत बनाता है।

चरण 3: एथलीट (Sim2Real परिनियोजन)

लक्ष्य: रोबोट को वास्तविक दुनिया में भेजना और बिना किसी और अभ्यास के उसे सफल होते देखना।

उपमा: एथलीट को अब वास्तविक दौड़ के लिए भेजा जाता है। क्योंकि उन्होंने अभ्यास के दौरान ट्रैक और हवा की हर संभावित स्थिति पर प्रशिक्षण लिया था, इसलिए उन्हें वास्तविक ट्रैक देखते समय "वार्म-अप" करने या तालमेल बिठाने की आवश्यकता नहीं होती है। वे बस दौड़ते हैं।

परिणाम: रोबोट सिमुलेशन में सीखी गई पॉलिसी को वास्तविक रस्सी पर तुरंत लागू करता है (Zero-Shot)। वह उस विशिष्ट रस्सी की कठोरता और लंबाई के अनुसार अपनी गतिविधियों को पूरी तरह से ढाल लेता है, भले ही उसने पहले कभी उस सटीक रस्सी को न देखा हो।

यह एक बड़ी बात क्यों है?

यह "ऑब्जेक्ट-सेंट्रिक" है: रोबोट केवल एक सामान्य ट्रिक नहीं सीखता। वह अपने सामने रखी विशिष्ट वस्तु के अनुकूल होना सीखता है। यदि रस्सी नरम है, तो वह धीरे से हिलती है। यदि रस्सी सख्त है, तो वह जोर से खींचती है।
कोई "फाइन-ट्यूनिंग" आवश्यक नहीं: आमतौर पर, जब आप एक रोबोट को कंप्यूटर से वास्तविक दुनिया में ले जाते हैं, तो आपको घंटों तक सेटिंग्स को ट्यून करने में बिताने पड़ते हैं। यह विधि उस चरण को पूरी तरह से छोड़ देती है।
"मेसी" (अव्यवस्थित) डेटा को संभालना: वास्तविक कैमरे शोर (noise) पैदा करते हैं। की-पॉइंट्स (डॉट्स जिन्हें रोबोट रस्सी पर ट्रैक करता है) डगमगाते और कूदते हैं। यह पेपर शोर को सुचारू बनाने के लिए RKHS (Reproducing Kernel Hilbert Space) नामक एक गणितीय ट्रिक का उपयोग करता है।
- उपमा: कल्पना कीजिए कि आप धुंधले दर्पण में अपने दोस्त का चेहरा पहचानने की कोशिश कर रहे हैं। आप उनकी नाक या आंखों के सटीक पिक्सेल नहीं देख सकते, लेकिन आप उनके चेहरे के "आकार" को महसूस कर सकते हैं। इस पेपर का गणित रोबोट को रस्सी की गति के "आकार" को महसूस करने देता है, जिससे वह विजुअल स्टैटिक (दृश्य शोर) को अनदेखा कर देता है।

मुख्य निष्कर्ष

लेखकों ने एक ऐसा सिस्टम बनाया है जो रोबोट को सक्षम बनाता है:

देखना: एक लचीली वस्तु को देखना और उसके भौतिक रहस्यों (लंबाई, कठोरता) का अनुमान लगाना।
अभ्यास करना: उन अनुमानों के आधार पर उस वस्तु के हजारों थोड़े अलग संस्करणों को सिम्युलेट करके एक वीडियो गेम में अभ्यास करना।
प्रदर्शन करना: वास्तविक दुनिया में तुरंत प्रदर्शन करना, मानव विशेषज्ञ की सटीकता के साथ वस्तु को हिलाना, बिना किसी री-ट्यूनिंग की आवश्यकता के।

यह एक रोबोट को एक विशिष्ट खिलौने के साथ खेलने के लिए सिखाने जैसा है—पहले यह समझने के बाद कि वह खिलौना वास्तव में किस चीज से बना है, फिर लगभग समान दिखने वाले खिलौनों के बॉक्स के साथ अभ्यास करना, ताकि वास्तविक खिलौना सामने आते ही वह तैयार रहे।

यहाँ शोध पत्र "A Distributional Treatment of Real2Sim2Real for Object-Centric Agent Adaptation in Vision-Driven Deformable Linear Object Manipulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोटिक्स में डिफॉर्मेबल लीनियर ऑब्जेक्ट (DLO) (जैसे रस्सी, केबल) हेरफेर की चुनौती को संबोधित करता है। मुख्य कठिनाइयाँ निम्नलिखित हैं:

उच्च आयामीता और गैर-रैखिकता (High Dimensionality & Nonlinearity): DLO अवस्थाएँ जटिल और गैर-रैखिक होती हैं, जिससे नियंत्रण कठिन हो जाता है।
"रियलिटी गैप" (The "Reality Gap"): सिम्युलेटर अक्सर वास्तविक दुनिया के भौतिक मापदंडों (कठोरता, लंबाई, ड्रैग) को सटीक रूप से मॉडल करने में विफल रहते हैं, जिससे ऐसी नीतियां (policies) बनती हैं जो वास्तविक तैनाती के समय विफल हो जाती हैं।
पैरामीटर अनिश्चितता (Parameter Uncertainty): ज्ञात ज्यामिति के बावजूद, सूक्ष्म भौतिक पैरामीटर (जैसे यंग का मापांक/Young's modulus) विभिन्न वस्तुओं के बीच भिन्न होते हैं और उन्हें मैन्युअल रूप से ट्यून करना कठिन होता है।
विजुअल नॉइज़ और परम्यूटेशन (Visual Noise & Permutation): विकृत वस्तुओं (deformable objects) का दृश्य बोध अक्सर शोर और कीपॉइंट परम्यूटेशन (जहाँ ट्रैक किए गए बिंदुओं का क्रम बदल जाता है) से ग्रस्त होता है, जो सटीक नियंत्रण में बाधा डालता है।

लेखक एक एंड-टू-एंड Real2Sim2Real फ्रेमवर्क प्रस्तावित करते हैं जो एक रोबोट को विजुअल डेटा से भौतिक मापदंडों का अनुमान लगाकर और उन अनुमानों का उपयोग सिमुलेशन प्रशिक्षण को निर्देशित करने के लिए करके, एक जीरो-शॉट (zero-shot) तरीके से विशिष्ट भौतिक वस्तुओं के लिए अपनी नियंत्रण नीति को अनुकूलित करने में सक्षम बनाता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित फ्रेमवर्क लाइकलीहुड-फ्री इन्फरेंस (LFI) को मॉडल-फ्री रीइन्फोर्समेंट लर्निंग (RL) और डोमेन रैंडमाइजेशन (DR) के साथ एकीकृत करता है।

A. Real2Sim: LFI के माध्यम से पैरामीटर अनुमान

लक्ष्य: वास्तविक दुनिया के विजुअल ऑब्जर्वेशन ( $x_r$ ) को सबसे संभावित सिमुलेशन पैरामीटर ( $\theta$ ) में मैप करना, जैसे कि DLO की लंबाई ( $l$ ) और यंग का मापांक ( $E$ )।
एल्गोरिदम: लेखक BayesSim का उपयोग करते हैं, जो एक LFI विधि है जो एक स्पष्ट लाइकलीहुड फंक्शन की गणना किए बिना पोस्टीरियर वितरण $p(\theta | x_r)$ $p (θ ∣ x_{r})$ का अनुमान लगाती है।
- यह सिम्युलेटर को एक ब्लैक-बॉक्स जेनेरेटिव मॉडल के रूप में मानता है।
- यह एक मिक्सचर डेंसिटी न्यूरल नेटवर्क (MDNN) का उपयोग करके एक कंडीशनल डेंसिटी फंक्शन $q_\phi(\theta | x)$ सीखता है।
डिस्ट्रीब्यूशनल एम्बेडिंग्स (Distributional Embeddings): विजुअल नॉइज़ और कीपॉइंट परम्यूटेशन को संभालने के लिए, सिस्टम रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस (RKHS) में कर्नेल मीन एम्बेडिंग्स का उपयोग करता है।
- कीपॉइंट ट्रेजेक्टरीज को एक अनंत-आयामी फीचर स्पेस में मैप किया जाता है।
- यह परम्यूटेशन इनवेरिएंस (permutation invariance) और शोर के प्रति मजबूती प्रदान करता है, जिससे सिस्टम ट्रेजेक्टरी को एक निश्चित बिंदु अनुक्रम के बजाय एक वितरण (distribution) के रूप में मान सकता है।
- एक RKHS-Net लेयर कम्प्यूटेशनल दक्षता के लिए रैंडम फूरियर फीचर्स (RFF) का उपयोग करके इन एम्बेडिंग्स का अनुमान लगाती है।

B. Sim2Real: डिस्ट्रीब्यूशनल DR के साथ पॉलिसी ट्रेनिंग

डोमेन रैंडमाइजेशन (DR): सिमुलेशन मापदंडों के लिए एक व्यापक यूनिफॉर्म प्रायर (uniform prior) का उपयोग करने के बजाय, सिस्टम LFI चरण से प्राप्त अनुमानित पोस्टीरियर वितरण ( $\hat{p}(\theta)$ ) को DR के लिए सैंपलिंग वितरण के रूप में उपयोग करता है।
पॉलिसी लर्निंग: एक प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) एजेंट सिमुलेशन में प्रशिक्षित किया जाता है।
- एजेंट अनुमानित पोस्टीरियर $\hat{p}(\theta)$ से सिमुलेशन पैरामीटर $\theta$ को सैंपल करता है।
- परिकल्पना यह है कि विशिष्ट वस्तु के वास्तविक मापदंडों के आसपास केंद्रित वितरण पर प्रशिक्षण लेने से प्राप्त नीति, एक सामान्य यूनिफॉर्म वितरण पर प्रशिक्षण लेने की तुलना में, वास्तविक दुनिया में उस विशिष्ट वस्तु के लिए बेहतर सामान्यीकरण करेगी।
जीरो-शॉट डिप्लॉयमेंट: प्रशिक्षित नीति को बिना किसी अतिरिक्त फाइन-ट्यूनिंग के सीधे वास्तविक दुनिया में तैनात किया जाता है।

C. कार्य परिभाषा (Task Definition)

कार्य: एक विसुमोटर रीचिंग टास्क जहाँ एक रोबोट आर्म को एक निश्चित समय सीमा के भीतर लटकते हुए पूरे DLO शरीर को 2D विजुअल टारगेट तक ले जाना होता है।
अवलोकन (Observations): YOLOv8 के माध्यम से सेगमेंटेशन द्वारा प्रोसेस की गई 2D RGB छवियां जिनसे कीपॉइंट्स निकाले जाते हैं। स्टेट में प्रोप्रियोसेप्शन (एंड-इफेक्टर पोजीशन) और 5 कीपॉइंट्स (4 DLO पर, 1 टारगेट पर) के सापेक्ष स्थान शामिल हैं।
रिवॉर्ड (Reward): DLO बॉडी और टारगेट के बीच की दूरी पर आधारित स्पार्स रिवॉर्ड।

3. प्रमुख योगदान (Key Contributions)

एकीकृत Real2Sim2Real फ्रेमवर्क: एक एंड-टू-एंड सिस्टम जो पैरामीटर अनुमान के लिए बायेसियन इन्फरेंस को कंट्रोल के लिए मॉडल-फ्री RL के साथ जोड़ता है, जो विशेष रूप से विकृत वस्तुओं (deformable objects) के लिए डिज़ाइन किया गया है।
LFI के माध्यम से सूक्ष्म वर्गीकरण: यह प्रदर्शन करना कि BayesSim-RKHS केवल डायनेमिक मैनिपुलेशन ट्रेजेक्टरीज और विजुअल डेटा का उपयोग करके समान आकार के DLOs के भौतिक गुणों (कठोरता और लंबाई) को सूक्ष्मता से वर्गीकृत कर सकता है।
डिस्ट्रीब्यूशनल डोमेन रैंडमाइजेशन: एक नया दृष्टिकोण जहाँ डोमेन रैंडमाइजेशन वितरण को एक स्थिर यूनिफॉर्म प्रायर के बजाय विशिष्ट वस्तु के अनुमानित पोस्टीरियर के आधार पर गतिशील रूप से अपडेट किया जाता है।
जीरो-शॉट अडैप्टेशन: बिना किसी अतिरिक्त प्रशिक्षण के, विभिन्न भौतिक गुणों वाले वास्तविक दुनिया के DLOs पर सिम-प्रशिक्षित नीतियों का सफल कार्यान्वयन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपने फ्रेमवर्क का परीक्षण चार वास्तविक दुनिया के DLOs पर किया जिनकी लंबाई (200mm–290mm) और शोर हार्डनेस (Shore hardness: A-40 से 00-50) भिन्न थी।

इन्फरेंस प्रदर्शन (Inference Performance):
- सिस्टम ने अलग-अलग कठोरता (यंग का मापांक) वाले DLOs के बीच सफलतापूर्वक अंतर किया।
- जब कठोरता समान थी, तो यह अलग-अलग लंबाई वाले ऑब्जेक्ट्स को स्पष्ट रूप से अलग करने में थोड़ा संघर्ष करता है, जिसके परिणामस्वरूप लंबाई के आयाम में व्यापक पोस्टीरियर वितरण प्राप्त होता है। इस अनिश्चितता को मिश्रण ऑफ गौसियन्स (MoG) के वेरिएंस द्वारा सही ढंग से कैप्चर किया गया।
पॉलिसी ट्रेनिंग और डिप्लॉयमेंट:
- ऑब्जेक्ट-सेंट्रिक अडैप्टेशन: अनुमानित पोस्टीरियर्स (जैसे, $PPO_{DLO-0}$ $P P O_{D L O - 0}$ ) का उपयोग करके प्रशिक्षित नीतियां अलग-अलग DLOs पर तैनात होने पर विशिष्ट व्यवहार संबंधी अनुकूलन प्रदर्शित करती हैं।
  - उदाहरण: एक छोटे, सख्त DLO पर प्रशिक्षित नीति ने उस विशिष्ट वस्तु के लिए रिवॉर्ड को अधिकतम करने के लिए एक "रोमिंग पैटर्न" दिखाया।
  - उदाहरण: एक लंबे, नरम DLO पर प्रशिक्षित नीति ने टेबल से अधिक दूरी बनाए रखी ताकि ड्रैग से बचा जा सके, यह एक ऐसा व्यवहार है जो सख्त वस्तुओं पर प्रशिक्षित नीतियों में नहीं देखा गया।
- ट्रेजेक्टरी समानता: डायनेमिक टाइम वार्पिंग (DTW) विश्लेषण ने दिखाया कि विशिष्ट ऑब्जेक्ट डिस्ट्रीब्यूशन पर प्रशिक्षित नीतियां उस विशिष्ट ऑब्जेक्ट प्रकार के लिए आवश्यक व्यवहार के साथ सबसे अधिक समानता वाली ट्रेजेक्टरीज बनाती हैं।
- मात्रात्मक प्रदर्शन: जबकि स्पार्स रिवॉर्ड मेट्रिक्स (पिक्सेल डिस्टेंस) ने विभिन्न नीतियों के बीच समान परिणाम दिखाए, ट्रेजेक्टरी विश्लेषण ने महत्वपूर्ण गुणात्मक अंतर प्रकट किए। यह सुझाव देता है कि अनुमानित डिस्ट्रीब्यूशनल ट्रीटमेंट सूक्ष्म मोशन प्लानिंग को सक्षम बनाता है जिसे स्केलर रिवार्ड्स कैप्चर करने में विफल रहते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

ऑब्जेक्ट-सेंट्रिक कंट्रोल: यह कार्य प्रदर्शित करता है कि रोबोट विजुअल डेटा से मापदंडों के वितरण का अनुमान लगाकर विशिष्ट भौतिक वस्तुओं के लिए अपनी नियंत्रण रणनीतियों को अनुकूलित कर सकते हैं, बजाय केवल एक "सर्वश्रेष्ठ अनुमान" या जेनेरिक सिमुलेशन पर निर्भर रहने के।
शोर के प्रति मजबूती: RKHS एम्बेडिंग्स का उपयोग विजुअल नॉइज़ और कीपॉइंट परम्यूटेशन की समस्याओं को प्रभावी ढंग से कम करता है, जो विकृत वस्तु हेरफेर के लिए महत्वपूर्ण हैं।
रियलिटी गैप को पाटना: अनुमानित पोस्टीरियर का उपयोग करके डोमेन रैंडमाइजेशन को निर्देशित करके, यह विधि मानक यूनिफॉर्म रैंडमाइजेशन की तुलना में रियलिटी गैप को अधिक प्रभावी ढंग से कम करती है, जिससे सफल जीरो-शॉट ट्रांसफर होता है।
सीमाएं: लेखक नोट करते हैं कि जबकि उनका सिस्टम ऑब्जर्वेशनल यथार्थवाद (observational realism) में सुधार करता है, यह अभी भी पूर्ण भौतिक सटीकता (जैसे, अनुमानित यंग का मापांक वास्तविक भौतिक मान से बिल्कुल मेल नहीं खा सकता है) की गारंटी नहीं देता है, खासकर यदि उच्च-क्रम के पैरामीटर शामिल हों।

संक्षेप में, यह शोध पत्र एक मजबूत, डिस्ट्रीब्यूशनल दृष्टिकोण प्रस्तुत करता है जो एजेंट्स को सिमुलेशन में ऑब्जेक्ट-विशिष्ट व्यवहार सीखने और वास्तविक दुनिया में प्रभावी ढंग से तैनात करने की अनुमति देता है, जो सॉफ्ट रोबोटिक्स और विकृत वस्तु हेरफेर (deformable object manipulation) के क्षेत्र में अत्याधुनिक तकनीक को आगे बढ़ाता है।