💻 computer science

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies

यह शोध पत्र एक डेटा ऑग्मेंटेशन फ्रेमवर्क प्रस्तुत करता है जो वास्तविक दुनिया के प्रदर्शनों से यथार्थवादी नवीन दृश्य (novel views) और टकराव-मुक्त एक्शन ट्रेजेक्टरीज़ उत्पन्न करने के लिए एक नवीन फिशआई-अनुकूलित गॉसियन स्प्लेटिंग फॉर्मूलेशन और ट्रेजेक्टरी ऑप्टिमाइज़ेशन का लाभ उठाता है, जिससे परिचित और बाधा-युक्त दोनों प्रकार के वातावरणों में विसुओमोटर पॉलिसियों की मजबूती और सफलता दर में महत्वपूर्ण सुधार होता है।

मूल लेखक: Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कॉफी का मग उठाने और उसे मेज पर रखने का तरीका सिखाने की कोशिश कर रहे हैं। आप यह काम रोबोट के हाथ पर लगे एक कैमरे ("आई-इन-हैंड" व्यू) से करते हैं और उसे एक बार यह कार्य करके दिखाते हैं। रोबोट इस एक वीडियो से सीखता है।

समस्या क्या है? यदि आप रोबोट की शुरुआती स्थिति को थोड़ा सा भी बदलते हैं, या यदि आप गलती से मेज पर एक ऐसी किताब छोड़ देते हैं जो पहले वहां नहीं थी, तो रोबोट घबरा जाता है। वह कुछ ऐसा देखता है जो उसने पहले नहीं देखा है, भ्रमित हो जाता है, और मग गिरा देता है। ऐसा इसलिए है क्योंकि रोबोट ने केवल एक विशिष्ट तरीके को सीखा है, और यह बहुत नाजुक (fragile) है।

पेपर का बड़ा विचार: "1001 डेमो"
स्टैनफोर्ड, कोलंबिया और टोयोटा रिसर्च इंस्टीट्यूट के शोधकर्ताओं ने 1001 डेमो नामक एक चतुर तकनीक विकसित की है। उनका लक्ष्य उस एक मानव प्रदर्शन (demonstration) को जादुई रूप से 1,001 अलग-अलग प्रशिक्षण उदाहरणों में बदलना है, बिना किसी इंसान द्वारा वास्तव में 1,001 बार कार्य किए।

वे इसे कैसे करते हैं, यहाँ कुछ रचनात्मक उपमाओं (analogies) का उपयोग करके बताया गया है:

1. "3D फोटो एल्बम" (सीन रिकंस्ट्रक्शन)

सबसे पहले, सिस्टम रोबोट के फिशआई कैमरा (एक वाइड-एंगल लेंस जो लगभग सब कुछ देख सकता है) से वीडियो लेता है और कमरे का एक 3D डिजिटल जुड़वां (digital twin) बनाता है।

उपमा: इसे ऐसे समझें जैसे आप एक कमरे की कई तस्वीरें लेते हैं और उनका उपयोग उस सटीक कमरे का एक वर्चुअल लेगो (Lego) मॉडल बनाने के लिए करते हैं। लेकिन साधारण लेगो ईंटों के बजाय, वे 3D गॉसियन स्प्लेटिंग (3D Gaussian Splatting) नामक एक विशेष, उच्च-तकनीकी सामग्री का उपयोग करते हैं। यह उन्हें दृश्य को इतना वास्तविक रूप से पुनर्गठित करने की अनुमति देता है कि यदि आप इसे एक नए कोण से देखते हैं, तो यह बिल्कुल एक असली फोटो की तरह दिखता है।
ट्विस्ट: क्योंकि कैमरा फिशआई (वक्र/curved) है, मानक 3D मॉडल विकृत हो जाते हैं। लेखकों ने इन घुमावदार छवियों को संभालने का एक नया तरीका आविष्कार किया ताकि 3D मॉडल सटीक बना रहे।

2. "आभासी रिहर्सल" (ट्रैजेक्टरी ऑप्टिमाइज़ेशन)

एक बार जब उनके पास 3D मॉडल होता है, तो वे केवल मानव की गति की नकल नहीं करते हैं। वे रोबोट के हाथ को चलाने के नए तरीके खोजने के लिए एक गणित-आधारित "कोच" (ट्रैजेक्टरी ऑप्टिमाइज़ेशन) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि इंसान ने रोबोट को दिखाया कि कॉफी टेबल के चारों ओर घूमकर दरवाजे तक कैसे जाना है। "कोच" फिर कहता है, "ठीक है, अब कल्पना करो कि टेबल 2 फीट बाईं ओर खिसक गई है। फिर से उसके चारों ओर घूमकर चलो।" फिर, "अब कल्पना करो कि एक विशाल फूलदान रास्ते को रोक रहा है। इसके बजाय उसके चारों ओर घूमकर जाओ।"
सुरक्षा जांच: सिस्टम इतना स्मार्ट है कि वह जानता है कि वह टेबल या फूलदान के बीच से नहीं निकल सकता। यह ऐसे पथ (paths) की योजना बनाता है जो सुचारू और भौतिक रूप से संभव हों, यह सुनिश्चित करता है कि रोबोट अपने वर्चुअल अभ्यास में कभी क्रैश न हो।

3. "जादुई कैमरा" (व्यू रेंडरिंग)

अब, रोबोट को इन नए कोणों से यह देखने की आवश्यकता है कि वह क्या कर रहा है।

उपमा: पुराने दिनों में, रोबोट को एक नया कोण सिखाने के लिए, आपको भौतिक रूप से रोबोट को हिलाना पड़ता और फिर से फिल्म बनानी पड़ती। यहाँ, सिस्टम 3D मॉडल लेता है और "रेंडर" (चित्रित) करता है कि यदि रोबोट वास्तव में उस नई जगह पर होता, तो फिशआई कैमरा क्या देखता। यह एक नया वीडियो क्लिप बनाता है जो वास्तविक दिखता है लेकिन वह कभी वास्तव में हुआ ही नहीं।

4. परिणाम: एक सुपर-रेज़िलिएंट रोबोट

मूल मानव वीडियो और उनके द्वारा उत्पन्न हजारों "क्या-होता-अगर" (what-if) परिदृश्यों को मिलाकर, रोबोट एक बहुत व्यापक सबक सीखता है।

इस विधि के बिना: रोबोट एक ऐसे छात्र की तरह है जिसने गणित के एक विशिष्ट प्रश्न का उत्तर रट लिया है। यदि संख्याएं थोड़ी भी बदलती हैं, तो वह विफल हो जाता है।
1001 डेमो के साथ: रोबट उस छात्र की तरह है जिसने सैकड़ों अलग-अलग तरीकों में समस्या की अवधारणा (concept) का अभ्यास किया है। वह सीखता है कि "भले ही बाधा हिल जाए, मैं अभी भी मग उठा सकता हूँ।"

उन्होंने क्या सिद्ध किया?

शोधकर्ताओं ने इसे दो तरीकों से परखा:

सिमुलेशन में (वीडियो गेम की दुनिया में): उन्होंने दिखाया कि इन 1,001 जनित डेमो के साथ प्रशिक्षित रोबोट, केवल मूल वीडियो पर प्रशिक्षित रोबोटों की तुलना में नई शुरुआती स्थितियों को संभालने में बहुत बेहतर थे।
वास्तविक दुनिया में: उन्होंने रोबोट को एक वास्तविक कमरे में रखा। जब उन्होंने अप्रत्याशित बाधाएं (जैसे कप या किताब) डालीं, जिन्हें रोबोट ने पहले कभी नहीं देखा था, तो "1001 डेमो" से प्रशिक्षित रोबोटों ने सफलतापूर्वक उनसे बचा और कार्य पूरा किया। बिना इस विधि के प्रशिक्षित रोबोट अक्सर टकरा जाते या विफल हो जाते।

संक्षेप में: यह पेपर एक तरीका प्रस्तुत करता है जिससे आप एक साधारण वीडियो से, जिसमें रोबोट कोई कार्य कर रहा है, AI का उपयोग करके उस कार्य के हजारों रूपांतर (variations) बना सकते हैं (जैसे बाधाओं का हिलना, शुरुआती स्थान बदलना)। यह एक "नाजुक" रोबोट को, जो आसानी से टूट जाता है, एक "लचीले" रोबोट में बदल देता है जो आश्चर्यों को संभाल सकता है, और वह भी बिना किसी इंसान को नए वीडियो रिकॉर्ड करने में कई दिन खर्च कराए।

तकनीकी सारांश: एक डेमो हज़ार प्रक्षेप पथों के बराबर है: विसुमोटर नीतियों के लिए एक्शन-व्यू ऑग्मेंटेशन (Action-View Augmentation)

समस्या विवरण

इमिटेशन लर्निंग (imitation learning) के माध्यम से प्रशिक्षित विसुमोटर नीतियां (visuomotor policies) अक्सर वास्तविक दुनिया में तैनात होने पर नाजुकता प्रदर्शित करती हैं। रोबोट की प्रारंभिक कॉन्फ़िगरेशन में मामूली विचलन या अनदेखे अवरोधों की उपस्थिति आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) ऑब्जर्वेशन का कारण बन सकती है। ये OOD अवस्थाएं अक्सर निष्पादन त्रुटियों और कार्य विफलताओं में बदल जाती हैं। हालांकि विविध स्थानिक विन्यासों के तहत व्यापक मानव प्रदर्शन (human demonstrations) एकत्र करना इसे कम कर सकता है, लेकिन यह प्रक्रिया थकाऊ, महंगी और अक्सर अव्यावहारिक होती है। कंप्यूटर विज़न की मौजूदा डेटा ऑग्मेंटेशन तकनीकें (जैसे कलर जिटरिंग, क्रॉपिंग) रोबोटिक्स की विशिष्ट आवश्यकताओं को पूरा करने में विफल रहती हैं, विशेष रूप से एक्शन-व्यू कंसिस्टेंसी (action-view consistency) बनाए रखने और भौतिक बाधाओं (3D टकराव और संपर्क गतिशीलता) का सम्मान करने की आवश्यकता को। इसके अलावा, मानक स्टेट-आधारित ऑग्मेंटेशन अक्सर विजुअल इनवेरिएंस को स्टेट एस्टीमेशन पर छोड़ देता है, जबकि पूर्ववर्ती विजुअल-एक्शन ऑग्मेंटेशन विधियां स्थिर, थर्ड-पर्सन, पिनहोल कैमरा दृश्यों या सिंगल-स्टेप संशोधनों तक सीमित हैं जो सुचारू, प्रक्षेप पथ-स्तर (trajectory-level) बाधा बचाव उत्पन्न नहीं कर सकते।

कार्यप्रणाली: 1001 DEMOS फ्रेमवर्क

लेखक 1001 DEMOS का प्रस्ताव करते हैं, जो एक ऑफलाइन डेटा ऑग्मेंटेशन फ्रेमवर्क है जो एक एकल वास्तविक दुनिया के मानव प्रदर्शन से हजारों दृष्टिगत रूप से यथार्थवादी और भौतिक रूप से व्यवहार्य एक्शन-व्यू प्रक्षेप पथ (trajectories) उत्पन्न करता है। सिस्टम एक पोर्टेबल पैरेलल ग्रिपर का उपयोग करता है जो एक सिंगल वाइड-फील्ड-ऑफ-व्यू (FoV) फिशआई कैमरा से लैस है। यह फ्रेमवर्क तीन प्राथमिक मॉड्यूल के माध्यम से संचालित होता है:

1. आई-इन-हैंड फिशआई वीडियो से 3D सीन रिकंस्ट्रक्शन

सिस्टम मोशन प्लानिंग और कोलिजन चेकिंग के लिए सीन स्कैनिंग और टास्क डेमोंस्ट्रेशन के दौरान कैप्चर किए गए फिशआई इमेज सीक्वेंस को प्रोसेस करके दो प्रतिनिधित्व बनाता है:

सीन पॉइंट क्लाउड (Scene Point Cloud): मोशन प्लानिंग और कोलिजन चेकिंग के लिए COLMAP का उपयोग करके पुनर्निर्मित।
फिशआई 3D गॉसियन स्प्लेटिंग (Fisheye-3DGS): वाइड FoV फिशआई कैमरों को संभालने के लिए 3D गॉसियन स्प्लेटिंग (3DGS) का एक नवीन अनुकूलन।
- फिशआई रे सैंपलर (Fisheye Ray Sampler): लेखक मानक पिनहोल रे सैंपलर के स्थान पर एक KB8-आधारित फिशआई रे सैंपलर का उपयोग करते हैं। प्रत्येक फिशआई पिक्सेल $(u, v)$ के लिए, दिशा $r_d$ की गणना KB8 मॉडल के माध्यम से की जाती है, फिर कैमरा इंट्रिंसिक्स $K$ के माध्यम से पिनहोल निर्देशांक $(u_p, v_p)$ प्राप्त करने के लिए इसे प्रोजेक्ट किया जाता है।
- ऑप्टिमाइजेशन (Optimization): 3DGS की दक्षता (CUDA ब्लॉक-थ्रेड संरचना) को बनाए रखने के लिए, सिस्टम पिनहोल किरणों से फिशआई किरणों में टाइल असाइनमेंट को पुनर्वितरित करता है, फिशआई किरणों को मूल 256-रे-पर-टाइल लेआउट में विभाजित करता है। यह फिशआई डिस्टॉर्शन को सटीक रूप से मॉडल करते हुए तेज़ रास्टराइजेशन की अनुमति देता है।

2. प्रक्षेप पथ अनुकूलन (Trajectory Optimization) के माध्यम से एक्शन जनरेशन

पुनर्निर्मित 3D पॉइंट क्लाउड और मूल डेमोंस्ट्रेशन प्रक्षेप पथ का उपयोग करके, सिस्टम प्रक्षेप पथ अनुकूलन के माध्यम से दो प्रकार के नए प्रक्षेप पथ उत्पन्न करता है:

फ्री-स्पेस प्रक्षेप पथ (Free-Space Trajectories): मूल व्यूपॉइंट के चारों ओर एक क्वार्टरियन कोन (quaternion cone) के भीतर विभिन्न प्रारंभिक कैमरा पोज के साथ उत्पन्न।
अवरोध-बचाव प्रक्षेप पथ (Obstacle-Avoidance Trajectories): दृश्य में बाधा पॉइंट क्लाउड (Objaverse से नमूने के रूप में) पेश करके और उन्हें टालने वाले पथों की योजना बनाकर उत्पन्न।

अनुकूलन समस्या एक मिश्रित लॉस फंक्शन को कम करती है:
$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$

$\mathcal{L}_{funnel}$ : एक डेल्टा फनल लॉस जो यह सुनिश्चित करता है कि प्रक्षेप पथ मूल डेमोंस्ट्रेशन के समान प्री-कॉन्टैक्ट पोज पर अभिसरित (converge) हों, जिससे संपर्क गतिशीलता बनी रहे।
$\mathcal{L}_{collision}$ : दृश्य (अतिरिक्त अवरोधों सहित) के ट्रंकेटेड साइन्ड डिस्टेंस फंक्शन (TSDF) का उपयोग करता है ताकि टकराव को दंडित किया जा सके।
$\mathcal{L}_{render}$ : एक व्यू-कंसिस्टेंसी लॉस जो उत्पन्न पोज को मूल स्कैनिंग और डेमोंस्ट्रेशन व्यूज के वितरण के करीब रखता है ताकि नवीन व्यूपॉइंट्स से रेंडरिंग के दौरान सामान्य 'फ्लोटर' आर्टिफ़ेक्ट्स और धुंधले पुनर्निर्माण को रोका जा सके।
$\mathcal{L}_{smooth}$ : वेलोसिटी जर्किनेस (velocity jerkiness) को दंडित करता है ताकि सुचारू प्रक्षेप पथ सुनिश्चित हो सकें।

3. व्यू जनरेशन और पॉलिसी ट्रेनिंग

व्यू जनरेशन: अनुकूलित 6D प्रक्षेप पथों को प्रशिक्षित Fisheye-3DGS का उपयोग करके संबंधित विजुअल ऑब्जर्वेशन बनाने के लिए रेंडर किया जाता है। अवरोध परिदृश्यों के लिए, मूल दृश्य के 3DGS को जोड़े गए अवरोधों के प्रशिक्षित 3DGS के साथ बढ़ाया जाता है।
डेटा संकलन (Data Compilation): ग्रिपर को SAM2 का उपयोग करके सेगमेंट करने और उसे रेंडर की गई छवियों पर ओवरले करने के बाद संवर्धित डेटा संकलित किया जाता है। ग्रिपर ओपनिंग की चौड़ाई मूल डेमो से रखी जाती है, जबकि 6D एंड-इफेक्टर पोज अनुकूलित प्रक्षेप पथ से लिए जाते हैं।
ट्रेनिंग: मूल विशेषज्ञ प्रदर्शनों और उत्पन्न संवर्धित डेटासेट के यूनियन पर एक डिफ्यूजन पॉलिसी (Diffusion Policy) को प्रशिक्षित किया जाता है।

मुख्य योगदान

एक्शन-व्यू ऑग्मेंटेशन फ्रेमवर्क: एक विधि जो विजुअल ऑब्जर्वेशन और एक्शन प्रक्षेप पथ दोनों को संयुक्त रूप से संवर्धित करती है, यह सुनिश्चित करते हुए कि वे भौतिक बाधाओं का सम्मान करते हुए एक-दूसरे के साथ सुसंगत हों।
2.की Fisheye-3DGS: वाइड FoV फिशआई कैमरों के लिए 3D गॉसियन स्प्लेटिंग का विस्तार करने वाला एक नवीन फॉर्मूलेशन, जो आई-इन-हैंड सिस्टम के लिए तेज़, उच्च-निष्ठा (high-fidelity) नवीन दृश्य रेंडरिंग सक्षम करता है।
प्रक्षेप पथ-स्तर अवरोध बचाव: अनदेखे अवरोधों के चारों ओर नेविगेट करने वाले सुचारू, टकराव-मुक्त प्रक्षेप पथ उत्पन्न करने की क्षमता, जो पिछले सिंगल-स्टेप या थर्ड-पर्सन ऑग्मेंटेशन विधियों में कमी है।
कॉन्टैक्ट-अवेयर ऑग्मेंटेशन: एक तंत्र जो संपर्क घटनाओं (contact events) का पता लगाता है और मूल डेमोंस्ट्रेशन की महत्वपूर्ण संपर्क गतिशीलता को संरक्षित करने के लिए प्री-कॉन्टैक्ट चरणों तक ऑग्मेंटेशन को प्रतिबंधित करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन सिमुलेशन (RoboMimic "square" टास्क) और वास्तविक दुनिया के परिदृश्यों (कप सर्विंग टास्क) दोनों में किया गया।

सिमुलेशन (RoboMimic):
- प्रदर्शन लाभ: बिना ऑग्मेंटेशन के प्रशिक्षित नीतियों की तुलना में एक्शन-व्यू ऑग्मेंटेशन ने कार्य सफलता दर में औसतन 56% का सुधार किया।
- बेसलाइन से तुलना: इस विधि ने "ऑगमेंट एक्शन ओनली" (जो विजुअल्स को स्थिर रखते हुए एक्शन को विक्षेपित करता है) की तुलना में 35% तक और सिंगल-स्टेप NeRF-आधारित विधि SPARTN की तुलना में औसत सफलता दर में 15% बेहतर प्रदर्शन किया।
- अपार सीमा (Upper Bound): इसका प्रदर्शन ग्राउंड-ट्रुथ नोवल-व्यू रेंडरिंग के साथ प्रशिक्षित एक "ओरेकल" पॉलिसी के बहुत करीब था, जिसमें केवल 8-11% का अंतर था।
वास्तविक दुनिया का मूल्यांकन:
- OOD कॉन्फ़िगरेशन के प्रति मजबूती: अनदेखी प्रारंभिक रोबोट कॉन्फ़िगरेशन का सामना करते समय फ्री-स्पेस ऑग्मेंटेशन ने गैर-संवर्धित नीतियों की तुलना में सफलता दर में 55% का सुधार किया।
- अवरोध बचाव: अवरोध-जागरूक ऑग्मेंटेशन के साथ प्रशिक्षित नीतियों ने अनदेखे अवरोधों वाले कार्यों में 100% सफलता दर हासिल की, जो फ्री-स्पेस ऑग्मेंटेशन (10%) और बिना ऑग्मेंटेशन (5%) से काफी बेहतर थी। इसने मूल मानव डेमोंस्ट्रेशन में मौजूद न होने वाले कोलिजन बचाव व्यवहारों को सीखने की नीति की क्षमता को प्रदर्शित किया।

महत्व और दावे

पेपर का दावा है कि 1001 DEMOS प्रभावी रूप से रोबोटों को वे कौशल प्रदान करता है जो स्पष्ट रूप से प्रदर्शित नहीं किए गए हैं, विशेष रूप से अवरोध बचाव और नवीन प्रारंभिक कॉन्फ़िगरेशन के प्रति मजबूती। एक एकल मानव डेमो से भौतिक रूप से व्यवहार्य, प्रक्षेप पथ-स्तर के, आई-इन-हैंड डेमोंस्ट्रेशन उत्पन्न करके, यह फ्रेमवर्क डेटा की कमी और विसुमोटर पॉलिसी लर्निंग की नाजुकता की समस्याओं को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण विजुअल इनवेरिएंस और फिजिकल कंसिस्टेंसी के बीच के अंतर को पाटता है, जिससे नीतियां व्यापक मैनुअल डेटा संग्रह के बिना OOD व्यूपॉइंट्स और वातावरणों में सामान्यीकरण (generalize) कर पाती हैं।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान पाइपलाइन एकल चलते हुए कैमरे के दृश्य कवरेज के कारण स्थिर दृश्यों तक ही सीमित है और उत्पन्न प्रक्षेप पथ स्वाभाविक रूप से डाउनस्ट्रीम परिनियोजन रोबोट की किनेमैटिक सीमाओं को ध्यान में नहीं रखते हैं, हालांकि वे कार्य-स्थान व्यवहार्यता (task-space feasibility) के लिए बाध्य हैं। भविष्य के कार्य के रूप में मल्टी-कैमरा सेटअप और एम्बॉडिमेंट-अवेयर प्रक्षेप पथ अनुकूलन का अन्वेषण करने का सुझाव दिया गया है।