🤖 machine learning

Diffusion Sequence Models for Generative In-Context Meta-Learning of Robot Dynamics

यह शोध पत्र रोबोट डायनेमिक्स के इन-कॉन्टेक्स्ट मेटा-लर्निंग के लिए डिफ्यूजन-आधारित अनुक्रम मॉडल प्रस्तावित करता है, जो यह प्रदर्शित करता है कि वे वॉर्म-स्टार्टेड सैंपलिंग के माध्यम से वास्तविक समय के नियंत्रण के लिए व्यवहार्य रहते हुए भी डिटर्मिनिस्टिक बेसलाइन्स की तुलना में वितरण बदलावों (डिस्ट्रीब्यूशन शिफ्ट्स) के प्रति बेहतर मजबूती प्रदान करते हैं।

मूल लेखक: Angelo Moroncelli, Matteo Rufolo, Gunes Cagin Aydin, Asad Ali Shahid, Loris Roveda

प्रकाशित 2026-04-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Angelo Moroncelli, Matteo Rufolo, Gunes Cagin Aydin, Asad Ali Shahid, Loris Roveda

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक आर्म (robot arm) को हिलना-डुलना सिखा रहे हैं। इसे सुरक्षित और सटीक रूप से करने के लिए, रोबोट को अपने स्वयं के "भौतिक विज्ञान" (physics) को समझने की आवश्यकता होती है—जैसे कि उसके जोड़ कितने भारी हैं, घर्षण (friction) उसकी गति को कैसे प्रभावित करता है, और जब आप उसे चलने के लिए कहते हैं तो वह कैसी प्रतिक्रिया देगा। इसे सिस्टम आइडेंटिफिकेशन (system identification) कहा जाता है।

पारंपरिक रूप से, इंजीनियर इन समीकरणों का वर्णन करने के लिए जटिल गणितीय समीकरण लिखने की कोशिश करते हैं। लेकिन वास्तविक जीवन बहुत अव्यवस्थित होता है। धूल, टूट-फूट और अप्रत्याशित झटके इन समीकरणों को विफल कर देते हैं। इसलिए, समीकरण लिखने के बजाय, हम AI का उपयोग यह देखने के लिए करते हैं कि रोबोट कैसे चलता है और उदाहरणों से नियम सीखते हैं।

यह शोध पत्र इस बारे में है कि एक AI को एक सुपर-लर्नर (super-learner) बनने के लिए कैसे सिखाया जाए जो किसी भी रोबोट के अनुकूल हो सके, यहाँ तक कि उन रोबोटों के भी जिन्हें उसने पहले कभी नहीं देखा है, और उन स्थितियों को संभाल सके जो उसके अभ्यास से पूरी तरह अलग हैं।

यहाँ उनके प्रयोग का विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:

1. समस्या: "रट्टा मारने वाला" छात्र बनाम "अनुकूलन योग्य" विशेषज्ञ

शोधकर्ताओं ने दो प्रकार के AI छात्रों की तुलना की:

डिटरमिनिस्टिक छात्र (RoboMorph): कल्पना कीजिए कि एक छात्र है जो पाठ्यपुस्तक को पूरी तरह से याद कर लेता है। यदि आप उससे ठीक वैसा ही प्रश्न पूछते हैं जैसा किताब में है, तो वह A+ पाता है। लेकिन यदि आप शब्दों को थोड़ा बदल देते हैं या कोई ऐसा कठिन प्रश्न पूछते हैं जो किताब में नहीं था, तो वह जम जाता है और गलत उत्तर देता है। यह एक मानक AI की तरह है जो लैब में तो बहुत अच्छा काम करता है लेकिन वास्तविक दुनिया की अव्यवस्था में विफल हो जाता है।
जेनरेटिव छात्र (Diffusion Models): कल्पना कीजिए कि एक छात्र केवल उत्तर याद नहीं करता बल्कि भौतिक विज्ञान की अवधारणा (concept) को समझता है। यदि आप उससे कोई अजीब सवाल पूछते हैं, तो वह दुनिया कैसे काम करती है इसके आधार पर उत्तर की "कल्पना" कर सकता है। वह लचीला है और आश्चर्यों को संभाल सकता है।

2. परीक्षण किए गए तीन तरीके

टीम ने इन "जेनरेटिव छात्रों" को प्रशिक्षित करने के तीन विशिष्ट तरीकों का परीक्षण किया:

विधि A: "इनपेंटिंग" कलाकार (Diffuser)
- उपमा: एक चित्रकार के बारे में सोचें जो एक आधे अधूरे पेंटिंग (रोबोट की पिछली गतिविधियाँ) और निर्देशों के एक सेट (नए कमांड) को देख रहा है। कलाकार भविष्य की पेंटिंग के छूटे हुए हिस्सों को यह अनुमान लगाकर भरता है कि क्या हो सकता है।
- यह कैसे काम करता है: यह एक साथ पूरी तस्वीर (अतीत और भविष्य) को देखता है और शोर (noise) को तब तक "मिटाता" रहता है जब तक कि भविष्य की सटीक गति उभर न आए।
- परिणाम: यह सबसे अच्छा कलाकार था। यह अविश्वसनीय रूप से सटीक था और अजीब, नई स्थितियों को अन्य सभी से बेहतर तरीके से संभालता था। हालाँकि, यह धीमा था, जैसे कोई चित्रकार कैनवास पूरा करने में घंटों लगा देता है।
विधि B: "कंडीशन्ड" आर्किटेक्ट (CNN और Transformer)
- उपमा: कल्पना कीजिए कि एक आर्किटेक्ट (वास्तुकार) को एक इमारत का पिछला इतिहास और अगली मंजिल के लिए एक विशिष्ट ब्लूप्रिंट दिया गया है। वह पूरी इमारत का अनुमान नहीं लगाता; वह बस नियमों के आधार पर अगली मंजिल को डिजाइन करता है।
- यह कैसे काम करता है: यह रोबोट के अतीत और नए कमांड को लेता है और अगले चरणों को उत्पन्न करता है।
- परिणाम: यह सबसे सटीक संतुलन (sweet spot) था। यह आश्चर्यों को संभालने में लगभग उस कलाकार जितना ही अच्छा था, लेकिन बहुत तेज़ था।
विधि C: "स्पीड-रनर" (Warm-Starting)
- उपमा: आमतौर पर, "आर्किटेक्ट" को एक मंजिल डिजाइन करने में 20 कदम लगते हैं। एक रोबोट के लिए, जिसे अभी हिलने की जरूरत है, यह बहुत धीमा है। इसलिए, शोधकर्ताओं ने कहा: "हे, हमें पहले से पता है कि 1 सेकंड पहले मंजिल कैसी दिखती थी। आइए हम अपनी डिजाइन प्रक्रिया को शून्य से शुरू करने के बजाय वहीं से शुरू करें।"
- परिणाम: इस ट्रिक ने धीमे मॉडलों को इतना तेज़ बना दिया कि वे रियल-टाइम में चल सकें, जैसे एक कार का इंजन जिसे हर रेस के बीच ठंडा होने की आवश्यकता नहीं होती।

3. बड़ी खोज: मजबूती (Robustness) बनाम गति

शोधकर्ताओं ने इन मॉडलों को एक "तनाव परीक्षण" (विभिन्न वजन और गति वाले हजारों रोबोटों का अनुकरण करना) से गुजारा।

"इन-डिस्ट्रीब्यूशन" टेस्ट (कक्षा): जब रोबोट बिल्कुल उसी तरह से चला जैसा कि प्रशिक्षण के दौरान किया गया था, तो तेज़ "डिटरमिस्टिक छात्र" (RoboMorph) ठीक था।
"आउट-ऑफ-डिस्ट्रीब्यूशन" टेस्ट (वास्तविक दुनिया): जब रोबोट एक अजीब, नए तरीके से चला (जैसे अचानक हवा का झोंका या भारी भार), तो डिटरमिनिस्टिक छात्र विफल हो गया। डिफ्यूजन मॉडल्स (कलाकार और आर्किटेक्ट) न केवल जीवित रहे; बल्कि वे फल-फूल उठे। उन्होंने महसूस किया, "हे, यह अलग है, लेकिन मैं जानता हूँ कि भौतिकी कैसे काम करती है, इसलिए मैं खुद को ढाल लूँगा।"

4. ट्रेड-ऑफ (समझौता)

इनपेंटिंग कलाकार सबसे सटीक और मजबूत है, लेकिन यह रियल-टाइम कंट्रोल के लिए बहुत धीमा है (जैसे कार चलाते समय मास्टरपीस पेंट करने की कोशिश करना)।
कंडीशन्ड आर्किटेक्ट विजेता है। यह वास्तविक दुनिया को संभालने के लिए पर्याप्त मजबूत है, और "स्पीड-रनर" ट्रिक के साथ, यह वास्तविक समय में रोबोट को नियंत्रित करने के लिए पर्याप्त तेज़ है।

मुख्य निष्कर्ष (The Takeaway)

यह शोध पत्र सिद्ध करता है कि जेनरेटिव AI (वह प्रकार जो नई छवियां या टेक्स्ट बनाता है) वास्तव में पारंपरिक AI की तुलना में रोबोट की गतिविधियों की भविष्यवाणी करने में बेहतर है, विशेष रूप से तब जब चीजें गलत होती हैं।

डिफ्यूजन नामक तकनीक का उपयोग करके, उन्होंने रोबोट को उनके भविष्य के आंदोलनों की गणना करने के बजाय उन्हें "कल्पना" करना सिखाया। यह रोबोट को अधिक सुरक्षित और अनुकूलनीय बनाता है। और सबसे अच्छी बात? उन्होंने पाया कि इस "सोचने" की प्रक्रिया को इतना तेज़ किया जा सकता है कि यह अभी एक रोबोट को नियंत्रित करने के लिए पर्याप्त हो।

संक्षेप में: उन्होंने रोबोट को कैलकुलेटर (जो अजीब नंबर आने पर टूट जाते हैं) की तरह कम और अनुभवी ड्राइवरों (जो सड़क की समझ होने के कारण अचानक फिसलन को संभाल सकते हैं) की तरह अधिक बनना सिखाया।

यहाँ शोध पत्र "Diffusion Sequence Models for Generative In-Context Meta-Learning of Robot Dynamics" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोट डायनेमिक्स का सटीक मॉडलिंग, मॉडल-आधारित नियंत्रण (जैसे, Model Predictive Control) और सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए अत्यंत महत्वपूर्ण है। हालाँकि, पारंपरिक भौतिकी-आधारित (physics-based) मॉडलिंग जटिल वास्तविक दुनिया की गतिशीलता के साथ संघर्ष करती है, जबकि मानक डेटा-संचालित "ब्लैक-बॉक्स" मॉडल अक्सर निम्नलिखित समस्याओं से ग्रस्त होते हैं:

खराब सामान्यीकरण (Poor Generalization): वे तब विफल हो जाते हैं जब रोबोट प्रशिक्षण डेटा से भिन्न स्थितियों में कार्य करता है (distributional shifts)।
अनिश्चितता परिमाणीकरण का अभाव (Lack of Uncertainty Quantification): नियतकालिक (deterministic) मॉडल एक एकल बिंदु अनुमान प्रदान करते हैं, जो एपिस्टेमिक (epistemic) या एलीटोरिक (aleatoric) अनिश्चितता को पकड़ने में विफल रहते हैं, जो सुरक्षा-महत्वपूर्ण कार्यों के लिए महत्वपूर्ण है।
स्केलेबिलिटी (Scalability): प्रत्येक विशिष्ट सिस्टम कॉन्फ़िगरेशन के लिए अलग मॉडल प्रशिक्षित करना अक्षम है।

लेखक सिस्टम आइडेंटिफिकेशन (system identification) को एक इन-कॉन्टेक्स्ट मेटा-लर्निंग (in-context meta-learning) समस्या के रूप में देखते हैं। एक एकल रोबोट के लिए मॉडल प्रशिक्षित करने के बजाय, एक "मेटा-मॉडल" इनपुट-आउटपुट प्रक्षेपवक्र (trajectories) (कॉन्टेक्स्ट) को देखकर संपूर्ण क्लास ऑफ डायनेमिकल सिस्टम्स के शासन नियमों (governing rules) को सीखता है और भविष्य की अवस्थाओं की भविष्यवाणी करता है। मुख्य चुनौती एक ऐसा मेटा-मॉडल विकसित करना है जो वितरण संबंधी बदलावों (distributional shifts) के प्रति मजबूत हो और वास्तविक समय के नियंत्रण के लिए कम्प्यूटेशनल रूप से व्यवहार्य हो।

2. कार्यप्रणाली (Methodology)

लेखक फॉरवर्ड डायनेमिक्स प्रेडिक्शन के लिए नियतकालिक (deterministic) बनाम जनरेटिव (generative) सीक्वेंस मॉडल्स का मूल्यांकन करने वाला एक तुलनात्मक ढांचा प्रस्तावित करते हैं।

A. समस्या का सूत्रकरण (Problem Formulation)

मेटा-लर्निंग सेटअप: मॉडल $M_\phi$ पिछले इनपुट्स/अवलोकनों ( $u_{1:m}, y_{1:m}$ ) के एक कॉन्टेक्स्ट विंडो और भविष्य के कंट्रोल इनपुट्स ( $u_{m:N}$ ) को लेता है ताकि भविष्य के अवलोकनों ( $y_{m:N}$ ) की भविष्यवाणी की जा सके।
उद्देश्य:
- नियतकालिक (Deterministic): पॉइंट एस्टीमेट के लिए मीन स्क्वेयर्ड एरर (MSE) को कम करना।
- जनरेटिव (Generative): सशर्त वितरण $p(y_{m:N} | u_{m:N}, D_{ctx})$ के लॉग-लाइक्लीहुड (log-likelihood) को अधिकतम करना।

B. तुलना किए गए आर्किटेक्चर (Architectures Compared)

अध्ययन चार विशिष्ट आर्किटेक्चर का मूल्यांकन करता है:

RoboMorph (Deterministic Baseline): यह एक ट्रांसफॉर्मर-आधारित एनकोडर-डिकोडर है। यह नियतकालिक रिग्रेशन करता है, जो एक एकल प्रक्षेपवक्र (trajectory) की भविष्यवाणी करता है। यह तेज़ है लेकिन वितरण बदलावों के तहत नाजुक है और इसमें अनिश्चितता मॉडलिंग का अभाव है।
Diffuser (Inpainting Diffusion): एक जेनेरेटिव मॉडल जो U-Net बैकबोन के साथ डिनोइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल (DDPM) का उपयोग करता है। यह इनपुट्स और अवलोकनों के संयुक्त वितरण (joint distribution) को सीखता है। अनुमान (inference) के दौरान, ज्ञात मानों (पिछला कॉन्टेक्स्ट और भविष्य के कंट्रोल्स) को "इनपेंट" (फिक्स्ड) किया जाता है, जबकि मॉडल अज्ञात भविष्य के अवलोकनों को डिनोइज़ करता है। यह समृद्ध मल्टी-मोडल सहसंबंधों को कैप्चर करता है।
CDCNN (Conditioned Diffusion - CNN): FiLM (Feature-wise Linear Modulation) लेयर्स के साथ एक CNN बैकबोन का उपयोग करके कंट्रोल इनपुट्स पर आधारित एक DDPM। यह $p(y_{m:N} | u_{1:N}, D_{ctx})$ को मॉडल करता है। CNN स्थानीय टेम्पोरल स्मूथनेस (temporal smoothness) को लागू करते हैं।
CDT (Conditioned Diffusion - Transformer): यह CDCNN के समान है लेकिन लॉन्ग-रेंज डिपेंडेंसीज को कैप्चर करने के लिए ट्रांसफॉर्मर बैकबोन का उपयोग करता है।

C. प्रशिक्षण और डेटा (Training and Data)

डेटासेट: रैंडमाइज्ड फिजिकल पैरामीटर्स (द्रव्यमान, जड़त्व, घर्षण) और एक्साइटेशन सिग्नल्स (Chirp और Multi-Sinusoidal) के साथ फ्रैंका एमिका पांडा (Franka Emika Panda) रोबोट के सिमुलेशन।
स्केल: IsaacGym में $3 \times 10^5$ से $10^6$ समानांतर सिमुलेशन।
लॉस फंक्शन: डिफ्यूजन मॉडल्स को इंजेक्ट किए गए गॉसियन नॉइज़ को प्रेडिक्ट करने के लिए एक वेटेड MSE लॉस का उपयोग करके प्रशिक्षित किया जाता है, जो कंट्रोल इनपुट के पुनर्निर्माण की तुलना में ऑब्जर्वेशन पुनर्निर्माण को प्राथमिकता देता है।

3. मुख्य योगदान (Key Contributions)

बड़े पैमाने के मेटा-लर्निंग का विस्तार: लेखक सिंगल-सिस्टम आइडेंटिफिकेशन से आगे बढ़कर, रोबोट डायनेमिक्स के लिए बड़े पैमाने के, रैंडमाइज्ड सिमुलेशन सेटिंग में इन-कॉन्टेक्स्ट मेटा-लर्निंग का विस्तार करते हैं।
डायनेमिक्स के लिए डिफ्यूजन का परिचय: वे फॉरवर्ड डायनेमिक्स मेटा-मॉडलिंग के लिए विशेष रूप से दो डिफ्यूजन-आधारित फॉर्मुलेशन (Inpainting और Conditioned) पेश करते हैं और स्टेट-ऑफ-द-आर्ट डिटर्मिनिस्टिक ट्रांसफॉर्मर (RoboMorph) के विरुद्ध उनकी तुलना करते हैं।
वार्म-स्टार्टिंग के माध्यम से रियल-टाइम व्यवहार्यता: वे प्रदर्शित करते हैं कि वार्म-स्टार्टेड सैंपलिंग (प्योर नॉइज़ के बजाय पिछले प्रक्षेपवक्र अनुमान से डिफ्यूजन प्रक्रिया को इनिशियलाइज़ करना) डिफ्यूजन मॉडल्स को महत्वपूर्ण प्रदर्शन हानि के बिना वास्तविक समय के नियंत्रण विलंबता (लगभग 40ms) की बाधाओं को पूरा करने की अनुमति देती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल्स का मूल्यांकन Chirp और Multi-Sinusoidal सिग्नल्स का उपयोग करके इन-डिस्ट्रीब्यूशन (ID) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) परिदृश्यों पर किया गया।

वितरण बदलाव के प्रति मजबूती (Robustness to Distribution Shift):
- RoboMorph: ID सेटिंग्स में अच्छा प्रदर्शन करता है लेकिन OOD परिदृश्यों में, विशेष रूप से जटिल, उच्च-आवृत्ति वाली गतिशीलता के साथ, काफी खराब प्रदर्शन करता है। यह सामान्य डायनेमिक्स सीखने के बजाय विशिष्ट कार्य विविधताओं को याद करने (memorize) की प्रवृत्ति रखता है।
- Diffusion Models: नियतकालिक बेसलाइन की तुलना में OOD परिदृश्यों में काफी बेहतर प्रदर्शन करते हैं। पूर्ण प्रक्षेपवक्र वितरण को मॉडल करके, वे अनदेखे भौतिक मापदंडों और सिग्नल आवृत्तियों के लिए बेहतर सामान्यीकरण करते हैं।
- सर्वश्रेष्ठ प्रदर्शन करने वाला: Inpainting Diffusion (Diffuser) ने उच्चतम सटीकता और मजबूती हासिल की, जो संभवतः इसके पूर्ण संयुक्त इनपुट-ऑब्जर्वेशन वितरण को मॉडल करने की क्षमता के कारण है।
प्रक्षेपवक्र की चिकनाई (Trajectory Smoothness):
- CNN-आधारित डिफ्यूजन मॉडल्स ने अपने स्थानीय इंडक्टिव बायस (inductive biases) के कारण स्वाभाविक रूप से स्मूथ प्रक्षेपवत्र बनाए।
- ट्रांसफॉर्मर-आधारित मॉडल (RoboMorph और CDT) में सेल्फ-अटेंशन मैकेनिज्म में सख्त स्थानीय टेम्पोरल बाधाओं की कमी के कारण कभी-कभी उच्च-आवृत्ति दोलन (jitter) देखे गए।
कंप्यूटेशनल ट्रेड-ऑफ (Computational Trade-offs):
- प्रशिक्षण: डिफ्यूजन मॉडल्स (विशेष रूप से CDT) को नियतकालिक बेसलाइन की तुलना में लंबे प्रशिक्षण समय की आवश्यकता थी।
- अनुमान (Inference): मानक डिफ्यूजन अनुमान धीमा (इटरेटिव डिनोइज़िंग) है। हालांकि, वार्म-स्टार्टिंग ने आवश्यक डिनोइज़िंग स्टेप्स को ~100 (प्योर नॉइज़ से) से घटाकर ~5 कर दिया, जिससे अनुमान विलंबता (latency) घटकर ~40ms हो गई।
- निष्कर्ष: जबकि Diffuser सबसे अधिक अभिव्यंजक (expressive) है, Conditioned Diffusion (CDT/CDCNN) नियंत्रण अनुप्रयोगों के लिए मजबूती और कम्प्यूटेशनल दक्षता के बीच सबसे अच्छा संतुलन प्रदान करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य जनरेटिव AI (डिफ्यूजन मॉडल्स) और क्लासिकल रोबोट कंट्रोल के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि:

जनरेटिव मेटा-मॉडल्स, सिस्टम आइडेंटिफिकेशन के लिए नियतकालिक मॉडल्स की तुलना में श्रेष्ठ हैं, जो वितरण संबंधी बदलावों का सामना करते समय अंतर्निहित अनिश्चितता मात्रा निर्धारण और बेहतर सामान्यीकरण प्रदान करते हैं।
रियल-टाइम कंट्रोल डिफ्यूजन मॉडल्स के साथ व्यवहार्य है यदि वार्म-स्टार्टिंग तकनीकों का उपयोग किया जाए, जो पारंपरिक विलंबता बाधा को दूर करता है।
भविष्य की दिशा: यह शोध पत्र सुझाव देता है कि जनरेटिव मेटा-मॉडल्स मजबूत, डेटा-संचालित मॉडल प्रेडिक्टिव कंट्रोल (MPC) के लिए एक आशाजनक मार्ग हैं और भविष्य के कार्यों को वास्तविक दुनिया के सत्यापन और इन सीखे गए मॉडलों से भौतिक मापदंडों को निकालने पर ध्यान केंद्रित करना चाहिए।

संक्षेप में, यह शोध पत्र तर्क देता है कि जबकि नियतकालिक ट्रांसफॉर्मर तेज़ हैं, डिफ्यूजन-आधारित सीक्वेंस मॉडल्स अनिश्चित, वास्तविक दुनिया के वातावरण में विश्वसनीय रोबोट नियंत्रण के लिए आवश्यक मजबूती और अभिव्यक्ति प्रदान करते हैं, बशर्ते कि वार्म-स्टार्टिंग के माध्यम से अनुमान को अनुकूलित किया जाए।