🤖 AI

Flexible Multitask Learning with Factorized Diffusion Policy

यह शोध पत्र एक नवीन मॉड्यूलर डिफ्यूजन पॉलिसी फ्रेमवर्क प्रस्तुत करता है जो जटिल, मल्टीमॉडल रोबोट एक्शन डिस्ट्रीब्यूशन को विशिष्ट घटकों में विभाजित करता है, जिससे पॉलिसी फिटिंग में सुधार होता है, नए कार्यों के लिए लचीला अनुकूलन सक्षम होता है, और कैटास्ट्रोफिक फॉरगेटिंग को कम किया जाता है, साथ ही यह सिमुलेशन और वास्तविक दुनिया दोनों परिवेशों में मौजूदा मोनोलिथिक और मॉड्यूलर बेसलाइन्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Chaoqi Liu, Haonan Chen, Sigmund H. Høeg, Shaoxiong Yao, Yunzhu Li, Kris Hauser, Yilun Du

प्रकाशित 2026-04-27

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Chaoqi Liu, Haonan Chen, Sigmund H. Høeg, Shaoxiong Yao, Yunzhu Li, Kris Hauser, Yilun Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कई अलग-अलग काम करना सिखाने की कोशिश कर रहे हैं: दराज खोलना, लाल घन (cube) उठाना, एक विशिष्ट हुक पर मग लटकाना और कील ठोकना।

समस्या: "स्विस आर्मी नाइफ" का संघर्ष
पारंपरिक रोबोट दिमाग (जिन्हें "मोनोलिथिक पॉलिसीज़" कहा जाता है) एक विशाल स्विस आर्मी नाइफ की तरह होने की कोशिश करते हैं। वे एक ही बड़े, उलझे हुए दिमाग में ये सभी अलग-अलग कौशल सीखने का प्रयास करते हैं। यह कठिन है क्योंकि रोबोट के कार्य बहुत विविध होते हैं। यह एक ही छात्र को एक साथ मास्टर शेफ, एक पेशेवर पियानो वादक और एक रेस कार ड्राइवर बनने के लिए सिखाने जैसा है। छात्र भ्रमित हो जाता है, सब कुछ एक साथ करने की कोशिश करता है, और अंत में उनमें से कोई भी काम ठीक से नहीं कर पाता। वे शायद हथौड़े को चम्मच की तरह "पकड़ने" की कोशिश करेंगे, या दराज को दरवाजे की तरह "खोलने" की कोशिश करेंगे।

समाधान: "विशेषज्ञों की टीम" (FDP)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे फैक्टरइज़्ड डिफ्यूजन पॉलिसी (FDP) कहा जाता है। एक विशाल दिमाग के बजाय, एक विशेषज्ञों की विशेष टीम की कल्पना करें।

विशेषज्ञ (डिफ्यूजन कंपोनेंट्स): रोबोट के पास कई छोटे, विशिष्ट "विशेषज्ञ" हैं।
- विशेषज्ञ A वस्तुओं के पास जाने ("approach") में माहिर है।
- विशेषज्ञ B चीजों को कोमलता से पकड़ने ("grasp") में माहिर है।
- विशेषज्ञ C चीजों को ठोकने ("hammering") या लटकाने ("hanging") में माहिर है।
- विशेषज्ञ D वस्तुओं को संरेखित ("aligning") करने में माहिर है।
- प्रत्येक विशेषज्ञ केवल एक विशिष्ट प्रकार की गति या "उप-कौशल" पर ध्यान केंद्रित करता है।
मैनेजर (द राउटर): जब रोबोट किसी कार्य को देखता है (जैसे, "मग लटकाना"), तो एक स्मार्ट मैनेजर (जिसे "राउटर" कहा जाता है) स्थिति को देखता है। केवल एक विशेषज्ञ को पूरा काम करने के लिए चुनने के बजाय, मैनेजर सभी विशेषज्ञों से सलाह मांगता है।
- मैनेजर कहता है, "विशेषज्ञ A, करीब आने के तरीके के बारे में आप 80% सही हैं। विशेषज्ञ B, पकड़ने के बारे में आप 90% सही हैं। विशेषज्ञ C, कोण के बारे में आप 10% सही हैं।"
- मैनेजर इन सभी सलाहों के टुकड़ों को एक आदर्श अंतिम क्रिया बनाने के लिए मिलाता (mix) है। यह एक कंडक्टर की तरह है जो एक वाद्य यंत्र को पूरा गाना बजाने के लिए कहने के बजाय, विभिन्न वाद्य यंत्रों के मेल से एक सिम्फनी बनाता है।

यह बेहतर क्यों है

स्थिरता (Stability): क्योंकि मैनेजर सभी की सलाह को सुचारू रूप से मिलाता है (एक को चुनकर बाकी को अनदेखा करने के बजाय), रोबोट बहुत तेज़ी से सीखता है और भ्रमित नहीं होता है। यह एक ऐसी टीम की तरह है जहाँ हर कोई योगदान देता है, न कि एक ऐसी टीम की तरह जहाँ एक व्यक्ति दूसरों पर चिल्ला रहा हो।
"भूलने" का कोई डर नहीं (No "Forgetting"): यह इस पेपर की बड़ी जीत है। यदि आप रोबोट को एक नया कौशल सिखाना चाहते हैं (जैसे, "लाइट बल्ब कसना"), तो आपको पूरी टीम को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस उस विशिष्ट कार्य के लिए एक नया विशेषज्ञ नियुक्त करते हैं और उन्हें टीम में शामिल होने देते हैं। पुराने विशेषज्ञ (जो दराज खोलना या मग लटकाना जानते हैं) बिल्कुल वैसे ही रहते हैं। इसका मतलब है कि रोबोट अपने पुराने कौशल को भूले बिना नया कौशल सीख लेता है—यह "कैटास्ट्रोफिक फॉरगेटिंग" नामक समस्या है जिससे अन्य विधियाँ जूझती हैं।
लचीलापन (Flexibility): यदि रोबोट को बहुत जटिल कार्य करने की आवश्यकता है, तो मैनेजर अधिक विशेषज्ञों से अधिक सलाह मांग सकता है। यदि कार्य सरल है, तो वह केवल कुछ विशेषज्ञों पर भरोसा कर सकता है।

वास्तविक दुनिया का प्रमाण
लेखकों ने कंप्यूटर सिमुलेशन और वास्तविक दुनिया दोनों में रोबोट पर इसका परीक्षण किया।

सिमुलेशन में: रोबोट टीम (FDP) ने दराज खोलने, पेग असेंबल करने और छतरियां उठाने जैसे कार्यों में "एकल मस्तिष्क" वाले रोबोट और अन्य "टीम" वाले रोबोटों को पछाड़ दिया।
वास्तविक दुनिया में: उन्होंने एक वास्तविक रोबोट आर्म के साथ इसका परीक्षण किया। जब रोबोट को लाल घन उठाने या मग लटकाने के लिए कहा गया, तो FDP रोबोट अन्य रोबots की तुलना में अधिक सफल और सटीक था। अन्य रोबोट अक्सर चीजों को संभालने में विफल रहे या उन्हें गिरा दिया क्योंकि वे कार्य की जटिलता को नहीं संभाल सके।

मुख्य बात (The Bottom Line)
पेपर का दावा है कि एक जटिल रोबोट मस्तिष्क को विशेषज्ञों की एक मिक्स-एंड-मैच टीम में तोड़कर, रोबोट कई अलग-अलग कार्य तेज़ी से सीख सकते हैं, अपने पुराने कौशल को बेहतर ढंग से याद रख सकते हैं, और पूरे सिस्टम को बदलने की आवश्यकता के बिना नए कार्यों के अनुकूल हो सकते हैं। यह रोबोट को एक भ्रमित सामान्य विशेषज्ञ से एक अत्यधिक कुशल, अनुकूलन योग्य विशेषज्ञ टीम में बदल देता है।

यहाँ शोध पत्र "Flexible Multitask Learning with Factorized Diffusion Policy" (FDP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोटिक्स में मल्टीटास्क इमिटेशन लर्निंग (multitask imitation learning) की चुनौतियों को संबोधित करता है, विशेष रूप से अत्यधिक मल्टीमॉडल और विविध एक्शन डिस्ट्रीब्यूशन (action distributions) को मॉडल करने की कठिनाई को।

मोनोलिथिक मॉडल्स की सीमाएँ (Limitations of Monolithic Models): पारंपरिक सिंगल-नेटवर्क पॉलिसियाँ (जैसे, मानक डिफ्यूजन पॉलिसी) विविध कार्यों में सामान्यीकरण (generalize) करने में संघर्ष करती हैं, जो अक्सर जटिल डिस्ट्रीब्यूशन को अंडरफिट करती हैं या अलग-अलग व्यवहारिक मोड (जैसे, विभिन्न वस्तुओं के लिए अलग-अलग ग्रैस्पिंग रणनीतियाँ) को दर्शाने में विफल रहती हैं।
मौजूदा मॉड्यूलर मॉडल्स की सीमाएँ (Limitations of Existing Modular Models): जबकि मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर कार्यों को विभाजित करने का प्रयास करते हैं, वे निम्नलिखित समस्याओं से ग्रस्त होते हैं:
- प्रशिक्षण अस्थिरता (Training Instability): विशेषज्ञ उपयोग (expert utilization) को संतुलित करने में कठिनाई।
- रूटिंग मुद्दे (Routing Issues): डिस्क्रीट एक्सपर्ट चयन से "रूटिंग असंतुलन" (कुछ विशेषज्ञों का उपयोग कभी नहीं किया जाता, जबकि अन्य का अत्यधिक उपयोग होता है) हो सकता है।
- खराब व्याख्यात्मकता (Poor Interpretability): विशेषज्ञों की भूमिकाएँ अक्सर ओवरलैपिंग या अस्पष्ट होती हैं, और कौशल परतों (layers) में वितरित हो सकते हैं बजाय इसके कि वे विच्छेदित (disentangled) हों।
- कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting): नए कार्यों के अनुकूल होने के लिए अक्सर पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता होती है, जिससे पहले से सीखे गए कौशल खोने का जोखिम रहता है।

2. कार्यप्रणाली: फैक्टरलाइज्ड डिफ्यूजन पॉलिसी (Methodology: Factorized Diffusion Policy - FDP)

लेखक FDP का प्रस्ताव करते हैं, जो एक मॉड्यूलर पॉलिसी आर्किटेक्चर है जो एक्शन डिस्ट्रीब्यूशन को विशिष्ट डिफ्यूजन मॉडल्स के संयोजन (composition) में विभाजित करता है।

A. मुख्य आर्किटेक्चर (Core Architecture)

फैक्टरइजेशन (Factorization): एक एकल पॉलिसी $p(a_t|o_t)$ के बजाय, FDP एक्शन डिस्ट्रीब्यूशन को $N$ घटक डिस्ट्रीब्यूशंस के भारित उत्पाद (weighted product) के रूप में मॉडल करता है:
$p(a_t|o_t) \propto \prod_{i} p_i(a_t|o_t)^{w_{t,i}}$
यहाँ, प्रत्येक $p_i$ एक विशिष्ट डिफ्यूजन मॉडल (विशेषज्ञ) है जो एक अलग व्यवहारिक मोड (उप-कौशल) को कैप्चर करता है, और $w_{t,i}$ ऑब्जर्वेशन-डिपेंडेंट वेट्स हैं।
कंपोजिशनल सैंपलिंग (Compositional Sampling):
- रूटर (Router): एक लाइटवेट MLP ऑब्जर्वेशन $o_t$ लेता है और सभी घटकों के लिए निरंतर भार (continuous weights) $\{w_{t,i}\}$ आउटपुट करता है।
- स्कोर एग्रीगेशन (Score Aggregation): डिस्क्रीट MoE (जो एक विशेषज्ञ चुनता है) के विपरीत, FDP सभी घटकों से स्कोर अनुमानों (लॉग-प्रोबेबिलिटी के ग्रेडिएंट्स) को एकत्रित करता है:
  $\nabla \log p(a_t|o_t) \approx \sum_{i} w_{t,i} \nabla \log p_i(a_t|o_t)$
- डिनोइजिंग प्रक्रिया (Denoising Process): इटरेटिव डिनोइजिंग स्टेप इस भारित स्कोर योग का उपयोग करके एक्शन ट्राजेक्टरी के जेनरेशन को निर्देशित करता है। यह डिस्ट्रीब्यूशन के उत्पाद से सैंपलिंग करने के अनुरूप है, जो प्रभावी रूप से एक्शन जेनरेशन को एक कन्स्ट्रेंट सेटिस्फैक्शन प्रॉब्लम (constraint satisfaction problem) के रूप में फ्रेम करता है।

B. प्रशिक्षण और अनुकूलन (Training and Adaptation)

संयुक्त प्रशिक्षण (Joint Training): सभी डिफ्यूजन कंपोनेंट्स और रूटर को एग्रीगेटेड स्कोर प्रेडिक्शन पर मीन स्क्वेर्ड एरर (MSE) लॉस का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है।
कुशल अनुकूलन (Efficient Adaptation - Upcycling): पूरे मॉडल को फिर से प्रशिक्षित किए बिना एक नए कार्य के अनुकूल होने के लिए:
1. एक नया डिफ्यूजन कंपोनेंट पेश किया जाता है।
2. इसे एक मौजूदा कंपोनेंट से अपसाइक्लिंग (वेट्स कॉपी करना) द्वारा इनिशियलाइज़ किया जाता है।
3. केवल नए कंपोनेंट और रूटर को फाइन-ट्यून किया जाता है; सभी पिछले कंपोनेंट्स को फ्रीज (freeze) कर दिया जाता है।
4. यह कैटास्ट्रोफिक फॉरगेटिंग को रोकता है और ट्रेन करने योग्य पैरामीटर्स की संख्या को काफी कम कर देता है।

3. प्रमुख योगदान (Key Contributions)

नवीन मॉड्यूलर आर्किटेक्चर: FDP पेश किया गया, जो डिस्क्रीट एक्सपर्ट चयन के बजाय निरंतर स्कोर एग्रीगेशन (continuous score aggregation) का उपयोग करता है। यह स्थिर प्रशिक्षण सुनिश्चित करता है, रूटिंग असंतुलन को रोकता है, और घटकों के बीच स्पष्ट विशेषज्ञता को बढ़ावा देता है।
संभाव्यता व्याख्या (Probabilistic Interpretation): इसे एनर्जी-बेस्ड मॉडल्स (EBM) और स्कोर मैचिंग पर आधारित किया गया है, जो एक सिद्धांतपूर्ण फॉर्मूलेशन प्रदान करता है जहाँ कंपोज्ड पॉलिसी व्यवहारिक बाधाओं (behavioral constraints) के प्रतिच्छेदन (intersection) का प्रतिनिधित्व करती है।
स्केलेबल एडैप्टेशन स्ट्रैटेजी: अपसाइक्लिंग और फ्रीजिंग का उपयोग करके एक "सिलेक्टिव ट्यूनिंग" तंत्र प्रस्तावित किया गया, जो न्यूनतम डेटा के साथ कुशल कौशल विस्तार और बिना कैटास्ट्रोफिक फॉरगेटिंग के सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिमुलेशन और वास्तविक दुनिया के परिवेश (UR5e आर्म) दोनों में मजबूत बेसलाइन्स (Monolithic DP, Sparse Diffusion Policy, और MoDE) पर श्रेष्ठ प्रदर्शन प्रदर्शित किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने MetaWorld, RLBench, LIBERO, और वास्तविक दुनिया के रोबोटिक मैनिपुलेशन (UR5e आर्म) पर FDP का मूल्यांकन किया।

मल्टीटास्क प्रदर्शन (Multitask Performance):
- FDP ने 30+ कार्यों में मोनोलिथिक डिफ्यूजन पॉलिसी (DP) और मॉड्यूलर बेसलाइन्स (SDP, MoDE) को लगातार पछाड़ा।
- MetaWorld: FDP ने 74.8% औसत सफलता प्राप्त की, जबकि DP ने 70.8% और SDP ने 69.8% हासिल किया।
- RLBench: FDP ने 63.9% औसत सफलता प्राप्त की, जबकि DP ने 45.6% और SDP ने 42.1% हासिल किया।
- वास्तविक दुनिया (Real-World): FDP ने जटिल कार्यों (जैसे, मग लटकाना, रंगीन क्यूब उठाना) में उच्च सफलता दर दिखाई, जहाँ बेसलाइन्स ओवरफिटिंग या मल्टीमॉडल डिस्ट्रीब्यूशन को कैप्चर करने में असमर्थता के कारण विफल रहे।
कार्य अनुकूलन और स्थानांतरण (Task Adaptation & Transfer):
- डेटा दक्षता (Data Efficiency): सीमित डेटा (10–25 डेमो) के साथ नए कार्यों के अनुकूल होने पर, "ऐड न्यू मॉड्यूल" रणनीति का उपयोग करने वाला FDP, फुल-पैरामीटर फाइन-ट्यूनिंग और पार्शियल फाइन-ट्यूनिंग से बेहतर रहा।
- सतत सीखना (Continual Learning): 12-टास्क कॉन्टिनुअल लर्निंग बेंचमार्क (LIBERO) में, FDP ने नए एक्सपर्ट्स जोड़ते समय उच्च प्रदर्शन बनाए रखा, जबकि अन्य विधियों का प्रदर्शन गिर गया।
- ज्ञान प्रतिधारण (Knowledge Retention): पुराने कंपोनेंट्स को फ्रीज करने से पूर्व के कौशल प्रभावी रूप से सुरक्षित रहे। न्यूनतम रीप्ले बफर (5 डेमो/टास्क) का उपयोग करने से अनुकूलन के बाद भी मॉडल मूल प्रदर्शन का लगभग 100% बनाए रखने में सक्षम रहा।
विश्लेषण और स्केलिंग (Analysis & Scaling):
- कंपोनेंट स्केलिंग: प्रदर्शन में सुधार हुआ जब घटकों की संख्या 2 से बढ़कर 4 हुई, और फिर यह स्थिर (plateaued) हो गया।
- टास्क स्केलिंग: FDP और मोनोलिथिक मॉडल्स के बीच प्रदर्शन का अंतर कार्यों की संख्या बढ़ने के साथ बढ़ता गया, जो FDP की स्केलेबिलिटी को उजागर करता है।
- व्याख्यात्मकता (Interpretability): विज़ुअलाइज़ेशन ने दिखाया कि व्यक्तिगत कंपोनेंट्स शोर स्तरों (noise levels) या मनमानी परतों के बजाय विशिष्ट उप-कौशलों (जैसे, अलाइनमेंट, अप्रोच, ग्रैस्पिंग) में विशेषज्ञता रखते थे।
- इन्फरेंस स्पीड (Inference Speed): FDP "पार्शियल रिकंस्ट्रक्शन" (केवल टॉप- $k$ कंपोनेंट्स का उपयोग करके) का समर्थन करता है, जो केवल ~19% प्रदर्शन गिरावट के साथ इन्फरेंस में 2x की गति वृद्धि प्राप्त करता है।

5. महत्व (Significance)

रोबोटिक लर्निंग: FDP गतिशील वातावरण में रोबोट को तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ उन्हें पुराने कौशल को भूले बिना तेजी से नए कौशल सीखने चाहिए।
स्थिरता (Stability): डिस्क्रीट रूटिंग को निरंतर स्कोर कंपोजिशन से बदलकर, FDP ने उन प्रशिक्षण अस्थिरता मुद्दों को हल किया है जो MoE-आधारित डिफ्यूजन पॉलिसियों को परेशान करते रहे हैं।
व्याख्यात्मकता (Interpretability): फैक्टरइजेशन शोधकर्ताओं को नीति के भीतर विशिष्ट उप-कौशलों (जैसे, "ग्रैस्पिंग" बनाम "अप्रोचिंग") का निरीक्षण और समझने की अनुमति देता है, जिससे डिबगिंग और सुरक्षा सत्यापन में मदद मिलती है।
भविष्य की दिशाएं: यह ढांचा हेट्रोजेनियस मॉड्यूल डिजाइन (मिक्सिंग आर्किटेक्चर) और लाइफलर्निंग सिस्टम के लिए मार्ग प्रशस्त करता है जहाँ रोबोट निरंतर विशेषज्ञता वाली लाइब्रेरी को संचित करते हैं।

संक्षेप में, FDP डिफ्यूजन मॉडल्स की जनरेटिव शक्ति को एक मजबूत, व्याख्यात्मक और अनुकूलन योग्य मॉड्यूलर आर्किटेक्चर के साथ जोड़कर रोबोटिक इमिटेशन लर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।