🤖 machine learning

DF-ExpEnse: Diffusion Filtered Exploration for Sample Efficient Finetuning

DF-ExpEnse एक सैंपल-एफिशिएंट एक्सप्लोरेशन तकनीक है जो प्रीट्रेन जेनरेटिव रोबोटिक पॉलिसियों को फाइनट्यून करने के लिए मल्टीमॉडल मॉडलिंग और क्रिटिक एनसेम्बल्स का लाभ उठाती है ताकि ऑनलाइन डेटा कलेक्शन को ऑप्टिमाइज़ किया जा सके और फ्लीट सेटिंग्स में कोलैबोरेटिव एक्सप्लोरेशन को सक्षम बनाया जा सके।

मूल लेखक: Calvin Luo, Chen Sun, Shuran Song

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Calvin Luo, Chen Sun, Shuran Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक रोबोट है जिसने हजारों वीडियो देखकर पहले से ही कई कौशल सीख लिए हैं (जैसे ब्लॉक को एक के ऊपर एक रखना या चलना)। यह रोबोट एक प्रतिभाशाली छात्र की तरह है जिसने पाठ्यपुस्तक से कड़ी मेहनत करके पढ़ाई की है। अब, आप इसे वास्तविक दुनिया में अभ्यास करने देकर और भी बेहतर कौशल सिखाना चाहते हैं।

वास्तविक दुनिया में अभ्यास करना महंगा और धीमा है। यदि रोबोट केवल यादृच्छिक (random) चीजें करने की कोशिश करता है, तो वह असफल होकर बहुत सारा समय बर्बाद कर देगा। यदि वह केवल वही करता है जो उसे लगता है कि सबसे अच्छा है, तो वह एक ही ढर्रे में फंस सकता है और चीजों को करने के वास्तव में सबसे अच्छे तरीके को कभी नहीं सीख पाएगा।

DF-ExpEnse एक नया "स्मार्ट प्रैक्टिस" (समझदार अभ्यास) तरीका है जिसे रोबोट को कम प्रयासों से तेजी से सीखने में मदद करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ इसके सरल अवधारणाओं में विवरण दिया गया है:

1. "टेस्टिंग मेनू" (डिफ्यूजन फ़िल्टरिंग - Diffusion Filtering)

सामान्य तौर पर, एक रोबोट को अनंत संभावित गतिविधियों में से एक को चुनना होता है (एक निरंतर एक्शन स्पेस)। यादृच्छिक रूप से चुनना एक ऐसे रेस्टोरेंट में सबसे अच्छे व्यंजन को खोजने जैसा है जिसका मेनू अनंत वस्तुओं का है।

DF-Expense इसे अपने रोबोट के मौजूदा "दिमाग" (प्रीट्रेनड डिफ्यूजन पॉलिसी) का उपयोग करके कैंडिडेट मूव्स (संभावित चालों) की एक छोटी, प्रबंधनीय सूची बनाकर हल करता है—जैसे कि एक शेफ द्वारा 3 या 4 बेहतरीन व्यंजनों का "टेस्टिंग मेनू" पेश करना। ये केवल तुक्के नहीं हैं; ये उच्च-गुणवत्ता वाले विकल्प हैं जिन्हें रोबोट का दिमाग आज़माने लायक समझता है।

2. "आलोचकों का पैनल" (एन्सेम्बल अनसर्टेन्टी - Ensemble Uncertainty)

एक बार जब रोबोट के पास अपनी चालों की संक्षिप्त सूची आ जाती है, तो वह वास्तव में किसे करने का निर्णय लेता है?

लालची दृष्टिकोण (The Greedy Approach): बस उस चाल को चुनें जो उसे अभी सबसे अधिक स्कोर देगी। (यह जोखिम भरा है; यह एक "जाल" हो सकता है जो अच्छा दिखता है लेकिन वास्तव में नहीं है)।
DF-Expense दृष्टिकोण: यह एक आलोचकों के पैनल (AI न्यायाधीशों का एक समूह) का उपयोग करके शॉर्टलिस्ट की जांच करता है।
- वे दो प्रश्न पूछते हैं: "यह चाल कितनी अच्छी है?" और "हम उस स्कोर के बारे में कितने निश्चित हैं?"
- यदि न्यायाधीश सभी एक चाल को महान बताते हैं, तो यह एक सुरक्षित दांव है।
- यदि न्यायाधीशों के बीच असहमति है (कुछ इसे महान कहते हैं, अन्य इसे बुरा कहते हैं), तो इसका मतलब है कि रोबोट अनिश्चित (uncertain) है। यह अनिश्चितता वास्तव में एक संकेत है कि वह चाल दिलचस्प है और आज़माने लायक है!

DF-Expense उस चाल को चुनता है जो सबसे अच्छा संतुलन प्रदान करती है: यह संभवतः अच्छी है, लेकिन यह भी कुछ ऐसा है जिसे रोबोट ने अभी तक पूरी तरह से समझा नहीं है। यह एक छात्र द्वारा उस विषय को पढ़ने जैसा है जिसमें वह लगभग कुशल है, बजाय इसके कि वह केवल उसी चीज़ को बार-बार पढ़े जिसे वह पहले से ही पूरी तरह जानता है।

3. "ग्रुप हडल" (फ्लीट नॉर्मलाइजेशन - Fleet Normalization)

कल्पना कीजिए कि आपके पास रोबोटों का एक पूरा बेड़ा (एक टीम) है जो एक ही समय में अभ्यास कर रहा है।

पुराना तरीका: प्रत्येक रोबोट अकेले अभ्यास करता है। वे सभी गलती से एक ही "सुरक्षित" चाल चुन सकते हैं, जिससे टीम का समय बर्बाद होता है क्योंकि वे बार-बार एक ही डेटा एकत्र कर रहे होते हैं।
DF-Expense तरीका: कोई भी चाल चलने से पहले, रोबोट एक-दूसरे से बात करते हैं। वे साझा करते हैं कि उनके "आलोचकों के पैनल" ने उनके विकल्पों के बारे में क्या सोचा।
- यदि रोबोट A एक ऐसी चाल पर विचार कर रहा है जिसे रोबोट B ने पहले ही आज़माया और उसमें महारत हासिल कर ली है, तो रोबोट A को एहसास होगा, "ओह, यह टीम के लिए नया नहीं है," और वह कुछ और चुनेगा।
- यह सुनिश्चित करता है कि पूरी टीम मिलकर विभिन्न और विविध रास्तों का पता लगाए, जिससे उनकी सीखने की प्रक्रिया बहुत अधिक कुशल हो जाती है।

4. "सेफ्टी नेट" (BC-SR)

जैसे-जैसे रोबोट किसी कार्य में बेहतर होते जाते हैं, वे कभी-कभी "आलसी" हो जाते हैं और केवल उन्हीं कुछ चालों को आज़माने लगते हैं जिन्हें वे जानते हैं कि वे काम करती हैं। इसे रोकने के लिए, DF-Expense में एक सेफ्टी नेट है। यह कभी-कभी रोबोट को उसके मूल प्रशिक्षण (अभ्यास शुरू करने से पहले) से एक चाल देखने के लिए मजबूर करता है। यह सुनिश्चित करता है कि रोबोट उन विविध तरीकों को न भूले जिनसे उसे मूल रूप से सिखाया गया था, जिससे उसके विकल्प खुले रहते हैं।

परिणाम

इन तीन विचारों को जोड़कर—एक स्मार्ट शॉर्टलिस्ट बनाना, दिलचस्प अनिश्चितताओं को खोजने के लिए न्यायाधीशों के पैनल का उपयोग करना, और टीम के सहयोग को बढ़ावा देना—DF-Expense रोबोटों को नए कौशल बहुत तेज़ी से सीखने में मदद करता है।

पेपर के प्रयोगों में, DF-Expense का उपयोग करने वाले रोबोटों ने मानक तरीकों वाले रोबोटों की तुलना में कम अभ्यास प्रयासों के साथ वस्तुओं (जैसे कैन उठाना या औजार लटकाना) को नियंत्रित करना (चलना या दौड़ना) सीखा। वे कम डेटा के साथ उच्च सफलता दर तक पहुँचे, जिससे सिद्ध हुआ कि "अभ्यास की मात्रा" से अधिक "अभ्यास की गुणवत्ता" मायने रखती है।

तकनीकी सारांश: DF-ExpEnse

समस्या विवरण

रोबोटिक पॉलिसी सुधार (policy improvement) की सैंपल दक्षता (sample efficiency) में सुधार करना वास्तविक दुनिया में बुद्धिमान एजेंटों को तैनात करने के लिए महत्वपूर्ण है। एक आशाजनक दृष्टिकोण में एजेंटों को प्रीट्रेंड जनरेटिव कंट्रोल पॉलिसी (विशेष रूप से ऑफलाइन बिहेवियर क्लोनिंग से प्राप्त डिफ्यूजन पॉलिसी) के साथ शुरू करना और फिर ऑनलाइन अनुभव के माध्यम से उन्हें रिइन्फोर्समेंट लर्निंग (RL) का उपयोग करके अनुकूलित करना शामिल है। हालांकि, इस प्रक्रिया में एक प्रमुख बाधा ऑनलाइन अनुभव संग्रह चरण के दौरान प्रभावी अन्वेषण (effective exploration) है।

मौजूदा अन्वेषण रणनीतियाँ इस संदर्भ में तीन प्राथमिक चुनौतियों का सामना करती हैं:

अन्वेषण रुचि का निर्धारण (Quantifying Exploration Interest): क्रिया की गुणवत्ता और अनिश्चितता में कमी के बीच संतुलन बनाकर किसी भी मनमानी क्रिया के प्रति एजेंट की रुचि को मौलिक रूप से कैसे मापा जाए।
व्यापहार्य क्रिया चयन (Tractable Action Selection): एक निरंतर क्रिया स्थान (continuous action space) के भीतर सार्थक क्रियाओं की पहचान कैसे की जाए जो अन्वेषण के योग्य हों, जहाँ व्यापक खोज (exhaustive search) अव्यवहारिक है।
सहयोगात्मक बेड़े का अन्वेषण (Collaborative Fleet Exploration): केवल डेटा की मात्रा बढ़ाने के बजाय, सहयोग के माध्यम से एकत्र किए गए अनुभव की गुणवत्ता में सुधार करने के लिए समानांतर रोबोटिक बेड़ों (fleets) का लाभ कैसे उठाया जाए।

कार्यप्रणाली: DF-ExpEnse

लेखक DF-ExpEnse (डिफ्यूजन फिल्टर्ड एक्सप्लोरेशन वाया एनसेम्बल्स) का प्रस्ताव करते हैं, जो ऑनलाइन इन्फरेंस के दौरान अन्वेषणात्मक क्रिया चयन को बढ़ाने के लिए डिज़ाइन की गई एक तकनीक है। यह मौजूदा RL फाइनट्यूनिंग फ्रेमवर्क (जैसे DSRL, ResFiT) के साथ सहजता से एकीकृत होती है जो प्रीट्रेंड डिफ्यूजन पॉलिसी को अपडेट करते हैं। यह विधि तीन मुख्य तंत्रों के माध्यम से कार्य करती है:

1. डिफ्यूजन-फिल्टर्ड कैंडिडेट जनरेशन

निरंतर क्रिया स्थानों की खोज की अव्यवहार्यता को संबोधित करने के लिए, DF-ExpEnse प्रीट्रेंड डिफ्यूजन पॉलिसी ( $\pi_{dp}$ ) की मल्टीमॉडल मॉडलिंग क्षमताओं का लाभ उठाता है। पूरे स्थान की खोज करने के बजाय, एजेंट वर्तमान स्थिति $s$ पर आधारित $M$ कैंडिडेट क्रियाओं का एक व्याहार्य सेट उत्पन्न करता है:
$[a_1, \dots, a_M] \sim \pi_{dp}(a | s)$
यह सेट एक सीमित खोज स्थान के रूप में कार्य करता है जो व्यापक कवरेज प्रदान करता है और साथ ही यह सुनिश्चित करता है कि उम्मीदवारों में स्वीकार्य गुणवत्ता का एक आधार स्तर हो।

2. एनसेम्बल-आधारित अन्वेषण रुचि (UCB-शैली)

सेट से सर्वश्रेष्ठ कैंडिडेट चुनने के लिए, DF-ExpEnse एक क्रिटिक एनसेम्बल ( $Q^{[1\dots K]}$ ) का उपयोग करता है, जिसका उपयोग आमतौर पर पॉलिसी ग्रेडिएंट अपडेट के लिए किया जाता है, ताकि वैल्यू और अनिश्चितता दोनों का अनुमान लगाया जा सके। प्रत्येक कैंडिडेट क्रिया $a_m$ के लिए, एक अन्वेषण रुचि स्कोर $e_m$ की गणना निम्नलिखित का रैखिक संयोजन (linear combination) के रूप में की जाती है:

वैल्यू एस्टीमेशन (Value Estimation): ओवरएस्टिमेशन बायस को कम करने के लिए एनसेम्बल के बीच न्यूनतम भविष्यवाणी।
अनिश्चितता एस्टीमेशन (Uncertainty Estimation): एनसेम्बल भविष्यवाणियों के बीच मानक विचलन (disagreement)।

स्कोर की गणना इस प्रकार की जाती है:
$e_m = \min(Q^{[1\dots K]}(a_m, s)) + \alpha \cdot \text{std}(Q^{[1\dots K]}(a_m, s))$
एजेंट अधिकतम $e_m$ वाली क्रिया का चयन करता है। यह दृष्टिकोण अपर कॉन्फिडेंस बाउंड (UCB) एल्गोरिदम से प्रेरित है, जो एक्सप्लोइटेशन (उच्च मूल्य) और एक्सप्लोरेशन (उच्च अनिश्चितता) के बीच संतुलन बनाता है।

3. बिहेवियर क्लोनिंग सैंपलिंग रेगुलराइजेशन (BC-SR)

फाइनट्यूनिंग के दौरान एजेंट को एक एकल क्रिया मोड की ओर समय से पहले अभिसरित (converge) होने से रोकने के लिए (जो अन्वेषण को कम कर सकता है), लेखक BC-SR पेश करते हैं। कैंडिडेट एक्शन सेट के एक उपसमूह को प्रारंभिक ऑफलाइन-प्रीट्रेंड डिफ्यूजन पॉलिसी ( $\pi_{dp}^{init}$ ) से लिए गए नमूनों के साथ ओवरराइड किया जाता है। यह सुनिश्चित करता है कि कैंडिडेट सेट मूल बिहेवियर क्लोनिंग मॉडल के मल्टीमॉडल प्रायर (priors) को बनाए रखे, जिससे क्रिया विविधता का पतन (collapse) रुक सके।

4. सहयोगात्मक अन्वेषण के लिए फ्लीट नॉर्मलाइजेशन

फ्लीट सेटिंग्स (समानांतर में तैनात कई एजेंटों) में, DF-ExpEnse रियल-टाइम क्रॉस-एजेंट संचार को सक्षम करता है। क्रिया चुनने से पहले, प्रत्येक एजेंट सभी एजेंटों के बेड़े के कैंडिडेट सेट्स से एकत्रित सांख्यिकी (माध्य और मानक विचलन) का उपयोग करके अपने वैल्यू और अनिश्चितता अनुमानों को सामान्य (normalize) करता है।
$\bar{e}_{n,m} = \bar{v}_{n,m} + \alpha \cdot \bar{d}_{n,m}$
यह नॉर्मलाइजेशन एक एजेंट के स्थानीय विकल्पों को वैश्विक बेड़े की स्थिति के संदर्भ में रखता है, जिससे समूह को रेडंडेंट (redundant) रूप से एक ही क्षेत्र का अन्वेषण करने के बजाय विविध, उच्च-मूल्य वाले प्रक्षेप पथों (trajectories) का सामूहिक रूप से अन्वेषण करने के लिए प्रोत्साहित किया जाता है।

मुख्य योगदान

DF-ExpEnse एल्गोरिदम: एक नवीन अन्वेषण तकनीक जो कैंडिडेट फिल्टरिंग के लिए डिफ्यूजन पॉलिसी मल्टीमोडैलिटी को क्रिटिक एनसेम्बल्स के साथ जोड़ती है।
BC-SR रेगुलराइजेशन: प्रारंभिक प्रीट्रेंड पॉलिसी से नमूने इंजेक्ट करके एक्शन कैंडिडेट सेट में मल्टीमॉडल विविधता बनाए रखने का एक तरीका, जो ऑनलाइन फाइनट्यूनिंग के दौरान मोड कोलैप्स को रोकता है।
फ्लीट नॉर्मलाइजेशन: रोबोटिक बेड़ों के लिए सहयोगात्मक अन्वेषण के लिए एक तंत्र जो सामूहिक डेटा गुणवत्ता में सुधार के लिए स्थानीय अन्वेषण हितों को वैश्विक बेड़े के सांख्यिकी के विरुद्ध सामान्य करता है।
सामान्य एकीकरण: यह प्रदर्शन करना कि DF-ExpEnse बिना किसी अतिरिक्त मॉडल घटक जैसे डायनेमिक्स मॉडल की आवश्यकता के विभिन्न RL फाइनट्यूनिंग रणनीतियों (विशेष रूप से DSRAL और ResFiT) के साथ सहजता से एकीकृत हो सकता है।

प्रयोगात्मक परिणाम

लेखकों ने मैनिपुलेशन (RoboMimic, DexMimicGen) और लोकोमोशन (OpenAI Gym) कार्यों में DF-ExpEnse का मूल्यांकन किया, और इसकी तुलना निम्नलिखित से की:

वैनिला फाइनट्यूनिंग (Vanilla Finetuning): बिना उन्नत अन्वेषण के मानक DSRL और ResFiT।
Max-Q सिलेक्शन: एक ग्रीडी बेसलाइन जो उच्चतम वैल्यू कैंडिडेट का चयन करती है (जो $\alpha=0$ के साथ DF-ExpEnse के समान है)।
वैकल्पिक अन्वेषण: E3B (एलिप्टिकल एपिसोडिक बोनस) और Plan2Explore, जो सीखे गए डायनेमिक्स मॉडल पर निर्भर करते हैं।

मुख्य निष्कर्ष:

सैंपल दक्षता: DF-ExpEnse ने समान मात्रा में ऑनलाइन अनुभव टाइमस्टेप दिए जाने पर सभी बेसलाइन्स की तुलना में लगातार उच्च सफलता दर और रिवॉर्ड स्कोर प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies):
- BC-SR: DF-ExpEnse से BC-SR को हटाने से प्रदर्शन में काफी कमी आई, जबकि इसे Max-Q में जोड़ने से प्रदर्शन में सुधार हुआ, जो मोड कोलैप्स को रोकने में इसकी भूमिका की पुष्टि करता है।
- फ्लीट नॉर्मलाइजेशन: पूर्ण सहयोगात्मक दृष्टिकोण की तुलना में फ्लोट नॉर्मलाइजेशन को हटाने से कम सैंपल दक्षता देखी गई, जो समूह-जागरूक अन्वेषण के लाभ को प्रमाणित करता है।
- घटक आकार: प्रदर्शन बड़े क्रिटिक एनसेम्बल्स के साथ बेहतर हुआ (एक संतृप्ति बिंदु तक), और बड़े फ्लीट साइज के साथ भी बेहतर हुआ, जबकि एक्शन कैंडिडेट सैंपल साइज बढ़ाने से घटते प्रतिफल (diminishing returns) देखे गए।
मजबूती (Robustness): विधि ने उन बेसलाइन्स को पछाड़ दिया जिन्हें अतिरिक्त घटकों (जैसे डायनेमिक्स मॉडल) की आवश्यकता थी, जो यह दर्शाता है कि मौजूदा क्रिटिक एनसेम्बल्स का पुन: उपयोग करना सिद्धांतपूर्ण अन्वेषण के लिए पर्याप्त है।

महत्व और दावे

लेखक दावा करते हैं कि DF-ExpEnse प्रीट्रेंड जनरेटिव कंट्रोल पॉलिसी के फाइनट्यूनिंग की सैंपल दक्षता में सुधार के लिए एक सामान्य और बहुमुखी समाधान प्रदान करता है। इसका महत्व इस प्रकार है:

सिद्धांतपूर्ण अन्वेषण: यह जटिल सहायक मॉडलों की आवश्यकता के बिना निरंतर क्रिया स्थानों में गुणवत्ता और अनिश्चितता के बीच संतुलन बनाने का एक व्यवहार्य तरीका प्रदान करता है।
स्केलेबिलिटी: यह केवल डेटा वॉल्यूम के लिए नहीं, बल्कि सहयोगात्मक, नॉर्मलाइज्ड निर्णय लेने के माध्यम से डेटा गुणवत्ता के लिए रोबोटिक बेड़ों का प्रभावी ढंग से लाभ उठाता है।
व्यावहारिकता: यह न्यूनतम आर्किटेक्चरल परिवर्तनों के साथ मौजूदा RL पाइपलाइनों (जैसे DSRL) में सीधे एकीकृत होता है, जो इसे वास्तविक दुनिया के रोबोटिक परिनियोजन के लिए एक व्यावहारिक उपकरण बनाता है जहाँ सैंपल दक्षता सर्वोपरि है।

लेखक निष्कर्ष निकालते हैं कि ऑनलाइन अनुभव संग्रह की गुणवत्ता में सुधार करके, DF-ExpEnse तेजी से और अधिक प्रभावी कौशल सीखने और परिशोधन को सक्षम बनाता है, विशेष रूप से जैसे-जैसे सिम्युलेटर और वास्तविक दुनिया के परिनियोजन में समानांतरकरण क्षमताएं बढ़ती जा रही हैं।