RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback
यह शोध पत्र RoDiF को प्रस्तुत करता है, जो डिफ्यूजन पॉलिसीज़ के लिए एक सुदृढ़ फाइन-ट्यूनिंग विधि है जो रिवॉर्ड-फ्री डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन को सक्षम करने के लिए एक यूनिफाइड MDP फॉर्मूलेशन का लाभ उठाती है और लॉन्ग-होरिज़ॅन रोबोटिक कार्यों में दूषित मानव फीडबैक को प्रभावी ढंग से संभालने के लिए एक ज्योमेट्रिक हाइपोथीसिस-कटिंग रणनीति का उपयोग करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "RoDiF" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।
बड़ी तस्वीर: एक शोर वाले शिक्षक से रोबोट को सिखाना
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली रोबोट शेफ है जिसने टीवी पर एक मास्टर शेफ को देखकर खाना बनाना सीखा है। रोबोट रेसिपी का पालन करने में बहुत अच्छा है (यह डिफ्यूजन पॉलिसी - Diffusion Policy है)। हालाँकि, कभी-कभी रोबोट ऐसे व्यंजन बनाता है जो "ठीक-ठाक" तो हैं लेकिन बिल्कुल वैसे नहीं हैं जैसा आप चाहते हैं। शायद आप अपना स्टेक 'वेल-डन' पसंद करते हैं, लेकिन रोबोट उसे बार-बार 'मीडियम-रेयर' बनाता रहता है।
इसे ठीक करने के लिए, आप रोबोट को अपनी विशिष्ट पसंद सिखाना चाहते हैं। आप ऐसा दो तरह के भोजन दिखाकर करते हैं और कहते हैं, "मुझे यह वाला ज़्यादा पसंद है" (यह मानवीय फीडबैक - Human Feedback है)।
समस्या:
- रोबोट का दिमाग जटिल है: एक साधारण रेसिपी के विपरीत, यह रोबोट शेफ केवल एक व्यंजन चुनता नहीं है; वह कई छोटे, अदृश्य चरणों में व्यंजन को "पकाता" है (जैसे एक धुंधली फोटो से शोर को धीरे-धीरे हटाकर उसे स्पष्ट बनाना)। मानक शिक्षण विधियाँ इस बहु-चरणीय प्रक्रिया के कारण भ्रमित हो जाती हैं।
- शिक्षक थक गया है: इंसान गलतियाँ करते हैं। कभी आप थके हुए होते हैं, या आप अपना मन बदल लेते हैं, या आप गलती से एक खराब भोजन को "अच्छा" लेबल कर देते हैं। यदि रोबोट इन गलतियों से सीखने की कोशिश करता है, तो वह terrible खाना बनाना शुरू कर सकता है, यह सोचकर कि वास्तव में यही आपकी पसंद थी।
समाधान: RoDiF
लेखकों ने RoDiF (Robust Direct Fine-Tuning) नामक एक नई विधि बनाई है। इसे एक सुपर-स्मार्ट शिक्षण सहायक (teaching assistant) के रूप में समझें जो रोबोट को एक ऐसे शिक्षक से सीखने में मदद करता है जो गलतियाँ कर सकता है।
RoDiF कैसे काम करता है: तीन सरल चरण
1. "एकीकृत मानचित्र" (Unified MDP)
आमतौर पर, रोबोट के आंतरिक खाना पकाने के चरणों और वास्तविक दुनिया के किचन वातावरण को दो अलग-अलग चीजों के रूप में माना जाता है। इससे मानक शिक्षण नियमों को लागू करना कठिन हो जाता है।
- उपमा: कल्पना कीजिए कि आप एक ही समय में शहर में नेविगेट करने की कोशिश कर रहे हैं और साथ ही अपनी कार के अंदर एक पहेली सुलझाने की भी कोशिश कर रहे हैं। यह भ्रमित करने वाला है।
- सुधार: RoDiF एक एकल, विशाल मानचित्र बनाता है जो पहेली सुलझाने के चरणों और ड्राइविंग के चरणों को एक निरंतर यात्रा में जोड़ देता है। यह रोबोट को अपने जटिल मस्तिष्क पर सीधे एक शक्तिशाली नए शिक्षण नियम (जिसे DPO कहा जाता है) को लागू करने की अनुमति देता है बिना रास्ता भटके।
2. "परिकल्पना काटने" का खेल (The "Hypothesis Cutting" Game)
RoDiF का मूल विचार यह है कि रोबोट आपके फीडबैक को कैसे प्रोसेस करता है।
- उपमा: कल्पना कीजिए कि रोबोट के पास हजारों अलग-अलग "व्यक्तित्व सेटिंग्स" (hypotheses) का एक विशाल बॉक्स है। हर बार जब आप कहते हैं, "मुझे भोजन A, भोजन B से अधिक पसंद है," तो यह एक चाकू लेकर उस बॉक्स के एक बड़े हिस्से को काट देने जैसा है जिसमें वे सभी व्यक्तित्व शामिल हैं जिन्होंने भोजन B को चुना होता।
- लक्ष्य: आप "गलत" व्यक्तित्वों को तब तक काटते रहते हैं जब तक कि बॉक्स में केवल "सही" वाला न बच जाए।
3. "रूढ़िवादी काटने वाला" (The "Conservative Cutter" - गलतियों को संभालना)
यह सबसे महत्वपूर्ण हिस्सा है। क्या होगा अगर आपने गलती से सही व्यक्तित्व को काट दिया क्योंकि आपने एक गलती की थी?
- समस्या: मानक विधियों में, एक गलत कट पूरे बॉक्स को नष्ट कर सकता है। यदि आप गलती से कहते हैं "मुझे अच्छा भोजन पसंद नहीं है," तो रोबट अपने सर्वश्रेष्ठ व्यक्तित्व को हमेशा के लिए त्याग सकता है।
- RoDiF का सुधार: RoDiF एक रूढ़िवादी रणनीति (Conservative Strategy) का उपयोग करता है। यह अनिवार्य करने के बजाय कि हर एक कट एकदम सही होना चाहिए, यह पूछता है: "यदि मैं सबसे खराब 20% कट्स (संभावित गलतियों) को अनदेखा कर दूँ, तो क्या सही व्यक्तित्व जीवित रहता है?"
- परिणाम: भले ही आपका 30% फीडबैक गलत (corrupted) हो, RoDiF सभी आपके फीडबैक के "वोटों" को देखता है। यह शोर वाले, विरोधाभासी वोटों को अनदेखा करता है और उस व्यक्तित्व को रखता है जो विश्वसनीय बहुमत के निर्णयों को संतुष्ट करता है। यह एक ऐसे जज की तरह है जो चिल्लाती हुई, गुस्से वाली भीड़ को अनदेखा करता है और केवल शांत, सुसंगत गवाहों की बात सुनता है।
उन्होंने क्या साबित किया?
लेखकों ने ब्लॉक को स्टैक करने, वस्तुओं को छांटने और वस्तुओं को धकेलने जैसे लंबे, जटिल कार्यों को करने वाले रोबोट्स पर इसका परीक्षण किया।
- बेहतर संरेखण (Better Alignment): उन्होंने दिखाया कि RoDiF सफलतापूर्वक रोबोट को ठीक वही करने के लिए निर्देशित कर सकता था जो इंसान चाहता था (जैसे, "पहले लाल ब्लॉक को स्टैक करें"), भले ही रोबोट स्वाभाविक रूप से कुछ और करना चाहता हो।
- बेहतर शोर प्रतिरोध (Superior Noise Resistance): जब उन्होंने जानबूझकर 30% फीडबैक लेबल को बिगाड़ दिया (रोबोट को गलत बात बताई), तो मानक विधियाँ विफल हो गईं और रोबोट भ्रमित हो गया। हालाँकि, RoDiF ने अच्छा प्रदर्शन करना जारी रखा, मानो वह "झूठ के पार देख सकता हो।"
- विभिन्न 'मस्तिष्क' पर काम करता है: उन्होंने तीन अलग-अलग प्रकार के रोबोट "मस्तिष्क" (architectures) पर इसका परीक्षण किया, और यह उन सभी के लिए काम कर गया।
सारांश
RoDiF मानव प्राथमिकताओं का उपयोग करके रोबोट को सिखाने का एक नया तरीका है। यह दो बड़ी समस्याओं को हल करता है:
- यह पता लगाता है कि उन रोबोटों को कैसे सिखाया जाए जो जटिल, बहु-चरणीय तरीकों से सोचते हैं।
- यह मानवीय गलतियों को अनदेखा करने के लिए पर्याप्त मजबूत है। जब आप इसे गलत सलाह देते हैं, तो यह घबराता नहीं है; इसके बजाय, यह शोर को फ़िल्टर करता है और फिर भी सही सबक सीख लेता है।
यह वास्तविक दुनिया के कामों के लिए रोबोट को प्रशिक्षित करने हेतु मानवीय फीडबैक का उपयोग करना बहुत अधिक सुरक्षित और विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।