RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents
RODS एक रिवॉर्ड-ड्रिवन ऑनलाइन डेटा सिंथेसिस फ्रेमवर्क को लागू करके मल्टी-टर्न टूल-यूज़ सुदृढीकरण शिक्षण (reinforcement learning) में सूचनात्मक नमूना रिक्तीकरण (informative sample depletion) की बाधा को संबोधित करता है, जो एक प्रशिक्षण पूल को सह-विकसित करने के लिए सीमा-स्तर के कार्यों (boundary-level tasks) की गतिशील रूप से पहचान और पुन: नमूनाकरण करता है, जिससे काफी कम प्रक्षेप पथों (trajectories) के साथ विशाल ऑफलाइन डेटासेट के तुलनीय प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन रोबोट को समस्याओं को हल करने के लिए जटिल उपकरणों (जैसे स्मार्टफोन, कार, या बैंक ऐप) का उपयोग करना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट करके सीखे, गलतियाँ करे और समय के साथ बेहतर बने। इसे शोधकर्ता "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) कहते हैं।
हालाँकि, एक बड़ी समस्या है: रोबोट के पास अभ्यास के लिए अच्छे सवाल खत्म हो जाते हैं।
समस्या: "बहुत आसान / बहुत कठिन" का जाल
अपने रोबोट की सीखने की यात्रा को एक वीडियो गेम की तरह समझें।
- आसान स्तर (The Easy Level): यदि रोबोट को ऐसा कार्य दिया जाता है जिसे वह पहले से जानता है (जैसे "लाइट चालू करना"), तो वह हर बार सफल होता है। वह कुछ भी नया नहीं सीख पाता क्योंकि वहां कोई चुनौती नहीं है।
- असंभव स्तर (The Impossible Level): यदि कार्य बहुत कठिन है (जैसे कि रोबet को यह भी नहीं पता कि पाना कैसे पकड़ना है, उससे पहले ही "एक रॉकेट बनाना"), तो वह हर बार विफल हो जाता है। वह निराश हो जाता है और कुछ भी नहीं सीख पाता क्योंकि उसे पता ही नहीं होता कि शुरुआत कहाँ से करें।
- स्वीट स्पॉट (The Sweet Spot): रोबोट तब सबसे अच्छा सीखता है जब कार्य बिल्कुल सही हो—सफलता या विफलता की 50/50 संभावना के साथ। यहीं पर मस्तिष्क (या AI) सुधार के लिए सबसे उपयोगी "फीडबैक सिग्नल" प्राप्त करता है।
लेख तर्क देता है कि पारंपरिक तरीके अभ्यास समस्याओं की एक स्थिर लाइब्रेरी (Static Library) का उपयोग करते हैं। एक बार जब रोबोट लाइब्रेरी में मौजूद "मध्यम" स्तर की समस्याओं में महारत हासिल कर लेता है, तो लाइब्रेरी बेकार हो जाती है। रोबोट उन समस्याओं को देखते हुए रह जाता है जिन्हें वह पहले से हल कर सकता है (उबाऊ) या जिन्हें वह अभी तक नहीं कर सकता (असंभव)। "अच्छे" सवाल खत्म हो चुके होते हैं।
समाधान: RODS (स्व-जनित जिम)
लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे RODS (रिवॉर्ड-ड्रिवन ऑनलाइन डेटा सिंथेसिस) कहा जाता है। एक स्थिर लाइब्रेरी के बजाय, RODS एक पर्सनल ट्रेनर की तरह है जो एथलीट के प्रदर्शन के आधार पर वास्तविक समय में नए वर्कआउट बनाता है।
RODS इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "बाउंड्री डिटेक्टर" (सही स्तर को खोजना)
RODS लगातार रोबोट के प्रदर्शन पर नज़र रखता है। यह यह देखने के लिए एक विशेष मीट्रिक (जिसे "प्रोग्रेस रिवॉर्ड" कहा जाता है) का उपयोग करता है कि रोबोट कितनी बार सफल होता है।
- यदि रोबोट 100% समय सफल होता है, तो कार्य बहुत आसान है।
- यदि वह 100% बार विफल होता है, तो कार्य बहुत कठिन है।
- RODS 50% वाले ज़ोन की तलाश करता है। यह उन विशिष्ट कार्यों की पहचान करता है जहाँ रोबोट इतना संघर्ष कर रहा है कि वह सीख सके, लेकिन इतना भी नहीं कि वह बेबस हो जाए। ये "बाउंड्री" (सीमा) वाले कार्य हैं।
2. "शेप-शिफ्टर" (नई समस्याएँ बनाना)
एक बार जब RODS एक "बाउंड्री" कार्य ढूंढ लेता है, तो वह रोबोट को वही समस्या दोबारा नहीं देता। यह एक रचनात्मक शेफ (Creative Chef) की तरह कार्य करता है जो एक आदर्श रेसिपी (सीड टास्क) लेता है और उसी संरचना के साथ लेकिन अलग सामग्री के साथ एक नया व्यंजन बनाता है।
- उदाहरण: यदि रोबोट को "पेरिस की फ्लाइट बुक करें और फिर टैक्सी ऑर्डर करें" जैसे कार्य में संघर्ष करना पड़ा, तो RODS एक नया कार्य बनाता है: "लंदन के लिए ट्रेन बुक करें और फिर पिज्जा ऑर्डर करें।"
- कठिनाई (चरणों की संख्या, निर्भरताएँ) बिल्कुल वैसी ही रहती है, लेकिन कहानी बिल्कुल नई होती है। यह रोबोट को कार्य के विशिष्ट उत्तर को रटने के बजाय उसके तर्क को सीखने के लिए मजबूर करता है।
3. "डायनामिक लाइब्रेरी" (शेल्फ को ताज़ा रखना)
RODS एक "रीप्ले बफर" (प्रशिक्षण पूल) का प्रबंधन करता है जो एक स्लाइडिंग विंडो की तरह काम करता है।
- जैसे-जैसे रोबोट किसी कार्य में बेहतर होता जाता है, उस कार्य को पूल से बाहर निकाल दिया जाता है क्योंकि वह अब "बहुत आसान" हो गया है।
- नए, ताज़ा सिंथेसाइज किए गए "बाउंड्री" कार्य उसकी जगह लेने के लिए अंदर आते हैं।
- यह सुनिश्चित करता है कि रोबोट हमेशा अपनी क्षमताओं की सीमा पर प्रशिक्षण ले रहा है, कभी भी उन चीजों पर समय बर्बाद नहीं करता जिन्हें वह पहले से जानता है या उन चीजों पर जिन्हें वह अभी तक नहीं कर सकता।
परिणाम: छोटी लाइब्रेरी, बड़ा दिमाग
इस सिस्टम का परीक्षण केवल 400 मानव-लिखित उदाहरणों के एक बहुत छोटे शुरुआती सेट के साथ किया गया।
- पारंपरिक तरीका: समान परिणाम प्राप्त करने के लिए, अन्य सिस्टमों को 17,000 उदाहरणों की एक विशाल लाइब्रेरी की आवश्यकता थी।
- RODS तरीका: नए, लक्षित अभ्यास प्रश्न लगातार उत्पन्न करके, RODS ने लगभग 20 गुना कम डेटा का उपयोग करके समान (या बेहतर) प्रदर्शन हासिल किया।
निष्कर्ष
लेख का दावा है कि स्थिर समस्याओं की एक बड़ी और बड़ी लाइब्रेरी बनाने के बजाय, हमें एक ऐसा सिस्टम बनाना चाहिए जो हर क्षण AI के लिए चुनौती की एकदम सही मात्रा को गतिशील रूप से बनाता है। यह एक छात्र को निश्चित अध्यायों वाली पाठ्यपुस्तक देने और एक ऐसे ट्यूटर के बीच का अंतर है जो छात्र द्वारा कल गलत की गई चीज़ों के आधार पर हर दिन एक नया, कस्टम क्विज़ लिखता है।
मुख्य बात: RODS "अच्छे अभ्यास खत्म होने" की समस्या को यह समझकर हल करता है कि सबसे अच्छा अभ्यास निश्चित समस्याओं की एक सूची नहीं है, बल्कि एक लगातार बदलता हुआ लक्ष्य है जो शिक्षार्थी के बढ़ते कौशल के साथ चलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।