Recursive Synthesis for Long-Horizon Terminal Tasks
यह शोध पत्र रिकर्सिव सिंथेटिक टर्मिनल टास्क (RST) को प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है जो कम लागत पर 37,484 उच्च-गुणवत्ता वाले उदाहरण उत्पन्न करने के लिए लॉन्ग-होरिज़न टर्मिनल-एजेंट कार्यों को रिकर्सिव रूप से जनरेट और सत्यापित करता है, जिससे घटते प्रतिफल के संकेत दिखाए बिना चुनौतीपूर्ण बेंचमार्क पर फाइन-ट्यून्ड और एजेंटिक मॉडल्स के प्रदर्शन में महत्वपूर्ण वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मास्टर मैकेनिक बनना सिखा रहे हैं। आप केवल यह नहीं चाहते कि वह यह जाने कि रिंच (wrench) कैसा दिखता है; आप वास्तव में चाहते हैं कि वह एक कार का इंजन ठीक करे जो पहले कभी खराब नहीं हुआ हो। यह "AI एजेंट्स" की दुनिया है—स्मार्ट कंप्यूटर प्रोग्राम जो आपसे केवल चैट ही नहीं करते, बल्कि वास्तव में काम भी करते हैं, जैसे कमांड टाइप करना, फाइलें मूव करना और सॉफ्टवेयर बग्स को ठीक करना। बड़ी समस्या यह है कि ये रोबट लंबे, जटिल कामों में बहुत खराब होते हैं। यदि आप उनसे घर बनाने के लिए कहते हैं, तो वे शायद एक ईंट बिछाएंगे और फिर भ्रमित हो जाएंगे। उन्हें बेहतर तरीके से सिखाने के लिए, हमें हजारों अभ्यास समस्याओं की आवश्यकता है जहाँ रोबोट घर बनाने की कोशिश करता है, विफल होता है, सुधारा जाता है, और फिर से प्रयास करता है। लेकिन इन अभ्यास समस्याओं को बनाना एक दुस्वप्न है। यदि आप इसे हाथ से लिखते हैं, तो इसमें बहुत अधिक खर्च आता है। यदि आप किसी कंप्यूटर को इसे लिखने के लिए कहते हैं, तो वह अक्सर ऐसे नियम बना देता है जो टूल्स (औजारों) से मेल नहीं खाते, या एक ऐसा पहेली बना देता है जिसे हल करना असंभव हो। यह एक शेफ से केक की रेसिपी लिखने के लिए कहने जैसा है, लेकिन रेसिपी में ऐसी सामग्री का उल्लेख है जो रसोई में मौजूद ही नहीं है, या ओवन खराब है।
यहाँ एक नई विधि आती है जिसे रिकर्सिव सिंथेटिक टर्मिनल टास्क (RST) कहा जाता है। इसे रोबोट प्रशिक्षण पहेलियों को बनाने के लिए एक "डिजिटल इवोल्यूशन मशीन" के रूप में सोचें। इंसानों द्वारा हर एक समस्या लिखने के बजाय, शोधकर्ताओं ने 639 सत्यापित, काम करने वाली पहेलियों (जो "बीज" या seeds हैं) के एक छोटे ढेर से शुरुआत की। फिर, उन्होंने एक शक्तिशाली AI का उपयोग किया जो एक शरारती लेकिन प्रतिभाशाली गेम डिज़ाइनर की तरह कार्य करता था। इस AI ने एक काम करने वाली पहेली को देखा, समाधान में एक नया, कठिन चरण जोड़ा (जैसे इंजन में एक नया गियर जोड़ना), और फिर नए, कठिन संस्करण से मेल खाने के लिए निर्देशों और "उत्तर कुंजी" (answer key) को तुरंत अपडेट किया। महत्वपूर्ण रूप से, नई पहेली को सहेजने से पहले, उसे यह देखने के लिए एक डिजिटल सैंडबॉक्स में डाला गया—एक सुरक्षित, अलग कंप्यूटर कमरा—कि क्या वह वास्तव में काम करती है। यदि समाधान विफल रहा, तो पहेली को फेंक दिया गया। यदि वह काम कर गया, तो उसे रखा गया और अगले और भी कठिन दौर की पहेलियों के लिए बीज के रूप में उपयोग किया गया। शोधकर्ताओं ने इस लूप को 15 बार चलाया। अंत में, उन्होंने लगभग 38,000 नई, सत्यापित पहेलियाँ बनाईं। सबसे अच्छी बात यह है कि हर दौर के साथ पहेलियाँ वास्तव में कठिन होती गईं। बीच वाली पहेली को हल करने के लिए 67 लाइनों के कोड से बढ़कर 374 लाइनें लगने लगीं। रोबोट को टाइप करने वाले कमांड की संख्या 40 से बढ़कर 244 हो गई।
परिणाम नाटकीय थे। जब उन्होंने एक शीर्ष स्तर के AI सॉल्वर का इन पहेलियों पर परीक्षण किया, तो इसकी सफलता दर आसान, पहले दौर की पहेलियों पर 90% से गिरकर 15वें दौर में मात्र 2.5% रह गई। इसने साबित कर दिया कि सिस्टम केवल लंबे निर्देश नहीं बना रहा था; यह वास्तव में ऐसे कार्य बना रहा था जिनमें बहुत गहरी सोच और अधिक चरणों की आवश्यकता थी। लेकिन असली जादू तब हुआ जब उन्होंने इन पहेलियों का उपयोग एक अलग AI मॉडल (Qwen3.5) को प्रशिक्षित करने के लिए किया। इन पहेलियों द्वारा उत्पन्न प्रक्षेप पथों (trajectories - यानी चरण-दर-चरण प्रयासों) पर प्रशिक्षण के बाद, मॉडल वास्तविक दुनिया के टर्मिनल कार्यों को हल करने में काफी बेहतर हो गया। मानक परीक्षणों पर, इसका प्रदर्शन 10 अंक तक बढ़ गया, और और अधिक सुदृढीकरण शिक्षण (reinforcement learning) के साथ, यह परीक्षण के आधार पर 20% से 41% तक सुधर गया। सबसे रोमांचक खोज यह थी कि सिस्टम ने उलटा (nonsense) बनने या एक ही तरह के पैंतरे दोहराने के बिना, यहाँ तक कि 15 दौर के कठिन होने के बाद भी, कोई संकेत नहीं दिखाया कि वह रुकने वाला है। यह सुझाव देता है कि हम AI एजेंट्स के लिए उच्च-गुणवत्ता वाले प्रशिक्षण डेटा की एक अनंत आपूर्ति उत्पन्न कर सकते हैं, जिससे मानव शिक्षण की महंगी, धीमी प्रक्रिया को एक तेज़, स्वचालित और स्केलेबल विकास में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।