Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training
यह शोध पत्र Meta-Task प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है जो टर्मिनल टास्क सिंथेसिस को स्वयं एक सत्यापन योग्य टर्मिनल टास्क के रूप में पुनर्व्याख्यायित करता है, जिससे एक एजेंट को Terminal-Bench 2.0 पर मौजूदा तरीकों की तुलना में काफी कम डेटा के साथ बेहतर प्रदर्शन प्राप्त करने के लिए एक वास्तविक कंटेनर वातावरण के भीतर उच्च गुणवत्ता वाले प्रशिक्षण प्रक्षेपवक्रों (trajectories) को पुनरावृत्ति से उत्पन्न करने, निष्पादित करने और फ़िल्टर करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर के कमांड लाइन का उपयोग करना सिखाने की कोशिश कर रहे हैं—वह टेक्स्ट-आधारित स्क्रीन जहाँ आप सॉफ्टवेयर ठीक करने, फ़ाइलों को प्रबंधित करने या जटिल प्रोग्राम चलाने के लिए कमांड टाइप करते हैं। यह आर्टिफिशियल इंटेलिजेंस के लिए एक सुपरपावर है, लेकिन इसे सिखाना वैसा ही है जैसे किसी बच्चे को केवल भोजन की तस्वीरें दिखाकर खाना बनाना सिखाने की कोशिश करना। रोबोट को वास्तव में सब्जियां काटनी होंगी, सूप चखना होगा और यह महसूस करना होगा कि उसने टोस्ट जला दिया है। AI की दुनिया में, यह "खाना बनाना" एक डिजिटल सैंडबॉक्स में होता है जिसे "टर्मिनल" कहा जाता है, और "रेसिपी" को "टास्क" (कार्य) कहा जाता है। लंबे समय तक, शोधकर्ता अपने रोबोटों को प्रशिक्षित करने के लिए पर्याप्त वास्तविक, कठिन कार्य बनाने में संघर्ष करते रहे। या तो उन्होंने वास्तविक दुनिया के कोड से पुराने कार्यों को कॉपी-पेस्ट करने की कोशिश की (जो उबाऊ और दोहराव वाला था) या एक स्मार्ट AI से बस एक टास्क "बनाने" के लिए कहा (जिसके परिणामस्वरूप अक्सर ऐसी रेसिपी निकलीं जिन्हें बनाना असंभव था या जो काम ही नहीं करती थीं)।
यह पेपर इस समस्या को हल करने के एक चतुर नए तरीके को पेश करता है, जिसे Meta-Task कहा जाता है। केवल एक रेसिपी लिखने के लिए AI से पूछने के बजाय, शोधकर्ताओं ने एक "कुकिंग स्कूल" बनाया है जहाँ AI को शेफ बनना पड़ता है। उन्होंने कार्य बनाने की प्रक्रिया को स्वयं एक कार्य में बदल दिया। AI को एक वास्तविक, अलग कंप्यूटर कंटेनर (एक डिजिटल किचन) में डाला जाता है और कहा जाता है: "आपका काम दूसरे AI के लिए एक नया पहेली डिज़ाइन करना है। आपको निर्देश लिखने होंगे, किचन सेटअप करना होगा, समाधान लिखना होगा, और फिर इसे खुद हल करके साबित करना होगा कि यह काम करता है।" यदि पहेली टूट जाती है या समाधान विफल हो जाता है, तो आगे बढ़ने से पहले AI को इसे ठीक करना होगा। यह एक वीडियो गेम की तरह है जहाँ खिलाड़ी को स्तर (level) डिजाइन करना होता है, बाधाएं बनानी होती हैं, और फिर अपने ही स्तर को जीतने के लिए खेलना होता है इससे पहले कि गेम सेव हो।
शोधकर्ताओं ने पाया कि यह "सेल्फ-प्लेइंग" (स्वयं खेलने वाली) विधि एक गेम-चेंजर है। एक वास्तविक कंप्यूटर वातावरण के भीतर अपने स्वयं के कार्यों को उत्पन्न करने और परीक्षण करने के माध्यम से, उन्होंने 3,221 उच्च-गुणवत्ता वाले, सत्यापित प्रशिक्षण उदाहरणों का एक डेटासेट बनाया। जब उन्होंने इन उदाहरणों का उपयोग करके एक मध्यम आकार के AI मॉडल को प्रशिक्षित किया, तो परिणाम आश्चर्यजनक रूप से मजबूत थे। मॉडल मुश्किल से 4% टेस्ट पास करने से लेकर लगभग 32% को हल करने तक उछल गया, जिसने लाखों उदाहरणों का उपयोग करने वाले अन्य तरीकों को भी पीछे छोड़ दिया। पेपर सुझाव देता है कि रहस्य केवल अधिक डेटा होने में नहीं है, बल्कि उस डेटा में है जिसे AI द्वारा कड़ाई से परीक्षण और सत्यापित किया गया है, यह सुनिश्चित करते हुए कि सिखाया गया हर सबक वास्तव में हल करने योग्य और वास्तविक है।
"शेफ" जो अपना मेनू खुद बनाता है
यह समझने के लिए कि यह इतना बड़ी बात क्यों है, आइए देखें कि पुराना तरीका कैसे काम करता था। कल्पना कीजिए कि आप एक छात्र को कार का इंजन ठीक करना सिखाना चाहते हैं। पहला तरीका यह था कि आप एक कबाड़खाने में जाएं, बहुत सारी टूटी हुई कारें ढूंढें, और कहें, "यहाँ, इन्हें ठीक करने की कोशिश करो।" शोधकर्ता ऐसा ही करते थे: वे बग्स खोजने के लिए वास्तविक कोड रिपॉजिटरी से डेटा निकालते थे। समस्या क्या थी? अधिकांश "टूटी हुई कारें" केवल मामूली खरोंचें (साधारण बग) थीं, और कबाड़खाना एक ही मेक और मॉडल से भरा हुआ था। छात्र कभी ट्रांसमिशन या इंजन ब्लॉक को ठीक करना नहीं सीख पाता था क्योंकि वे कार्य बहुत दुर्लभ या बहुत अव्यवस्थित थे।
दूसरा तरीका यह था कि एक स्मार्ट AI से पूछा जाए, "कृपया मेरे लिए कार मरम्मत का एक कार्य आविष्कार करें।" AI एक विवरण लिखेगा जैसे, "इंजन ठीक करें," और शायद एक नकली समाधान भी लिख देगा। लेकिन यहाँ पेच यह है: AI केवल अनुमान लगा रहा था। उसके पास वास्तव में कार, रिंच या गैरेज नहीं था। वह कार ठीक करने की एक कहानी लिख रहा था। अक्सर, कहानी कागज पर तो सही लगती थी, लेकिन यदि आप वास्तव में इसे करने की कोशिश करते, तो इंजन शुरू नहीं होता, या रिंच फिट नहीं बैठता। वह कार्य एक "हैलुसिनेशन" (भ्रम) था—एक सुंदर झूठ जिसे निष्पादित नहीं किया जा सकता था।
Meta-Task एक पूरी तरह से स्टॉक किए गए, वास्तविक किचन में AI को "शेफ" बनाकर खेल बदल देता है। शोधकर्ताओं ने केवल AI को मेनू लिखने के लिए नहीं कहा; उन्होंने उसे एक वास्तविक किचन (एक Docker कंटेनर) दिया और कहा, "एक नया व्यंजन बनाओ, उसे पकाओ, चखो, और यदि वह खराब है, तो उसे तब तक ठीक करो जब तक वह एकदम सही न हो जाए।"
यहाँ Meta-Task पाइपलाइन चरण-दर-चरण कैसे काम करती है, यह दिया गया है:
- सेटअप (किचन): शोधकर्ता एक डिजिटल किचन बनाते हैं जो एक टेम्पलेट के साथ आता है। इसमें एक खाली रेसिपी बुक (
instruction.md), सामग्री की एक सूची (Dockerfile), और एक टेस्ट-टेस्टर (tests) होता है। - चुनौती (ऑर्डर): AI को एक ऑर्डर मिलता है। यह कह सकता है, "डेटाबेस को ठीक करने के बारे में एक टास्क बनाएं," या "एक नेटवर्क को सुरक्षित करने के बारे में एक टास्क बनाएं।" AI को यह तय करना होगा कि सटीक रूप से समस्या क्या है, यह कितनी कठिन होनी चाहिए, और इसका समाधान क्या दिखता है।
- कुकिंग (निष्पादन): यही जादू वाला हिस्सा है। AI केवल रेसिपी नहीं लिखता; वह वास्तव में कोड चलाता है। वह वातावरण सेट करता है, समाधान लिखता है, और फिर टेस्ट चलाता है। यदि टेस्ट विफल हो जाता है (जैसे व्यंजन जल गया हो), तो AI टर्मिनल में त्रुटि संदेश देखता है, अपनी गलती पहचानता है, और कोड को ठीक करने के लिए वापस जाता है। यह प्रक्रिया तब तक चलती है जब तक कि व्यंजन एकदम सही न हो जाए।
- गुणवत्ता नियंत्रण (जज): एक बार जब AI ने एक परफेक्ट टास्क बना लिया है, तो एक दूसरा "जज" AI पूरी प्रक्रिया को देखता है। वह जाँचता है: "क्या शेफ ने वास्तव में व्यंजन पकाया, या उसने केवल उत्तर कुंजी देख ली? क्या उसने कोई शॉर्टकट लिया?" यदि शेफ ने धोखाधड़ी की या कार्य बहुत आसान था, तो पूरे कार्य को खारिज कर दिया जाता है।
क्यों यह मायने रखता है: मात्रा से अधिक गुणवत्ता
पेपर दिखाता है कि यह तरीका अविश्वसनीय रूप से कुशल है। शोधकर्ताओं ने लगभग 15,000 कार्य उत्पन्न किए, लेकिन सभी कुकिंग और गुणवत्ता जांचों के बाद, उन्होंने केवल 3,221 बेहतरीन कार्यों को रखा। आप सोच सकते हैं, "अन्य AI मॉडल जो लाखों उदाहरणों का उपयोग करते हैं, उनकी तुलना में यह बहुत कम है।" लेकिन जब उन्होंने अपने AI को केवल इन 3,221 उच्च-गुणवत्ता वाले उदाहरणों पर प्रशिक्षित किया, तो परिणाम चौंकाने वाले थे।
- एक 14-बिलियन-पैरामीटर वाला मॉडल (एक मध्यम आकार का मस्तिष्क) ने अपनी सफलता दर 5.2% से बढ़ाकर 22.5% कर दी।
- एक 32-बिलियन-पैरामीटर वाला मॉडल 4.1% से उछलकर 31.8% पर पहुँच गया।
इसे संदर्भ में रखने के लिए, 32-बिलियन मॉडल ने इस छोटे से डेटासेट पर प्रशिक्षण प्राप्त करके, 490,000 उदाहरणों पर प्रशिक्षित अन्य मॉडलों को पीछे छोड़ दिया। यह एक ऐसे छात्र की तरह है, जिसने केवल 3,000 परफेक्ट, सत्यापित अभ्यास समस्याओं का अध्ययन करने के बाद, 500,000 रैंडम, आधे-अधूरे अभ्यास समस्याओं को रटने वाले छात्र को हरा दिया।
पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि आपको बस अधिक डेटा की आवश्यकता है। उन्होंने पाया कि यदि डेटा "हैलुसिनेटेड" (बिना वास्तविक परीक्षण के बनाया गया) है या यदि AI शॉर्टकट लेता है (जैसे उत्तर कुंजी पढ़ना), तो अधिक डेटा जोड़ना वास्तव में नुकसान पहुँचाता है। मुख्य बात एक्जीक्यूशन ग्राउंडिंग (निष्पादन आधार) है। क्योंकि AI को यह साबित करने के लिए एक वास्तविक टर्मिनल में कोड चलाना पड़ा कि उसका कार्य काम करता है, इसलिए डेटा वास्तविक, सत्यापन योग्य और झूठ से मुक्त था।
"सेल्फ-प्लेइंग" वीडियो गेम सादृश्य
इसे एक ऐसे वीडियो गेम की तरह सोचें जहाँ खिलाड़ी ही गेम डिजाइनर भी है। अधिकांश AI प्रशिक्षण में, गेम डिजाइनर (शोधकर्ता) खिलाड़ी (AI) को उनके द्वारा बनाया गया एक लेवल सौंपते हैं। कभी-कभी लेवल टूटा हुआ होता है, या खिलाड़ी बॉस को छोड़ने के लिए किसी ग्लिच (त्रुटि) का उपयोग करता है।
Meta-Task में, खिलाड़ी को बताया जाता है: "एक नया लेवल डिजाइन करो। दीवारें बनाओ, दुश्मनों को रखो, और फिर उस लेवल को खेलो ताकि यह सुनिश्चित हो सके कि इसे जीता जा सकता है। यदि आप फंस जाते हैं, तो लेवल को फिर से डिजाइन करें। यदि आपको कोई ग्लिच मिलता है, तो उसे ठीक करें। केवल तभी जब आप अपने ही लेवल को पूरी तरह से जीत सकें, तो उसे गेम में जोड़ा जाएगा।"
यह सुनिश्चित करता है कि गेम का हर लेवल निष्पक्ष, हल करने योग्य और चुनौतीपूर्ण है। AI उन चुनौतियों को डिजाइन करके सीखता है जिनका सामना उसे अंततः करना पड़ेगा, जिससे वह गेम के नियमों को गहराई से समझने के लिए मजबूर होता है।
परिणाम और सीमाएँ
शोधकर्ताओं ने अपने नए AI का परीक्षण Terminal-Bench 2.0 नामक एक प्रसिद्ध बेंचमार्क पर किया, जो AI टर्मिनल कौशल के लिए "ओलंपिक्स" की तरह है। उनके मॉडल ने, केवल 3,221 उदाहरणों पर प्रशिक्षित होकर, 31.8% स्कोर किया, जो एक बड़ी छलांग है। इसने उन बड़े मॉडलों को भी मात दी जिन्हें विशाल डेटासेट पर प्रशिक्षित किया गया था।
हालाँकि, पेपर इस बात को ध्यान में रखते हुए सावधानी बरतता है कि यह क्या नहीं करता है। वर्तमान में यह सिस्टम केवल इन डिजिटल कंटेनरों के भीतर चल रहे लिनक्स (Linux) कंप्यूटरों के साथ काम करता है। यह अभी विंडोज (Windows) या मैक (Mac) पर काम नहीं करता है, क्योंकि इन सिस्टमों के नियम और उपकरण अलग हैं। इसके अलावा, कार्यों के लिए "सीड्स" (क्या बनाना है इसके विचार) अभी भी मनुष्यों द्वारा चुने गए थे, हालाँकि वास्तविक कार्य बनाने का भारी काम AI ने ही किया। लेखक सुझाव देते हैं कि भविष्य में, वे कार्यों को और अधिक विविध बनाने के लिए सीधे वास्तविक दुनिया के डेवलपर फ़ोरम से विचार ले सकते हैं।
अंततः, Meta-Task साबित करता है कि जब आप एक AI को खेलने के लिए एक वास्तविक वातावरण देते हैं, और उसे अपने स्वयं के कार्यों को बनाने और परीक्षण करने के लिए जिम्मेदार बनाते हैं, तो वह अनवेरिफाइड (असत्यापित) डेटा के पहाड़ को खिलाने की तुलना में तेजी से और बेहतर सीखता है। यह "बताकर सिखाने" से "करके सिखाने" की ओर एक बदलाव है, और ऐसा लगता है कि स्मार्ट, अधिक सक्षम AI एजेंट बनाने का यही असली सीक्रेट सॉस है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।