Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable
यह शोध पत्र हार्नेस हैंडबुक (Harness Handbook) को प्रस्तुत करता है, जो एक व्यवहार-केंद्रित प्रतिनिधित्व और बिहेवियर-गाइडेड प्रोग्रेसिव डिस्क्लोजर (BGPD) विधि है जो उच्च-स्तरीय व्यवहार संबंधी आवश्यकताओं को विशिष्ट सोर्स कोड स्थानों पर स्वचालित रूप से मैप करती है, जिससे लोकलाइजेशन की बाधा दूर होती है और जटिल एआई एजेंट हार्नेस के विकास की दक्षता और गुणवत्ता में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाया है। आपने उसे एक दिमाग दिया (एक विशाल AI मॉडल) और उसे निर्देश दिया, "जाओ मेरा कंप्यूटर ठीक करो!" लेकिन केवल दिमाग ही काफी नहीं है। रोबोट को एक शरीर, एक तंत्रिका तंत्र (nervous system), और इस बात के निर्देशों के सेट की आवश्यकता है कि उसे अपनी उंगलियां कैसे चलानी हैं, पेचकस कैसे पकड़ना है, और यह कैसे पता लगाना है कि उसका काम पूरा हो गया है। AI की दुनिया में, यह "शरीर और तंत्रिका तंत्र" एक हार्नेस (harness) कहलाता है। यह वह सॉफ्टवेयर लेयर है जो AI को बताती है कि कब बोलना है, कब किसी टूल का उपयोग करना है, और यह कैसे याद रखना है कि उसने अभी क्या किया।
अब, कल्पना कीजिए कि आप उस रोबोट को अपग्रेड करना चाहते हैं। शायद आप चाहते हैं कि वह कोई फ़ाइल डिलीट करने से पहले अधिक सावधान रहे, या शायद आप चाहते हैं कि वह अपना काम एक बार के बजाय तीन बार चेक करे। पुराने दिनों में, एक मानव प्रोग्रामर को हजारों लाइनों के कोड के माध्यम से गहराई तक जाना पड़ता, यह समझने की कोशिश में कि रोबोट के तंत्रिका तंत्र में वह "अपना काम चेक करो" वाला नियम कहाँ छिपा है। यह एक विशाल, उलझे हुए ऊन के गोले में एक विशिष्ट नस को खोजने जैसा है जिसके पास कोई नक्शा न हो। कोड अक्सर कई अलग-अलग फाइलों में फैला होता है, अन्य लॉजिक के साथ मिला हुआ होता है, और इसे ट्रैक करना कठिन होता है। यदि आप एक भी छोटा सा स्थान छोड़ देते हैं, तो आपका रोबोट गलती से फाइलें डिलीट कर सकता है। यह पेपर उन छिपे हुए स्थानों को खोजने की निराशाजनक समस्या को हल करता है ताकि हम अपने AI सहायकों को सुरक्षित रूप से अपग्रेड कर सकें।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिसका नेतृत्व रुहान वांग और उनके सहयोगियों ने किया, महसूस किया कि सबसे बड़ी बाधा AI को यह सिखाना नहीं है कि कैसे बदलाव किए जाएं, बल्कि इंसानों (या अन्य AI एजेंटों) को यह समझने में मदद करना है कि बदलाव कहाँ किए जाएं। वे इस समस्या को व्यवहार स्थानीयकरण (behavior localization) कहते हैं। इसे हल करने के लिए, उन्होंने हार्नेस हैंडबुक (Harness Handbook) नामक कुछ आविष्कार किया।
सोचिए कि हार्नेस हैंडबुक सूचनाओं की कोई सूची नहीं है, बल्कि यह रोबोट के व्यवहार के लिए एक यूजर मैनुअल है। जानकारी को "फाइल A, फाइल B, फाइल C" (जैसा कि कोड आमतौर पर संग्रहीत होता है) के आधार पर व्यवस्थित करने के बजाय, हैंडबुक इसे "रोबोट वास्तव में क्या करता है" के आधार पर व्यवस्थित करती है। यह एक गाइडबुक होने जैसा है जो कहती है, "यदि आप बदलना चाहते हैं कि रोबोट 'टास्क कम्पलीट' सिग्नल को कैसे संभालता है, तो यहाँ वे तीन विशिष्ट स्थान हैं जहाँ वह सिग्नल प्रोसेस किया जाता है, और यहाँ बताया गया है कि वे एक-दूसरे से कैसे बात करते हैं।"
टीम ने एक सिस्टम बनाया है जो रोबोट के कोड को पढ़कर और एक स्मार्ट AI का उपयोग करके कनेक्शन का मानचित्र तैयार करके स्वचालित रूप से यह हैंडबुक बनाता है। वे इस मानचित्र का उपयोग करने की विधि को व्यवहार-निर्देशित प्रगतिशील प्रकटीकरण (Behavior-Guided Progressive Progressive Disclosure) कहते हैं। कल्पना कीजिए कि आप एक जटिल घड़ी को ठीक करने की कोशिश कर रहे हैं। 500 गियर और स्प्रिंग्स के ढेर को घूरने के बजाय, आप एक मैनुअल खोलते हैं जो पहले आपको "समय बताने" वाला सेक्शन दिखाता है, फिर "घंटे वाली सुई" वाले गियर पर ज़ूम करता है, और अंत में उस सटीक पेंच को हाईलाइट करता है जिसे आपको घुमाना है। हैंडबुक AI कोड के लिए ऐसा ही करती है: यह सिस्टम के उच्च-स्तरीय अवलोकन से शुरू होती है, और फिर उपयोगकर्ता को कोड की उन विशिष्ट लाइनों तक ले जाती है जिन्हें संपादित करने की आवश्यकता है।
शोधकर्ताओं ने इस विचार का परीक्षण दो वास्तविक दुनिया के AI सिस्टम (Terminus-2 और Codex) पर किया। उन्होंने कोडिंग एजेंटों को सरल अनुरोधों के आधार पर बदलाव करने के लिए कहा जैसे, "रोबोट को कार्य को ग्रेड करने से पहले तीन बार पुष्टि करने के लिए कहें।" उन्होंने दो समूहों की तुलना की: एक समूह को पुराने ढंग से (फाइलों को खोजकर) बदलाव ढूंढना था, और दूसरे समूह ने हार्नेस हैंडबुक का उपयोग किया।
परिणाम स्पष्ट थे। हैंडबुक का उपयोग करने वाले समूह ने सही स्थानों को खोजने में बहुत बेहतर प्रदर्शन किया। उन्होंने कम गलतियाँ कीं, अनजाने में उन चीजों को नहीं बदला जिन्हें उन्हें नहीं बदलना चाहिए था, और उन्होंने यह सब कम कंप्यूटिंग पावर (कम "टोकन", जो AI द्वारा सोचने के लिए खर्च की जाने वाली मुद्रा है) का उपयोग करते हुए किया। हैंडबुक विशेष रूप से तब सहायक रही जब कोड अव्यवस्थित था, कई फाइलों में फैला हुआ था, या सिस्टम के उन हिस्सों में छिपा हुआ था जो शायद ही कभी चलते हैं। वास्तव में, हैंडबुक का उपयोग करने वाले एजेंट सही कोड खोजने में इतने अच्छे थे कि एक "कमजोर" AI मॉडल भी एक "मजबूत" मॉडल के लगभग समान प्रदर्शन कर सका, बस एक नक्शे के होने के कारण।
पेपर सुझाव देता है कि जैसे-जैसे हमारे AI सिस्टम अधिक जटिल होते जा रहे हैं, हम केवल स्मार्ट दिमागों पर निर्भर नहीं रह सकते; हमें बेहतर मानचित्रों की आवश्यकता है। हार्नेस हैंडबुक यह सिद्ध करती है कि यदि हम कोड को फाइलों के स्थान के बजाय सिस्टम क्या करता है के इर्द-गिर्द व्यवस्थित करते हैं, तो हम इन शक्तिशाली एजेंटों को विकसित करना बहुत अधिक सुरक्षित, तेज़ और विश्वसनीय बना सकते हैं। यह ऊन के एक विशाल गोले को सुलझाने के अराजक कार्य को एक अच्छी तरह से प्रकाशित पुस्तकालय के माध्यम से एक सरल, निर्देशित यात्रा में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।