What makes a harness a harness: necessary and sufficient conditions for an agent harness
यह शोध पत्र जनरेटिव एआई में "एजेंट हार्नेस" (agent harness) के ढीले और बहुअर्थी उपयोग को एक वैचारिक वंशावली और आवश्यक एवं पर्याप्त शर्तों के साथ एक परिचालन परिभाषा प्रदान करके संबोधित करता है, ताकि एजेंट हार्नेस को फ्रेमवर्क, SDK और इवैल्यूएटर्स जैसी संबंधित अवधारणाओं से सुसंगत रूप से अलग किया जा सके, जिससे इंजीनियरिंग अभ्यास और वैज्ञानिक तुलना के लिए एक साझा शब्दावली स्थापित की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शक्तिशाली, जंगली घोड़ा है। यह घोड़ा अविश्वसनीय रूप से मजबूत है और तेज दौड़ सकता है, लेकिन इसके पास कोई दिशा नहीं है। यदि आप इसे बस खुला छोड़ देते हैं, तो यह भाग सकता है, गोल-गोल घूम सकता है, या किसी गड्ढे में फंस सकता है। इसमें काम करने की शक्ति है, लेकिन उपयोगी काम करने के लिए इसमें नियंत्रण की कमी है।
यह शोध पत्र उस हार्नेस (Harness - लगाम/साजो-सामान) के बारे में है जो उस जंगली घोड़े को एक उपयोगी कार्यकर्ता में बदल देता है।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, "घोड़ा" एक लार्ज लैंग्वेज मॉडल (LLM) (जैसे कोड लिखने वाले टूल्स के पीछे का दिमाग) है। यह स्मार्ट और शक्तिशाली है, लेकिन अपने आप में, यह केवल एक टेक्स्ट जनरेटर है। यह वास्तव में वास्तविक दुनिया में काम करना नहीं जानता, जैसे कि कंप्यूटर बग को ठीक करना या किसी फाइल को एडिट करना, जब तक कि कोई इसे पालन करने के लिए एक संरचना न दे।
वह संरचना एजेंट हार्नेस (Agent Harness) कहलाती है।
एजेंट हार्नेस क्या है?
इस पेपर के लेखक ने देखा कि लोग "हार्नेस" शब्द का उपयोग कई अलग-अलग चीजों के लिए कर रहे हैं। कभी वे पूरे उत्पाद को हार्नेस कहते हैं; कभी वे परीक्षण उपकरण (testing tool) को हार्नेस कहते हैं; कभी वे इसे एक साधारण प्लगइन के साथ भ्रमित कर देते हैं। यह भ्रम इंजीनियरों के लिए विभिन्न AI टूल्स की तुलना करना या यह जानना कठिन बना देता है कि कौन से वास्तव में सुरक्षित और विश्वसनीय हैं।
लेखक का लक्ष्य एक स्पष्ट, सख्त परिभाषा—एक "नियम पुस्तिका"—बनाना था, ताकि यह तय किया जा सके कि वास्तव में क्या एक हार्नेस है और क्या नहीं।
एक असली हार्नेस के चार नियम
पेपर तर्क देता है कि किसी सिस्टम को सच्चा "एजेंट हार्नेस" होने के लिए उसमें चार विशिष्ट भाग होने चाहिए। यदि इसमें एक भी भाग गायब है, तो यह हार्नेस नहीं है; यह कुछ और है।
इन चार भागों को घोड़े के साजो-सामान पर लगे आवश्यक पट्टों और बकलों के रूप में सोचें:
द लूप (दिमाग का चक्र):
सिस्टम केवल एक उत्तर देकर रुक नहीं सकता। इसे एक निरंतर चक्र में होना चाहिए: सोचो → कार्य करो → अवलोकन करो → फिर से सोचो।- उपमा: यह एक ड्राइवर की तरह है जो सड़क को देखता है, स्टीयरिंग घुमाता है, शीशे में देखता है, और फिर से स्टीयरिंग को एडजस्ट करता है। यदि सिस्टम केवल एक वाक्य लिखता है और रुक जाता है, तो यह हार्नेस नहीं है; यह केवल एक टाइपराइटर है।
द टूल इंटरफेस (हाथ):
AI को वास्तव में दुनिया को "छूने" के लिए एक तरीके की आवश्यकता है। उसे फाइलों को खोलने, कमांड चलाने या इंटरनेट ब्राउज़ करने के लिए टूल्स की आवश्यकता है।- उपमा: एक घोड़े को गाड़ी चलाने के लिए लगाम और बिट (bit) की आवश्यकता होती है। यदि AI केवल एक फाइल को ठीक करने के बारे में बात कर सकता है लेकिन वास्तव में फाइल को खोल या बदल नहीं सकता, तो उसके पास हार्नेस नहीं है।
कॉन्टेक्स्ट मैनेजमेंट (स्मृति/याददाश्त):
जैसे-जैसे AI काम करता है, वह बहुत सारी जानकारी एकत्र करता है। हार्नेस को यह तय करना चाहिए कि उसकी "शॉर्ट-टर्म मेमोरी" में क्या रखना है और किसे फेंक देना है।- उपमा: कल्पना कीजिए कि आप 10,000 टुकड़ों को अपने हाथों में पकड़कर एक पहेली सुलझाने की कोशिश कर रहे हैं। आप उन सभी को गिरा देंगे। एक हार्नेस एक स्मार्ट ऑर्गनाइज़र की तरह काम करता है जो केवल उन्हीं टुकड़ों को रखता है जिनकी आपको अगले कदम के लिए आवश्यकता है, और बाकी को हटा देता है ताकि AI अभिभूत (overwhelmed) न हो जाए।
कंट्रोल मैकेनिज्म (सुरक्षा ब्रेक):
यह सबसे महत्वपूर्ण हिस्सा है। हार्नेस के पास यह जांचने का तरीका होना चाहिए कि AI सच बोल रहा है या कुछ खतरनाक कर रहा है, बिना केवल AI की बात पर भरोसा किए।- उपमा: यदि घोड़ा कहता है, "मैं चट्टान के किनारे रुक गया," तो आप केवल उस पर विश्वास नहीं करते। आप किनारे पर देखते हैं ताकि पुष्टि की जा सके। एक हार्नेस में "ब्रेक" और "चेकपॉइंट्स" (जैसे कोई टेस्ट चलाना या किसी खतरनाक कार्य के लिए मानव की स्वीकृति लेना) होते हैं ताकि यह सुनिश्चित किया जा सके कि AI ने वास्तव में वही किया जो उसने दावा किया था।
क्या हार्नेस नहीं है?
पेपर इन चार नियमों का उपयोग करके एक रेखा खींचता है और हार्नेस को अन्य चीजों से अलग करता है जो इसके समान दिखते हैं:
- एजेंट फ्रेमवर्क (Agent Framework): यह कई घोड़ों को बनाने के ब्लूप्रिंट की तरह है। यह एजेंटों की टीमों को व्यवस्थित करने में मदद करता है, लेकिन यह आवश्यक रूप से एक अकेले एजेंट को अपने आप काम करने में मदद नहीं करता है।
- एसडीके (SDK - सॉफ्टवेयर डेवलपमेंट किट): यह केवल कच्चे हिस्सों का एक बॉक्स (जैसे चमड़े के पट्टों का एक बॉक्स) है। यह आपको एक हार्नेस बनाने के लिए उपकरण देता है, लेकिन यह हार्नेस नहीं है जब तक कि आप वास्तव में इसे जोड़कर चला न दें।
- आईडीई प्लगइन (IDE Plugin - जैसे एक साधारण ऑटो-कंप्लीट): यह एक ऐसे घोड़े की तरह है जो आपको तब धक्का देता है जब आप अटक जाते हैं। यह अगला शब्द सुझाता है, लेकिन यह कोई कार्य नहीं लेता, मार्ग की योजना नहीं बनाता और गाड़ी को फिनिश लाइन तक नहीं ले जाता।
- इवलューशन हार्नेस (Eval Harness - परीक्षण उपकरण): यह फिनिश लाइन पर खड़ा जज है। यह घोड़े को दौड़ते हुए देखता है और दौड़ खत्म होने के बाद उसे स्कोर देता है। एक असली हार्नेस वह गियर है जो घोड़े पर होता है जो उसे दौड़ के दौरान सुरक्षित रूप से दौड़ने में मदद करता है।
- ऑर्केस्ट्रेटर (Orchestrator): यह एक निश्चित ट्रैक पर चलने वाली ट्रेन है। यह स्टेशन A से B से C तक जाती है, चाहे जो हो। एक हार्नेस एक ड्राइवर की तरह है जो रास्ता बदलने के लिए बदल सकता है यदि उसे कोई बाधा दिखाई देती है।
यह क्यों मायने रखता है?
लेखक का तर्क है कि इस स्पष्ट परिभाषा के बिना, हम एक "डेमो" (एक शानदार ट्रिक जो विफल हो सकती है) और एक "उत्पाद" (एक विश्वसनीय टूल) के बीच अंतर नहीं कर सकते।
स्पष्ट परिभाषा देकर, इंजीनियर:
- सुरक्षित AI बना सकते हैं जो केवल "हैलुसिनेट" (चीजें बनाना) नहीं करता कि उसने कार्य पूरा कर लिया है।
- विभिन्न टूल्स की निष्पक्ष तुलना कर सकते हैं (जैसे, "क्या टूल A में टूल B की तुलना में बेहतर ब्रेक हैं?")।
- केवल इस उम्मीद पर निर्भर रहने के बजाय कंट्रोल लेयर को इंजीनियर करने पर ध्यान केंद्रित कर सकते हैं।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि "हार्नेस" वह अदृश्य इंजीनियरिंग लेयर है जो एक शक्तिशाली AI मॉडल के चारों ओर लिपट जाती है ताकि उसे एक अराजक टेक्स्ट-जनरेटर से एक भरोसेमंद कार्यकर्ता में बदला जा सके। यह एक खुले में दौड़ते जंगली घोड़े और एक माल ढोने वाले घोड़े के बीच का अंतर है जो सुरक्षित रूप से अपनी मंजिल तक गाड़ी खींचता है। यह पेपर यह पहचानने के लिए एक मानचित्र प्रदान करता है कि कौन से टूल्स वास्तव में वह काम कर रहे हैं और कौन से केवल दिखावा कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।