Harness Engineering as Categorical Architecture
यह शोध पत्र एजेंट एक्सटर्नलाइजेशन (externalization) के चार स्तंभों को आर्कएजेंट्स (ArchAgents) फ्रेमवर्क के ट्रिपल (G, Know, Phi) के साथ मैप करके, एलएलएम (LLM) एजेंट हार्नेस इंजीनियरिंग के लिए औपचारिक सैद्धांतिक आधार के रूप में कैटेगोरिकल आर्किटेक्चर (categorical architecture) को स्थापित करता है, जिससे आउटपुट-लेयर शुद्धता के बजाय आइडेंटिटी (identity) और रिप्ले (replay) के माध्यम से सत्यापित संरचनात्मक गारंटी और क्रॉस-फ्रेमवर्क संकलन (compilation) सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर की व्याख्या दी गई है।
मुख्य विचार: "हारनेस" (Harness) बनाम "मस्तिष्क" (Brain)
कल्पिए कि आपके पास एक बहुत ही बुद्धिमान, सुपर-स्मार्ट सहायक (AI मॉडल) है। यह सहायक दुनिया की हर चीज़ जानता है, लेकिन यह थोड़ा अस्त-व्यस्त है। हो सकता है कि यह पाँच मिनट पहले पूछे गए सवाल को भूल जाए, यह उन टूल्स का उपयोग करने की कोशिश कर सकता है जो इसके पास हैं ही नहीं, या यह कार्यों के क्रम (order of operations) को लेकर भ्रमित हो सकता है।
AI की दुनिया में, मॉडल (Model) मस्तिष्क है। लेकिन हारनेस (Harness) वह सब कुछ है जो बाकी है: वह नोटबुक जहाँ वह चीजें लिखता है (मेमोरी), वह टूलबॉक्स जिसका वह उपयोग करता है (कौशल/Skills), वे नियम जिनका पालन वह आपसे बात करने के लिए करता है (प्रोटोकॉल), और वह मैनेजर जो उसे बताता है कि आगे क्या करना है (ऑर्केस्ट्रेशन)।
यह पेपर तर्क देता है कि लंबे समय तक, इंजीनियर इन "मैनेजर्स" (हारनेस) को अनुमान लगाने और परीक्षण करने (trial and error) के माध्यम से बनाते रहे। उनके पास कोई औपचारिक नियम पुस्तिका (formal rulebook) नहीं थी जिससे यह साबित किया जा सके कि उनका मैनेजर भरोसेमंद तरीके से काम करेगा।
यह पेपर कहता है: "हमारे पास इन मैनेजर्स को बनाने के लिए एक गणित-आधारित नियम पुस्तिका है, और हम यह सिद्ध कर सकते हैं कि यह काम करती है।"
तीन-भागों वाला ब्लूप्रिंट: "आर्किटेक्चर ट्रिपल" (Architecture Triple)
लेखक एक गणितीय ढांचा पेश करते हैं जिसे आर्किटेक्चर ट्रिपल (Architecture Triple) कहा जाता है। इसे एक विश्वसनीय AI मैनेजर बनाने के ब्लूप्रिंट के रूप में समझें। इसके तीन भाग हैं:
- वायरिंग डायग्राम (G): यह फ्लोचार्ट है। यह दिखाता है कि सूचना एक चरण से दूसरे चरण में कैसे चलती है। उपमा: घर में प्लंबिंग। यह दिखाता है कि पानी (डेटा) कहाँ बहता है, लेकिन यह नहीं कि पानी क्या है।
- नियम पुस्तिका (Know): यह सबसे महत्वपूर्ण हिस्सा है। यह उन "संरचनात्मक गारंटियों" (structural guarantees) या वादों की सूची बनाता है जो सिस्टम करता है। उपमा: बिल्डिंग कोड। यह वादा करता है कि "छत कभी नहीं टपकेगी" या "फायर एस्केप हमेशा खुला रहेगा," चाहे कोई भी घर में रहे।
- डिप्लॉयमेंट मैप (Φ): यह निर्देश है कि किस विशिष्ट मस्तिष्क (AI मॉडल) का उपयोग किस काम के लिए किया जाना चाहिए। उपमा: स्टाफ रोस्टर। यह कहता है, "सब्जियां काटने के लिए जूनियर शेफ का उपयोग करें, लेकिन मुख्य कोर्स के लिए हेड शेफ का।"
मैनेजर के चार स्तंभ
यह पेपर इस गणितीय ब्लूप्रिंट को उन चार वास्तविक चीजों से जोड़ता है जिन्हें इंजीनियर पहले से ही बनाते हैं:
- मेमोरी (Memory): याद रखने की सिस्टम की क्षमता। गणित की दुनिया में, इसे एक "स्टेट मशीन" (state machine) के रूप में माना जाता है जो समय के साथ अपडेट होती है।
- स्किल्स (Skills): वे टूल्स जिनका एजेंट उपयोग कर सकता है। गणित की दुनिया में, ये लेगो ब्लॉक्स (Lego blocks) की तरह हैं जिन्हें विशिष्ट तरीकों से जोड़ा जा सकता है (एक रेखा में, अगल-बगल, या एक लूप में)।
- प्रोटोकॉल (Protocols): एजेंट खुद से या दूसरों से कैसे बात करता है। गणित की दुनिया में, यह वह "वायरिंग" है जो सुनिश्चित करती है कि सही प्रकार का संदेश सही स्लॉट में जाए।
- हारनेस (The Harness): पूरा सिस्टम ही।
जादू का खेल: "सर्टिफिकेट प्रिजर्वेशन" (Certificate Preservation)
पेपर का सबसे बड़ा दावा पोर्टेबिलिटी (portability) के बारे में है।
कल्पना कीजिए कि आपने जर्मनी के एक कारखाने में एक जटिल मशीन (एक हारनेस) बनाई है। आप उस मशीन के ब्लूप्रिंट को जापान के एक कारखाने में भेजना चाहते हैं ताकि बिल्कुल वैसी ही मशीन बनाई जा सके। आमतौर पर, जब आप ब्लूप्रिंट का अनुवाद करते हैं, तो आप अनजाने में एक सुरक्षा फीचर खो सकते हैं या गियर का अनुपात बदल सकते हैं।
यह पेपर दावा करता है कि इस "आर्किटेक्चर ट्रिपल" गणित का उपयोग करने के कारण, वे हारनेस को एक सॉफ्टवेयर फ्रेमवर्क से दूसरे (जैसे, LangGraph से Swarms तक) में बिना सुरक्षा गारंटी खोए अनुवाद कर सकते हैं।
वे इन गारंटियों को "सर्टिफिकेट्स" (Certificates) कहते हैं।
- उदाहरण सर्टिफिकेट: "यदि उत्तर की गुणवत्ता बहुत कम है, तो सिस्टम स्वचालित रूप से एक स्मार्ट, अधिक महंगे AI मॉडल पर स्विच हो जाएगा।"
- परीक्षण: जब उन्होंने हारनेस को नए फ्रेमवर्क में अनुवादित किया, तो उन्होंने केवल यह नहीं देखा कि कोड चल रहा है या नहीं। उन्होंने यह जांचा कि क्या सर्टिफिकेट अभी भी सत्य है। उन्होंने सिद्ध किया कि "सेफ्टी स्विच" अभी भी काम कर रहा था, भले ही अंतर्निदष्ट कोड अलग दिख रहा था।
प्रयोग: क्या यह वास्तव में काम कर गया?
लेखकों ने केवल गणित की बातें नहीं कीं; उन्होंने एक प्रोटोटाइप बनाया और परीक्षण किए।
1. "एस्केलेशन" (Escalation) टेस्ट
उन्होंने एक कार्य सेट किया जहाँ एक "तेज़ लेकिन कम बुद्धिमान" AI मॉडल ने एक समस्या को हल करने की कोशिश की।
- सेटअप: तेज़ मॉडल ने एक कोड रिव्यू लिखने की कोशिश की।
- नियम: यदि गुणवत्ता स्कोर बहुत कम था, तो सिस्टम को "धीमे लेकिन स्मार्ट" मॉडल पर "एस्केलेट" (बढ़ना) करना था।
- परिणाम: तेज़ मॉडल विफल रहा। सिस्टम ने स्कोर की जांच की, देखा कि यह बहुत कम था, और स्वचालित रूप से स्मार्ट मॉडल पर स्विच हो गया।
- महत्व: इसने सिद्ध किया कि नियम (हारनेस) पूरी तरह से काम कर रहा था, भले ही मस्तिष्क (मॉडल) बदल गया हो। हारनेस नियंत्रण में है, मॉडल नहीं।
2. "कोड फिक्सिंग" टेस्ट (SWE-bench)
उन्होंने वास्तविक सॉफ़्टवेयर (पायथन कोड) में बग्स को ठीक करने के लिए अपने सिस्टम का उपयोग करने की कोशिश की।
- परिणाम: वे एक दीवार से टकरा गए। उन्होंने जिन AI मॉडल्स का उपयोग किया था (जो छोटे, लोकल वर्ज़न थे), वे कोड को सही ढंग से लिखने के लिए पर्याप्त स्मार्ट नहीं थे, चाहे हारनेस कितना भी अच्छा क्यों न हो।
- सबक: एक महान हारनेस एक टूटे हुए मस्तिष्क को ठीक नहीं कर सकता। यदि AI मॉडल बहुत छोटा या कमजोर है, तो वह कोड को सही ढंग से फॉर्मेट करने में विफल हो जाएगा, और हारनेस उसे बचा नहीं पाएगा। यह वर्तमान छोटे मॉडल्स की क्षमता की एक "सीमा" (ceiling) है।
निष्कर्ष (The Takeaway)
यह पेपर गणितीय सिद्धांत और इंजीनियरिंग अभ्यास के बीच एक सेतु है।
- पहले: इंजीनियर अनुमान लगाकर AI मैनेजर बनाते थे। "आइए यहाँ एक सुरक्षा जांच जोड़ते हैं।"
- अब: इंजीनियर मैनेजर को डिजाइन करने के लिए एक औपचारिक गणितीय भाषा का उपयोग कर सकते हैं, यह सिद्ध कर सकते हैं कि सुरक्षा जांच सॉफ्टवेयर टूल्स बदलने पर भी बनी रहेगी, और यह सुनिश्चित कर सकते हैं कि सिस्टम किसी भी AI मॉडल के प्लग-इन होने पर भरोसेमंद तरीके से व्यवहार करे।
संक्षेप में: यह पेपर विश्वसनीय, पोर्टेबल और सुरक्षित AI सिस्टम बनाने के लिए "निर्देश पुस्तिका" और "गुणवत्ता नियंत्रण परीक्षण" प्रदान करता है, जो यह सिद्ध करता है कि सिस्टम की संरचना (structure) उसके अंदर मौजूद मॉडल की बुद्धिमत्ता जितनी ही महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।