AI Agents Do Not Fail Alone:The Context Fails First
यह शोध पत्र यह स्थापित करता है कि संदर्भ इंजीनियरिंग (context engineering) की गुणवत्ता एआई एजेंट विश्वसनीयता का एक प्राथमिक, मापने योग्य भविष्यवक्ता है, जो ProofAgent-Harness के माध्यम से यह प्रदर्शित करता है कि विशिष्ट संदर्भ मानदंड—जैसे कि ग्राउंडिंग पर्याप्तता (grounding sufficiency) और गार्डरेल कवरेज (guardrail coverage)—अंतर्निहित भाषा मॉडल से स्वतंत्र होकर, मतिभ्रम प्रतिरोध (hallucination resistance) और निर्देश पालन जैसे व्यवहारिक परिणामों को सीधे निर्धारित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कोई जटिल काम सिखाने की कोशिश कर रहे हैं, जैसे कि किसी मरीज का निदान करना या कोई कानूनी अनुबंध तैयार करना। आपको लग सकता है कि रोबोट की सफलता पूरी तरह से उसके "दिमाग" की "बुद्धिमत्ता" या आपके पहले कमांड के सटीक होने पर निर्भर करती है। लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक छिपा हुआ स्तर है जिसे अक्सर अनदेखा कर दिया जाता है: संदर्भ (Context)। संदर्भ को केवल एक निर्देश के रूप में नहीं, बल्कि उस पूरे कमरे के रूप में सोचें जिसमें रोबोट काम कर रहा है। यह दीवार पर लगा नक्शा है, वर्कबेंच पर रखे औज़ार हैं, जेब में रखी नियम पुस्तिका है, पाँच मिनट पहले जो हुआ उसकी यादें हैं, और दरवाजे के बाहर से आने वाला शोर है। यदि कमरा अस्त-व्यस्त है, औज़ार टूटे हुए हैं, या नियम पुस्तिका के पन्ने गायब हैं, तो सबसे बुद्धिमान रोबोट भी भ्रमित हो जाएगा, तथ्य गढ़ लेगा, या गलती से चीजें तोड़ देगा। यह AI एजेंट्स की समस्या है: वे केवल इसलिए विफल नहीं होते क्योंकि वे "मूर्ख" हैं; वे अक्सर इसलिए विफल होते हैं क्योंकि जिस वातावरण में वे काम कर रहे हैं, वह खराब तरीके से डिज़ाइन किया गया है। वैज्ञानिक इसे "कॉन्टेक्स्ट इंजीनियरिंग" कहते हैं, और अब तक, यह एक 'ब्लैक बॉक्स' की तरह रहा है—टीमें अनुमान लगाती थीं कि सेटअप अच्छा है या बुरा, लेकिन उनके पास इसे मापने के लिए कोई पैमाना नहीं था।
यह शोध पत्र, जिसका शीर्षक है "AI एजेंट्स अकेले विफल नहीं होते: संदर्भ पहले विफल होता है" (AI Agents Do Not Fail Alone: The Context Fails First), तर्क देता है कि हमें रोबोट को अपना काम करने के लिए कहने से पहले ही उस "कमरे" की गुणवत्ता को मापना शुरू कर देना चाहिए। लेखकों ने, ProofAgent-Harness नामक एक ओपन-सोर्स टूल के साथ मिलकर, सात विशिष्ट मानदंडों के आधार पर AI एजेंट के सेटअप को ग्रेड करने का एक तरीका बनाया, जैसे कि निर्देश कितने स्पष्ट हैं, उपकरणों का वर्णन कितनी अच्छी तरह किया गया है, और क्या रोबोट को गलत सलाह से सुरक्षित रखा गया है। उन्होंने केवल यह नहीं देखा कि रोबोट सफल हुआ या विफल; उन्होंने सेटअप को अलग करके देखा कि क्या एक बेहतर सेटअप बेहतर व्यवहार की भविष्यवाणी करता है।
उन्होंने यह पाया: संदर्भ वास्तव में पहले विफल होता है। एक नियंत्रित प्रयोग में, उन्होंने रोबोट के "दिमाग" (अंतर्निहित AI मॉडल) को बिल्कुल समान रखा लेकिन "कमरे" (संदर्भ) को एक अव्यवस्थित, अस्पष्ट सेटअप से बदलकर एक संरचित (structured) सेटअप में बदल दिया, और अंत में सुरक्षा नियमों के साथ एक "हार्डन्ड" (hardened) सेटअप में बदल दिया। परिणाम चौंकाने वाले थे। जब वे "खराब" संदर्भ से "संरचित" संदर्भ की ओर बढ़े—जहाँ भूमिकाएँ स्पष्ट थीं, उपकरण अच्छी तरह से परिभाषित थे, और तथ्यों को साक्ष्यों द्वारा समर्थित किया गया था—तो रोबोट के व्यवहार में नाटकीय सुधार हुआ। तथ्य गढ़ने (hallucinations) के प्रति इसकी प्रतिरोधक क्षमता काफी बढ़ गई, इसका टूल उपयोग बहुत अधिक विश्वसनीय हो गया, और महत्वपूर्ण विफलताओं की संख्या लगभग 68% गिर गई।
शोध ने एक विरोधाभासी बात भी खोजी: एक सस्ता सेटअप हमेशा बेहतर नहीं होता। "खराब" संदर्भ ने कम टोकन (AI की डिजिटल मुद्रा) का उपयोग किया क्योंकि यह छोटा और विरल था। हालाँकि, यह "सस्ता" सेटअप वास्तव में सबसे खतरनाक था, जिससे सबसे खराब व्यवहार उत्पन्न हुआ। "हार्डन्ड" संदर्भ ने, जिसमें अधिक सुरक्षा नियम और स्पष्ट निर्देश शामिल थे, अधिक टोकन का उपयोग किया लेकिन एक बहुत अधिक विश्वसनीय और सुरक्षित एजेंट तैयार किया। लेखकों का सुझाव है कि कमजोर संदर्भ की लागत पैसा नहीं है; यह विश्वसनीयता है।
महत्वपूर्ण रूप से, अध्ययन ने दिखाया कि आप केवल अपने संदर्भ को देखकर यह अनुमान लगा सकते हैं कि एक एजेंट कैसा व्यवहार करेगा। यदि "ग्राउंडिंग" (रोबोट को प्रदान किए गए साक्ष्य) मजबूत था, तो रोबbot के तथ्य गढ़ने की संभावना कम थी। यदि "गार्डरेल्स" (सुरक्षा नियम) स्पष्ट थे, तो रोबोट हेरफेर का विरोध करने में बेहतर था। इसका अर्थ है कि कॉन्टेक्स्ट इंजीनियरिंग केवल एक रचनात्मक लेखन अभ्यास नहीं है; यह एक मापने योग्य, ऑडिट योग्य सुरक्षा परत है। रोबोट के काम शुरू करने से पहले ही उसके संदर्भ को ग्रेड करके, टीमें संभावित विफलताओं को जल्दी पहचान सकती हैं, और "रोबोट" के कमरे में प्रवेश करने से पहले ही "कमरे" को ठीक कर सकती हैं। यह पेपर यह दावा नहीं करता कि यह सभी AI समस्याओं को हल कर देता है, लेकिन यह साबित करता है कि यदि आप एक विश्वसनीय एजेंट चाहते हैं, तो आपको पहले एक विश्वसनीय वातावरण बनाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।