💻 computer science

Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence

यह शोध पत्र प्रदर्शित करता है कि उच्च मॉडल-विशिष्ट सह-विफलता (co-failure) दरों के कारण मल्टी-एजेंट विश्वसनीयता में स्वतंत्रता का मानक अनुमान खतरनाक रूप से त्रुटिपूर्ण है, और यह संयुक्त क्षणों (joint moments) पर रैखिक प्रोग्रामिंग का उपयोग करते हुए एक सुदृढ़, परिमित-नमूना प्रमाणन विधि प्रस्तावित करता है जो स्वतंत्रता संबंधी धारणाओं और अविश्वसनीय फिट किए गए निर्भरता मॉडलों, दोनों के दोषों से बचती है।

मूल लेखक: Varun Pratap Bhardwaj, Garima Singh, Arun Pratap Bhardwaj

प्रकाशित 2026-08-14

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Varun Pratap Bhardwaj, Garima Singh, Arun Pratap Bhardwaj

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ हम जटिल कार्यों जैसे कि वित्त प्रबंधन, बीमारियों का निदान, या कोड लिखने के लिए डिजिटल सहायकों, या "एजेंटों" की टीमें बनाते हैं। ये एजेंट प्रतिभाशाली लेकिन थोड़े त्रुटिपूर्ण रोबोट की तरह हैं। उन्हें सुरक्षित रखने के लिए, हम उन्हें सख्त नियम पुस्तिकाएं देते हैं जिन्हें "अनुबंध" (कॉन्ट्रैक्ट्स) कहा जाता है। यदि कोई एजेंट नियम तोड़ता है, तो उसे रेड कार्ड मिलता है। अब, कल्पना करें कि आपके पास दो एजेंटों की एक टीम है जो मिलकर काम कर रही है: एक रिपोर्ट लिखता है, और दूसरा उसकी जाँच करता है। यदि लेखक कोई गलती करता है, तो जाँचकर्ता को उसे पकड़ लेना चाहिए। यदि जाँचकर्ता भी गलती करता है, तो पूरी टीम विफल हो जाती है।

वर्षों से, इंजीनियर इस बात की गणना करते रहे हैं कि ये टीमें कितनी विश्वसनीय हैं, यह करने के लिए कि वे एक सरल गणितीय ट्रिक का उपयोग करते हैं: वे लेखक की विश्वसनीयता को जाँचकर्ता की विश्वसनीयता से गुणा करते हैं, और बस—उनके पास टीम का विश्वसनीयता स्कोर आ जाता है। यह ट्रिक केवल तभी काम करती है जब दोनों एजेंट पूरी तरह से स्वतंत्र रूप से गलतियाँ करते हैं, जैसे कि दो लोग सिक्के उछाल रहे हों। यदि एक सिक्का 'हेड्स' आता है, तो इससे दूसरे सिक्के के 'हेड्स' आने की संभावना पर कोई फर्क नहीं पड़ना चाहिए। लेकिन क्या होगा यदि वे सिक्के नहीं उछाल रहे हैं? क्या होगा यदि वे दोनों सोचने के लिए एक ही "मस्तिष्क" (एक ही कंप्यूटर मॉडल) का उपयोग कर रहे हैं? यदि उस मस्तिष्क में कोई 'ब्लाइंड स्पॉट' (अंध बिंदु) है, तो दोनों एजेंट एक ही समय में एक ही पत्थर से टकराकर गिर जाएंगे। यह शोध पत्र एक बड़ा सवाल पूछता है: क्या वह सरल गणितीय ट्रिक वास्तव में हमसे झूठ बोल रही है?

इस शोध पत्र के लेखकों ने इस विचार का परीक्षण करने का निर्णय लिया और 18,000 डिजिटल मिशनों के साथ एक विशाल प्रयोग किया। उन्होंने एजेंटों की टीमें बनाईं और यह देखने के लिए निगरानी की कि क्या वे एक साथ विफल होते हैं। उन्हें कुछ आश्चर्यजनक और थोड़ा डरावना मिला: जब दो एजेंट एक ही "मस्तिष्क" का उपयोग करते हैं, तो वे लगभग 90% बार एक साथ विफल होते हैं जब उनमें से कोई भी विफल होता है। यह वैसा ही है जैसे यदि आप और आपका जुड़वां भाई दोनों अपना लंच ले जाना भूल गए हों; यदि आप भूल गए, तो आपका जुड़वां भी लगभग निश्चित रूप से भूल गया होगा। क्योंकि वे एक ही 'ब्लाइंड स्पॉट' साझा करते हैं, इसलिए उनकी विश्वसनीयता स्कोर को गुणा करने वाली सरल गणितीय ट्रिक एक बहुत अधिक और बहुत आशावादी संख्या देती है। टीम के विफल होने की संभावना वास्तव में गणित द्वारा बताई गई संख्या से कहीं अधिक है।

यह शोध पत्र इस समस्या को ठीक करने का प्रयास भी करता है। वे दिखाते हैं कि "साझा मस्तिष्क" के मुद्दे को ठीक करने के लिए केवल एक नया गणितीय सूत्र अनुमान लगाना काम नहीं करता है, विशेष रूप से जैसे-जैसे आपके पास अधिक डेटा आता है; वास्तव में, आपके पास जितना अधिक डेटा होगा, आप गलत उत्तर के प्रति उतने ही अधिक आश्वस्त होते जाएंगे। इसके बजाय, वे विश्वसनीयता की गणना करने का एक नया, सुरक्षित तरीका प्रस्तावित करते हैं। यह एक "सुरक्षा जाल" (सेफ्टी नेट) की तरह है जो यह मान नहीं लेता कि एजेंट स्वतंत्र हैं। उन्होंने सिद्ध किया कि वास्तविक परीक्षणों में एजेंट कितनी बार एक साथ विफल होते हैं, इसे देखकर, आप एक बहुत अधिक ईमानदार और सटीक सुरक्षा रेटिंग बना सकते हैं। उन्होंने यह भी दिखाया कि यदि आप केवल एक एजेंट का "मस्तिष्क" बदल देते हैं (भले ही वह उसी कंपनी का हो), तो टीम बहुत अधिक विश्वसनीय हो जाती है क्योंकि दोनों एजेंट अपने सटीक 'ब्लाइंड स्पॉट' साझा करना बंद कर देते हैं।

संक्षेप में, यह शोध पत्र AI एजेंटों की टीमें बनाने वाले किसी भी व्यक्ति के लिए एक चेतावनी (वेक-अप कॉल) है। यह सिद्ध करता है कि यदि आप एक ही मॉडल का दो बार उपयोग करते हैं, तो आप वास्तव में दोगुनी सुरक्षा नहीं पा रहे हैं; आप केवल एक ही गलती का दोहरा जोखिम उठा रहे हैं। लेखक सुरक्षा मापने का एक नया, अधिक ईमानदार तरीका प्रदान करते हैं जो इच्छापूर्ण सोच (विशफुल थिंकिंग) पर निर्भर नहीं है, जिससे यह सुनिश्चित होता है कि जब हम इन डिजिटल टीमों पर भरोसा करते हैं, तो हमें पता होता है कि उनके लड़खड़ाने की कितनी संभावना है।

तकनीकी सारांश: एजेंट व्यवहारिक अनुबंध II (Agent Behavioral Contracts II)

समस्या विवरण
बहु-एजेंट प्रणालियों (multi-agent systems) की विश्वसनीयता को प्रमाणित करने के लिए वर्तमान ढांचे एक संयोजी दृष्टिकोण (compositional approach) पर निर्भर करते हैं: व्यक्तिगत घटकों की विश्वसनीयता को सीमित करना और सिस्टम-व्यापी गारंटी प्राप्त करने के लिए इन सीमाओं को गुणा करना। यह चरण एक सशर्त स्वतंत्रता धारणा (C5) द्वारा लाइसेंस प्राप्त है, जो यह मानती है कि एक अनुपालन हैंडऑफ़ (compliant handoff) दिए जाने पर, एक डाउनस्ट्रीम एजेंट का अनुबंध संतुष्टि, एक अपस्ट्रीम एजेंट के निष्पादन से स्वतंत्र होती है। लेखक तर्क देते हैं कि यह धारणा नियमित रूप से कही तो जाती है लेकिन शायद ही कभी परीक्षण की जाती है, और यह विशेष रूप से तब अकल्पनीय हो जाती है जब रेडंडेंट एजेंट (जैसे, एक लेखक और एक समीक्षक) एक ही अंतर्निहित मॉडल वेट्स (model weights) साझा करते हैं। यदि घटक एक ही मॉडल साझा करते हैं, तो वे "अंधे धब्बे" (blind spots) भी साझा करते हैं, जिससे विफलताओं में सकारात्मक निर्भरता (positive dependence) उत्पन्न होती है। यह शोध पत्र दर्शाता है कि इस निर्भरता को अनदेखा करने से एक "साइंड एरर" (signed error) होता है जो ऑपरेटर के विरुद्ध जाता है: सकारात्मक निर्भरता संयुक्त विफलता संभावनाओं को स्वतंत्रता उत्पाद (independence product) से ऊपर बढ़ा देती है, जिससे रेडंडेंट डिज़ाइन ठीक उसी समय अत्यधिक श्रेय प्राप्त करते हैं जब उनकी सबसे अधिक आवश्यकता होती है।

इसके अतिरिक्त, शोध पत्र पहचान करता है कि मानक "सुधार" अपर्याप्त हैं:

धारणा को पूरी तरह से छोड़ देना: यह फ्रेचेट-होफ़िंग (Fréchet–Hoeffding) बाउंड्स की ओर ले जाता है, जो अक्सर शून्य (vacuous) हो जाते हैं जब औसत घटक विश्वसनीयता $1 - 1/m$ से कम होती है।
एक पैरामीट्रिक निर्भरता मॉडल फिट करना (जैसे, एक Gaussian one-factor copula): यह और भी बुरा है; लेखक सिद्ध करते हैं कि जैसे-जैसे नमूना आकार $n \to \infty$ होता है, एक मिसस्पेसिफाइड (misspecified) मॉडल के बूटस्ट्रैप लोअर बाउंड का कवरेज शून्य पर ढह जाता है। पहचान अंतराल (identification gap) $O(1)$ बना रहता है जबकि बूटस्ट्रैप अनिश्चितता $O(n^{-1/2})$ के रूप में सिकुड़ती है, जिसका अर्थ है कि अधिक डेटा बिना किसी दृश्य लक्षण के प्रमाण पत्र को आत्मविश्वास के साथ गलत बनाता है।

कार्यप्रणाली
यह शोध पत्र एक कठोर, प्री-रजिस्टर्ड प्रायोगिक डिजाइन के साथ मिलकर एक नवीन परिमित-नमूना प्रमाणन ढांचे (finite-sample certification framework) का उपयोग करता है।

प्रायोगिक डिजाइन: लेखकों ने 12 आर्म्स (arms) के माध्यम से 30,820 मिशनों का एक अभियान चलाया, जिसमें दो-एजेंट हैंडऑफ़ टोपोलॉजी में 18,000 मिशनों वाला एक पुष्टिकारी कोर शामिल था। उन्होंने तीन स्तरों पर "शेयरिंग कंडीशन" (sharing condition) में हेरफेर किया:
1. समान मॉडल (Same Model): दोनों एजेंट mistral-small-24b चलाते हैं।
2. समान वेंडर (Same Vendor): एजेंट एक ही वेंडर के विभिन्न मॉडल चलाते हैं (mistral-small-24b बनाम ministral-8b)।
3. विभिन्न वेंडर (Different Vendor): एजेंट विभिन्न वेंडरों के मॉडल चलाते हैं।
  स्कोरिंग नियतात्मक (deterministic gold code) थी और इसमें प्रेरित सहसंबंध (induced correlation) को रोकने के लिए जजिंग लूप में कोई LLM शामिल नहीं था।
प्रमाणन ढांचा (स्तरित दृष्टिकोण):
- टियर 0 (प्रेक्षित/Observed): प्रेक्षित ग्राफ आउटकम पर प्रत्यक्ष क्लॉपर-पियर्सन (Clopper–Pearson) लोअर बाउंड (इसके लिए एंड-टू-एंड निष्पादन की आवश्यकता होती है)।
- टियर 1 (कोपुला-अज्ञेयवादी/Copula-Agnostic): एक परिमित-नमूना प्रमाण पत्र जो किसी भी निर्भरता संरचना को नहीं मानता है। यह मापे गए सह-निष्पादन क्षणों (मार्जिनल्स, पेयरवाइज, और उच्च-क्रम सह-सफलता क्षणों) के चारों ओर एक बोनफेरोनी-क्लॉपर-पियर्सन बॉक्स के साथ संयुक्त वितरण पर एक लीनियर प्रोग्राम (LP) तैयार करता है। यह दृष्टिकोण सुदृढ़, उपलब्ध जानकारी के लिए सटीक (sharp), और एक विशिष्ट आवंटन के तहत मोमेंट फैमिली में मोनोटोन है।
- टियर 2 (मॉडल-आधारित/Model-based): केवल डायग्नोस्टिक के लिए एक फ्लोर जो एक फिटेड गॉसियन कोपुला (Gaussian copula) पर आधारित है, जिसे कवरेज कोलैप्स के सिद्ध होने के कारण स्पष्ट रूप से प्रमाणन के लिए उपयोग नहीं किया गया है।
एनीटाइम-वैलिड सर्टिफिकेशन (Anytime-Valid Certification): निरंतर निगरानी (वैकल्पिक स्टॉपिंग) की वास्तविकता को संबोधित करने के लिए, यह शोध पत्र गेम-थ्योरेटिक प्रोबेबिलिटी पर आधारित एक e-process पेश करता है। यह केवल ग्राफ आउटकम के कंडीशनल मीन (conditional mean) को सीमित करता है, जिसके लिए मिशनों या घटकों के बीच किसी स्वतंत्रता धारणा की आवश्यकता नहीं होती है। यह इष्टतम बेटिंग फ्रैक्शन पर सटीक रूप से सीक्वेंशियल प्रोबेबिलिटी रेशियो टेस्ट (SPRT) को रिकवर करता है।

मुख्य परिणाम

सहसंबद्ध विफलता (Correlated Failure): same_model स्थिति में, एक ही मॉडल के दो इंस्टेंस उन मिशनों में से 90.0% पर सह-विफल होते हैं जिनमें से किसी एक की विफलता होती है ( $\log OR = 6.66$ , 95% CI [6.38, 7.00])। यह पुष्टि करता है कि मॉडल शेयरिंग भारी सकारात्मक निर्भरता पैदा करती है।
मॉडल बनाम वेंडर: एक अलग मॉडल को प्रतिस्थापित करने से जुड़ाव (association) काफी कम हो जाता है (सभी 6/6 कंट्रास्ट टोपोलॉजी में महत्वपूर्ण थे)। हालांकि, एक अलग वेंडर को प्रतिस्थापित करने से (मॉडल अलग रखते हुए भी) जुड़ाव में महत्वपूर्ण कमी नहीं आई। मॉडल की पहचान भिन्न होने के बाद वेंडर वेरिएबल विफलता सहसंबंध का विश्वसनीय भविष्यवक्ता नहीं था।
मार्जिनल संवेदनशीलता (Marginal Sensitivity): सामान्य निर्भरता सांख्यिकी जैसे जकार्ड ओवरलैप (Jaccard overlap), $\phi$ , और केंडल का $\tau_a$ को मार्जिनल विफलता दरों द्वारा सीमित दिखाया गया है। विशिष्ट स्थितियों में, इन सांख्यिकी ने शुद्ध रूप से मार्जिनल विफलता दरों के कारण स्थितियों के स्पष्ट क्रम को उलट दिया, जबकि मार्जिनल-मुक्त सांख्यिकी (log odds ratio, Yule's Q) सुसंगत रहे।
प्रमाणन सुधार (Certification Improvement): वास्तविक डेटा पर मोमेंट सेट को 10 फंक्शनल्स (मार्जिन्स + पेयर्स) से बढ़ाकर 14 (ट्रिपल्स जोड़कर) करने से पहचाना गया अंतराल 85.7% कम हो गया और प्रमाणित फ्लोर को 0.2455 से 0.4116 तक बढ़ा दिया गया।
मॉडल-आधारित कोलैप्स (Model-Based Collapse): एक नियंत्रित प्रयोग में, एक मिसस्पेसिफिकेशन के तहत नमूना आकार 250 से बढ़कर 2000 होने पर मॉडल-आधारित फ्लोर का कवरेज 0.36 से गिरकर 0.01 हो गया, जबकि टियर-1 कोपुला-अज्ञेयवादी फ्लोर ने 100% कवरेज बनाए रखा।
एनीटाइम वैधता (Anytime Validity): e-process कार्यान्वयन ने सभी परीक्षण किए गए बेटिंग फ्रैक्शंस के तहत, मनमाने ढंग से रुकने (arbitrary stopping) के बावजूद, 0.0471 या उससे कम की अनुभवजन्य टाइप-I त्रुटि दर बनाए रखी।

महत्व और दावे
यह शोध पत्र कंपोज्ड एजेंट पाइपलाइनों के लिए पहला परिमित-नमूना, कोपुला-अज्ञेयवादी विश्वसनीयता प्रमाण पत्र प्रदान करने का दावा करता है जो स्वतंत्रता की धारणा नहीं रखता है। इसका प्राथमिक योगदान केवल यह मापना नहीं है कि विफलताएं सहसंबंधित हैं (जैसा कि समवर्ती कार्य करते हैं), बल्कि एक सुदृढ़, सटीक और कार्रवाई योग्य बाउंड प्रदान करना है जो चुपचाप गलत संख्या देने के बजाय, अनमैप की गई निर्भरता होने पर ईमानदारी से घटित (degrade) होती है।

लेखक स्पष्ट रूप से बताते हैं कि वे क्या दावा नहीं करते हैं:

वे यह दावा नहीं करते कि उन्होंने यह पहली बार खोजा है कि साझा मॉडल एक साथ विफल होते हैं।
वे शेयरिंग का तीन-स्तरीय क्रम (same model > same vendor > different vendor) का दावा नहीं करते हैं, क्योंकि वेंडर-स्तर का कंट्रास्ट विफल रहा।
वे यह दावा नहीं करते कि प्रमाण पत्र एजेंटों की बड़ी संख्या ( $m$ ) के लिए घातीय लागत के बिना स्केल करता है, न ही यह कि यह एग्रीगेटर्स पर लागू होता है जो स्वयं LLM हैं।
वे यह दावा नहीं करते कि परिणाम फ्रंटियर मॉडल्स या ओपन-एंडेड डायलॉग टास्क पर सामान्यीकृत होते हैं, क्योंकि मूल्यांकन मध्यम आकार के मॉडल्स और नियतात्मक रिटेल/फाइनेंशियल कार्यों तक सीमित था।

यह कार्य मल्टी-एजेंट विश्वसनीयता में स्वतंत्रता धारणाओं की "शांत विफलता" (quiet failure) के लिए एक सुधारात्मक उपाय के रूप में प्रस्तुत किया गया है, जो एक ऐसी कार्यप्रणाली प्रदान करता है जो सहसंबत विफलता को मापने योग्य बनाती है और सुनिश्चित करती है कि गारंटी चुपचाप गलत होने के बजाय पारदर्शी रूप से घटित होती है। सभी कोड, अनुबंध, जनरेटर और प्री-रजिस्ट्रेशन AGPL-3.0 के तहत जारी किए गए हैं।

तकनीकी सारांश: एजेंट व्यवहारिक अनुबंध II (Agent Behavioral Contracts II)

इसी तरह के और पेपर