ContractBench: Can LLM Agents Preserve Observation Contracts?
यह शोधपत्र ContractBench प्रस्तुत करता है, जो एक नियतात्मक (deterministic) बेंचमार्क है जो यह प्रकट करता है कि वर्तमान फ्रंटियर LLM एजेंट्स अक्सर ऑब्जर्वेशन कॉन्ट्रैक्ट्स (जैसे कि सेशन टोकन और URL) की टेम्पोरल वैधता और बाइट-लेवल अखंडता को बनाए रखने में विफल रहते हैं, एक ऐसी क्षमता जो मॉडल के आकार के साथ एकतुल्य रूप से (monotonically) नहीं बढ़ती है और जिसमें सुधार के लिए विशिष्ट फेल्योर-अवेयर ट्रेनिंग की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र "CONTRACTBENCH: क्या LLM एजेंट्स ऑब्जर्वेशन कॉन्ट्रैक्ट्स को सुरक्षित रख सकते हैं?" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।
मुख्य विचार: "डिजिटल हैंडऑफ" की समस्या
कल्प_िए कि आप अपने लिए काम करने के लिए एक बहुत ही बुद्धिमान, लेकिन थोड़ी अनाड़ी रोबोटिक सहायक को काम पर रख रहे हैं। आप रोबोट को बताते हैं: "बैंक जाओ, एक अस्थायी चाबी (temporary key) प्राप्त करो, और उस चाबी का उपयोग करके तिजोरी खोलो।"
वास्तविक दुनिया में, यदि रोबोट चाबी गिरा देता है, चाबी का आकार बदल देता है, या चाबी की अवधि समाप्त होने के बाद उसका उपयोग करने की कोशिश करता है, तो तिजोरी नहीं खुलेगी। रोबोट इसलिए विफल नहीं हुआ क्योंकि उसे यह नहीं पता था कि क्या करना है, बल्कि इसलिए विफल हुआ क्योंकि वह हैंडऑफ (handoff) के विशिष्ट विवरणों को संभालने में विफल रहा।
यह शोध पत्र इन विवरणों को "ऑब्जर्वेशन कॉन्ट्रैक्ट्स" (Observation Contracts) कहता है।
- कॉन्ट्रैक्ट (अनुबंध): जब कोई टूल (जैसे कि बैंक API) रोबोट को डेटा का एक टुकड़ा देता है (जैसे कि एक अस्थायी पासवर्ड या हस्ताक्षरित लिंक), तो उस डेटा के साथ दो अदृश्य नियम आते हैं:
- एक्सपायरी डेट (समाप्ति तिथि): आपको इसका उपयोग अभी करना होगा, अन्यथा यह बेकार हो जाएगा।
- "छूना मना है" का नियम: आपको इसे अक्षर-दर-अक्षर बिल्कुल वैसा ही कॉपी करना होगा। यदि आप एक कॉमा या स्पेस भी बदलते हैं, तो यह टूट जाएगा।
लेखकों ने पाया कि आज के सबसे स्मार्ट AI एजेंट्स भी इन नियमों का पालन करने में बहुत खराब हैं। वे अक्सर चाबी गिरा देते हैं, उसे पिघला देते हैं, या अगले दिन उसका उपयोग करने की कोशिश करते हैं।
नया परीक्षण: CONTRACTBENCH
इसे साबित करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे CONTRACTBENCH कहा जाता है। इसे AI एजेंट्स के लिए एक "ड्राइविंग टेस्ट" की तरह समझें, लेकिन कार चलाने के बजाय, उन्हें एक डिजिटल बाधा दौड़ (obstacle course) को पार करना होता है जहाँ हर कदम के लिए एक नाजुक, समय-संवेदनशील पैकेज को अगले व्यक्ति को सौंपना आवश्यक होता है।
- द कोर्स (पाठ्यक्रम): इसमें 33 अलग-अलग परिदृश्य (scenarios) हैं (जैसे कि एक ऐसे लिंक के साथ फ़ाइल डाउनलोड करना जो 10 सेकंड में खत्म हो जाता है, या एक ऐसे कोड के साथ लॉग इन करना जिसे बिल्कुल सही टाइप किया जाना चाहिए)।
- नियम: यह परीक्षण एक सख्त कंप्यूटर प्रोग्राम द्वारा चलाया जाता है (कोई मानव जज नहीं)। यह देखने के लिए कि क्या एजेंट बहुत धीमा है, यह एक "वर्चुअल क्लॉक" का उपयोग करता है, और यह देखने के लिए कि क्या एजेंट ने कोड के एक अक्षर को भी बदल दिया है, यह एक "डिजिटल फिंगरप्रिंट स्कैनर" का उपयोग करता है।
- स्कोर: यदि एजेंट समय सीमा तोड़ता है या कोड की स्पेलिंग में गड़बड़ी करता है, तो वह फेल हो जाता है।
उन्होंने क्या खोजा (निष्कर्ष)
शोधकर्ताओं ने 38 अलग-अलग AI मॉडल्स का परीक्षण किया (OpenAI, Anthropic, Google और ओपन-सोर्स टीमों के नवीनतम, सबसे प्रसिद्ध मॉडल्स सहित)। यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें रोजमर्रा की भाषा में समझाया गया है:
1. यहाँ तक कि "सबसे स्मार्ट" रोबोट भी विफल होते हैं
निष्कर्ष: कोई भी मॉडल 80% परीक्षण पास नहीं कर सका। सबसे अच्छा मॉडल (Claude Opus 4.6) केवल लगभग 78% ही प्राप्त कर सका।
उपमा: कल्पना कीजिए कि दुनिया का सबसे बुद्धिमती छात्र गणित की परीक्षा दे रहा है। वह जटिल कैलकुलस के सवाल हल कर सकता है, लेकिन यदि आप उसे बिना किसी गलती के 10-अंकों की संख्या को बिल्कुल सही कॉपी करने के लिए कहते हैं, तो वह भी 22% बार गलतियाँ कर देता है। "स्मार्ट" होने का मतलब "सावधान" होना नहीं है।
2. "मैजिक क्लिफ" (Qwen 3.5)
निष्कर्ष: एक विशिष्ट मॉडल परिवार (Qwen 3.5) में, क्षमता में अचानक उछाल देखा गया। छोटा 4-बिलियन-पैरामीटर वाला मॉडल 0% सही था। थोड़ा बड़ा 9-बिलियन वाला मॉडल उछलकर 56% पर पहुँच गया।
उपमा: यह एक वीडियो गेम कैरेक्टर की तरह है जो लेवल 9 तक पहुँचने तक बेकार रहता है। लेवल 8 पर, वह चाबी को पकड़ तक नहीं सकता। लेवल 9 पर, वह अचानक चाबी को धीरे से पकड़ना सीख जाता है। यह एक धीमी प्रगति नहीं थी; यह संयम (restraint) नामक एक विशिष्ट कौशल (डेटा को न बदलने का ज्ञान) का अचानक "जागरण" था।
3. बड़ा हमेशा बेहतर नहीं होता (GPT-5 का रोलरकोस्टर)
निष्कर्ष: जैसे-जैसे GPT-5 परिवार के मॉडल विकसित हुए, उनका प्रदर्शन बढ़ा, फिर गिरा, और फिर वापस बढ़ा।
उपमा: कल्पना कीजिए कि एक शेफ को एक नई रेसिपी बुक मिलती है।
- शेफ A (GPT-5): एक परफेक्ट केक बनाता है।
- शेफ B (GPT-5.1): एक "स्मार्टर" वर्जन वाली किताब पाता है लेकिन बहुत अधिक चीनी डालना शुरू कर देता है और रेसिपी को खराब कर देता है (विशेष रूप से, उन्होंने सामग्री को कॉपी करने के बजाय उसे बदलना शुरू कर दिया)।
- शेफ C (GPT-5.2): रेसिपी को ठीक करता है और वापस परफेक्ट केक बनाने लगता है।
पेपर सुझाव देता है कि AI को "स्मार्टर" या "अधिक संवादात्मक" बनाने से कभी-कभी वे सख्त, उबाऊ नियमों का पालन करने में बदतर हो जाते हैं।
4. "बेस" (Base) मॉडल्स यह नहीं कर सकते
निष्कर्ष: वे मॉडल्स जिन्हें चैट करने या निर्देशों का पालन करने के लिए "ट्रेन" नहीं किया गया है (Base models), उन्हें टेस्ट में 0% मिला। केवल वे मॉडल्स जिन्होंने निर्देश पालन करना सीखा है (Instruct models), वे ही पास हो सके।
उपमा: मिट्टी का एक कच्चा ढेला (Base model) कोई आकार नहीं ले सकता। आपको इसे आकार देने के लिए (Post-training) तराशना पड़ता है ताकि यह पानी का कप बना सके। इन कॉन्ट्रैक्ट्स का पालन करने की क्षमता स्वाभाविक नहीं है; इसे सिखाना पड़ता है।
5. "हिंट" (संकेत) काम करता है
निष्कर्ष: जब शोधकर्ताओं ने AI को बिल्कुल बताया कि उसने क्या गलत किया (जैसे, "आपने कोड में एक अक्षर बदल दिया"), तो AI अपनी गलती सुधार सका और टेस्ट पास कर सका।
उपमा: यदि आप एक बच्चे को कहते हैं, "तुमने गेंद गिरा दी," तो वह फिर से कोशिश कर सकता है और उसे पकड़ सकता है। लेकिन यदि आप सिर्फ कहें, "फिर से कोशिश करो," तो वह फिर से गिरा देगा। विशिष्ट फीडबैक ही त्रुटि को ठीक करने की कुंजी थी।
यह क्यों मायने रखता है (पेपर के अनुसार)
पेपर का तर्क है कि हम AI का परीक्षण इस आधार पर कर रहे हैं कि क्या वे "पहेली सुलझा" सकते हैं या "कहानी लिख" सकते हैं। लेकिन वास्तविक दुनिया में, AI एजेंट्स का उपयोग उन कामों के लिए किया जाता है जहाँ सटीकता (precision) ही सब कुछ है।
यदि एक AI एजेंट आपके बैंक खाते का प्रबंधन कर रहा है, तो वह लेनदेन कोड में एक भी अंक बदलने का जोखिम नहीं उठा सकता। यदि वह एक सर्वर का प्रबंधन कर रहा है, तो वह एक्सपायर हो चुके पासवर्ड का उपयोग नहीं कर सकता।
निष्कर्ष: वर्तमान AI एजेंट्स प्रतिभाशाली लेकिन अनाड़ी इंटर्न की तरह हैं। वे बड़े चित्र (big picture) को समझते हैं, लेकिन वे उन नाजुक औजारों को गिराते रहते हैं जो उन्हें सौंपे गए हैं। उन्हें वास्तविक दुनिया के कामों के लिए विश्वसनीय बनाने के लिए, हमें केवल उन्हें "स्मार्टर" बनाने के बजाय, उन्हें प्राप्त डिजिटल कॉन्ट्रैक्ट्स के प्रति अधिक सावधान और अधिक सटीक होना सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।