🤖 AI

Quantifying Trust: Financial Risk Management for Trustworthy AI Agents

यह शोध पत्र एजेंटिक रिस्क स्टैंडर्ड (ARS) का प्रस्ताव करता है, जो एक वित्तीय अंडरराइटिंग से प्रेरित ढांचा है जो स्वायत्त एआई एजेंटों में विश्वास को मॉडल की अंतर्निहित विश्वसनीयता से हटाकर स्पष्ट, संविदात्मक रूप से लागू करने योग्य उत्पाद गारंटी की ओर स्थानांतरित करता है, जो निष्पादन विफलताओं और अनपेक्षित परिणामों के लिए पूर्व-निर्धारित मुआवजा प्रदान करता है।

मूल लेखक: Wenyue Hua, Tianyi Peng, Chi Wang, Ian Kaufman, Bryan Lim, Chandler Fang

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenyue Hua, Tianyi Peng, Chi Wang, Ian Kaufman, Bryan Lim, Chandler Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने टैक्स भरने, अपने निवेश को प्रबंधित करने या अपने व्यवसाय के लिए कोड लिखने के लिए एक अत्यधिक बुद्धिमान, स्वायत्त रोबोट सहायक को काम पर रख रहे हैं। आप रोबोट के "दिमाग" (इसके AI मॉडल) पर भरोसा करते हैं कि वह स्मार्ट और सुरक्षित है। लेकिन क्या होगा यदि रोबोट कोई गलती करता है, कोई संख्या गलत बताता है, या गलती से आपका बैंक खाता डिलीट कर देता है?

वर्तमान में, यदि रोबोट विफल होता है, तो सारा नुकसान आपको ही उठाना पड़ता है। आपने फीस पहले ही चुका दी है, और अब आपको अपना पैसा वापस पाने के लिए रोबोट कंपनी पर मुकदमा करना होगा। यह एक घर बनाने के लिए ठेकेदार को काम पर रखने जैसा है, जिसमें आप उसे एक भी ईंट बिछाने से पहले पूरी राशि चुका देते हैं, और इस उम्मीद में रहते हैं कि वह आपका पैसा लेकर भाग नहीं जाएगा।

यह पेपर एक नई प्रणाली प्रस्तावित करता है जिसे ARS (एजेंटिक रिस्क स्टैंडर्ड - Agentic Risk Standard) कहा जाता है। ARS को केवल रोबोट को स्मार्ट बनाने के तरीके के रूप में नहीं, बल्कि एक वित्तीय सुरक्षा जाल (financial safety net) के रूप में देखें जो यह बदल देता है कि आप कैसे भुगतान करते हैं और भुगतान कैसे प्राप्त करते हैं।

सरल उपमाओं का उपयोग करके इसका विवरण यहाँ दिया गया है:

1. समस्या: "अंधा विश्वास" (The Blind Leap of Faith)

अभी, एक AI एजेंट का उपयोग करना एक ऐसे विमान में टिकट खरीदने जैसा है जिसका पायलट एक ऐसा AI है जिससे आप कभी नहीं मिले। आप टिकट खरीदते हैं, विमान में चढ़ते हैं, और उम्मीद करते हैं कि वह उतर जाएगा। यदि विमान दुर्घटनाग्रस्त हो जाता है, तो एयरलाइन कहती है, "खैर, AI ने अपना सर्वश्रेष्ठ प्रयास किया, लेकिन यह स्टोकेस्टिक (अनिश्चित/रैंडम) है, इसलिए शुभकामनाएँ।"

पेपर का तर्क है कि हम केवल AI को "अधिक ईमानदार" बनाने पर भरोसा नहीं कर सकते। सबसे अच्छा AI भी रैंडम गलतियाँ कर सकता है। इसके बजाय, हमें एक ऐसी प्रणाली की आवश्यकता है जो पैसे और उन गलतियों के परिणामों को संभाल सके।

2. समाधान: ARS (एक "एस्क्रो और बीमा" प्रणाली)

ARS एक उच्च-जोखिम वाले व्यावसायिक सौदे की तरह AI कार्य को देखता है। यह तीन प्रमुख पात्रों और दो प्रकार के कार्यों को पेश करता है:

प्रमुख पात्र:

उपयोगकर्ता (आप): वह व्यक्ति जो रोबोट को काम पर रख रहा है।
एजेंट (रोबोट): सेवा प्रदाता जो काम कर रहा है।
अंडरराइटर (बीमा कंपनी): एक तीसरा पक्ष जो कहता है, "यदि रोबोट विफल होता है तो मैं आपको भुगतान करूँगा, लेकिन मुझे एक शुल्क और एक सुरक्षा जमा राशि की आवश्यकता है।"

दो प्रकार के कार्य:

प्रकार A: "कॉफी शॉप" वाला कार्य (केवल शुल्क - Fee-Only)

परिदृश्य: आप रोबोट से एक कविता लिखने या एक स्लाइड डेक बनाने के लिए कहते हैं।
जोखिम: रोबोट एक खराब कविता लिख सकता है। आप अपना समय खो देते हैं, लेकिन अपनी जीवन भर की बचत नहीं।
ARS समाधान (एस्क्रो - Escrow): कल्पना करें कि आपने अपना पैसा एक लॉक बॉक्स (Escrow) में रखा है। रोबोट काम करता है।
- यदि कविता अच्छी है, तो बॉक्स खुल जाता है, और रोबोट को भुगतान मिल जाता है।
- यदि कविता बेकार है, तो बॉक्स लॉक ही रहता है, और आपको आपका पैसा वापस मिल जाता है।
- उपमा: यह एक गिफ्ट कार्ड खरीदने जैसा है जो केवल तभी विक्रेता को जारी किया जाता है जब आप पुष्टि करते हैं कि आपको वस्तु प्राप्त हो गई है।

प्रकार B: "बैंक वॉल्ट" वाला कार्य (फंड शामिल करने वाला - Fund-Involving)

परिदृश्य: आप रोबोट को स्टॉक ट्रेड करने, $10,000 ट्रांसफर करने या आपके टैक्स फाइल करने के लिए कहते हैं।
जोखिम: रोबोट को काम पूरा करने से पहले आपके पैसे तक पहुँच की आवश्यकता होती है। यदि यह विफल होता है, तो आप तुरंत अपने पूरे $10,000 खो सकते हैं। एक साधारण "लॉक बॉक्स" पर्याप्त नहीं है क्योंकि पैसा पहले ही स्थानांतरित होना चाहिए।
ARS समाधान (अंडरराइटिंग + कोलैटरल): यहीं पर यह बहुत चतुर है।
1. बीमा पॉलिसी: आप एक अंडरराइटर को एक छोटा शुल्क (प्रीमियम) देते हैं।
2. सुरक्षा जमा (Security Deposit): रोबोट (एजेंट) को अपना पैसा (Collateral) एक तिजोरी में लॉक करना होगा।
3. सौदा:
  - यदि रोबोट सफल होता है: आपको आपका पैसा वापस मिल जाता है, रोबोट को भुगतान मिल जाता है, और अंडरराइटर छोटा शुल्क अपने पास रखता है।
  - यदि रोबोट विफल होता है: अंडरराइटर आपको तुरंत आपका खोया हुआ पैसा वापस करता है। अंडरराइटर फिर रोबोट की सुरक्षा जमा राशि (Collateral) से अपना नुकसान पूरा करने के लिए पैसा लेता है।
- उपमा: कल्पना कीजिए कि आपने अपना महंगा पियानो स्थानांतरित करने के लिए एक मूविंग कंपनी को काम पर रखा है। आप केवल उन पर भरोसा नहीं करते। आप एक गारंटर नियुक्त करते हैं। मूविंग कंपनी अपनी $5,000 की राशि एक सुरक्षित डिपो बॉक्स में रखती है। यदि वे पियानो गिरा देते हैं, तो गारंटर आपको$ 5,000 का भुगतान करता है, और मूविंग कंपनी अपनी जमा राशि खो देती है।

3. यह सब कुछ कैसे बदल देता है

पेपर सुझाव देता है कि "विश्वास" एक अस्पष्ट भावना नहीं होनी चाहिए कि "AI अच्छा है।" विश्वास एक अनुबंध (Contract) होना चाहिए।

पुराना तरीका: "मैं इस AI पर भरोसा करता हूँ क्योंकि यह एक बड़ी कंपनी का है।" (अस्पष्ट, जोखिम भरा)।
नया तरीका (ARS): "मैं इस AI पर भरोसा करता हूँ क्योंकि यदि यह विफल होता है, तो अनुबंध कहता है कि मुझे स्वचालित रूप से भुगतान किया जाएगा, और रोबोट को गारंटी के रूप में अपना पैसा लगाना होगा।" (स्पष्ट, लागू करने योग्य)।

4. सिमुलेशन परिणाम

लेखकों ने यह देखने के लिए कि यह वास्तविक दुनिया में कैसे काम करेगा, एक कंप्यूटर सिमुलेशन चलाया। उन्होंने पाया:

यह उपयोगकर्ताओं की रक्षा करता है: इस प्रणाली के होने पर लोग काफी कम पैसा खोते हैं।
यह बाजार को साफ करता है: क्योंकि रोबोटों को जमा के रूप में अपना पैसा लगाना पड़ता है, "बुरे" रोबोट (जो जोखिम भरे या आलसी हैं) भाग लेने का खर्च नहीं उठा सकते। वे बाहर हो जाते हैं।
यह एक संतुलन है: यदि बीमा शुल्क बहुत अधिक है, तो लोग इसे नहीं खरीदेंगे। यदि सुरक्षा जमा बहुत अधिक है, तो रोबोट इसमें शामिल नहीं होंगे। प्रणाली को "गोल्डिलॉक्स" ज़ोन (सही संतुलन) खोजने की आवश्यकता है।

सारांश

ARS AI अर्थव्यवस्था के लिए एक सीटबेल्ट और एयरबैग की तरह है।
हम यह गारंटी नहीं दे सकते कि कार (AI) कभी दुर्घटनाग्रस्त नहीं होगी। लेकिन ARS के साथ, हम यह सुनिश्चित करते हैं कि यदि दुर्घटना होती है, तो आप खाली हाथ नहीं रहेंगे। यह प्रणाली AI सेवा प्रदाताओं को अपना पैसा दांव पर लगाने के लिए मजबूर करती है, जिससे वे लापरवाही से कार्य करने से पहले दो बार सोचते हैं, और यदि चीजें गलत होती हैं तो आपको गारंटीकृत भुगतान मिलता है।

यह सवाल को "क्या AI पर्याप्त स्मार्ट है?" से बदलकर "क्या AI अनुबंधात्मक रूप से अपनी गलतियों को सुधारने के लिए बाध्य है?" में बदल देता है।

यहाँ "Financial Risk Management for Trustworthy AI Agents" (एजेंटिक रिस्क स्टैंडर्ड - ARS) के तकनीकी सारांश का हिंदी अनुवाद दिया गया है:

1. समस्या विवरण (Problem Statement)

"विश्वसनीय AI" (Trustworthy AI) पर वर्तमान शोध मुख्य रूप से मॉडल-आंतरिक गुणों जैसे कि पूर्वाग्रह शमन (bias mitigation), प्रतिकूल सुदृढ़ता (adversarial robustness) और व्याख्यात्मकता (interpretability) पर केंद्रित है। हालाँकि, जैसे-जैसे AI सिस्टम खुले वातावरण (जैसे कोडिंग असिस्टेंट, टैक्स फाइलर, ट्रेडिंग बॉट्स) में तैनात स्वायत्त एजेंटों (autonomous agents) के रूप में विकसित हो रहे हैं, विश्वास की परिभाषा मॉडल की विश्वसनीयता से बदलकर एंड-टू-एंड परिचालन परिणामों (end-to-end operational outcomes) पर स्थानांतरित हो रही है।

पहचाना गया मुख्य मुद्दा एक गारंटी अंतराल (guarantee gap) है:

स्टोकेस्टिक प्रकृति (Stochastic Nature): लार्ज लैंग्वेज मॉडल्स (LLMs) स्वाभाविक रूप से स्टोकेस्टिक होते; कोई भी प्रशिक्षण विफलता (जैसे मतिभ्रम/hallucinations, मिसअलाइनमेंट, या निष्पादन त्रुटियां) की संभावना को समाप्त नहीं कर सकता।
असममित जोखिम (Asymmetric Risk): जब एजेंटों को मूल्यवान संपत्तियों (निधि, कोडबेस, क्रेडेंशियल्स) तक पहुंच दी जाती है, तो एक एकल विफलता विनाशकारी, अपरिवर्तनीय डाउनस्ट्रीम नुकसान (वित्तीय हानि, डेटा भ्रष्टाचार) पहुंचा सकती है जो सेवा शुल्क से कहीं अधिक होता है।
सेटलमेंट मानकों का अभाव: पारंपरिक उच्च-जोखिम वाले उद्योगों (निर्माण, वित्त, बीमा) के विपरीत जो जोखिम आवंटन के लिए एस्क्रो (escrow), कोलैटरल (collateral) और अंडरराइटिंग का उपयोग करते हैं, वर्तमान AI एजेंट तैनाती में आमतौर पर उपयोगकर्ताओं को अग्रिम भुगतान करने और सभी अवशिष्ट निष्पादन जोखिम (residual execution risk) को स्वयं वहन करने की आवश्यकता होती है। जब कोई एजेंट विफल होता है, तो मुआवजे या उत्तरदायित्व को संभालने के लिए कोई मानकीकृत तंत्र नहीं है।

2. कार्यप्रणाली: एजेंटिक रिस्क स्टैंडर्ड (ARS)

लेखक ARS का प्रस्ताव करते हैं, जो वित्तीय अंडरराइटिंग और बीमा से प्रेरित एक सेटलमेंट-लेयर मानक है। ARS मॉडल के आंतरिक व्यवहार को ठीक करने का प्रयास नहीं करता है, बल्कि स्टोकेस्टिक निष्पादन जोखिमों को प्रबंधित करने के लिए एक डिटरमिनिस्टिक ट्रांजैक्शन फ्रेमवर्क बनाता है।

मुख्य अवधारणाएं (Core Concepts)

जॉब एब्स्ट्रैक्शन (Job Abstraction): प्रत्येक एजेंट कार्य को एक हस्ताक्षरित स्ट्रक्चर्ड एग्रीमेंट द्वारा शासित एक "जॉब" माना जाता है। यह समझौता कार्य, स्वीकृति मानदंड, भुगतान की शर्तें और विफलता ट्रिगर्स को परिभाषित करता है।
दोहरी-ट्रैक सेटलमेंट (Dual-Track Settlement): ARS लेनदेन को दो अलग-अलग ट्रैकों में विभाजित करता है:
1. फी ट्रैक (एस्क्रो): सेवा शुल्क के लिए। धनराशि एस्क्रो में लॉक की जाती है और केवल सत्यापित सफल डिलीवरी होने पर ही जारी की जाती है।
2. प्रिंसिपल ट्रैक (अंडरराइटिंग): उन कार्यों के लिए जिनमें उपयोगकर्ता की पूंजी तक प्री-एग्जीक्यूशन एक्सेस की आवश्यकता होती है (जैसे ट्रेडिंग)। यह ट्रैक अंडरराइटिंग और कोलैटरलाइजेशन पेश करता है।
भूमिकाएं (Roles):
- रिक्वेस्टर (Requestor): उपयोगकर्ता (या उपयोगकर्ता-पक्ष का असिस्टेंट)।
- बिजनेस एजेंट (Business Agent): कार्य निष्पादित करने वाला सेवा प्रदाता।
- अंडरराइटर (Underwriter): एक तीसरा पक्ष जो जोखिम का मूल्य निर्धारित करता है, प्रीमियम एकत्र करता है, और कवर किए गए विफलताओं के लिए उत्तरदायित्व लेता है।
- इवैल्यूएटर/आर्बिटर (Evaluator/Arbiter): समझौते के विरुद्ध परिणामों को सत्यापित करता है।

ARS जीवनचक्र (स्टेट मशीन)

ARS ऑडिट योग्य ट्रांजेक्शन सुनिश्चित करने के लिए एक सख्त स्टेट मशीन को परिभाषित करता है:

अनुरोध और बातचीत (Request & Negotiation): पक्ष शर्तों पर सहमत होते हैं और स्ट्रक्चर्ड एग्रीमेंट पर हस्ताक्षर करते हैं।
ट्रांजैक्शन चरण (Transaction Phase):
- फी ट्रैक: उपयोगकर्ता एस्क्रो में शुल्क लॉक करता है।
- प्रिंसिपल ट्रैक: यदि अंडरराइटिंग को अपनाया जाता है, तो अंडरराइटर जोखिम का आकलन करता है, प्रीमियम और कोलैटरल की आवश्यकता निर्धारित करता है। एजेंट कोलैटरल जमा करता है। यदि एजेंट कोलैटरल देने से मना कर देता है, तो उपयोगकर्ता "ह्यूमन ओवरराइड" पथ चुन सकता है, जिसमें बिना किसी कवरेज के पूर्ण जोखिम स्वयं स्वीकार किया जाता है।
- रिलीज़: निष्पादन पूंजी केवल तभी जारी की जाती है जब प्राधिकरण प्रेडिकेट्स (जैसे उपयोगकर्ता + अंडरराइटर से मल्टी-सिग अनुमोदन) पूरे हो जाते हैं।
मूल्यांकन चरण (Evaluation Phase): इवैल्यूएटर समझौते के विरुद्ध परिणाम को सत्यापित करता है।
सेटलमेंट (Settlement):
- सफलता (Success): शुल्क एजेंट को जारी किया जाता है; कोलैटरल अनलॉक हो जाता है।
- विफलता (Failure): शुल्क वापस (refund) कर दिया जाता है। यदि अंडरराइटिंग सक्रिय है, तो अंडरराइटर उपयोगकर्ता को प्रतिपूर्ति (reimburse) करता है (सीमाओं तक), और एजेंट का कोलैटरल "स्लैश" (जब्त) कर दिया जाता है।

विस्तार क्षमता (Extensibility)

ARS को प्रोटोकॉल-अज्ञेयवादी (protocol-agnostic) बनाया गया है। यह इरादा सत्यापन (intent verification) के लिए मौजूदा प्राधिकरण प्रोटोकॉल (जैसे Google का AP2, Mastercard का VI) और निष्पादन के लिए भुगतान रेल (जैसे x402) के साथ एकीकृत हो सकता है, जो उनके ऊपर "सेटलमेंट लॉजिक" लेयर के रूप में कार्य करता है।

3. प्रमुख योगदान

वैचारिक बदलाव (Conceptual Shift): यह AI विश्वास को मॉडल व्यवहार की एक अंतर्निहित अपेक्षा से बदलकर वित्तीय जोखिम प्रबंधन सिद्धांतों पर आधारित एक स्पष्ट, प्रवर्तनीय उत्पाद गारंटी के रूप में पुनर्गठित करता है।
ARS विनिर्देश (Specification): एक औपचारिक, ओपन-सोर्स मानक जो एस्क्रो, कोलैटरल और दावों (claims) सहित एजेंटिक लेनदेन के जीवनचक्र, स्टेट मशीन और एक्शन वोकैबुलरी को परिभाषित करता है।
सिमुलेशन अध्ययन: विभिन्न जोखिम मापदंडों (लोडिंग फैक्टर्स, फॉल्स-पॉजिटिव/नेगेटिव दर, और कोलैटरल शेड्यूल्स) के साथ एक व्यापक एजेंट-आधारित सिमुलेशन।
जोखिम मॉडलिंग फ्रेमवर्क: सिग्मॉइड कोलैटरल शेड्यूल्स और लोडिंग फैक्टर्स के साथ एक्टुअरी-फेयर प्रीमियम का उपयोग करके एजेंट जोखिम का मूल्य निर्धारण करने की एक पद्धति पेश करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने विविध जोखिम मापदंडों के साथ 5,000 फंड-संलिप्त लेनदेन का सिमुलेशन किया।

हानि में कमी (Loss Reduction): ARS उपयोगकर्ता की हानि को काफी कम करता है। इष्टतम स्थितियों (कम लोडिंग फैक्टर) में, इसने वास्तविक उपयोगकर्ता हानि को 61% तक कम कर दिया। उच्च प्रीमियम के साथ भी, इसने सकारात्मक हानि कमी बनाए रखी।
विफलता में कमी (सिस्टमिक लाभ): कोलैटरल की आवश्यकता एक निवारक (deterrent) के रूप में कार्य करती है। सिमुलेशन ने दिखाया कि कुल विफल लेनदेन में 12–23% की कमी आई क्योंकि जोखिम भरे व्यापारियों को भाग लेने से रोका गया या उन्हें उच्च कोलैटरल जमा करने के लिए मजबूर किया गया।
अंडरराइटर सॉल्वेंसी (Underwriter Solvency):
- लोडिंग फैक्टर ( $\lambda$ ): सॉल्वेंसी के लिए एक सकारात्मक लोडिंग फैक्टर आवश्यक है। $\lambda=0$ (केवल एक्टुअरी-फेयर) पर, टेल रिस्क के कारण अंडरराइटर दिवालिया हो गया। $\lambda=0.6$ पर, अंडरराइटर सॉल्वेंट रहा।
- जोखिम अनुमान सटीकता: फॉल्स नेगेटिव (जोखिम को कम आंकना) दिवालियापन का प्राथमिक चालक था। फॉल्स पॉजिटिव (जोखिम को अधिक आंकना) घर्षण (कम एडॉप्शन) को बढ़ाता है लेकिन सॉल्वेंसी को सुरक्षित रखता है।
ट्रेड-ऑफ (Trade-offs): एडॉप्शन (अपनाने की दर) और सॉल्वेंसी/सुरक्षा के बीच एक अंतर्निहित तनाव है। सख्त कोलैटरल आवश्यकताएं सॉल्वेंसी और सुरक्षा में सुधार करती हैं लेकिन मर्चेंट भागीदारी को कम करती हैं। सिस्टम इन मापदंडों (जैसे सिग्मॉइड मिडपॉइंट और स्टीपनेस) को ट्यून करने की अनुमति देता है ताकि एक संतुलन पाया जा सके।

5. महत्व और भविष्य के निहितार्थ

अंतराल को पाटना: ARS सैद्धांतिक AI सुरक्षा और वास्तविक दुनिया के आर्थिक नियोजन के बीच एक व्यावहारिक सेतु प्रदान करता है, जिससे उपयोगकर्ता पूर्ण हानि के डर के बिना उच्च-स्तरीय कार्यों को सौंप सकते हैं।
नया अनुसंधान एजेंडा: यह पेपर "विश्वसनीय AI" अनुसंधान के फोकस को विशुद्ध रूप से मॉडल-केंद्रित सुरक्षा से बदलकर जोखिम मॉडलिंग और मैकेनिज्म डिजाइन की ओर स्थानांतरित करता है। यह निम्नलिखित की आवश्यकता को रेखांकित करता है:
- गैर-मौद्रिक नुकसान (जैसे गोपनीयता, प्रतिष्ठा) के लिए बेहतर लॉस मॉडलिंग।
- तनाव के तहत विफलता मोड के सटीक फ्रीक्वेंसी एस्टीमेशन।
- कोलैटरल और प्रीमियम के लिए प्रोत्साहन-संगत (incentive-compatible) डिजाइन।
पूरकता (Complementarity): ARS मॉडल अलाइनमेंट का विकल्प नहीं है, बल्कि एक आवश्यक पूरक है। जैसे-जैसे मॉडल सुरक्षित होते जाते हैं, आवश्यक कोलैटरल और प्रीमियम कम होते जाते हैं, जो स्वाभाविक रूप से उच्च एडॉप्शन को बढ़ावा देते हैं।

संक्षेप में, यह पेपर तर्क देता है कि AI एजेंटों को आर्थिक संदर्भों में वास्तव में विश्वसनीय होने के लिए, हमें केवल मॉडल विश्वसनीयता की "आशा" से आगे बढ़कर अनुबंधात्मक, वित्तीय गारंटी की ओर बढ़ना चाहिए जो जोखिम का आवंटन करती है और स्टोकेस्टिक विफलताओं के मामले में मुआवजा सुनिश्चित करती है।