Governance at the Boundary: How Agent Decomposition Degrades Policy Compliance
यह शोध पत्र Fiducia-bench को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि AI एजेंटों को कई घटकों में विभाजित करने से हैंडऑफ सीमाओं (handoff boundaries) पर महत्वपूर्ण तथ्यों के क्षीण होने के कारण नीति अनुपालन (policy compliance) काफी कम हो जाता है, जिससे मॉडल की क्षमता और आर्किटेक्चर के आधार पर भिन्न होने वाले अल्प-एस्केलेशन (under-escalation) और अति-एस्केलेशन (over-escalation) दोनों के जोखिम उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक वित्तीय दुनिया में, बैंक और संस्थान नए ग्राहकों की पहचान की जांच करने और संदिग्ध गतिविधियों को पकड़ने के लिए परिष्कृत कंप्यूटर प्रोग्रामों पर भरोसा करते हैं। ये प्रोग्राम, जिन्हें अक्सर "एजेंट" कहा जाता है, सख्त नियमों का पालन करने के लिए डिज़ाइन किए गए हैं: यदि कोई ग्राहक ज्ञात अपराधी जैसा दिखता है, तो एजेंट को खाता फ्रीज करना चाहिए और इसकी रिपोर्ट करनी चाहिए; यदि कोई ग्राहक स्पष्ट रूप से निर्दोष है, तो एजेंट को बिना किसी देरी के उसे आगे बढ़ने देना चाहिए। लंबे समय तक, इंजीनियर इन एजेंटों को एकल, आत्मनिर्भर इकाइयों के रूप में बनाते थे जो कार्य के हर चरण को शुरू से अंत तक संभालती थीं। हालाँकि, जैसे-जैसे ये सिस्टम अधिक जटिल होते गए, डेवलपरों ने इन्हें छोटे, विशिष्ट टुकड़ों में विभाजित करना शुरू कर दिया। एक टुकड़ा नाम खोज सकता है, दूसरा डेटाबेस की जांच कर सकता है, और तीसरा अंतिम निर्णय ले सकता है। विखंडन (decomposition) के रूप में जानी जाने वाली यह पद्धति इस उद्देश्य से की गई है कि सिस्टम को अधिक व्यवस्थित और कुशल बनाया जा सके, ठीक वैसे ही जैसे एक बड़ी फैक्ट्री में विभिन्न कार्यकर्ता एक व्यक्ति द्वारा पूरा उत्पाद अकेले बनाने के बजाय, असेंबली लाइन के विशिष्ट हिस्सों को संभालते हैं।
महत्वपूर्ण प्रश्न जो शोधकर्ताओं ने हाल ही में पूछा था, वह यह था कि क्या श्रम का यह विभाजन सिस्टम की नियमों का पालन करने की क्षमता में मदद करता है या नुकसान पहुँचाता है। जब किसी कार्य को विभिन्न घटकों के बीच विभाजित किया जाता है, तो सूचना को एक से दूसरे तक पहुँचाना पड़ता है। यदि हस्तांतरण के दौरान महत्वपूर्ण साक्ष्य का कोई टुकड़ा खो जाता है या भुला दिया जाता है, तो एजेंट अपराधी को रोकने में विफल हो सकता है या किसी निर्दोष व्यक्ति पर गलत आरोप लगा सकता है। शोधकर्ताओं की एक टीम ने यह मापने के लिए प्रयोग किया कि कार्य को विभाजित करने से एजेंट की कानून के दायरे में रहने की क्षमता को वास्तव में कितना नुकसान पहुँचता है। उन्होंने केवल यह नहीं पूछा कि क्या कंप्यूटर ने काम पूरा किया; उन्होंने यह पूछा कि क्या इसने काम को सही ढंग से, वित्तीय सुरक्षा को नियंत्रित करने वाली सख्त नीतियों के अनुसार पूरा किया।
उत्तर खोजने के लिए, शोधकर्ताओं ने 'फिडुशिया-बेंच' (Fiducia-bench) नामक एक परीक्षण स्थल बनाया, जो वास्तविक बैंकिंग नियमों पर आधारित सौ अलग-अलग परिदृश्य (scenarios) का एक संग्रह है। इन परिदृश्यों में ग्राहकों की पहचान की जाँच करना और मनी लॉन्ड्रिंग के संकेतों को खोजना शामिल था। उन्होंने यह देखने के लिए परीक्षण डिज़ाइन किए कि क्या होता है जब एक एजेंट को एक "सीमा" (boundary) पार करनी पड़ती है—एक ऐसा बिंदु जहाँ सिस्टम का एक हिस्सा कार्य को दूसरे हिस्से को सौंपता है। कुछ परीक्षणों में, एजेंट एक एकल लूप में अकेले काम करता था। अन्य में, कार्य को तीन चरणों वाले एक निश्चित पाइपलाइन में विभाजित किया गया था, या एक केंद्रीय समन्वयक (central coordinator) द्वारा प्रबंधित किया गया था जो छोटे उप-एजेंटों को कार्य सौंपता था। शोधकर्ताओं ने इन परीक्षणों को चलाने के लिए दो अलग-अलग कंप्यूटर मॉडल का उपयोग किया: एक शक्तिशाली ओपन-सोर्स मॉडल और एक अधिक मजबूत, प्रोप्राइटरी मॉडल। उन्होंने बारीकी से देखा कि क्या एजेंट महत्वपूर्ण तथ्यों की खोज कर पाते हैं, जैसे कि ग्राहक की जन्म तिथि में विसंगति या किसी राजनीतिक रूप से प्रभावशाली व्यक्ति से संबंध, और क्या वे तथ्य उस घटक तक पहुँचने के सफर में जीवित रहे जिसे अंतिम निर्णय लेना था।
परिणामों ने एक स्पष्ट और चिंताजनक पैटर्न का खुलासा किया। जब एजेंट एक एकल इकाई के रूप में काम करता था, तो उसने खोजी गई जानकारी का एक भी टुकड़ा नहीं खोया। हालाँकि, जैसे ही काम को अलग-अलग घटकों में विभाजित किया गया, सिस्टम महत्वपूर्ण तथ्यों को छोड़ना शुरू कर देता है। ओपन-सोर्स मॉडल का उपयोग करने वाले परीक्षणों में, जब काम को तीन-चरणीय पाइपलाइन में विभाजित किया गया, तो सिस्टम ने अपने द्वारा खोजे गए महत्वपूर्ण तथ्यों में से आधे से अधिक को खो दिया। जब काम को उप-एजेंटों को कार्य सौंपने वाले एक केंद्रीय समन्वयक द्वारा प्रबंधित किया गया, तो सिस्टम ने और भी अधिक तथ्य खो दिए, यानी खोजे गए तथ्यों में से पचासी प्रतिशत (85%) को गायब कर दिया। इसका अर्थ यह है कि अधिकांश मामलों में जहाँ एजेंट को एक सुराग मिला, वह सुराग उस हिस्से तक पहुँचने से पहले ही गायब हो गया जो उस पर कार्रवाई करने के लिए जिम्मेदार था। अधिक शक्तिशाली कंप्यूटर मॉडल ने बहुत बेहतर प्रदर्शन किया, जिसने तथ्यों का बहुत कम हिस्सा खोया, लेकिन विभाजित कार्य के दौरान भी इसने अकेले काम करने की तुलना में अधिक जानकारी खोई।
इस विफलता का सबसे खतरनाक पहलू यह है कि यह दोनों दिशाओं में काम करता है, जिससे दो विपरीत प्रकार की गलतियाँ होती हैं। यदि खोया हुआ तथ्य एक चेतावनी संकेत था, तो एजेंट जोखिम को रोकने में विफल रहेगा, जिससे एक खतरनाक ग्राहक आगे बढ़ जाएगा। यदि खोया हुआ तथ्य निर्दोषता का प्रमाण था, तो एजेंट एक सुरक्षित ग्राहक को खतरे के रूप में गलत तरीके से चिह्नित कर देगा। शोधकर्ताओं ने पाया कि वही तंत्र—हस्तांतरण के दौरान विवरण को भूल जाना—सिस्टम को या तो बहुत लापरवाह या बहुत संदिग्ध बना सकता है। उदाहरण के लिए, एक परिदृश्य में, सिस्टम ने एक तथ्य को छोड़ दिया जो साबित करता था कि ग्राहक निर्दोष था, जिससे अनावश्यक रूप से उसका खाता फ्रीज कर दिया गया। दूसरे मामले में, इसने एक तथ्य को छोड़ दिया जो साबित करता था कि ग्राहक जोखिम भरा है, जिससे उसे जाने दिया गया। अंतिम गलती करने वाला घटक वह नहीं था जिसने सुराग खोजने में विफलता दिखाई; विफलता दो भागों के बीच के सन्नाटे में हुई।
यह अध्ययन सुझाव देता है कि इन प्रणालियों को बनाने का तरीका उतना ही महत्वपूर्ण है जितना कि स्वयं कंप्यूटर मॉडल की बुद्धिमत्ता। कार्य को छोटे टुकड़ों में तोड़ने की क्रिया एक विशिष्ट विफलता बिंदु पेश करती है जहाँ सूचना लीक हो सकती है। हालांकि अधिक सक्षम कंप्यूटर मॉडल का उपयोग करने से खोई हुई जानकारी की मात्रा को कम किया जा सकता है, लेकिन यह समस्या को पूरी तरह से समाप्त नहीं करता है। शोधकर्ताओं ने निष्कर्ष निकाला कि जटिल, बहु-स्तरीय एजेंट सिस्टम बनाने का वर्तमान चलन एक छिपी हुई लागत लेकर आता है: यह सिस्टम को सुरक्षा बनाए रखने वाले नियमों का पालन करने में कम विश्वसनीय बनाता है। उनका संकेत है कि समाधान इन विभिन्न भागों के आपस में बात करने के बेहतर तरीकों को डिजाइन करने में निहित है, ताकि यह सुनिश्चित हो सके कि जब बैटन (बैटन पास करना) सौंपा जाए, तो कोई भी महत्वपूर्ण विवरण पीछे न छूट जाए। तब तक, हम जितना अधिक काम को विभाजित करेंगे, सत्य को खोने की संभावना उतनी ही अधिक होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।