What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
यह शोध पत्र प्रकट करता है कि वर्तमान अनुपालन डिटेक्टर "नियम अंधापन" (rule blindness) से ग्रस्त हैं, जो घोषित नियामक नियमों पर वास्तविक रूप से निर्भर रहने के बजाय सतही विशेषताओं पर निर्भर रहते हैं, और यह प्रदर्शित करता है कि प्रस्तावित प्रशिक्षण-मुक्त इंटरनल कंप्लायंस स्कोर (ICS) भी मामूली बेसलाइन और अनुकूलन योग्य हमलों के विरुद्ध मजबूती की कमी रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) टेक्स्ट जेनरेट करने के लिए शक्तिशाली इंजन के रूप में कार्य करते हैं, जो ईमेल ड्राफ्ट करने से लेकर जटिल प्रश्नों के उत्तर देने तक सब कुछ कर सकते हैं। हालाँकि, जब इन उपकरणों का उपयोग वित्त, स्वास्थ्य सेवा या कानून जैसे विनियमित क्षेत्रों में किया जाता है, तो उन्हें सख्त लिखित नियमों का पालन करना होता है। उदाहरण के लिए, एक बैंक की ऐसी नीति हो सकती है कि व्यक्तिगत डेटा को नब्बे दिनों के भीतर हटा दिया जाना चाहिए। यह सुनिश्चित करने के लिए कि AI इसका पालन करे, कंपनियाँ अक्सर "गार्ड मॉडल्स" (guard models) तैनात करती हैं—जो विशेष क्लासिफायर हैं जिन्हें AI के आउटपुट को स्कैन करने और किसी भी उल्लंघन को चिह्नित करने के लिए प्रशिक्षित किया गया है। उम्मीद यह है कि ये गार्ड दिए गए विशिष्ट नियम को पढ़ेंगे और जाँच करेंगे कि क्या AI का उत्तर उससे मेल खाता है। यदि गार्ड सही ढंग से काम कर रहा है, तो उसे केवल तभी उल्लंघन के रूप में चिह्नित करना चाहिए जब विशिष्ट नियम टूट गया हो, न कि केवल इसलिए कि विषय जोखिम भरा लग रहा है।
लेक्सी लैब्स (Lexsi Labs) के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ में लिया कि क्या ये अनुपालन मॉनिटर वास्तव में उन नियमों को समझते हैं जिन्हें उन्हें लागू करना है। उन्होंने एक घटना की जांच की जिसे वे "रूल ब्लाइंडनेस" (rule blindness) कहते हैं। यह तब होता है जब एक डिटेक्टर उस नियम के संबंध में एक ही निर्णय देता है जिसे उसे जाँचने के लिए बनाया गया है। एक संग्रहालय के सुरक्षा गार्ड की कल्पना करें जो हर उस आगंतुक को रोकता है जिसके पास लाल बैग है, इसलिए नहीं कि लाल बैग प्रतिबंधित हैं, बल्कि इसलिए क्योंकि गार्ड ने लाल रंग को खतरे से जोड़ना सीख लिया है। यदि संग्रहालय नीले बैग को प्रतिबंधित करने का नियम बदल देता है, तो एक 'रूल-ब्लाइंड' गार्ड अभी भी लाल बैग वाले लोगों को रोकेगा और नीले बैगों को अनदेखा कर देगा, जिससे वह नए निर्देश को पूरी तरह से चूक जाएगा। शोधकर्ता यह जानना चाहते थे कि क्या हमारे डेटा की रक्षा करने वाले डिजिटल गार्ड भी इसी समस्या से जूझ रहे हैं।
टीम ने मौजूदा गार्ड मॉडल्स और एक्टिवेशन प्रोब्स (activation probes)—जो AI के आंतरिक कामकाज में झाँकने और उसके इरादों का अनुमान लगाने वाले उपकरण हैं—की एक विस्तृत श्रृंखला का परीक्षण करके शुरुआत की। उन्होंने 'काउंटरफैक्चुअल टेस्टिंग' (counterfactual testing) की एक विधि का उपयोग किया, जिसमें सिस्टम की प्रतिक्रिया देखने के लिए इनपुट को विशिष्ट तरीकों से बदला जाता है। अपने प्रयोगों में, उन्होंने एक ऐसी स्थिति ली जहाँ डेटा को चार सौ दिनों तक रखा गया था, जो कि नब्बे दिनों के नियम का स्पष्ट उल्लंघन है। इसके बाद उन्होंने उस नब्बे-दिन के नियम को एक पूरी तरह से अलग, असंबंधित नियम से बदल दिया, या नियम को पूरी तरह से हटा दिया। आश्चर्यजनक रूप से, गार्ड मॉडल्स ने उल्लंघन को उतनी ही बार और उसी आत्मविश्वास के साथ चिह्नित किया, भले ही शासन करने वाला नियम गायब था या बदल गया था। डिटेक्टर उस परिदृश्य (scenario) को ट्रैक कर रहे थे—यानी तथ्य कि डेटा को बहुत लंबे समय तक रखा गया था—न कि उस विशिष्ट नियम को जिसने इसे उल्लंघन बनाया था। यह विफलता केवल एक प्रकार के मॉडल तक सीमित नहीं थी; यह उन फिक्स्ड-सेफ्टी क्लासिफायर्स में भी दिखाई दी जिन्होंने कभी नियम देखा ही नहीं, और यहाँ तक कि उन परिष्कृत "पॉलिसी-कंडीशन्ड" (policy-conditioned) गार्ड्स में भी, जिन्हें स्पष्ट रूप से कस्टम नियमों को पढ़ने और उनका पालन करने के लिए डिज़ाइन किया गया है। ऐसा एक गार्ड, जो टेक्स्ट में नियम की स्थिति को ९१ से ९५ प्रतिशत बार सही ढंग से उद्धृत करता था, फिर भी उसका अंतिम निर्णय लगभग अपरिवर्तित रहा जब नियम को एक उदार नियम से बदल दिया गया जिसने उस व्यवहार की अनुमति दी थी।
इन सिस्टम्स द्वारा वास्तव में क्या पढ़ा जा रहा था, इसे समझने के लिए शोधकर्ताओं ने एक नया, उद्देश्य-पूर्ण बेंचमार्क बनाया। उन्होंने एक ऐसा परीक्षण बनाया जहाँ उत्तर पूरी तरह से एक विशिष्ट नियम और एक विशिष्ट परिदृश्य के बीच की अंतःक्रिया (interaction) पर निर्भर था, यह सुनिश्चित करते हुए कि न तो नियम का टेक्स्ट और न ही परिदृश्य का टेक्स्ट अकेले परिणाम की भविष्यवाणी कर सके। उदाहरण के लिए, एक नियम कह सकता है कि एक बैंक एक हजार डॉलर से कम के खातों के लिए जाँच को सरल बना सकता है, जबकि दूसरा नियम सीमा को पाँच हजार पर सेट करता है। यदि कोई परिदृश्य दो हजार डॉलर के खाते का वर्णन करता है, तो निर्णय पूरी तरह से इस पर निर्भर करता है कि कौन सा नियम सक्रिय है। जब उन्होंने इस अनकन्फाउंडेड (unconfounded) बेंचमार्क पर अपने परीक्षण चलाए, तो उनके द्वारा आजमाए गए प्रत्येक कुशल डिटेक्टर का प्रदर्शन रैंडम चांस (random chance) से बेहतर नहीं था। केवल एक ही सिस्टम सफल हुआ, जो स्टेप-बाय-स्टेप तर्क करने वाला एक लार्ज लैंग्वेज मॉडल था, जो उत्तर देने से पहले समस्या को तोड़ता है। इससे पता चला कि तेज़, स्वचालित डिटेक्टर नियम को परिदृश्य के साथ जोड़ (compose) नहीं रहे थे; वे केवल टेक्स्ट की सतही विशेषताओं के आधार पर "उल्लंघन" के एक व्यापक संकेत को पहचान रहे थे।
शोधकर्ताओं ने फिर एक नया, ट्रेनिंग-मुक्त टूल पेश किया जिसे "इंटरनल कंप्लायंस स्कोर" (Internal Compliance Score) कहा जाता है। यह विधि सीधे AI के आंतरिक एक्टिवेशन सिग्नल्स को पढ़ती है, जिसके लिए केवल दस उदाहरणों के जोड़े को कैलिब्रेट करने की आवश्यकता होती है। यह अविश्वसनीय रूप से सस्ता और तेज़ है, जिसमें किसी पुन: प्रशिक्षण या अतिरिक्त प्रोसेसिंग चरणों की आवश्यकता नहीं होती है। उन्होंने पाया कि यह टूल उम्मीदवार प्रतिक्रियाओं को रैंक करने में उत्कृष्ट था, जिससे विकल्पों की सूची में से सबसे अधिक अनुपालन वाली प्रतिक्रिया चुनने में मदद मिली। परीक्षणों में, इसने निर्देश-अनुपालन कार्यों के पास रेट (pass rate) में पाँच प्रतिशत अंकों का सुधार किया। हालाँकि, वही 'रूल ब्लाइंडनेस' जिसने अन्य गार्ड्स को प्रभावित किया था, इस नए स्कोर को भी प्रभावित करती है। जब नियम को हटाया या बदला गया, तो स्कोर अपरिवर्तित रहा। टूल प्रभावी रूप से जोखिम की एक सामान्य भावना को माप रहा था, न कि लिखित नियम के विशिष्ट पालन को। इसके अलावा, शोधकर्ताओं ने पाया कि यह लाभ नाजुक था; एक चतुर, अनुकूलित हमला (adaptive attack) प्रतिक्रिया के अंत में कुछ विशिष्ट शब्द जोड़कर सिस्टम को आसानी से मूर्ख बना सकता था, जिससे स्कोर गिरकर रैंडम स्तर पर पहुँच जाता था।
अध्ययन ने यह भी खुलासा किया कि वर्तमान में अनुपालन को कैसे मापा जाता है, इसमें एक गहरा मुद्दा है। शोधकर्ताओं ने इन सिस्टम्स के परीक्षण के लिए उपयोग किए जाने वाले सात सार्वजनिक बेंचमार्क्स का ऑडिट किया और पाया कि उनमें से चार "लेक्सिकली डिजेनरेट" (lexically degenerate) थे। इसका अर्थ है कि प्रतिक्रिया अनुपालन योग्य है या नहीं, इसके लेबल टेक्स्ट के भीतर ही समाहित थे, अक्सर परिदृश्य को लिखने के तरीके या निर्णय के वर्णन के माध्यम से। एक साधारण कंप्यूटर प्रोग्राम, जो बिना किसी नियम को समझे केवल शब्दों को गिनता है, इन बेंचमार्क्स को उच्च सटीकता के साथ हल कर सकता था। इसका तात्पर्य यह है कि मॉडल की नियम पालन करने की क्षमता के बारे में पिछले कई दावे वास्तव में विशिष्ट शब्दों या वाक्य संरचनाओं को पहचानने की क्षमता के दावे थे। शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि ये डिटेक्टर प्रतिक्रियाओं को छाँटने और रैंक करने के लिए उपयोगी हैं, लेकिन इन पर विशिष्ट नियमों के आधार पर कानूनी या ऑडिट निर्णय लेने के लिए भरोसा नहीं किया जा सकता है। वे नियम-विशिष्ट आश्वासन का आभास देते हैं, लेकिन वास्तव में, वे उन नियमों के प्रति अंधे हैं जिन्हें उन्हें लागू करना है। पेपर इन परीक्षणों के लिए उपयोग किए गए टूल्स और प्रोटोकॉल को जारी करके समाप्त होता है, जिससे अन्य लोग वास्तविक दुनिया में तैनात करने से पहले भविष्य के सिस्टम की इसी तरह की ब्लाइंडनेस की जाँच कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।