Confidence Auditing in Automated Decision Systems
यह शोध पत्र एक नवीन, वितरण-मुक्त (distribution-free) ऑडिटिंग प्रोटोकॉल प्रस्तावित करता है जो तैनात स्वचालित निर्णय प्रणालियों (automated decision systems) द्वारा किए गए विश्वास दावों (confidence claims) की सटीकता को सांख्यिकीय रूप से मान्य करने और उन पर पुनरुत्पादनीय निर्णय (reproducible verdicts) जारी करने के लिए एक बाहरी बेंचमार्क के रूप में स्प्लिट-कॉन्फॉर्मल इन्फरेंस (split-conformal inference) का उपयोग करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल बुनियादी ढांचे की शांत गूंज में, स्वचालित प्रणालियाँ हर सेकंड अनगिनत निर्णय लेती हैं। वे ऋण स्वीकृत करती हैं, नौकरी के आवेदनों को फ़िल्टर करती हैं, चिकित्सा स्थितियों का निदान करती हैं, और जटिल प्रश्नों के उत्तर देती हैं। शायद ही कभी ऐसा कोई सिस्टम एक खाली उत्तर देता है; इसके बजाय, यह अपने आउटपुट के साथ एक आत्मविश्वास का आंकड़ा जोड़ता है। यह संख्या मानव या आसपास के सॉफ़्टवेयर प्रोग्राम को यह बताने के लिए होती है कि उत्तर को कितना महत्व दिया जाए। यह वह संकेत है जो यह नियंत्रित करता है कि निर्णय पर भरोसा किया जाए, समीक्षा के लिए मानव को सौंपा जाए, या बिना किसी दूसरे विचार के स्वीकार कर लिया जाए। फिर भी, इन संख्याओं पर रखे गए भरोसे के बावजूद, उनकी वास्तविकता के विरुद्ध जांच शायद ही कभी की जाती है। एक प्रणाली दावा कर सकती है कि वह नब्बे प्रतिशत आश्वस्त है, लेकिन एक कठोर परीक्षण के बिना, वह दावा केवल एक कथन है, गारंटी नहीं। मशीन जो कहती है कि वह जानती है और वह वास्तव में जो सही करती है, उसके बीच का अंतर एक अच्छी तरह से प्रलेखित समस्या है, विशेष रूप से डीप लर्निंग मॉडल में जो अत्यधिक आत्मविश्वासी होने की प्रवृत्ति रखते हैं। चुनौती इन दावों का परीक्षण करने का तरीका खोजने में रही है, बिना इस धारणा के कि मशीन कैसे काम करती है या वह किस प्रकार के डेटा को देखती है।
यह शोध पत्र उस अंतर को पाटने का एक नया तरीका प्रस्तावित करता है, जिसमें एक संरचित ऑडिट प्रोटोकॉल पेश किया गया है जो एक सिस्टम के आत्मविश्वास के दावे को अध्ययन के प्राथमिक विषय के रूप में मानता है। शोधकर्ता, मोहम्मद अनामुल हसन और मोहम्मद अबू सईद, यह सत्यापित करने के लिए एक विधि प्रस्तावित करते हैं कि क्या सिस्टम का रिपोर्ट किया गया आत्मविश्वास उसके वास्तविक त्रुटि दर से मेल खाता है, जिसके लिए 'कॉन्फॉर्मल प्रेडिक्शन' नामक तकनीक का उपयोग किया जाता है। मॉडल को ठीक करने या उसकी आंतरिक कार्यप्रणाली को सुधारने के बजाय, यह ऑडिट कॉन्फॉर्मल प्रेडिक्शन को एक बाहरी, वितरण-मुक्त (distribution-free) पैमाने के रूप में उपयोग करता है। एक ऐसे पैमाने की कल्पना करें जो मापी जा रही वस्तु के आकार पर निर्भर नहीं करता है; यह विधि एक ऐसा बेंचमार्क प्रदान करती है जो मॉडल की वास्तुकला या उसके द्वारा संसाधित डेटा की परवाह किए बिना सत्य रहता है। मूल विचार सरल है: यदि किसी सिस्टम का आत्मविश्वास ईमानदार है, तो उसके सही होने की वास्तविक दर उस दर से मेल खानी चाहिए जो वह दावा करता है। यदि सिस्टम नब्बे प्रतिशत सटीकता का दावा करता है, तो उसे नब्बे प्रतिशत बार सही होना चाहिए। यह ऑडिट सिस्टम के अपने आत्मविश्वास स्कोर की तुलना स्वयं डेटा से निर्मित एक मानक से करके इसकी जांच करता है, जिससे यह सुनिश्चित होता है कि परीक्षण निष्पक्ष है और किसी भी तीसरे पक्ष द्वारा दोहराया जा सकता है।
अध्ययन तीन अलग-अलग प्रकार के स्वचालित सिस्टम का परीक्षण करने के लिए एक प्रोटोकॉल निर्दिष्ट करता है, जिनमें से प्रत्येक अलग तरीके से आत्मविश्वास उत्पन्न करता है। पहले समूह में डिस्क्रिमिनेटिव क्लासिफायर शामिल हैं, जैसे कि इमेज रिकग्निशन के लिए उपयोग किए जाने वाले, जो एक प्रायिकता स्कोर (probability score) आउटपुट करते हैं। दूसरा समूह जनरेटिव लैंग्वेज मॉडल्स का है जो प्रश्नों के उत्तर देते हैं और मौखिक रूप से बता सकते हैं कि वे कितने आश्वस्त हैं। तीसरा समूह संख्यात्मक पूर्वानुमानकर्ताओं (numerical forecasters) का है जो मौसम या आर्थिक रुझानों जैसी चीजों के लिए प्रेडिक्शन इंटरवल्स प्रदान करते हैं। शोधकर्ताओं ने प्रत्येक मोडैलिटी को ज्ञात, वस्तुनिष्ठ उत्तरों वाले होल्ड-आउट डेटा पर परीक्षण करने के लिए एक प्रोटोकॉल डिजाइन किया है। वे दावा की गई सटीकता और वास्तविक सटीकता के बीच के अंतर को मापने का प्रस्ताव करते हैं, ताकि उन विसंगतियों की पहचान की जा सके जो यह संकेत दें कि सिस्टम गलती से या जानबूझकर झूठ बोल रहा है। यह ऑडिट केवल औसत प्रदर्शन को ही नहीं देखता; यह यह भी जाँचता है कि क्या सिस्टम लोगों के विशिष्ट समूहों के लिए या विशिष्ट स्थितियों में विश्वसनीय है, यह सुनिश्चित करते हुए कि कोई सिस्टम समग्र रूप से सटीक न दिखे जबकि वह उपयोगकर्ताओं के एक विशेष उपसमूह के लिए खतरनाक रूप से विफल हो रहा हो।
प्रस्तावित पद्धति की एक प्रमुख विशेषता यह है कि यह उस सिस्टम के बीच अंतर कर सकती है जो केवल गलत कैलिब्रेटेड (miscalibrated) है और वह जो अभी भी निर्णय लेने के लिए उपयोगी है। ऑडिट न केवल यह मापता है कि आत्मविश्वास के आंकड़े सही हैं या नहीं, बल्कि यह भी देखता है कि क्या वे सूचनात्मक हैं। एक सिस्टम खराब कैलिब्रेटेड हो सकता है, जिसका अर्थ है कि इसके आत्मविश्वास के आंकड़े इसकी सटीकता से मेल नहीं खाते, फिर भी यह प्रभावी ढंग से सही उत्तरों को गलत उत्तरों से अलग करने में सक्षम हो सकता है। यह निर्णय लेने के लिए महत्वपूर्ण है क्योंकि एक सिस्टम जो अपना आत्मविश्वास बताने में बुरा हो सकता है, वह कठिन मामलों को मानवीय समीक्षा के लिए फ्लैग करने के लिए अभी भी अच्छा हो सकता है। शोधकर्ता प्रस्ताव करते हैं कि अपने ऑडिट प्रोटोकॉल का उपयोग करके, संगठन एक स्पष्ट निर्णय प्राप्त कर सकते हैं: एक सिस्टम एक विश्वसनीय प्रायिकता कथन के परीक्षण में विफल हो सकता है, लेकिन फिर भी ट्राइएज (triage) के लिए एक उपयोगी उपकरण के रूप में पास हो सकता है। इसके विपरीत, एक सिस्टम औसतन अच्छी तरह से कैलिब्रेटेड हो सकता है लेकिन अच्छे निर्णयों को बुरे निर्णयों से छाँटने के लिए कोई उपयोगी संकेत देने में विफल हो सकता है।
यह शोध पत्र इन समस्याओं को ठीक करने की लागत को भी संबोधित करता है। जब कोई सिस्टम ऑडिट में विफल हो जाता है, तो शोधकर्ता कॉन्फॉर्मल कंस्ट्रक्शन लागू करने का प्रस्ताव देते हैं ताकि यह देखा जा सके कि क्या यह वादा की गई सटीकता को बहाल कर सकता है। वे परिकल्पना करते हैं कि हालांकि यह विधि अक्सर सिस्टम के प्रदर्शन को उसके दावों के अनुरूप वापस लाने में सक्षम होगी, लेकिन इसकी एक कीमत होगी। वादा की गई कवरेज प्राप्त करने के लिए, सिस्टम को अक्सर व्यापक प्रेडिक्शन इंटरवल्स या संभावित उत्तरों के बड़े सेट उत्पन्न करने होंगे, जो इसके आउटपुट को कम सटीक और कार्य करने में अधिक कठिन बना सकता है। यह ट्रेड-ऑफ ऑडिट के निष्कर्ष का एक महत्वपूर्ण हिस्सा है। यह संगठनों को यह देखने की अनुमति देता है कि उनके सिस्टम के दावे झूठे हैं, एक सुधार मौजूद है, और यह भी कि वह सुधार सिस्टम की उपयोगिता को कितनी कम करेगा। यह पारदर्शिता उन सिस्टमों की तैनाती को रोकती है जो या तो खतरनाक रूप से अति-आत्मविश्वासी हैं या इतने रूढ़िवादी हैं कि वे बेकार हैं।
अंततः, यह कार्य मॉडलों को सुधारने के बजाय उनके दावों को सत्यापित करने पर ध्यान केंद्रित करता है। लेखक तर्क देते हैं कि इससे पहले कि किसी आत्मविश्वास के आंकड़े पर उचित रूप से भरोसा किया जा सके, इसे उन त्रुटियों के विरुद्ध परखा जाना चाहिए जो सिस्टम वास्तव में करता है, और वह परीक्षण ऐसा होना चाहिए जिसे तीसरा पक्ष दोहरा सके। उनके द्वारा वर्णित ऑडिट प्रोटोकॉल कोई जादुई छड़ी नहीं है जो टूटे हुए मॉडलों को ठीक करती है; यह एक कठोर प्रक्रिया है जो एक प्रलेखित निर्णय उत्पन्न करती है। यह इस प्रश्न को अलग करता है कि क्या कोई सिस्टम अच्छा है और इस प्रश्न को कि क्या उसके आत्मविश्वास के दावे सत्य हैं। एक वितरण-मुक्त बेंचमार्क स्थापित करके, शोधकर्ता जवाबदेही के लिए एक ऐसा उपकरण प्रदान करते हैं जो उभरते नियामक ढांचों के भीतर फिट बैठता है। परिणाम यह है कि स्वचालित निर्णय प्रणालियाँ वास्तव में कैसे व्यवहार करती हैं, इसका एक स्पष्ट चित्र मिलता है, जो इस धारणा से आगे बढ़ता है कि आउटपुट के साथ जुड़ा एक नंबर सत्य का वादा है, और इसे एक ऐसे दावे के रूप में देखता है जिसे जांचा जाना आवश्यक है।
लेखक नोट। यहाँ वर्णित ऑडिट प्रोटोकॉल एक प्रस्तावित कार्यप्रणाली है; कोई अनुभवजन्य परिणाम प्रस्तुत नहीं किए गए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।