🤖 AI

Update Opacity: Epistemic Accessibility and Governance Under AI System Change

यह शोध पत्र एक ऐसा ढांचा प्रस्तावित करके एआई प्रणालियों में "अपडेट अपारदर्शिता" (update opacity) की शासन चुनौती को संबोधित करता है जो महत्वपूर्ण रूप से प्रासंगिक परिवर्तनों के सीमा-आधारित प्रकटीकरण को लागू करने के लिए यूरोपीय संघ के एआई अधिनियम और मशीन लर्निंग ऑपरेशंस को जोड़ता है, जिससे सूचना के अतिभार (information overload) का कारण बने बिना उपयोगकर्ताओं के लिए ज्ञान संबंधी सुलभता (epistemic accessibility) सुनिश्चित की जा सके।

मूल लेखक: Andrea Ferrario, Joshua Hatherley

प्रकाशित 2026-06-02

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Ferrario, Joshua Hatherley

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।

मुख्य समस्या: "साइलेंट शिफ्ट" (Silent Shift - खामोश बदलाव)

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट और मददगार GPS ऐप है। आपने सालों से इसका उपयोग किया है। आप जानते हैं कि यह कैसे व्यवहार करता है: यदि आप "कॉफी शॉप" टाइप करते हैं, तो यह आमतौर पर आपको मेन स्ट्रीट वाली दुकान दिखाता है क्योंकि वहाँ ट्रैफ़िक सबसे कम होता है। आपने इस ऐप के काम करने के तरीके के बारे में एक "अंतर्ज्ञान" या कैलिब्रेशन (calibration) विकसित कर लिया है।

अब, कल्पना कीजिए कि ऐप डेवलपर्स ने रातों-रात कोड को तेज़ बनाने के लिए उसे चुपचाप अपडेट कर दिया। उन्होंने आपको बताया नहीं। अगली सुबह, आप "कॉफी शॉप" टाइप करते हैं, और अचानक, यह आपको एक अलग सड़क पर एक अलग दुकान पर भेज देता है। वह अभी भी एक वैध कॉफी शॉप है, और ऐप अपने आंतरिक मानकों के अनुसार "सही ढंग से" काम कर रहा है। लेकिन आप भ्रमित हैं। आपको नहीं पता कि जवाब क्यों बदल गया। आपको नहीं पता कि क्या आपको नए रूट पर भरोसा करना चाहिए।

पेपर इसे अपडेट ओपेसिटी (Update Opacity - अपडेट की अपारदर्शिता) कहता है। ऐसा नहीं है कि AI खराब हो गया है; बल्कि यह है कि AI इस तरह से बदला है जिसे आप, यानी उपयोगकर्ता, देख या समझ नहीं सकते। यह उच्च-जोखिम वाली स्थितियों (जैसे डॉक्टर द्वारा मरीज के निदान के लिए AI का उपयोग करना या बैंक द्वारा ऋण स्वीकृत करने के लिए इसका उपयोग करना) में खतरनाक है क्योंकि उपयोगकर्ता इस बात पर भरोसा करते हैं कि सिस्टम कैसे व्यवहार करता है। यदि सिस्टम चुपचाप बदल जाता है, तो आपका "अंतर्ज्ञान" गलत हो जाता है, जिससे गलत निर्णय लिए जा सकते हैं।

दो वर्तमान समाधान (और वे पर्याप्त क्यों नहीं हैं)

लेखक AI परिवर्तनों को प्रबंधित करने के दो मौजूदा तरीकों को देखते हैं, लेकिन वे कहते हैं कि दोनों अकेले काम नहीं करते हैं:

"नियम पुस्तिका" दृष्टिकोण (The "Rulebook" Approach - EU AI Act):
- उपमा: इसे एक सख्त बिल्डिंग कोड की तरह समझें। यदि आप घर बनाना चाहते हैं, तो आपको विशिष्ट नियमों का पालन करना होगा। यदि आप एक भार वहन करने वाली दीवार (load-bearing wall) को हटाना चाहते हैं या एक पूरी नई मंजिल जोड़ना चाहते हैं, तो आपको एक नया परमिट लेना होगा और एक निरीक्षक से इसकी जाँच करवानी होगी।
- समस्या: यह नियम पुस्तिका बड़े और खतरनाक बदलावों के लिए बेहतरीन है। लेकिन क्या होगा यदि बिल्डर ने सिर्फ पेंट का रंग बदल दिया या लाइट स्विच की जगह बदल दी? नियम पुस्तिका को इससे कोई फर्क नहीं पड़ता। लेकिन घर में रहने वाले लोगों के लिए, वे छोटे बदलाव परेशान करने वाले या भ्रमित करने वाले हो सकते हैं। नियम पुस्तिका उन छोटे, भ्रमित करने वाले बदलावों को पकड़ने के लिए बहुत "कोर्स" (बड़ी/अस्पष्ट) है जो सिस्टम के भीतर होते हैं।
"इंजीनियर डैशबोर्ड" दृष्टिकोण (The "Engineer's Dashboard" Approach - MLOps):
- उपमा: यह एक रेसिंग कार के डैशबोर्ड की तरह है। यह हर सूक्ष्म कंपन, तापमान परिवर्तन और ईंधन के उतार-चढ़ाव को ट्रैक करता है। इंजीनियर इंजन के अंदर होने वाली हर छोटी चीज़ को देख सकते हैं।
- समस्या: यदि आप वह डैशबोर्ड ड्राइवर (उपयोगकर्ता) को दिखाएंगे, तो वह अभिभूत (overwhelmed) हो जाएगा। उन्हें यह जानने की ज़रूरत नहीं है कि "फ्यूल इंजेक्टर #3 0.04% खिसक गया है।" उन्हें बस यह जानने की ज़रूरत है कि क्या कार चलाने के लिए सुरक्षित है। MLOps परिवर्तनों को ट्रैक करता है, लेकिन यह हमें यह नहीं बताता कि कौन से बदलाव वास्तव में उस व्यक्ति के लिए मायने रखते हैं जो सिस्टम का उपयोग कर रहा है।

लेखकों का समाधान: "ट्रस्टवर्दीनेस प्लेटो" (The "Trustworthiness Plateau")

लेखक इस प्रकार के समाधान का प्रस्ताव देते हैं जो "नियम पुस्तिका" और "डैशबोर्ड" दोनों को जोड़ता है। वे सुझाव देते हैं कि हमें AI को केवल एक "मॉडल" के रूप में देखना बंद कर देना चाहिए और इसे एक विश्वसनीय प्रणाली (Trustworthy System) के रूप में देखना शुरू करना चाहिए जिसके पास सुरक्षा के विभिन्न "स्तर" हैं।

यहाँ उनकी तीन-चरणीय योजना है:

चरण 1: "सुरक्षित क्षेत्र" (The "Safe Zone" - प्लेटो)

कल्पना कीजिए कि AI का प्रदर्शन एक सपाट पठार (plateau) की तरह है। जब तक AI इस पठार पर रहता है, इसे "सुरक्षित" और "अनुपालन योग्य" माना जाता है।

बड़े बदलाव: यदि AI इस पठार से नीचे गिर जाता है (उदाहरण के लिए, यह काम करना बंद कर देता है या कानून तोड़ता है), तो यह एक संकट है। आप सब कुछ रोक देते हैं और एक नया परमिट लेते हैं (जैसा कि EU AI Act आवश्यक करता है)।
छोटे बदलाव: अधिकांश अपडेट इसी "पठार" पर होते हैं। AI थोड़ा बेहतर या थोड़ा अलग हो जाता है, लेकिन यह अभी भी सुरक्षित है।

चरण 2: "विश्वसनीयता प्रोफ़ाइल" (The "Trustworthiness Profile")

केवल यह जाँचने के बजाय कि AI "सही" है या नहीं, हम उन विशिष्ट चीजों की सूची को ट्रैक करते हैं जो उपयोगकर्ता के लिए मायने रखती हैं। आइए इसे ट्रस्टवर्दीनेस प्रोफ़ाइल कहें।

एक मेडिकल AI के लिए, इसमें शामिल हो सकता है: "बुजुर्ग मरीजों के लिए यह कितना सटीक है?" "यह कितना तेज़ है?" "क्या यह समान दिखने वाली बीमारियों में भ्रमित होता है?"
हम इन्हें एक स्कोर में बदलते हैं। जब तक स्कोर एक निश्चित सीमा के भीतर रहता है, AI "सेफ प्लेटो" पर रहता है।

चरण 3: "मटेरियलिटी थ्रेशोल्ड" (The "Materiality Threshold" - भौतिकता की सीमा/अलार्म बेल)

यह सबसे महत्वपूर्ण हिस्सा है। भले ही AI "सेफ प्लेटो" पर बना रहे, फिर भी यह अपने शुरुआती बिंदु से बहुत दूर जा सकता है।

उपमा: कल्पना कीजिए कि आप एक सपाट मैदान पर चल रहे हैं। आप बिंदु A से शुरू करते हैं। यदि आप दाईं ओर 5 फीट चलते हैं, तो आप अभी भी मैदान पर हैं। यदि आप दाईं ओर 500 फीट चलते हैं, तो आप अभी भी उसी मैदान पर हैं, लेकिन अब आप मैदान के बिल्कुल अलग हिस्से में हैं।
लेखक कहते हैं: हमें एक थ्रेशोल्ड (सीमा) की आवश्यकता है। यदि AI इतना बदल जाता है कि वह अपने शुरुआती स्थान से एक निश्चित दूरी को पार कर जाता है (भले ही वह अभी भी "सुरक्षित" हो), तो हमें घंटी बजानी चाहिए।
यह घंटी उपयोगकर्ता को बताती है: "हे, सिस्टम इतना बदल गया है कि आपका पुराना 'अंतर्ज्ञान' अब काम नहीं कर सकता। यहाँ बताया गया है कि क्या बदला है।"

वास्तविक जीवन में यह कैसे काम करता है (मेडिकल उदाहरण)

पेपर यह दिखाने के लिए कि यह कैसे काम करता है, एक स्ट्रोक ट्राइएज AI (एक प्रणाली जो डॉक्टरों को यह तय करने में मदद करती है कि मरीज को बड़े अस्पताल में ले जाना चाहिए या स्थानीय अस्पताल में) का उपयोग करता है।

स्थिति: नए प्रकार के CT स्कैनर को संभालने के लिए AI को अपडेट किया गया है। यह अपडेट "सुरक्षित" है (यह नियमों को नहीं तोड़ता है)। समग्र सटीकता वास्तव में थोड़ी बेहतर हो जाती है।
छिपा हुआ बदलाव: हालाँकि, यह अपडेट AI को बुजुर्ग मरीजों को बड़े अस्पताल भेजने के लिए थोड़ा अधिक संभावित बना देता है, भले ही उनके लक्षण बॉर्डरलाइन (सीमा रेखा पर) हों।
पुराना तरीका: डॉक्टर AI का उपयोग करना जारी रखता है, अपने पुराने अभ्यासों पर भरोसा करता है। वे सूक्ष्म बदलाव को मिस कर सकते हैं, जिससे मरीज को गलत जगह भेजा जा सकता है।
नया तरीका (लेखकों का ढांचा):
1. सिस्टम बदलाव को ट्रैक करता है।
2. यह देखता है कि "बुजुर्ग मरीजों" के लिए बदलाव ने थ्रेशोल्ड (सीमा) को पार कर लिया है।
3. प्रकटीकरण (Disclosure): एक उबाऊ तकनीकी रिपोर्ट के बजाय, डॉक्टर की स्क्रीन पर एक स्पष्ट संदेश पॉप-अप होता है: "मॉडल अपडेट किया गया: 75 वर्ष से अधिक आयु के मरीजों के लिए सिफारिशें अब भिन्न हो सकती हैं। विवरण के लिए टैप करें।"
4. डॉक्टर चेतावनी देखता है, अपनी सोच को समायोजित करता है, और एक सुरक्षित निर्णय लेता है।

निचोड़ (The Bottom Line)

पेपर का तर्क है कि हमें उपयोगकर्ताओं को हर अपडेट के बारे में सब कुछ बताने की ज़रूरत नहीं है (वह बहुत अधिक जानकारी होगी)। हम उन्हें कुछ भी नहीं बता सकते (वह खतरनाक होगा)।

हमें एक स्मार्ट फ़िल्टर की आवश्यकता है। हमें AI की "विश्वसनीयता" को मापने, उसके शुरुआती बिंदु से उसके विचलन (drift) को देखने और केवल तभी अलार्म बजाने की आवश्यकता है जब बदलाव इतना बड़ा हो कि वह उपयोगकर्ता को भ्रमित कर दे। यह AI को सुरक्षित, कानूनी और समझने योग्य बनाए रखता है, भले ही वह लगातार विकसित हो रहा हो।

तकनीकी सारांश: AI सिस्टम परिवर्तन के तहत ओपेसिटी (Opacity), एपिस्टेमिक एक्सेसिबिलिटी (Epistemic Accessibility), और गवर्नेंस का अपडेट

1. समस्या की परिभाषा: अपडेट ओपेसिटी (Update Opacity)

यह शोध पत्र अपडेट ओपेसिटी को संबोधित करता है, जो एक ऐसी घटना है जहाँ विशेषज्ञ उपयोगकर्ता यह समझाने में असमर्थ होते हैं कि क्यों एक AI सिस्टम का वर्तमान संस्करण, किसी दिए गए इनपुट ( $x$ ) के लिए पिछले संस्करण ( $z \neq y$ ) की तुलना में एक अलग आउटपुट ( $y$ ) उत्पन्न कर रहा है। स्टेटिक मॉडल ओपेसिटी (जो एकल मॉडल की आंतरिक कार्यप्रणाली से संबंधित है) के विपरीत, अपडेट ओपेसिटी डायक्रोनिक (diachronic) और तुलनात्मक (comparative) है; यह तैनात प्रणालियों के टेम्पोरल विकास (temporal evolution) से उत्पन्न होती है।

मुख्य समस्या को एपिस्टेमिक एक्सेसिबिलिटी (ज्ञान संबंधी सुलभता) की विफलता के रूप में फ्रेम किया गया है। उच्च-जोखिम वाले डोमेन (जैसे, स्वास्थ्य सेवा, वित्त) में, उपयोगकर्ता निर्णय लेने के लिए AI आउटपुट को एकीकृत करने हेतु संचित कैलिब्रेशन (accumulated calibration)—अर्थात सिस्टम के व्यवहार, विश्वसनीयता और विफलता मोड के बारे में सीखी गई अपेक्षाओं—पर निर्भर करते हैं। जब कोई सिस्टम मॉडल-प्रभावित अपडेट (रिट्रेनिंग, रीकैलिब्रेशन, पाइपलाइन संशोधन, डिपेंडेंसी अपडेट) के माध्यम से बिना पारदर्शी संचार के बदलता है, तो उपयोगकर्ता का यह कैलिब्रेशन सिस्टम के वास्तविक व्यवहार के साथ असंतुलित हो जाता है। यह मिसअलाइनमेंट न्यायसंगत भरोसे (justified reliance) को कमजोर करता है, संज्ञानात्मक बोझ (cognitive burden) बढ़ाता है और जवाबदेही को कम करता है।

लेखकों का तर्क है कि अपडेट ओपेसिटी एक गवर्नेंस समस्या है जो तीन असंतोषजनक चरम सीमाओं के बीच तनाव द्वारा परिभाषित होती है:

पूर्ण पारदर्शिता (Total Transparency): प्रत्येक अपडेट का खुलासा करना अव्यावहारिक और प्रतिकूल है, जिससे सूचना का अतिभार (information overload) और वर्कफ़्लो में व्यवधान उत्पन्न होता है।
मौन (Silence): कुछ भी न बताना मौन व्यवहारिक परिवर्तनों को न्यायसंगत भरोसे को नष्ट करने की अनुमति देता है।
अपडेट को फ्रीज करना (Freeizing Updates): गैर-स्थिर वातावरण में सभी अपडेट को रोकना अव्यवहारिक है, जिससे प्रदर्शन में गिरावट आती है।

केंद्रीय चुनौती यह निर्धारित करना है कि कौन से परिवर्तन सामग्री रूप से प्रासंगिक (materially relevant) हैं, उन्हें कब सतह पर लाया जाना चाहिए, और किसे, ताकि उपयोगकर्ताओं को अभिभूत किए बिना एपिस्टेमिक एक्सेसिबिलिटी बनाए रखी जा सके।

2. कार्यप्रणाली: दो गवर्नेंस संस्कृतियों का विलय

प्रस्तावित समाधान दो पूरक गवर्नेंस संस्कृतियों को एकीकृत करता है: EU AI Act (AIA) और Machine Learning Operations (MLOps)।

EU AI Act (मानक परिधि - Normative Perimeter)

AIA प्रासंगिक परिवर्तन की "परिधि" को परिभाषित करने के लिए मानक ढांचा (normative framework) प्रदान करता है।

सारभूत संशोधन (Substantial Modification): AIA उन परिवर्तनों के बीच अंतर करता है जो एक नए अनुरूपता मूल्यांकन (conformity assessment) को ट्रिगर करते हैं (जैसे, इच्छित उद्देश्य में परिवर्तन या उच्च-जोखिम आवश्यकताओं का अनुपालन) और वे जो नहीं करते हैं।
सीमा (Limitation): जबकि AIA यह पहचानता है कि कब एक परिवर्तन कानूनी रूप से महत्वपूर्ण (identity-breaking) है, यह एपिस्टेमिक समस्या के लिए बहुत मोटे स्तर (coarse-grained) पर काम करता है। कई अनुमत परिवर्तन (जो "conformity envelope" के भीतर हैं) कानूनी पुनर्मूल्यांकन को ट्रिगर किए बिना भी उपयोगकर्ता के भरोसे और वर्कफ़्लो की अपेक्षाओं को सामग्री रूप से बदल सकते हैं।

MLOps (परिचालन मशीनरी - Operational Machinery)

MLOps परिवर्तन को ट्रैक करने और प्रबंधित करने के लिए परिचालन उपकरण (operational tools) प्रदान करता है।

ड्रिफ्ट डिटेक्शन और मॉनिटरिंग: MLOps निरंतर टेलीमेट्री, वर्जनिंग और ड्रिफ्ट डिटेक्शन (बेसलाइन के विरुद्ध परिचालन डेटा की तुलना) का उपयोग करता है ताकि हस्तक्षेप (रिट्रेनिंग, रोलबैक) को ट्रिगर किया जा सके।
सीमा (Limitation): MLOps इंजीनियरिंग नियंत्रण और तकनीकी मेट्रिक्स (जैसे, सटीकता, ड्रिफ्ट संकेतक) की ओर उन्मुख है। यह स्वाभाविक रूप से यह निर्धारित नहीं करता है कि निगरानी किए गए परिवर्तनों में से कौन से विशिष्ट हितधारकों (जैसे, क्लिनिशियन बनाम ऑडिटर) के लिए एपिस्टमिक रूप से भौतिक (epistemically material) हैं या कैलिब्रेटेड भरोसे को बनाए रखने के लिए उन्हें कैसे संप्रेषित किया जाए।

प्रस्तावित ढांचा: विश्वसनीयता-आधारित गवर्नेंस (Trustworthiness-Based Governance)

लेखक एक ढांचा प्रस्तावित करते हैं जो अपडेट ओपेसिटी को नियंत्रित करने के लिए इन दोनों संस्कृतियों को मिलाता है:

चरण 1: सहनीय बनाम असहनीय परिवर्तन (Tolerable vs. Non-Tolerable Changes)

ढांचा इनके बीच अंतर करता है:

असहनीय परिवर्तन (Non-tolerable changes): वे जो निर्धारित विश्वसनीयता लिफाफे (trustworthiness envelope) से बाहर हैं (जो AIA पुनर्मूल्यांकन को ट्रिगर करते हैं)।
सहनीय परिवर्तन (Tolerable changes): वे जो लिफाफे के भीतर रहते हैं लेकिन उपयोगकर्ता के भरोसे को प्रभावित कर सकते हैं। ढांचा इस दूसरे वर्ग को नियंत्रित करने पर केंद्रित है।

चरण 2: विश्वसनीयता प्रोफाइल और स्तर (Trustworthiness Profiles and Levels)

लेखक सिस्टम स्टेट के लिए एक औपचारिक मॉडल पेश करते हैं:

विश्वसनीयता प्रोफाइल ( $P_A$ ): पूर्व-निर्धारित, मात्रात्मक आयामों ( $d_i$ ) और मापन प्रोटोकॉल ( $m_i$ ) का एक सेट जो पहले से परिभाषित है (जैसे, सटीकता, मजबूती, सबग्रुप स्थिरता, डेटा पाइपलाइन अखंडता)।
विश्वसनीयता स्तर फलन ( $T_A$ ): एक फलन जो समय-अनुक्रमित मापन वेक्टर्स ( $m_A(t)$ $m_{A} (t)$ ) को असतत विश्वसनीयता स्तरों ( $1, \dots, K$ $1, \dots, K$ ) में मैप करता है।
- $T_A(t) = L_A(m_A(t))$ , जहाँ $L_A$ एक लेवल असाइनमेंट फंक्शन है।
- स्टेप-वाइज मैपिंग: लेखक स्मूथ कर्व्स के बजाय स्टेप-वाइज (प्लेटो) मैपिंग की वकालत करते हैं। यह ट्रांजिशन पॉइंट्स के पास मामूली उतार-चढ़ाव के कारण होने वाले "गवर्नेंस स्ट्रैन" को रोकता है, यह सुनिश्चित करता है कि केवल सिस्टम के शासन में महत्वपूर्ण बदलाव ही एस्केलेशन को ट्रिगर करें।

चरण 3: थ्रेसहोल्ड-आधारित प्रकटीकरण (Threshold-Based Disclosure)

एक एकल विश्वसनीयता स्तर (एक प्लेटो के भीतर) के भीतर ओपेसिटी को संबोधित करने के लिए, ढांचा एक असमानता फलन (dissimilarity function) ( $\Delta_A$ ) और एक संदर्भ-सापेक्ष थ्रेसहोल्ड ( $\epsilon_A$ ) पेश करता है।

तंत्र: सिस्टम $A$ के लिए, जो $t_0$ पर तैनात है और जिसका बेसलाइन प्रोफाइल $m_A(t_0)$ है, $t_i$ पर एक अपडेट प्रकटीकरण को ट्रिगर करता है यदि:
$\Delta_A(m_A(t_0), m_A(t_i)) > \epsilon_A$
एपिस्टेमिक मटेरियलिटी: थ्रेसहोल्ड $\epsilon_A$ को स्वीकार्य प्लेटो के सख्ती से अंदर सेट किया जाता है। यह एक "एपिस्टेमिक मटेरियलिटी" फिल्टर के रूप में कार्य करता है: भले ही सिस्टम एक ही नियामक स्तर में रहे, यदि संचयी परिवर्तन $\epsilon_A$ से अधिक है, तो इसे कैलिब्रेटेड भरोसे को बाधित करने के लिए पर्याप्त माना जाता है और अतः प्रकटीकरण आवश्यक है।
कार्यान्वयन: $\Delta_A$ को मानक MLOps मॉनिटरिंग सारांशों (जैसे, मापन वेक्टर्स के बीच $L_1$ दूरी) का उपयोग करके लागू किया जा सकता है, जिसे विशिष्ट गिरावट को दंडित करने के लिए भारित (weighted) किया जा सकता है।

3. प्रमुख योगदान

अपडेट ओपेसिटी की एपिस्टेमिक व्याख्या: अपडेट ओपेसिटी को केवल तकनीकी स्पष्टीकरण की कमी के रूप में नहीं, बल्कि एक डायक्रोनिक एपिस्टिक एक्सेसिबिलिटी की विफलता के रूप में फिर से परिभाषित करना, जहाँ भौतिक रूप से प्रासंगिक परिवर्तन उपयोगकर्ताओं की व्यावहारिक बाधाओं के तहत सुलभ रहने में विफल रहते हैं।
AIA और MLOps का एकीकरण: एक हाइब्रिड गवर्नेंस मॉडल का प्रस्ताव करना जहाँ AIA प्रासंगिक परिवर्तन के दायरे (लिफाफे) को परिभाषित करता है और MLOps उस लिफाफे के भीतर प्रकटीकरण को ट्रैक करने और ट्रिगर करने के लिए तंत्र प्रदान करता है।
विश्वसनीयता प्रोफाइल और स्तर: निरंतर निगरानी की भंगुरता (brittleness) से बचने के लिए, डिस्क्रीट विश्वसनीयता स्तरों के माध्यम से सिस्टम स्टेट को औपचारिक रूप देना।
थ्रेसहोल्ड-आधारित प्रकटीकरण नियम: एक आनुपातिकता मानदंड पेश करना जहाँ प्रकटीकरण केवल अपडेट के अस्तित्व से नहीं, बल्कि बेसलाइन के सापेक्ष परिवर्तन के परिमाण से ट्रिगर होता है, विशेष रूप से तब जब यह कैलिब्रेटेड भरोसे को खतरा पैदा करता है।
भूमिका-संवेदनशील प्रकटीकरण डिजाइन: यह तर्क देना कि प्रकटीकरण को संदर्भ-आधारित होना चाहिए। फ्रंटलाइन उपयोगकर्ताओं (जैसे, क्लिनिशियन) को वर्कफ़्लो में अंतर्निहित संक्षिप्त, कार्रवाई योग्य जानकारी की आवश्यकता होती है, जबकि ऑडिटरों को पूर्ण ट्रैसेबिलिटी की आवश्यकता होती है। ढांचा एक स्तरित प्रकटीकरण दृष्टिकोण का समर्थन करता है।

4. परिणाम और चित्रण

शोध पत्र कोई अनुभवजन्य प्रायोगिक परिणाम प्रस्तुत नहीं करता है, बल्कि एक चिकित्सा AI उदाहरण के माध्यम से एक वैचारिक प्रदर्शन प्रदान करता है: स्ट्रोक ट्राइएज निर्णय सहायता (Stroke Triage Decision Support)।

परिदृश्य: स्ट्रोक ट्राइएज के लिए तैनात एक सिस्टम को कोवेरिएट ड्रिफ्ट (CT स्कैनर में फर्मवेयर परिवर्तन) के कारण मॉडल अपडेट से गुजरना पड़ता है। अपडेट वैश्विक AUROC में सुधार करता है और उच्चतम विश्वसनीयता स्तर के भीतर रहता है (कोई AIA पुनर्मूल्यांकन ट्रिगर नहीं होता है)।
ओपेसिटी: वैश्विक स्थिरता के बावजूद, अपडेट फीचर वेट्स को बदल देता है, जिससे विशिष्ट उपसमूहों (जैसे, बुजुर्ग रोगियों) के लिए ट्रांसफर सिफारिशें बदल जाती हैं और अलर्ट पैटर्न बदल जाते हैं। क्लिनिशियन, पूर्व कैलिब्रेशन पर भरोसा करते हुए, इन बदलावों से अनभिज्ञ होते हैं।
ढांचे का अनुप्रयोग:
- असमानता फलन पता लगाता है कि उपसमूह व्यवहार में संचयी परिवर्तन थ्रेसहोल्ड $\epsilon_A$ से अधिक है।
- प्रकटीकरण ट्रिगर हुआ: एक सामान्य चेंजलॉग के बजाय, वर्कफ़्लो-एम्बेडेड बैनर क्लिनिशियन को सचेत करता है: "मॉडल अपडेट किया गया [तारीख]। 75 वर्ष से अधिक आयु के रोगियों के लिए ट्रांसफर सिफारिशें भिन्न हो सकती हैं।"
- जवाबदेही: यह एक बंद एपिस्टेमिक लूप बनाता है। यदि अपडेट के बाद किसी रोगी का ट्राइएज गलत होता है, तो सिस्टम यह प्रदर्शित कर सकता है कि प्रदाता ने परिवर्तन का खुलासा किया था और उपयोगकर्ता को सूचित किया गया था, जिससे वह "जवाबदेही अंतराल" (accountability lacuna) समाप्त हो जाता जो अपडेट के मौन होने पर मौजूद होता।

5. महत्व और दावे

शोध पत्र का दावा है कि AI सिस्टम अपडेट को नियंत्रित करना केवल तकनीकी रखरखाव या कानूनी अनुपालन का मामला नहीं है, बल्कि उन स्थितियों को बनाए रखने के लिए एक मौलिक आवश्यकता है जिनके तहत बदलते सिस्टम बोधगम्य (intelligible) बने रहते हैं।

सीमित दायरा: लेखक सभी पारदर्शिता मुद्दों को हल करने या सभी AI सिस्टम के लिए सार्वभौमिक एल्गोरिदम प्रदान करने का दावा नहीं करते हैं। वे स्पष्ट रूप से कहते हैं कि प्रोफाइल आयामों, असमानता फलनों और थ्रेसहोल्ड के संबंध में चुनाव संदर्भ-संवेदनशील हैं और मामले-दर-मामले आधार पर उचित ठहराए जाने चाहिए।
व्यावहारिक उपयोगिता: ढांचा पारदर्शिता के "सब-या-कुछ-नहीं" (all-or-nothing) दृष्टिकोण के लिए एक सिद्धांत आधारित, परिचालन योग्य विकल्प प्रदान करता है। यह प्रदाताओं को पारदर्शिता बनाए रखने की अनुमति देता है, केवल तभी चेतावनी जारी करके जब लिफाफे के भीतर के परिवर्तन तैनात करने वालों और प्रभावित पक्षों के लिए सामग्री रूप से प्रासंगिक हो जाते हैं।
भावी कार्य: लेखक प्रोफाइल आयामों और असमानता फलनों के लिए डोमेन-विशिष्ट विकल्पों को परिष्कृत करने और यह अनुभवजन्य रूप से परीक्षण करने के लिए भविष्य के अनुसंधान की आवश्यकता की पहचान करते है कि विभिन्न प्रकटीकरण इंटरफेस उच्च-जोखिम वाले परिवेश में कैलिब्रेटेड उपयोग को कैसे प्रभावित करते हैं।

संक्षेप में, यह शोध पत्र तर्क देता है कि अपडेट ओपेसिटी एपिस्टेमिक एक्सेसिबिलिटी की गवर्नेंस विफलता है। EU AI Act की मानक सीमाओं को MLOps की परिचालन निगरानी के साथ जोड़कर, और थ्रेसहोल्ड-आधारित प्रकटीकरण नियम लागू करके, सिस्टम के विकास को प्रबंधित करना संभव है जबकि वह कैलिब्रेटेड भरोसा बनाए रखा जा सके जो सुरक्षित और जवाबदेह AI तैनाती के लिए आवश्यक है।