From Human Oversight to Effective Control: A Socio-Technical Safety-Control Framework for High-Risk AI Systems

तकनीकी सारांश: मानवीय निरीक्षण से प्रभावी नियंत्रण तक

समस्या विवरण
उच्च-जोखिम वाले आर्टिफिशियल इंटेलिजेंस (AI) प्रणालियों के लिए मानवीय निरीक्षण (Human oversight) को एक प्राथमिक सुरक्षा उपाय के रूप में व्यापक रूप से अनिवार्य माना जाता है। हालाँकि, केवल एक मानव समीक्षक की उपस्थिति प्रभावी नियंत्रण की गारंटी नहीं देती है। वर्तमान शासन ढांचे अक्सर निरीक्षण को एक कार्यात्मक सुरक्षा-नियंत्रण तंत्र के बजाय एक नाममात्र की प्रक्रियात्मक आवश्यकता के रूप में देखते हैं। यह शोध पत्र तर्क देता है कि एक "ह्यूमन-इन-द-लूप" (human-in-the-loop) व्यवस्था नियंत्रण का आभास तो बनाए रख सकती है, लेकिन सार्थक हस्तक्षेप के लिए आवश्यक व्यावहारिक स्थितियों को रोक सकती है। मुख्य मुद्दों में समीक्षकों के पास प्रासंगिक जानकारी का अभाव, समय का दबाव, गैर-कार्रवाई योग्य इंटरफेस का सामना करना, या निर्णय के पथ को बदलने के लिए अपर्याप्त अधिकार होना शामिल है। केंद्रीय शोध प्रश्न है: किन सामाजिक-तकनीकी स्थितियों के तहत उच्च-जोखिम वाली AI प्रणालियों में मानवीय निरीक्षण एक नाममात्र के प्रक्रियात्मक सुरक्षा उपाय के बजाय एक प्रभावी सुरक्षा-नियंत्रण कार्य के रूप में कार्य करता है?

कार्यप्रणाली
यह अध्ययन एक संरचित गुणात्मक तुलनात्मक दस्तावेजी डिजाइन का उपयोग करता है, जो तीन विश्लेणात्मक घटकों को एकीकृत करता है:

1. निर्देशित विषय-वस्तु विश्लेषण (Directed Content Analysis): आठ निर्देशात्मक नियामक और जोखिम-प्रबंधन उपकरणों (जिसमें EU AI Act, NIST AI RMF, OECD AI Principles और UNESCO Recommendations शामिल हैं) की समीक्षा करके निर्दिष्ट निरीक्षण कार्यों का मानचित्रण करना।
2. बहु-मामला दस्तावेजी विश्लेषण (Multiple-Case Documentary Analysis): सात डोमेन (स्वायत्त गतिशीलता, शिक्षा, रोजगार, वित्तीय सेवाएँ, स्वास्थ्य सेवा, न्याय/पुलिसिंग, और सामाजिक संरक्षण) में उन्नीस सार्वजनिक रूप से प्रलेखित उच्च-प्रभाव वाली AI घटनाओं या तैनाती के मामलों का परीक्षण। ये मामले आधिकारिक न्यायिक, नियामक, ऑडिट और जांच रिकॉर्ड (टियर A) और सहकर्मी-समीक्षित अध्ययनों (टियर B) से लिए गए थे।
3. आवश्यकता-क्षमता-साक्ष्य मैट्रिक्स (Requirement–Capability–Evidence Matrix): निर्देशात्मक आवश्यकताओं को देखे गए क्षमताओं और विफलताओं से जोड़ने वाला एक एबडक्टिव (abductive) तुलनात्मक अध्ययन।

विश्लेषण की इकाई निरीक्षण-नियंत्रण साक्ष्य कथन (Oversight-Control Evidence Statement - OCES) है, जो एक पता लगाने योग्य कथन है जो एक निरीक्षण कार्य को निर्दिष्ट, प्रदर्शित, सीमित या चुनौती देता है। अध्ययन छह क्रमिक कार्यों और पंद्रह विफलता तंत्रों पर आधारित कोडिंग ढांचे का उपयोग करता है। मजबूती का आकलन सात संवेदनशीलता विश्लेषणों, नकारात्मक-मामला विश्लेषण और विभिन्न साक्ष्य स्तरों के बीच त्रिकोणीयकरण (triangulation) के माध्यम से किया गया था।

प्रमुख योगदान
यह शोध पत्र तीन प्राथमिक योगदान प्रस्तुत करता है:

1. निरीक्षण-से-नियंत्रण (O2C) ढांचा: एक नैदानिक मॉडल जिसमें छह क्रमिक लेकिन परस्पर क्रिया करने वाले कार्य शामिल हैं:

   • अवलोकन (Observe): सिस्टम की स्थिति, इनपुट, आउटपुट और सीमाओं तक पहुंच।
   • पता लगाना (Detect): विसंगतियों, पूर्वाग्रह या असुरक्षित स्थितियों की पहचान।
   • व्याख्या (Interpret): आउटपुट के महत्व और परिणामों को समझना।
   • चुनौती देना और निर्णय लेना (Challenge and Decide): स्वतंत्र निर्णय बनाना, विरोध करना या मामला आगे बढ़ाना (escalate)।
   • हस्तक्षेप (Intervene): निर्णय को संशोधित करने, निलंबित करने या रोकने की व्यावहारिक क्षमता।
   • रिकवरी और सीखना (Recover and Learn): रोकथाम, बहाली, जांच और संगठनात्मक शिक्षण।
     इन कार्यों को क्रॉस-कटिंग सक्षम स्थितियों द्वारा समर्थित किया जाता है: सक्षमता, दृश्यता (observability), समय/कार्यभार, अधिकार, इंटरफेस की कार्रवाई योग्यता (actionability), एस्केलेशन, लॉगिंग और संगठनात्मक शिक्षण।

2. तंत्र-आधारित विफलता वर्गीकरण (Mechanism-Based Failure Typology): विफलता के कारणों का एक ऐसा वर्गीकरण जो "मानवीय त्रुटि" के अंतिम स्पष्टीकरण से आगे बढ़कर सूक्ष्म विश्लेषण करता है। अध्ययन 15 विशिष्ट तंत्रों (F01–F15) की पहचान करता है, जिनमें एस्केलेशन/बैकअप की कमी, अपर्याप्त सत्यापन, ऑटोमेशन बायस (automation bias), अधिकार-सीमा विफलता और संगठनात्मक शासन विफलता शामिल हैं।

3. आव्यता–क्षमता–साक्ष्य मैट्रिक्स (Requirement–Capability–Evidence Matrix): एक संरचित उपकरण जो शासन ढांचों द्वारा निर्धारित आवश्यकताओं और परिचालन क्षमता के संबंध में सार्वजनिक साक्ष्य द्वारा प्रदर्शित वास्तविकताओं के बीच के अंतर को उजागर करता है।

परिणाम
विश्लेषण निर्देशात्मक अपेक्षाओं और परिचालन वास्तविकताओं के बीच एक महत्वपूर्ण विचलन प्रकट करता है:

• निर्देशात्मक अभिसरण (Prescriptive Convergence): नियामक ढांचे चुनौती देने और निर्णय लेने (सभी आठ दस्तावेजों में स्पष्ट) तथा हस्तक्षेप करने के कार्यों पर दृढ़ता से अभिसरित होते हैं। हालांकि, सार्थक समीक्षा के लिए आवश्यक अस्थायी और कार्यभार संबंधी स्थितियाँ (समय और कार्यभार) सबसे कम सुसंगत रूप से निर्दिष्ट की गई हैं।
• परिचालन क्षरण (Operational Degradation): विश्लेषण किए गए उन्नीस मामलों में, सभी अठारह मूल्यांकन योग्य मामलों में व्याख्या (Interpretation) का स्तर गिरा हुआ पाया गया (एक भी "उपस्थित" के रूप में कोडित नहीं किया गया)। उन्नीस में से सत्रह मामलों में समय पर हस्तक्षेप का स्तर गिरा हुआ था।
• विफलता प्रोफाइल (Failure Profiles): मामले चार प्रोफाइलों में वर्गीकृत हुए:
  • बहु-कार्यात्मक विफलता: पहले पांच O2C कार्यों में से कम से कम चार में विफलता।
  • अपस्ट्रीम सूचना/व्याख्या विफलता: कुछ रिकवरी क्षमता के बावजूद डिटेक्शन या व्याख्या में विफलता।
  • अधिकार/एस्केलेशन और विलंबित हस्तक्षेप: सूचना उपलब्ध थी, लेकिन संस्थागत बाधाओं ने नियंत्रण में देरी की।
  • आंशिक नियंत्रण: ऐसे मामले जहाँ कुछ नियंत्रण मौजूद था लेकिन मॉडल या वर्कफ़्लो बाधाओं द्वारा सीमित था।
• प्रमुख तंत्र: सबसे बार-बार होने वाले विफलता तंत्र एस्केलेशन, बैकअप या उपचार (recourse) की कमी (F08); अपर्याप्त सत्यापन या निगरानी (F12); और संगठनात्मक शासन विफलता (F15) थे। ऑटोमेशन बायस (F04) मौजूद था लेकिन प्रमुख विफलता मोड नहीं था।
• रिकवरी बनाम हस्तक्षेप: जबकि कई मामलों (18 में से 12) में रिकवरी और सीखना मौजूद था, यह अक्सर नुकसान होने के बाद हुआ। यह इंगित करता है कि संस्थागत जवाबदेही और शिक्षण, वास्तविक समय के प्रभावी परिचालन नियंत्रण के बराबर नहीं हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि O2C ढांचा एक विश्लेषणात्मक रूप से विकसित नैदानिक उपकरण के रूप में कार्य करता है जो नाममात्र के निरीक्षण, आंशिक नियंत्रण, वर्कफ़्लो नाजुकता और बहु-स्तरीय नियंत्रण विफलता के बीच अंतर करता है। यह दावा करता है कि प्रभावी नियंत्रण एक व्यवस्था (सामाजिक-तकनीकी विन्यास) का गुण है, न कि किसी व्यक्तिगत समीक्षक का गुण।

यह अध्ययन अपने निष्कर्षों को एक व्यापक प्रसार अध्ययन या सार्वभौमिक रूप से मान्य पैमाने के बजाय एक संरचित दस्तावेजी विश्लेषण के रूप में विनम्रतापूर्वक प्रस्तुत करता है। यह विफलता मोड की जनसंख्या आवृत्ति का अनुमान लगाने का दावा नहीं करता है। इसके बजाय, यह एक तंत्र-उन्मुख शब्दावली प्रदान करता है जो यह निदान करने में मदद करती है कि अवलोकन, निर्णय और कार्रवाई की श्रृंखला में नियंत्रण कहाँ खो जाता है। निष्कर्ष बताते हैं कि शासन को केवल मानवीय उपस्थिति को अनिवार्य करने से हटकर उन विशिष्ट सामाजिक-तकतिक स्थितियों (सक्षमता, अधिकार, समय, कार्रवाई योग्यता) को सुनिश्चित करने की ओर बढ़ना चाहिए जो मानवीय निर्णय को निर्णय के पथ को भौतिक रूप से बदलने की अनुमति देती हैं। शोध पत्र निष्कर्ष निकालता है कि उच्च-प्रभाव वाली AI को केवल तभी तैनात किया जाना चाहिए जब निरीक्षण को एक प्रक्रियात्मक औपचारिकता के बजाय एक कार्यात्मक सामाजिक-तकनीकी नियंत्रण क्षमता के रूप में डिजाइन और प्रमाणित किया गया हो।