Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI
यह शोध पत्र ऑटोमेशन बायस (स्वचालन पूर्वाग्रह) के प्रति यूरोपीय संघ के एआई अधिनियम के दृष्टिकोण की आलोचना करता है, यह तर्क देते हुए कि इसका वर्तमान ध्यान डिज़ाइन और संदर्भ को सीधे विनियमित करने के बजाय प्रदाता-नेतृत्व वाली जागरूकता को अनिवार्य करने पर केंद्रित होना अपर्याप्त है, और यह प्रदाताओं और तैनातकर्ताओं के बीच साझा जवाबदेही सुनिश्चित करने के लिए अनुभवजन्य अनुसंधान पर आधारित सुसंगत मानकों का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ जोहान लैक्स और हन्ना रूसमेयर के शोध पत्र "Automation Bias in the AI Act" की एक व्याख्या सरल भाषा और रोज़मर्रा के उदाहरणों के साथ दी गई है।
बड़ी तस्वीर: "ह्यूमन इन द लूप" (मानव नियंत्रण) की समस्या
कल्पना कीजिए कि आप एक बहुत ही उन्नत ऑटोपायलट वाली कार चला रहे हैं। कानून कहता है कि आपको स्टीयरिंग व्हील पर हाथ रखना चाहिए और यदि कार कोई गलती करती है, तो नियंत्रण संभालने के लिए तैयार रहना चाहिए। यूरोपीय संघ का AI एक्ट इसी को "ह्यूमन ओवरसाइट" (मानवीय निगरानी) कहता है।
हालाँकि, इस शोध पत्र के लेखक मानव मनोविज्ञान में एक खतरनाक त्रुटि की ओर इशारा करते हैं जिसे ऑटोमेशन बायस (Automation Bias) कहा जाता है। यह एक ऐसे यात्री की तरह है जो GPS पर इतना भरोसा करता है कि वह सड़क पर देखना भी छोड़ देता है, भले ही GPS उसे एक झील में ले जा रहा हो। मनुष्य स्वाभाविक रूप से मशीनों पर अत्यधिक निर्भर होने की प्रवृत्ति रखते हैं, यह मानकर कि मशीन हमेशा सही है और उनका अपना निर्णय गलत है।
AI एक्ट इस समस्या को स्पष्ट रूप से नाम देने वाला पहला कानून है। यह कहता है कि इन AI सिस्टमों को बनाने वाली कंपनियों को यह सुनिश्चित करना चाहिए कि जो इंसान उनकी निगरानी कर रहे हैं, उन्हें इस बात का ज्ञान (awareness) हो कि वे मशीन पर बहुत अधिक भरोसा कर सकते हैं।
मुख्य समस्या: इस "त्रुटि" के लिए कौन जिम्मेदार है?
यह शोध पत्र तर्क देता है कि कानून में एक बेमेल स्थिति है, जैसे किसी निर्माण कंपनी का आर्किटेक्ट को यह ठीक करने के लिए कहना कि वह उस समस्या को सुलझाए जिसे केवल बिल्डर ही हल कर सकता है।
- आर्किटेक्ट (AI प्रदाता/Provider): कानून उस कंपनी को बताता है जो AI बनाती है, कि वह यह सुनिश्चित करे कि मानव ऑपरेटर को मशीन पर अत्यधिक भरोसा करने के जोखिम के बारे में पता हो। उनसे अपेक्षा की जाती है कि वे सिस्टम को इस तरह डिज़ाइन करें कि इंसान सतर्क रहे।
- बिल्डर (AI तैनात करने वाला/Deployer): यह वह कंपनी या व्यक्ति है जो वास्तव में AI का उपयोग कर रहा है (जैसे, एक अस्पताल जो मरीजों का निदान करने के लिए AI का उपयोग कर रहा है, या एक बैंक जो ऋण स्वीकृत करने के लिए इसका उपयोग कर रहा है)।
बेमेल स्थिति (The Mismatch): शोध पत्र समझाता है कि "ऑटोमेशन बायस" केवल मशीन के डिज़ाइन के कारण नहीं होता। यह वातावरण के कारण भी होता है। क्या मानव ऑपरेटर थका हुआ है? क्या उन पर बहुत अधिक दबाव है? क्या कार्यालय में शोर है? क्या उन्हें जो प्रशिक्षण मिला वह अच्छा था?
- आर्किटेक्ट (प्रदाता) यह नियंत्रित नहीं कर सकता कि बिल्डर (तैनात करने वाले) के कर्मचारी कितने थके हुए हैं।
- बिल्डर (तैनात करने वाला) कार्य वातावरण, प्रशिक्षण और कार्यभार को नियंत्रित करता है।
लेखकों का तर्क है कि केवल आर्किटेक्ट को उस समस्या के लिए दोषी ठहराना अनुचित है जो बिल्डर के कार्यस्थल पर घटित होती है। मानव ऑपरेटर को सतर्क रखने के लिए दोनों पक्षों को जिम्मेदार होना चाहिए।
"जागरूकता" का जाल: क्या आप सिद्ध कर सकते हैं कि कोई "जागरूक" था?
कानून यह आवश्यक बनाता है कि मनुष्यों को उनके पूर्वाग्रह (bias) के प्रति "जागरूक" बनाया जाए। लेखक एक पेचीदा कानूनी सवाल पूछते हैं: आप अदालत में यह कैसे साबित करेंगे कि कोई व्यक्ति "जागरूक" नहीं था?
- "मन पढ़ने" की समस्या: आप किसी व्यक्ति के दिमाग के अंदर नहीं देख सकते यह देखने के लिए कि क्या वह सोच रहा था, "मुझे इस AI की दोबारा जांच करनी चाहिए।"
- "ग्राउंड ट्रुथ" (वास्तविक सत्य) की समस्या: यह जानने के लिए कि क्या किसी इंसान ने पक्षपाती गलती की है, आपको यह जानने की आवश्यकता है कि "सही" उत्तर क्या है। लेकिन कई मामलों में (जैसे भर्ती के निर्णय या कानूनी फैसले), कोई एक "सही" उत्तर नहीं होता जिस पर सभी सहमत हों। यदि AI कहता है "इस व्यक्ति को काम पर रखें," और एक इंसान कहता है "नहीं," तो कौन सही है? यदि इंसान AI पर आँख मूंदकर भरोसा करने के कारण "हाँ" कहता है, तो आप यह कैसे साबित करेंगे कि वह पक्षपाती था, जब तक कि आप वास्तविक सत्य को न जानते हों, जो शायद मौजूद ही नहीं है?
इस कारण से, शोध पत्र सुझाव देता है कि इस कानून का उल्लंघन साबित करना बहुत कठिन होगा। यह संभवतः विशेषज्ञ गवाहों (मनोवैज्ञानिकों) पर निर्भर करेगा जो इस बारे में गवाही देंगे कि क्या सिस्टम को पक्षपात को बढ़ावा देने के लिए डिज़ाइन किया गया था, बजाय इसके कि केवल एक गलत निर्णय को देखा जाए।
"ओवर-करेक्शन" (अति-सुधार) का जोखिम
लेखक एक दुष्प्रभाव के बारे कारण भी चेतावनी देते हैं। यदि हम मनुष्यों से कहते हैं, "AI पर भरोसा न करें!" तो वे दूसरी दिशा में जा सकते हैं।
- उदाहरण: कल्पना कीजिए कि एक शिक्षक छात्र से कहता है, "अपने कैलकुलेटर पर भरोसा मत करो।" छात्र कैलकुलेटर को तब भी अनदेखा करना शुरू कर सकता है जब वह सही हो, और हाथ से गणित करने लगेगा जिससे गलतियाँ होंगी।
- इसे एल्गोरिदम एवर्सन (Algorithm Aversion) कहा जाता है। यदि मनुष्य बहुत अधिक सुधार करने की कोशिश करते हैं और AI को बहुत अधिक अनदेखा करते हैं, तो वे तकनीक के लाभ खो देते हैं। कानून वर्तमान में केवल AI पर बहुत अधिक भरोसा करने के जोखिम पर केंद्रित है, लेकिन यह अनजाने में एक नया पूर्वाग्रह पैदा कर सकता है जहाँ मनुष्य AI पर बहुत कम भरोसा करते हैं।
नियमों में "लूपहोल" (छेद)
शोध पत्र एक चालाकी भरी खामी की ओर इशारा करता है। AI एक्ट में "उच्च-जोखिम" (High-Risk) वाले सिस्टमों की एक सूची है जिन्हें इन सख्त नियमों का पालन करना चाहिए। हालाँकि, एक नियम है जो कहता है: "यदि AI केवल एक इंसान की मदद कर रहा है और उसकी जगह नहीं ले रहा है, तो यह 'उच्च-जोखिम' वाला नहीं हो सकता।"
लेखक तर्क देते हैं कि यह खतरनाक है। भले ही AI केवल "मदद" कर रहा हो, फिर भी मनुष्य इसके सुझावों का आँख मूंदकर पालन कर सकते हैं (ऑटोमेशन बायस)। कंपनियों को यह तय करने देकर कि उनका AI "उच्च-जोखिम" है या नहीं, कानून उन खतरनाक स्थितियों को निकल जाने दे सकता है जहाँ मनुष्य अभी भी मशीनों पर अत्यधिक निर्भर हैं, लेकिन कोई इसकी जाँच करने वाला नहीं है।
समाधान: विज्ञान को देखें, केवल कानून को नहीं
लेखक निष्कर्ष निकालते हैं कि कानून वर्तमान में बहुत अस्पष्ट है और एक एकल मनोवैज्ञानिक अवधारणा (ऑटोमेशन बायस) पर निर्भर है बिना यह समझाए कि इसे कैसे ठीक किया जाए।
वे एक समाधान प्रस्तावित करते हैं: हार्मोनाइज्ड स्टैंडर्ड्स (Harmonized Standards - सामंजस्यपूर्ण मानक)।
इन मानकों को "निर्देश मैनुअल" के रूप में सोचें जिसकी कानून आवश्यकता रखता है। लेखकों का सुझाव है कि इन मैनुअल्स को:
- नवीनतम विज्ञान का संदर्भ देना चाहिए: केवल "जागरूक रहें" कहने के बजाय, नियमों को यह कहना चाहिए, "मानव और AI के बीच कैसे बातचीत होती है, इस पर वर्तमान सर्वोत्तम शोध का पालन करें।"
- सभी पूर्वाग्रहों को शामिल करना चाहिए: केवल AI पर बहुत अधिक भरोसा करने पर ध्यान केंद्रित न करें; उन सभी तरीकों को देखें जिनसे मनुष्य गलतियाँ करते हैं।
- सभी को जवाबदेह बनाना चाहिए: AI बनाने वाले और उसका उपयोग करने वाले, दोनों को यह सुनिश्चित करने के लिए जिम्मेदार होना चाहिए कि मानव ऑपरेटर सतर्क रहे।
सारांश
यह शोध पत्र एक चेतावनी है कि यूरोपीय संघ का नया AI कानून मानव मनोविज्ञान की समस्या (मशीनों पर बहुत अधिक भरोसा करना) को ठीक करने की कोशिश कर रहा है, लेकिन उसने अभी तक यह तय नहीं किया है कि इसे ठीक करने के लिए कौन जिम्मेदार है या यह कैसे साबित किया जाए कि इसे ठीक किया गया है। लेखक चाहते हैं कि कानून अधिक लचीला हो, वास्तविक वैज्ञानिक अनुसंधान पर आधारित हो, और यह सुनिश्चित करे कि AI के निर्माता और उपयोगकर्ता दोनों ही मनुष्य को नियंत्रण में रखने की जिम्मेदारी साझा करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।