Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems
यह शोध पत्र यह तर्क देता है कि कुल सटीकता (aggregate accuracy) कानून प्रवर्तन चेहरे की पहचान प्रणालियों के मूल्यांकन के लिए एक अपर्याप्त मीट्रिक है क्योंकि यह त्रुटि दरों में महत्वपूर्ण जनसांख्यिकीय असमानताओं को छिपा देती है, जिससे असमान सामाजिक क्षति को रोकने के लिए निष्पक्षता-जागरूक, उप-समूह-स्तरीय मूल्यांकन ढांचों की ओर बदलाव आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जहाज के कप्तान हैं, और आपके पास कोहरे में अन्य जहाजों को देखने के लिए एक नया, उच्च-तकनीकी रडार सिस्टम है। निर्माता आपसे कहता है, "यह रडार 90% सटीक है!" यह सुनने में अद्भुत लगता है, है ना? आप सुरक्षित महसूस करते हैं।
लेकिन यहाँ एक पेंच है: निर्माता ने आपको यह नहीं बताया कि यह रडार किसे चूक जाता है।
खालिद अदनान अलसेद द्वारा लिखा गया यह शोध पत्र तर्क देता है कि कानून प्रवर्तन की दुनिया में, चेहरे की पहचान करने वाले (facial recognition) सॉफ्टवेयर को आंकने के लिए केवल एक "सटीकता स्कोर" का उपयोग करना वैसा ही है जैसे उस रडार सिस्टम को केवल उसकी समग्र सफलता दर से आंकना। यह एक खतरनाक खेल है क्योंकि यह एक भयानक रहस्य को छिपा देता है: हो सकता है कि सिस्टम कुछ लोगों के लिए पूरी तरह से काम कर रहा हो, लेकिन दूसरों के लिए बुरी तरह विफल हो रहा हो।
यहाँ इस शोध पत्र के मुख्य बिंदुओं का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "औसत" का जाल
उपमा: कल्पना कीजिए कि एक कक्षा में शिक्षक पूछते हैं, "कक्षा का प्रदर्शन कैसा रहा?" शिक्षक कहते हैं, "औसत स्कोर 85% था!" यह बहुत अच्छा लगता है। लेकिन क्या होगा यदि शीर्ष 50% छात्रों ने 100% प्राप्त किया, और निचले 50% ने 0% प्राप्त किया? "औसत" इस तथ्य को छिपा देता है कि आधी कक्षा पूरी तरह से विफल रही।
वास्तविकता: चेहरे की पहचान करने वाले सिस्टम अक्सर एक उच्च "समग्र सटीकता" (जैसे कि वह 85% औसत) रखते हैं। लेकिन जब आप करीब से देखते हैं, तो सिस्टम गोरे पुरुषों के लिए 99% सटीक हो सकता है, लेकिन गहरे रंग की महिलाओं के लिए केवल 60% सटीक हो सकता है। उच्च समग्र स्कोर सिस्टम को निष्पक्ष और विश्वसनीय दिखाता है, लेकिन वास्तव में यह एक बड़े अंतर को छिपा रहा होता है।
2. गलतियों के दो प्रकार (फाल्स पॉजिटिव बनाम फाल्स नेगेटिव)
कानून प्रवर्तन में, किसी संख्या को गलत समझना केवल एक गणितीय त्रुटि नहीं है; यह जीवन बदल देता है। यह शोध पत्र विफलता के दो विशिष्ट तरीकों पर प्रकाश डालता है, और यह भी कि "औसत" हमें यह नहीं बताता कि कौन सा समूह पीड़ित है:
- फाल्स पॉजिटिव (गलत व्यक्ति का अलार्म): सिस्टम एक निर्दset व्यक्ति को देखता है और कहता है, "वही अपराधी है!"
- उपमा: यह एक स्मोक डिटेक्टर की तरह है जो तब बज उठता है जब आपने बस ब्रेड टोस्ट की हो। यदि यह विशेष रूप से कुछ समूहों के साथ बार-बार होता है, तो उन्हें रोका जाता है, पूछताछ की जाती है, या उन अपराधों के लिए गिरफ्तार किया जाता है जो उन्होंने नहीं किए हैं।
- फाल्स नेगेटिव (छूटा हुआ व्यक्ति): सिस्टम एक वास्तविक अपराधी को देखता है और कहता है, "मुझे नहीं पता कि यह कौन है।"
- उपमा: यह एक सुरक्षा गार्ड की तरह है जो अपने सामने से गुजरते हुए चोर को देख नहीं पाता। यदि यह किसी विशेष समूह के लिए अधिक बार होता है, तो वे अपराधी बच सकते हैं, या जांच रुक सकती है।
समस्या: यदि आप केवल "कुल सटीकता" को देखते हैं, तो आप यह नहीं देख सकते कि समूह A को गलत तरीके से दोषी ठहराया जा रहा है (फाल्स पॉजिटिव), जबकि समूह B को पूरी तरह से अनदेखा किया जा रहा है (फाल्स नेगेटिव)।
3. "ब्लैक बॉक्स" की समस्या
उपमा: कल्पना कीजिए कि आप एक रहस्यमय कंपनी से कार खरीदते हैं। वे कहते हैं, "यह दुनिया की सबसे तेज़ कार है!" लेकिन वे आपको इंजन देखने के लिए बोनट खोलने नहीं देंगे, और वे आपको यह भी नहीं बताएंगे कि इसके ब्रेक कैसे काम करते हैं। आपको बस उन पर भरोसा करना होगा।
वास्तविकता: कई पुलिस विभाग निजी कंपनियों से चेहरे की पहचान करने वाला सॉफ्टवेयर खरीदते हैं। ये कंपनियाँ अपने कोड को "व्यापारिक रहस्य" (ब्लैक बॉक्स) मानती हैं। क्योंकि पुलिस कोड के अंदर यह जाँचने के लिए नहीं देख सकती कि पक्षपात है या नहीं, वे कंपनी द्वारा दिए गए सरल "सटीकता नंबर" पर भरोसा करती हैं। यह शोध पत्र तर्क देता है कि हमें इन कारोंों का बाहर से "ऑडिट" करने का एक तरीका चाहिए—यह जाँचने के लिए कि वे वास्तविक जीवन में कैसे चलती हैं, बिना इंजन को देखे।
4. कठिन चुनाव: निष्पक्षता बनाम पूर्णता
उपमा: कल्पना कीजिए कि आप एक बड़ी पार्टी के लिए केक बना रहे हैं। आप चाहते हैं कि केक सभी के लिए एकदम सही हो। लेकिन आप महसूस करते हैं कि रेसिपी उन लोगों के लिए बहुत अच्छी है जो चॉकलेट पसंद करते हैं, लेकिन वनीला पसंद करने वालों के लिए यह बहुत सूखा है।
- विकल्प A: रेसिपी को बिल्कुल वैसा ही रहने दें। चॉकलेट प्रेमियों को एक बेहतरीन केक मिलता है, लेकिन वनीला प्रेमियों को एक सूखा, खराब केक मिलता है। उनका औसत स्वाद स्कोर उच्च है।
- विकल्प B: रेसिपी को इस तरह बदलें कि वह सभी के लिए "काफी अच्छी" हो जाए। चॉकलेट केक पहले की तुलना में थोड़ा कम उत्तम हो सकता है, लेकिन अब वनीला प्रेमी भी इसका आनंद ले सकते हैं। औसत स्वाद स्कोर थोड़ा गिर सकता है, लेकिन सभी खुश हैं।
वास्तविकता: शोध पत्र स्वीकार करता है कि सिस्टम को अधिक निष्पक्ष बनाने से इसकी समग्र सटीकता थोड़ी कम हो सकती है। लेकिन कानून प्रवर्तन में, एक "थोड़ा कम सटीक" सिस्टम जो विशिष्ट समूहों को अनुचित रूप से लक्षित नहीं करता है, उस "पूरी तरह से सटीक" सिस्टम से बेहतर है जो निर्दोष जीवन बर्बाद कर देता है।
निष्कर्ष
यह शोध पत्र एक चेतावनी है। यह कहता है: "हेडलाइन नंबर को देखना बंद करें।"
सिर्फ इसलिए कि एक चेहरे की पहचान करने वाला सिस्टम कहता है कि वह "95% सटीक" है, इसका मतलब यह नहीं है कि वह पुलिस स्टेशन में उपयोग करने के लिए सुरक्षित है। हमें इसके अंदर झांकने की जरूरत है और पूछना होगा:
- यह किसे गलत समझ रहा है?
- क्या यह कुछ समूहों के निर्दोष लोगों पर अधिक बार आरोप लगा रहा है?
- क्या यह कुछ समूहों के अपराधियों को अधिक बार मिस कर रहा है?
जब तक हम केवल सटीकता (कुल स्कोर) के बजाय निष्पक्षता (विभिन्न समूहों के बीच त्रुटियां कैसे साझा की जाती हैं) को मापना शुरू नहीं करते, तब तक हम एक ऐसा न्याय तंत्र बनाने का जोखिम उठाते हैं जो गणितीय रूप से "स्मार्ट" तो है लेकिन सामाजिक रूप से अन्यायपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।