WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation
यह शोध पत्र WIDER-FAIR को प्रस्तुत करता है, जो निष्पक्षता मूल्यांकन को सक्षम करने के लिए जातीयता और लिंग के मैनुअल एनोटेशन के साथ WIDER-FACE बेंचमार्क का विस्तार करने वाला एक नया डेटासेट है, जो प्रयोगों के माध्यम से यह प्रदर्शित करता है कि फेस डिटेक्शन मॉडल प्रदर्शन में महत्वपूर्ण असमानताएं प्रदर्शित करते हैं, विशेष रूप से अश्वेत व्यक्तियों के विरुद्ध।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास तस्वीरों का एक विशाल, अव्यवस्थित फोटो एल्बम है जो भीड़, सड़क के दृश्यों और घटनाओं की तस्वीरों से भरा हुआ है। इस एल्बम का नाम WIDER-FACE है, और यह कंप्यूटर को तस्वीरों में मानवीय चेहरे पहचानने के लिए सिखाने के लिए "गोल्ड स्टैंडर्ड" रहा है। लेकिन इसमें एक पेंच है: इस एल्बम में कोई लेबल नहीं है जो यह बता सके कि तस्वीरों में कौन है। आप नहीं जानते कि वे लोग पुरुष हैं या महिला, या उनकी जातीय पृष्ठभूमि (ethnic backgrounds) क्या है।
इस गायब जानकारी के कारण, यह जांचना असंभव है कि कंप्यूटर निष्पक्ष है या नहीं। क्या वह सभी प्रकार के लोगों के चेहरे पहचानने में अच्छा है, या वह केवल उन चेहरों को पहचानने में बहुत अच्छा हो जाता है जो उसके प्रशिक्षण (training) के दौरान देखी गई अधिकांश तस्वीरों के समान हैं?
WIDER-FAIR का आगमन।
लेखकों ने उस विशाल, बिना लेबल वाले एल्बम को लिया और उसका एक नया, एनोटेटेड (annotated) संस्करण बनाया जिसे WIDER-FAIR कहा गया। इसे ऐसे समझें जैसे आपने उस एल्बम को व्यवस्थित करने के लिए एक बहुत ही सावधान लाइब्रेरियन (Librarian) को काम पर रखा हो जो हर एक फोटो में जाकर हर चेहरे पर एक स्टिकी नोट लगा रहा है। लाइब्रेरियन ने जितनी भी स्पष्ट तस्वीरें देखीं, उनके लिए दो चीजें लिखीं:
- अनुमानित लिंग (Perceived Sex): क्या यह व्यक्ति पुरुष है या महिला?
- अनुमानित जातीयता (Perceived Ethnicity): क्या यह व्यक्ति एशियाई, अश्वेत (Black), भारतीय या श्वेत (White) दिखाई देता है?
नोट: पेपर इस बात पर जोर देता है कि ये "अनुमानित" लेबल हैं जो लाइब्रेरियन द्वारा फोटो में देखे गए आधार पर लगाए गए हैं, न कि व्यक्ति की वास्तविक पहचान, क्योंकि मूल तस्वीरों में यह जानकारी नहीं थी।
"क्वालिटी कंट्रोल" चेक
इस नए एनोटेटेड एल्बम पर भरोसा करने से पहले, लेखक यह सुनिश्चित करना चाहते थे कि लाइब्रेरियन ने कोई गड़बड़ी तो नहीं की है। उन्होंने काम की जांच करने के लिए कुछ तरकीबों का उपयोग किया:
- "एक जैसा दिखने वाला" टेस्ट: उन्होंने चेहरों के समूह बनाने के लिए एक कंप्यूटर प्रोग्राम का उपयोग किया जो दिखने में समान होते हैं। उन्होंने पाया कि "अश्वेत" लेबल वाले चेहरे एक साथ क्लस्टर (cluster) हुए, और "श्वेत" लेबल वाले चेहरे भी एक साथ क्लस्टर हुए, जैसा कि अपेक्षित था। इससे पता चला कि लाइब्रेरियन सुसंगत (consistent) था।
- "अनुमान लगाने का खेल": उन्होंने तस्वीरों के आधार पर लेबल का अनुमान लगाने के लिए एक साधारण कंप्यूटर को प्रशिक्षित किया। कंप्यूटर ने अधिकांश बार सही उत्तर दिए, जिससे उन्हें विश्वास मिला कि लेबल उपयोग करने के लिए पर्याप्त सटीक थे।
बड़ा प्रयोग: क्या होता है जब हम समूहों को छिपा देते हैं?
पेपर का सबसे दिलचस्प हिस्सा वह था जो हुआ जब उन्होंने एक चेहरा पहचानने वाले कंप्यूटर (विशेष रूप से YOLOv5 नामक मॉडल) को इस नए एल्बम का उपयोग करके सिखाने की कोशिश की। उन्होंने डेटा के साथ "लुका-छिपी" (Hide and Seek) का खेल खेलते हुए प्रयोगों की एक श्रृंखला चलाई:
- बेसलाइन (The Baseline): सबसे पहले, उन्होंने कंप्यूटर को पूरे एल्बम (सभी जातीयताओं और लिंगों) का उपयोग करके प्रशिक्षित किया। उन्होंने पाया कि कंप्यूटर आम तौर पर अच्छा था, लेकिन उसे अश्वेत व्यक्तियों के चेहरों को पहचानने में सबसे अधिक संघर्ष करना पड़ा। यह एक ऐसे छात्र की तरह था जिसने कड़ी मेहनत से पढ़ाई की लेकिन एक विशिष्ट अध्याय के प्रश्नों को समझने में बार-बार चूक गया।
- "एक को छोड़ देने वाला" टेस्ट (The "Leave One Out" Test): इसके बाद, उन्होंने कुछ समूहों के बिना कंप्यूटर को प्रशिक्षित करने का प्रयास किया।
- जब उन्होंने प्रशिक्षण डेटा से एशियाई, भारतीय, या श्वेत चेहरों को हटाया, तो कंप्यूटर के प्रदर्शन में अन्य समूहों के लिए बहुत अधिक बदलाव नहीं आया।
- हालाँकि, जब उन्होंने प्रशिक्षण डेटा से अश्वेत चेहरों को हटा दिया, तो अश्वेत चेहरों का पता लगाने की कंप्यूटर की क्षमता काफी गिर गई। इससे भी बदतर यह हुआ कि अश्वेत चेहरों बनाम अन्य चेहरों को पहचानने के बीच का अंतर बहुत अधिक बढ़ गया।
रूपक (Metaphor): कल्पना कीजिए कि एक शेफ (Chef) स्टू (stew) बनाना सीख रहा है। यदि वह बीफ, चिकन और पोर्क के साथ अभ्यास करता है, तो वह तीनों को संभालना सीख जाता है। यदि आप उसके अभ्यास से पोर्क को हटा देते हैं, तो वह बीफ और चिकन के साथ अभी भी ठीक रह सकता है। लेकिन यदि आप अभ्यास से बीफ को पूरी तरह से हटा देते हैं, और फिर उससे बीफ स्टू बनाने के लिए कहते हैं, तो वह बुरी तरह विफल हो जाएगा। पेपर ने पाया कि "अश्वet चेहरे" वाला समूह कंप्यूटर के लिए पूरी तरह से निष्पक्ष और सटीक होने के लिए सबसे महत्वपूर्ण सामग्री थी।
निष्कर्ष (The Takeaway)
पेपर यह निष्कर्ष निकालता है कि एक निष्पक्ष चेहरा-पहचान प्रणाली बनाने के लिए, आप केवल एक कंप्यूटर पर ढेर सारी तस्वीरें फेंककर यह उम्मीद नहीं कर सकते कि सब ठीक हो जाएगा। आपको ऐसा डेटा चाहिए जो स्पष्ट रूप से विविध समूहों को शामिल करता हो।
लेखक चेतावनी देते हैं कि चूंकि एक इंसान ने सारा लेबलिंग कार्य किया है, इसलिए नोट्स में कुछ अनजाने पूर्वाग्रह या गलतियाँ हो सकती हैं। हालाँकि, उनका मानना है कि यह डेटासेट एक महत्वपूर्ण उपकरण है। यह शोधकर्ताओं को अनुमान लगाने के बजाय यह मापने में सक्षम बनाता है कि उनके फेस-डिटेक्शन मॉडल कहाँ और क्यों लोगों के साथ अन्यायपूर्ण व्यवहार कर रहे हैं, विशेष रूप से यह उजागर करते हुए कि प्रशिक्षण डेटा से अश्वेत चेहरों को बाहर निकालने से निष्पक्षता में सबसे बड़ी गिरावट आती है।
संक्षेप में: WIDER-FAIR एक लेबल किया गया फोटो एल्बम है जिसे हमारी तकनीक की कमियों (blind spots) को पहचानने में मदद करने के लिए डिज़ाइन किया गया है, ताकि यह सुनिश्चित किया जा सके कि चेहरा पहचानने वाली तकनीक सभी के लिए काम करे, न कि केवल कुछ लोगों के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।