Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification
यह शोध पत्र फेस वेरिफिकेशन कार्यों में नौ ओपन-सोर्स मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के लिंग और जातीय पूर्वाग्रह का मूल्यांकन करने वाले एक बेंचमार्किंग अध्ययन को प्रस्तुत करता है, जो यह प्रकट करता है कि विशिष्ट मॉडल सामान्य-उद्देश्य वाले मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं, साथ ही यह भी दर्शाता है कि उच्च सटीकता जनसांख्यिकीय निष्पक्षता की गारंटी नहीं देती है और पूर्वाग्रह के पैटर्न पारंपरिक फेस रिकग्निशन सिस्टम से काफी भिन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक नया, सुपर-स्मार्ट रोबोट सहायक है जो तस्वीरों को देख सकता है और उनके बारे में सवालों के जवाब दे सकता है। आप उससे पूछ सकते हैं, "क्या यह व्यक्ति वही है जो वह व्यक्ति है?" इसे फेस वेरिफिकेशन (चेहरा सत्यापन) कहा जाता है।
वर्षों से, हमने इस काम के लिए विशेष "चेहरा जासूसों" (पारंपरिक प्रणालियों) का उपयोग किया है। वे एक मास्टर फिंगरप्रिंट विश्लेषक की तरह हैं: वे एक चेहरे को एक गुप्त कोड में बदल देते हैं और फिर उन कोडों की तुलना करते हैं। लेकिन हाल ही में, हमने इन विशाल, सामान्य-उद्देश्य वाले "दिमाग वाले रोबोटों" (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) का उपयोग करना शुरू कर दिया है। गुप्त कोडों के बजाय, आप बस उन्हें दो तस्वीरें दिखाते हैं और पूछते हैं, "क्या ये एक ही व्यक्ति हैं?" और वे आपको एक स्कोर देते हैं।
यह शोध पत्र एक बड़ा रिपोर्ट कार्ड है कि ये नए "दिमाग वाले रोबोट" विभिन्न पृष्ठभूमियों के लोगों को पहचानने में कितने निष्पक्ष हैं।
बड़ा सवाल: क्या वे निष्पक्ष हैं?
हम जानते हैं कि पुराने ज़माने के चेहरा जासूस कभी-कभी गहरे रंग की त्वचा या विशिष्ट जातीयता (ethnicity) वाले लोगों के लिए अधिक गलतियाँ करते हैं। यह एक सुरक्षा गार्ड की तरह है जो एक प्रकार के चेहरे को पहचानने में बहुत अच्छा है लेकिन दूसरों को बार-बार गलत पहचानता रहता है।
शोधकर्ताओं ने जानना चाहा: क्या इन नए, सामान्य-उद्देश्य वाले AI रोबोटों में भी वही पूर्वाग्रह (bias) है, या यह अलग है?
प्रयोग: एक टेस्ट ड्राइव
शोधकर्ताओं ने 9 अलग-अलग AI मॉडल (2-बिलियन-पैरामीटर वाले छोटे "पिल्लों" से लेकर 8-बिलियन-पैरामीटर वाले बड़े "कुत्तों" तक) लिए और उन्हें ड्राइविंग टेस्ट से गुजारा।
- कोर्स: उन्होंने दो प्रसिद्ध ड्राइविंग ट्रैक (डेटासेट) का उपयोग किया: IJB-C (एक विशाल, अस्त-व्यस्त ट्रैक जिसमें बहुत से अलग-अलग लोग हैं) और RFW (एक ट्रैक जिसे विशेष रूप से नस्लीय पूर्वाग्रह का परीक्षण करने के लिए डिज़ाइन किया गया है)।
- ड्राइवर: उन्होंने परीक्षण किया कि ये मॉडल यह बताने में कितने सक्षम हैं कि क्या दो तस्वीरें एक ही व्यक्ति की हैं, और उन्होंने परिणामों को जातीयता (अफ्रीकी, पूर्वी एशियाई, दक्षिण एशियाई, कॉकेशियान) और लिंग (पुरुष, महिला) के आधार पर विभाजित किया।
- स्कोरकार्ड: उन्होंने केवल यह नहीं देखा कि किसने सबसे अधिक उत्तर सही दिए (सटीकता/accuracy)। उन्होंने निष्पक्षता (Fairness) को भी देखा। क्या रोबोट ने सभी के लिए समान रूप से गलतियाँ कीं, या वह विशिष्ट समूहों के लिए अधिक विफल रहा?
आश्चर्यजनक परिणाम
1. "विशेषज्ञ" बनाम "सामान्यज्ञ"
इस परीक्षण में एक मॉडल था जिसे FaceLLM-8B कहा गया। इस मॉडल को एक विशेषज्ञ जासूस के रूप में सोचें जो केवल चेहरों का अध्ययन करता है। अन्य आठ मॉडल सामान्यज्ञ (जैसे कि एक स्विस आर्मी नाइफ) थे जो कई चीजें कर सकते हैं लेकिन चेहरों के विशेषज्ञ नहीं हैं।
- परिणाम: विशेषज्ञ जासूस (FaceLLM) इस काम में सामान्यज्ञों की तुलना में बहुत बेहतर था। उसने बहुत कम गलतियाँ कीं।
- पेंच: यहाँ तक कि विशेषज्ञ भी पुराने-स्कूल के "कोड-आधारित" सिस्टम जितना अच्छा नहीं था। सामान्यज्ञ रोबोट अक्सर केवल अनुमान लगा रहे थे, जिनका प्रदर्शन सिक्का उछालकर निर्णय लेने से बेहतर नहीं था।
2. पूर्वाग्रह का उलटफेर (The Bias Flip-Flop)
पारंपरिक प्रणालियों में, गहरे रंग की त्वचा वाले लोगों के लिए परिणाम अक्सर सबसे खराब होते हैं।
- ट्विस्ट: बड़े, अस्त-व्यस्त ट्रैक (IJB-C) पर, नए AI मॉडल वास्तव में कई मामलों में अन्य लोगों की तुलना में कॉकेशियान चेहरों के साथ अधिक संघर्ष करते दिखे! यह एक सुरक्षा गार्ड की तरह है जो आमतौर पर सभी को पहचानने में माहिर होता है लेकिन अचानक उन लोगों के मामले में भ्रमित हो जाता है जिन्हें वह सबसे अच्छी तरह जानता है।
- दूसरे ट्रैक (RFW) पर: पूर्वाग्रह वापस आ गया। मॉडल अफ्रीकी चेहरों के साथ सबसे अधिक संघर्ष करते थे, जैसा कि हम आमतौरों से उम्मीद करते हैं।
- सबक: आप यह मान नहीं सकते कि इन नए AIओं में भी वही पूर्वाग्रह होंगे जो पुराने वाले में थे। वे अप्रत्याशित हैं।
3. "बुरा लेकिन निष्पक्ष" का जाल
शोधकर्ताओं ने एक पेचीदा स्थिति पाई। कभी-कभी, एक मॉडल अपने काम में इतना बुरा होता है कि वह सभी के लिए समान रूप से विफल हो जाता है।
- उपमा: कल्पना कीजिए कि एक बहुत ही खराब तीरंदाज है जो लक्ष्य से चूक जाता है, चाहे वहां कोई भी खड़ा हो। यदि वह सभी के लिए समान रूप से चूक जाता है, तो वह "निष्पक्ष" दिखता है क्योंकि सभी समूहों के लिए त्रुटि दर (error rate) समान है।
- वास्तविकता: जब आप बेकार होते हैं तो "निष्पक्ष" होना वास्तव में अच्छा नहीं है! सबसे सटीक मॉडल (जैसे कि विशेषज्ञ) हमेशा सबसे निष्पक्ष नहीं थे, और "निष्पक्ष" वाले अक्सर वे थे जो किसी के लिए भी सही काम करने में बहुत मूर्ख थे।
4. लिंग बनाम नस्ल
मॉडल लिंग (पुरुष बनाम महिला) के संबंध में जातीयता की तुलना में आम तौर पर बहुत अधिक निष्पक्ष थे। पुरुषों और महिलाओं के बीच के अंतर बहुत कम थे, लेकिन विभिन्न जातीय समूहों के बीच का अंतर बहुत अधिक व्यापक था।
निष्कर्ष
यह शोध पत्र हमें बताता है कि हालांकि ये नए "दिमाग वाले रोबोट" रोमांचक हैं, लेकिन हम अभी इन पर फेस वेरिफिकेशन के लिए भरोसा नहीं कर सकते।
- वे पुराने, विशेषीकृत सिस्टम जितने सटीक नहीं हैं।
- उनके पूर्वाग्रह अजीब और अलग हैं (कभी-कभी वे "बहुमत" समूह के साथ अधिक गलतियाँ करते हैं!)।
- एक मॉडल "निष्पक्ष" दिख सकता है क्योंकि वह अपने काम में बहुत बुरा है।
मुख्य बात: यदि हम सुरक्षा या आईडी चेक के लिए इन शक्तिशाली नए उपकरणों का उपयोग करना चाहते हैं, तो हमें बहुत सावधान रहने की आवश्यकता है। हम यह मानकर नहीं चल सकते कि वे तटस्थ हैं। हमें उनका लगातार परीक्षण करना होगा, ठीक वैसे ही जैसे हम हाईवे पर चलाने से पहले एक नई कार का परीक्षण करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।