(Un)fair devices: Moving beyond AI accuracy in personal sensing
यह साहित्य समीक्षा विभिन्न जनसांख्यिकीय समूहों में एआई-संचालित व्यक्तिगत सेंसिंग उपकरणों में छिपे हुए पूर्वाग्रहों पर प्रकाश डालती है और शुद्ध रूप से प्रदर्शन-आधारित मूल्यांकनों से हटकर मानव-केंद्रित दृष्टिकोण अपनाने की वकालत करती है, जो निष्पक्ष और पूर्वाग्रह मुक्त स्वास्थ्य प्रौद्योगिकियों के विकास को सुनिश्चित करने के लिए दिशानिर्देश प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपकी स्मार्टवॉच, फिटनेस रिंग या हेल्थ ऐप एक निजी जासूस (personal detective) है। यह जासूस हमेशा आपको देख रहा है, सुन रहा है और आपकी हर हरकत को माप रहा है ताकि आपको बता सके कि आप कितने स्वस्थ हैं, आपकी नींद कैसी रही, या क्या आपके दिल की धड़कन अनियमित हो रही है।
वर्षों से, हम इस जासूस से एक ही सवाल पूछते आए हैं: "क्या तुम सटीक हो?" यदि जासूस कहता है कि आपने 10,000 कदम चले हैं, तो हम जानना चाहते हैं कि क्या वास्तव में 10,000 ही थे।
लेकिन यह शोध पत्र तर्क देता है कि केवल सटीकता (accuracy) के बारे में पूछना ऐसा ही है जैसे किसी शेफ से पूछना, "क्या इस सूप का स्वाद अच्छा है?" बिना यह पूछे कि, "क्या इसका स्वाद सभी को अच्छा लगता है?"
लेखक, जो विश्वविद्यालयों और बड़ी टेक कंपनियों के शोधकर्ताओं की एक टीम है, कह रहे हैं: "नहीं, हमारे व्यक्तिगत उपकरण सभी के लिए निष्पक्ष नहीं हैं।" वे पक्षपाती (biased) हैं, जिसका अर्थ है कि वे कुछ लोगों के लिए तो बहुत अच्छे से काम करते हैं लेकिन दूसरों के लिए पूरी तरह विफल हो जाते हैं।
समस्या और समाधान का विवरण, कुछ रोजमर्रा के उदाहरणों के साथ यहाँ दिया गया है:
1. समस्या: "एक-आकार-सबके-लिए-नहीं" वाला जासूस
मुख्य मुद्दा यह है कि इन उपकरणों को सिखाने के लिए उपयोग किया जाने वाला "प्रशिक्षण डेटा" (training data) असंतुलित है। इसे एक कुकिंग स्कूल की तरह समझें जहाँ 90% छात्र लंबे, गोरे, युवा पुरुष और समृद्ध देशों के हैं।
- परिणाम: स्कूल छात्रों को लंबे, गोरे, युवा पुरुषों के लिए खाना बनाना सिखाता है।
- वास्तविकता: जब एक छोटी महिला, एक बुजुर्ग व्यक्ति, या अलग स्किन टोन वाला व्यक्ति वह खाना खाने की कोशिश करता है, तो उसका स्वाद गलत लगता है।
यह शोध पत्र इस "खराब कुकिंग" के कई वास्तविक उदाहरणों पर प्रकाश डालता है:
- स्किन टोन की अनदेखी (The Skin Tone Blindness): पल्स ऑक्सीमीटर (वह क्लिप जो ऑक्सीजन की जांच के लिए आपकी उंगली पर लगाई जाती है) अक्सर गहरे रंग की त्वचा वाले लोगों के लिए गलत रीडिंग देते हैं। यह एक ऐसे कैमरे की तरह है जिसका फ्लैश गोरी त्वचा के लिए कैलिब्रेट किया गया है; यह डार्क स्किन को ओवरएक्सपोज कर देता है, जिससे ऐसा लगता है कि वहां ऑक्सीजन नहीं है, जबकि वास्तव में होती है। चिकित्सा आपात स्थिति के दौरान यह खतरनाक हो सकता है।
- शरीर के प्रकार की अनदेखी (The Body Type Blindness): स्मार्टवॉच पर हार्ट रेट सेंसर अक्सर उन लोगों के लिए संघर्ष करते हैं जिनके हाथ बड़े या अधिक मांसपेशीय (muscle mass) होते हैं। यह एक नदी की गहराई को उस स्केल से मापने की कोशिश करने जैसा है जो बाथटब के लिए बना है; वह उपकरण उस संदर्भ में फिट ही नहीं बैठता।
- आयु की अनदेखी (The Age Blindness): वॉयस असिस्टेंट और हियरिंग एड अक्सर बच्चों या बुजुर्गों को समझने में विफल रहते हैं क्योंकि उन्हें मुख्य रूप से मध्यम आयु वर्ग के वयस्कों की आवाजों पर प्रशिक्षित किया गया था। यह एक ऐसे अनुवादक की तरह है जो केवल "जेन ज़ी स्लैंग" बोलता है और दादा-दादी की बोली नहीं समझ पाता।
2. छिपा हुआ खतरा: "अदृश्य गड़बड़ी" (The Invisible Glitch)
पारंपरिक सॉफ्टवेयर में, यदि कोई प्रोग्राम क्रैश होता है, तो आपको एक बड़ा लाल एरर मैसेज दिखता है। लेकिन व्यक्तिगत उपकरणों में, पक्षपात अदृश्य होता है।
कल्पना कीजिए कि एक जीपीएस नेविगेशन ऐप है। यदि जीपीएस पक्षपाती है, तो वह केवल "एरर" नहीं कहेगा। इसके बजाय, वह चुपचाप आपको एक ऊबड़-खाबड़, खतरनाक सड़क पर भेज देगा क्योंकि उसे लगता है कि आपको ऊबड़-खाबड़ सड़कें पसंद हैं, सिर्फ इसलिए क्योंकि उसने केवल उन लोगों को चलाया है जो ऊबड़-खाबड़ सड़कों पर रहते हैं।
शोध पत्र चेतावनी देता है कि ये उपकरण अब उच्च-जोखिम वाले निर्णय (high-stakes decisions) ले रहे हैं:
- हृदय रोगों (Atrial Fibrillation) का निदान करना।
- प्रजनन क्षमता (fertility) का पूर्वानुमान लगाना।
- स्लीप एपनिया (sleep apnea) का पता लगाना।
यदि "जासूस" पक्षपाती है, तो वह एक अश्वेत रोगी को बता सकता है कि वह ठीक है जबकि वह वास्तव में खतरे में है, या एक महिला को बता सकता है कि उसकी प्रजनन क्षमता उम्मीद से कम है। शोध पत्र ने पाया कि पिछले कुछ वर्षों में, इन उपकरणों पर शोध पत्रों में से 10% से भी कम ने यह जांचने की कोशिश की कि क्या उनके उपकरण विभिन्न समूहों के लिए निष्पक्ष थे।
3. इसे ठीक करना इतना कठिन क्यों है?
लेखक बताते हैं कि व्यक्तिगत डिवाइस का डेटा पेचीदा होता है।
- यह एक बदलता हुआ लक्ष्य है: एक स्थिर फोटो के विपरीत, हृदय गति का संकेत हर सेकंड बदलता है। यह एक धुंधले फ्रेम को देखकर पूरी फिल्म का आकलन करने की कोशिश करने जैसा है।
- यह अव्यवस्थित है: उच्च हृदय गति का मतलब यह हो सकता है कि आप दौड़ रहे हैं, या इसका मतलब यह हो सकता है कि आप तनाव में हैं, या आपने अभी कॉफी पी है। डिवाइस को कारण का अनुमान लगाना होता है, और यदि वह कुछ समूहों के लिए गलत अनुमान लगाता है, तो वह पक्षपात है।
- "WEIRD" का जाल: अधिकांश शोध Western (पश्चिमी), Educated (शिक्षित), Industrialized (औद्योगिक), Rich (धनी) और Democratic (लोकतांत्रिक) आबादी पर किया जाता है। यह एक नई कार का परीक्षण केवल कैलिफोर्निया के चिकने राजमार्गों पर करने जैसा है, और फिर उसे उन लोगों को बेचने जैसा है जो बारिश में कीचड़ भरी सड़कों पर गाड़ी चलाते हैं।
4. समाधान: "डिजाइन द्वारा निष्पक्षता" (Fairness by Design)
लेखक एक नया नियम पुस्तिका प्रस्तावित करते हैं जिसे "Fairness by Design" कहा जाता है। पहले डिवाइस बनाने और बाद में पक्षपात की जांच करने के बजाय (जैसे पुल बनने के बाद उसमें दरारें देखना), हमें निष्पक्षता को उसकी नींव में ही शामिल करना होगा।
वे शोधकर्ताओं और कंपनियों के लिए 14 दिशानिर्देश प्रदान करते हैं, जिन्हें संक्षेप में इस प्रकार समझा जा सकता है:
- एक विविध टीम तैयार करें: केवल अपने विश्वविद्यालय के दोस्तों पर परीक्षण न करें। सभी उम्र, आकार, स्किन टोन और पृष्ठभूमि के लोगों पर परीक्षण करें।
- आलोचकों की सुनें: यदि कोई डिवाइस किसी विशिष्ट समूह के लिए खराब काम करता है, तो केवल यह न कहें कि "यह एक अपवाद है।" मॉडल को ठीक करें।
- पारदर्शी रहें: उपयोगकर्ताओं को बताएं, "यह डिवाइस X विशेषताओं वाले लोगों के लिए सबसे अच्छा काम करता है, और Y के लिए कम सटीक हो सकता है।"
- निगरानी जारी रखें: डिवाइस पुराने होते जाते हैं, सेंसर गंदे होते हैं, और लोग बदलते हैं। एक मॉडल जो आज निष्पक्ष है, वह कल पक्षपाती हो सकता है। आपको इसकी जांच करते रहना होगा।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि सटीकता पर्याप्त नहीं है। एक ऐसा डिवाइस जो 50% आबादी के लिए 99% सटीक है, वह एक विफलता है यदि वह बाकी 50% के लिए केवल 50% सटीक है।
हमें यह पूछने से आगे बढ़ना होगा कि "क्या यह डिवाइस स्मार्ट है?" और यह पूछना होगा कि "क्या यह डिवाइस मेरे लिए स्मार्ट है?"
निष्पक्षता को एक मुख्य विशेषता के रूप में मानकर—ठीक वैसे ही जैसे बैटरी लाइफ या वॉटर रेजिस्टेंस—हम यह सुनिश्चित कर सकते हैं कि ये डिजिटल साथी वास्तव में सभी की मदद करें, न कि केवल कुछ भाग्यशाली लोगों की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।