Agreement Between Fitzpatrick-17k Skin-Type Labels Is Metric- and Stratum-Dependent: A Chance-Corrected Reanalysis
यह शोध पत्र चांस-करेक्टेड सांख्यिकी (chance-corrected statistics) का उपयोग करते हुए फिट्ज़पैट्रिक-17k डेटासेट का पुन: विश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि एनोटेशन स्रोतों के बीच लेबल समझौता (label agreement) चुने गए मीट्रिक और स्किन-टाइप स्ट्रैटम पर अत्यधिक निर्भर है, जो महत्वपूर्ण विसंगतियों—विशेष रूप से गहरे रंग की त्वचा के लिए—को उजागर करता है जो डर्मेटोलॉजी एआई अनुसंधान में कार्यप्रणाली के पारदर्शी रिपोर्टिंग और प्रति-स्ट्रैटम कॉन्फिडेंस इंटरवल की आवश्यकता को दर्शाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानव त्वचा के विभिन्न रंगों को पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि एक डिजिटल आर्ट का छात्र पोर्ट्रेट बनाना सीख रहा हो। ऐसा करने के लिए, रोबोट को एक "शिक्षक" की आवश्यकता होगी जो तस्वीरों को देखे और कहे, "यह बहुत पीला है," या "यह गहरा भूरा है।" डर्मेटोलॉजी (त्वचा विज्ञान) और आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह शिक्षक अक्सर एक मानव एनोटेटर होता है जो फिट्ज़पैट्रिक स्केल (Fitzpatrick scale) के आधार पर त्वचा के प्रकार को निर्धारित करता है, जो एक प्रणाली है जो त्वचा को छह श्रेणियों में विभाजित करती है, टाइप I (बहुत गोरा, हमेशा झुलस जाता है) से टाइप VI (गहरा रंग, शायद ही कभी झुलसता है) तक। लेकिन यहाँ पेचीदा बात यह है कि इंसान पूर्ण नहीं होते। एक व्यक्ति सोच सकता है कि एक फोटो "मध्यम भूरी" है, जबकि दूसरा कहता है "गहरी भूरी।" यदि रोबोट इन उलझे हुए निर्देशों से सीखता है, तो वह भ्रमित हो सकता है, खासकर तब जब वह उन लोगों की मदद करने की कोशिश कर रहा हो जिनकी त्वचा गहरे रंग की है और जो पहले से ही चिकित्सा देखभाल में कम प्रतिनिधित्व रखते हैं। बड़ा सवाल यह है कि इन मानव शिक्षकों के बीच वास्तव में कितना तालमेल है, और क्या इससे फर्क पड़ता है यदि वे केवल एक चरण के अंतर से असहमत हैं?
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ एक शोधकर्ता, निया पेनी (Niya Pennie), एक प्रसिद्ध डेटासेट जिसे Fitzpatrick-17k कहा जाता है, के होमवर्क की जाँच करने के लिए वापस जाती हैं। इस डेटासेट को दो अलग-अलग समूहों (एक Scale AI से और एक Centaur Labs से) के क्राउड-वर्कर्स से हजारों त्वचा की तस्वीरों को लेबल करने के लिए कहकर बनाया गया था। डेटासेट के मूल रचनाकारों ने कहा, "हे, 85% बार, हमारे दोनों समूह काफी करीब थे, आमतौर पर एक-दूसरे से एक चरण के भीतर!" यह बहुत अच्छा लग रहा था। लेकिन पेनी ने यह देखने के लिए कि वास्तव में क्या हो रहा है, एक अधिक सख्त, अधिक गणितीय परीक्षण चलाने का निर्णय लिया। उन्होंने केवल यह नहीं पूछा, "क्या वे करीब थे?" उन्होंने पूछा, "क्या उन्होंने बिल्कुल एक ही लेबल चुना? और यदि वे एक चरण से अलग थे, तो क्या इसे जीत माना जाएगा या हार?"
जांच में जो पाया गया वह यहाँ है। पहला, "करीब लेकिन सटीक नहीं" वाली कहानी सच है: यदि आप केवल एक त्वचा प्रकार के अंतर को "सहमति" के रूप में गिनते हैं, तो हाँ, दोनों समूह 91% बार सहमत थे। लेकिन यदि आप मांग करते हैं कि वे बिल्कुल वही संख्या चुनें, तो सहमति गिरकर आधे से भी कम (47.9%) रह जाती है। यह वैसा ही है जैसे दो दोस्त सूर्यास्त को देख रहे हों और एक "नारंगी" कहे और दूसरा "नारंगी-लाल" कहे। वे करीब हैं, लेकिन वे एक ही बात नहीं कह रहे हैं।
शोध पत्र ने यह भी पता लगाया कि यह असहमति समान रूप से वितरित नहीं है। यह एक खेल की तरह है जहाँ स्कोर के आधार पर नियम बदल जाते हैं। सबसे हल्की त्वचा के प्रकारों (टाइप I) के लिए, दोनों समूह लगभग 88% बार सहमत थे। लेकिन गहरे रंग की त्वचा के प्रकारों (टाइप II से VI) के लिए, सहमति तेजी से गिर गई, जो 34% और 55% के बीच बनी रही। दूसरे शब्दों में, मानव शिक्षक गहरे रंग की त्वचा के बारे में हल्के रंग की त्वचा की तुलना में बहुत अधिक भ्रमित थे। इसके अलावा, दोनों समूह केवल यादृच्छिक (रैंडम) रूप से असहमत नहीं थे; उनका एक पैटर्न था। Centaur Labs समूह Scale AI समूह की तुलना में तस्वीरों को हल्का लेबल करने की ओर झुका हुआ था, विशेष रूप से गहरे रंग की त्वचा के लिए।
अंत में, शोध पत्र एक गंभीर "गिनती की समस्या" (counting problem) की ओर इशारा करता है। सबसे गहरे त्वचा श्रेणी (टाइप VI) के लिए, इस डेटासेट में गंभीर त्वचा स्थितियों (घातक छवियों) की बहुत कम तस्वीरें हैं। एक लेबलिंग प्रणाली के तहत, ऐसी 61 छवियां थीं; दूसरी के तहत, केवल 45। क्योंकि ये संख्याएँ बहुत छोटी हैं, शोध पत्र सुझाव देता है कि इस विशिष्ट समूह पर AI कितनी अच्छी तरह काम करता है, इसका आकलन करने वाला कोई भी अध्ययन केवल तीन लोगों को मापने जैसा होगा। परिणाम बहुत अस्थिर और अनिश्चित होंगे जिन्हें भरोसेमंद माना जा सके।
तो, मुख्य निष्कर्ष यह नहीं है कि डेटासेट बेकार है, बल्कि यह है कि हमें इसे पढ़ने में बहुत अधिक सावधान रहने की आवश्यकता है। शोध पत्र तर्क देता है कि शोधकर्ता केवल यह कहकर नहीं कह सकते कि "AI निष्पक्ष है," बिना यह निर्दिष्ट किए कि उन्होंने वास्तव में किस लेबलिंग प्रणाली का उपयोग किया, उन्होंने "सहमति" को कैसे परिभाषित किया, और क्या उनके पास ठोस दावा करने के लिए पर्याप्त डेटा है। यदि आप खेल के नियम (लेबलिंग स्रोत) बदलते हैं या टीम का आकार (छवियों की संख्या) बदलते हैं, तो स्कोर बदल जाता है। शोध पत्र निष्कर्ष निकालता है कि यह वास्तव में समझने के लिए कि क्या AI सभी के प्रति निष्पक्ष है, हमें इन लेबल को पूर्ण तथ्य मानना बंद करना होगा और यह रिपोर्ट करना शुरू करना होगा कि वे वास्तव में कितने अनिश्चित और परिवर्तनशील हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।