Data Annotations as Pedagogical Hints: From Subjective Labels to Critical Thinking
यह अध्ययन प्रदर्शित करता है कि मशीन लर्निंग पाठ्यक्रमों में मैनुअल डेटा एनोटेशन कार्यों को शामिल करना छात्रों को डेटा लेबल को वस्तुनिष्ठ तथ्यों के रूप में देखने के बजाय उन्हें व्यक्तिपरक व्याख्याओं के रूप में समझने की ओर प्रभावी ढंग से स्थानांतरित करता है, जिससे पूर्वाग्रह और मॉडल व्यवहार के बारे में आलोचनात्मक सोच को बढ़ावा मिलता है, हालांकि भविष्य के संस्करणों को व्याख्यात्मक असहमति को एक शैक्षणिक विशेषता के रूप में बेहतर ढंग से प्रस्तुत करना चाहिए और संवेदनशील सामग्री से होने वाली भावनात्मक असहजता को कम करना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट के मस्तिष्क के पीछे का अदृश्य हाथ
कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के फलों को पहचानना सिखा रहे हैं। आप उसे सेब और संतरे की एक हज़ार तस्वीरें दिखाते हैं, और आप रोबोट को बताते हैं, "यह एक सेब है," या "यह एक संतरा है।" मशीन लर्निंग की दुनिया में, तस्वीरों को लेबल करने की इस प्रक्रिया को डेटा एनोटेशन (data annotation) कहा जाता है। लंबे समय तक, इन रोबोटों को बनाने का हुनर सीखने वाले छात्रों को पहले से लेबल किए गए डेटासेट दिए जाते थे, जैसे कि एक ऐसी पाठ्यपुस्तक जिसमें सभी उत्तर पहले से ही भरे हुए हों। उन्होंने रोबोट को प्रशिक्षित करना तो सीखा, लेकिन वे उस मानवीय काम को कभी नहीं देख पाए जो यह तय करने में लगा होता है कि वे तस्वीरें वास्तव में क्या थीं।
बड़ा सवाल जिसका यह शोध समाधान करता है वह यह है: क्या होता है जब "सत्य" वास्तव में श्वेत-श्याम (स्पष्ट) नहीं होता? कई वास्तविक स्थितियों में, दो बुद्धिमान लोग एक ही छवि को देख सकते हैं और ईमानदारी से उस पर असहमत हो सकते हैं। यदि कोई रोबोट ऐसे डेटा से सीखता है जहाँ मनुष्य बहस करते हैं, तो क्या रोबोट भ्रमित हो जाता है? या क्या वह कुछ गहरा सीखता है? यह शोध एक साहसी विचार की खोज करता है: केवल छात्रों को पहले से लेबल किया गया डेटा देने के बजाय, क्या होगा यदि हम उन्हें स्वयं लेबलिंग करने के लिए मजबूर करें? छात्रों को "मानवीय मस्तिष्क" बनने के लिए मजबूर करके, शोधकर्ता यह देखना चाहते थे कि क्या इससे उन्हें यह समझने में मदद मिलेगी कि एआई (AI) केवल गणित नहीं है—यह मानवीय राय, पूर्वाग्रह और दुनिया को देखने के हमारे अनिश्चित तरीके का भी एक प्रतिबिंब है।
प्रयोग: त्वचा के घावों (Skin Lesions) पर बालों को लेबल करना
शोधकर्ताओं ने, जो नीदरलैंड, जर्मनी और डेनमार्क के विश्वविद्यालयों की एक टीम थी, इस विचार का परीक्षण दो अलग-अलग कक्षाओं में करने का निर्णय लिया। उन्होंने बिल्लियों या कुत्तों जैसी सरल तस्वीरों का उपयोग नहीं किया, क्योंकि उन पर आमतौर पर सहमति बनाना आसान होता है। इसके बजाय, उन्होंने छात्रों को त्वचा के घावों (त्वचा पर धब्बे) दिखाने वाली सैकड़ों चिकित्सा छवियां दीं और उन्हें एक बहुत ही विशिष्ट, कठिन कार्य दिया: घाव को ढकने वाले बालों की मात्रा गिनना।
छात्रों को प्रत्येक छवि के लिए निर्णय लेना था: क्या वहाँ कोई बाल नहीं है, कुछ बाल हैं, या बहुत अधिक बाल हैं?
यह सरल लग सकता है, लेकिन यह मानव मस्तिष्क के लिए एक जाल है। एक बिल्ली के विपरीत जो स्पष्ट रूप से एक बिल्ली है, त्वचा के घाव पर बाल अस्पष्ट होते हैं। क्या कुछ बिखरे हुए बाल "कुछ" हैं या "बहुत अधिक"? क्या बालों का एक पतला पैच "कुछ" है? एक छात्र कह सकता है कि "कुछ" है, जबकि उनका साथी ठीक उसी तस्वीर को देखकर कह सकता है कि "बहुत अधिक" है। कोई एक "सही" उत्तर सितारों में नहीं लिखा है। शोधकर्ता यह देखना चाहते थे कि क्या होगा जब 43 छात्र (30 फोंटिस यूनिवर्सिटी से और 13 आईटी यूनिवर्सिटी ऑफ कोपेनहेगन से) इस असहमति के धुंधले क्षेत्र में फंस जाएंगे।
उन्होंने क्या पाया: "अहा!" क्षण और "इसे ठीक करो" की प्रवृत्ति
परिणाम शानदार सीख और एक मजेदार मानवीय प्रतिक्रिया का मिश्रण थे।
अच्छी खबर: बल्ब जल उठा (समझ विकसित हुई)
कार्य से पहले, कई छात्र सोचते थे कि डेटा केवल एकत्र किए जाने वाले तथ्य हैं। लेबलिंग करने के बाद, उनकी समझ नाटकीय रूप रूप से बदल गई।
- व्यक्तिगत दृष्टिकोण (Subjectivity): उन्होंने महसूस किया कि उनकी अपनी व्यक्तिगत राय वास्तव में डेटा को आकार देती है। उन्होंने देखा कि दो बुद्धिमान लोग एक ही चीज़ को देख सकते हैं और अलग-अलग देख सकते हैं।
- पूर्वाग्रह (Bias): वे समझ गए कि यदि वे सभी बालों को "बहुत अधिक" कहने पर सहमत होते हैं, तो रोबोट यह सीख जाएगा कि "बहुत अधिक" ही सत्य है। लेकिन यदि वे असहमत होते, तो रोबोट भ्रमित हो जाता। उन्होंने सीखा कि रोबोट की गलतियाँ अक्सर केवल कोड से नहीं, बल्कि उन मनुष्यों से शुरू होती हैं जिन्होंने डेटा को लेबल किया है।
- प्रभावशीलता: छात्रों ने इस उलझी हुई, व्यावहारिक गतिविधि को पूर्वाग्रह कैसे काम करता है, इसे समझने के लिए एक उबाऊ व्याख्यान की तुलना में बहुत बेहतर बताया। उन्हें लगा कि वे एआई के बारे में सीखने के लिए अधिक प्रेरित हैं क्योंकि उन्होंने स्वयं उस समस्या को "महसूस" किया था।
ट्विस्ट: "इसे ठीक करो" की प्रवृत्ति
यहीं पर यह दिलचस्प हो जाता है। भले ही छात्रों ने सीखा कि असहमति सामान्य है और प्रक्रिया का हिस्सा है, लेकिन जब उनसे कार्य को बेहतर बनाने के बारे में पूछा गया, तो उनकी पहली प्रवृत्ति असहमति को रोकने की थी।
जब शोधकर्ताओं ने पूछा, "हम इसे बेहतर कैसे बना सकते हैं?" तो सबसे आम उत्तर था, "हमें स्पष्ट नियम दें ताकि हम सब सहमत हो सकें!" या "हमें उदाहरण दिखाएं ताकि हम भ्रमित न हों!"
शोधकर्ता इसे "शैक्षणिक तनाव" (pedagogical tension) कहते हैं। छात्रों ने खोजा था कि दुनिया जटिल है, लेकिन वे अभी भी एक साफ, पूर्ण उत्तर चाहते थे। उन्होंने असहमति को एक "बग" (एक गलती जिसे ठीक करने की आवश्यकता है) के रूप में माना, न कि एक "फीचर" (यह समझने का एक स्वाभाविक तरीका कि मनुष्य चीजों को कैसे देखते हैं) के रूप में। वे उसी चीज़ को खत्म करना चाहते थे जिसने उन्हें सिखाया था।
राह की बाधाएं
सब कुछ सुचारू रूप से नहीं चला। शोधकर्ताओं ने कुछ विशिष्ट बाधाओं को नोट किया:
- "घिनौना" कारक: कई छात्र त्वचा के घावों की चिकित्सा छवियों को देखने में असहज महसूस कर रहे थे। यह थोड़ा घिनौना था, और कुछ के लिए, इस असहजता ने उन्हें सीखने से विचलित कर दिया।
- बोरियत: एक-एक करके 100 छवियों को लेबल करना दोहराव वाला कार्य था। छात्रों ने इसे "उबाऊ" और "धीमा" कहा। वे इस पर चर्चा करने में अधिक समय बिताना चाहते थे कि वे क्यों असहमत थे और बटन क्लिक करने में कम।
- टूल की समस्या: कुछ छात्रों को उपयोग किए जाने वाले सॉफ़्टवेयर के साथ संघर्ष करना पड़ा, और वे सरल उपकरणों या पहले से बने स्क्रिप्ट की इच्छा रखते थे ताकि वे सोचने वाले भाग पर ध्यान केंद्रित कर सकें।
मुख्य निष्कर्ष
यह शोध पत्र सुझाव देता है कि छात्रों को लेबलिंग करना सिखाना उन्हें यह समझाने का एक शक्तिशाली तरीका है कि एआई निष्पक्ष (objective) नहीं है। यह उन्हें दिखाता है कि रोबोट को खिलाया जाने वाला डेटा मनुष्यों द्वारा बनाया गया है, जिसमें हमारे सभी पूर्वाग्रह और असहमति शामिल हैं।
हालाँकि, शोधकर्ता चेतावनी देते हैं कि इस पद्धति को सावधानीपूर्वक संभालने की आवश्यकता है। यदि आप छात्रों को केवल एक अव्यवस्थित कार्य में डाल देते हैं, तो वे केवल निराश हो सकते हैं और उस अव्यवस्था को "ठीक" करने के बजाय उससे सीखने के बजाय परेशान हो सकते हैं। कुंजी उन्हें यह महसूस कराने में है कि असहमति ही सबक है, त्रुटि नहीं।
संक्षेप में, यह शोध पत्र सिद्ध करता है कि डेटा के साथ हाथ गंदे करने से आप रोबोट के मस्तिष्क को बेहतर ढंग से समझ सकते हैं। लेकिन यह यह भी दिखाता है कि हमें छात्रों को इस अव्यवस्था से प्यार करना सिखाना होगा, क्योंकि वास्तविक दुनिया में, कोई एक "सही" लेबल नहीं है—केवल विभिन्न मानवीय दृष्टिकोण हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।