Attractor strength identifies classifier label geometry as construct- irrelevant variance in machine-scored developmental drawing assessment
यह अध्ययन प्रदर्शित करता है कि मशीन-स्कोर किए गए विकासात्मक ड्राइंग आकलन में, विशिष्ट वस्तुओं को चित्रित करने की कथित कठिनाई वास्तव में बच्चे की वास्तविक विकासात्मक क्षमता के बजाय स्कोरिंग पाइपलाइन के क्लासिफायर लेबल ज्योमेट्री से उत्पन्न होने वाले कंस्ट्रक्ट-इररेलेवेंट वेरिएंस (construct-irrelevant variance) द्वारा संचालित होती है, जिससे एकल-प्रॉम्ट स्कोर अविश्वसनीय हो जाते हैं और वैध क्रॉस-पाइपलाइन तुलनाओं के लिए अट्रैक्टर-एडजस्टेड मेट्रिक्स (attractor-adjusted metrics) आवश्यक हो जाते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सौ वर्षों से, मनोवैज्ञानिक यह मानते आए हैं कि एक बच्चे का चित्र उनके मन की एक सीधी खिड़की है। यह विचार सरल और स्थायी है: यदि आप एक बच्चे को एक व्यक्ति या घर बनाने के लिए कहते हैं, तो उस रेखाचित्र की गुणवत्ता यह प्रकट करती है कि उनके मस्तिष्क का विकास कैसे हुआ है। इस विश्वास ने दशकों के परीक्षणों को प्रेरित किया है, जहाँ शिक्षक और चिकित्सक बच्चे की कलाकृति को देखकर उनकी बुद्धि या भावनात्मक स्वास्थ्य का आकलन करते हैं। धारणा हमेशा यह रही है कि चित्र बच्चे का एक तटस्थ प्रतिबिंब है, और जिस विशिष्ट वस्तु को उन्हें बनाने के लिए कहा गया है—जैसे बिल्ली, पेड़ या कार—उससे कोई फर्क नहीं पड़ता। वस्तु केवल एक संकेत है, एक खाली स्लेट जिस पर बच्चे की क्षमताओं को प्रक्षेपित किया जाता है। लेकिन क्या होगा यदि वह वस्तु स्वयं तटस्थ नहीं है? क्या होगा यदि किसी बच्चे को जो विशिष्ट चीज़ बनाने के लिए कहा जाता है, वह बच्चे के अपने विकास की तुलना में स्कोर को अधिक बदल देती है?
एक नया अध्ययन आधुनिक कंप्यूटर विज़न के लेंस के माध्यम से हजारों चित्रों को देखकर इस सदी पुराने अनुमान को चुनौती देता है। शोधकर्ताओं ने दो से दस वर्ष की आयु के 8,000 से अधिक बच्चों द्वारा बनाए गए 37,770 चित्रों का एक विशाल संग्रह एकत्र किया। इन बच्चों को बिल्लियों और व्हेल जैसे जानवरों से लेकर कुर्सियों और कैंची जैसी रोजमर्रा की वस्तुओं तक, 48 अलग-अलग वस्तुओं को बनाने के लिए कहा गया था। मानव विशेषज्ञों द्वारा चित्रों को ग्रेड देने के बजाय, शोधकर्ताओं ने उन्हें स्कोर करने के लिए दो अलग-अलग कंप्यूटर प्रोग्रामों का उपयोग किया। ये प्रोग्राम, रेखाचित्रों को पहचानने के लिए प्रशिक्षित किए गए थे, उन्होंने इस आधार पर एक स्कोर दिया कि चित्र इच्छित वस्तु से कितनी अच्छी तरह मेल खाता है। लक्ष्य यह देखना था कि क्या स्कोर वास्तव में बच्चे के कौशल को दर्शाता है या यह गुप्त रूप से वस्तु की कठिनाई से संचालित हो रहा है।
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने आंकड़ों का विश्लेषण किया, तो उन्होंने पाया कि बच्चे द्वारा बनाई गई वस्तु, उसे बनाने वाले बच्चे से अधिक महत्वपूर्ण थी। वास्तव में, वस्तु की विशिष्ट श्रेणी ने स्कोर में बच्चे की आयु या क्षमता की तुलना में अधिक भिन्नता पैदा की। इसे समझने के लिए, एक "घोंघे" (स्नेल) और एक "बाघ" को बनाने के बीच की कठिनाई का अंतर एक बच्चे के प्राकृतिक विकास के चार से सात वर्षों के अंतर के बराबर था। यदि किसी बच्चे ने घोंघा बनाया, तो उसे एक ऐसे स्कोर प्राप्त हुआ जिससे ऐसा लगा कि वह बहुत बड़ा और अधिक कुशल है, जो उस बच्चे की तुलना में जिसने बाघ बनाया था, भले ही दोनों बच्चे एक ही उम्र के हों और एक ही क्षमता रखते हों। कंप्यूटर प्रोग्राम केवल बच्चे को नहीं माप रहे थे; वे विशिष्ट संकेत (प्रॉम्प्ट) से अत्यधिक प्रभावित थे।
शोधकर्ताओं ने यह समझने के लिए गहराई से जांच की कि ऐसा क्यों हुआ। उन्होंने यह जाँच की कि क्या परिणाम केवल इसलिए थे क्योंकि कुछ वस्तुएं दूसरों की तुलना में कठिन हैं, या इसलिए कि बच्चे कुछ चीजों को अधिक बार बनाना सीखते हैं। उन्होंने स्कोर को इस तरह समायोजित किया कि यह देखा जा सके कि बच्चा आकृतियों को कितनी अच्छी तरह ट्रेस कर सकता है, उसने कितना समय बिताया, और वह वस्तु उसके लिए कितनी परिचित थी। इन समायोजनों के बाद भी, वस्तु का प्रभाव स्कोर पर हावी रहा। अध्ययन ने इस विचार को खारिज कर दिया कि यह केवल मोटर कौशल या अभ्यास का मामला था। इसके बजाय, समस्या स्वयं कंप्यूटर प्रोग्राम के काम करने के तरीके में निहित थी।
चित्रों को स्कोर करने वाले कंप्यूटर प्रोग्रामों के डिजाइन में एक छिपा हुआ पूर्वाग्रह (बायस) बना हुआ है। वे सभी वस्तुओं को समान रूप से दिखने योग्य नहीं मानते हैं। कुछ वस्तुएं, जैसे घोंघा, कंप्यूटर के लिए "आकर्षक" (अट्रैक्टर्स) हैं; प्रोग्राम स्वाभाविक रूप से किसी और चीज़ को देखते हुए भी घोंघा देखने के लिए झुका हुआ होता है। अन्य वस्तुएं, जैसे बाघ, प्रोग्राम के लिए पहचानना कठिन होती हैं, इसलिए प्रोग्राम उस लेबल को तब तक नहीं देता जब तक कि चित्र एकदम सटीक न हो। इसका अर्थ यह है कि घोंघा बनाने वाले बच्चे को उच्च स्कोर मिलता है क्योंकि कंप्यूटर "घोंघा" कहने के लिए उत्सुक है, जबकि बाघ बनाने वाले बच्चे को कम स्कोर मिलता है क्योंकि कंप्यूटर हिचकिचाता है। यह पूर्वाग्रह कंप्यूटर के आंतरिक तर्क का एक गुण है, न कि बच्चे की क्षमता का। यह एक प्रकार का अन्याय है जिसे मनोवैज्ञानिक परीक्षणों में पहले कभी नहीं देखा गया है, जहाँ स्कोरिंग टूल स्वयं कठिनाई पैदा करता है।
इन निष्कर्षों के परिणाम बच्चों के मूल्यांकन के लिए महत्वपूर्ण हैं। अध्ययन ने दिखाया कि बच्चे के विकास को आंकने के लिए एक एकल चित्र का उपयोग करना अविश्वसनीय है। यदि किसी बच्चे को एक वस्तु बनाने के लिए कहा जाता है, तो उनका स्कोर संभवतः उनकी वास्तविक बुद्धि के बजाय उस वस्तु की कठिनाई के बारे में अधिक होगा। एक विश्वसनीय स्कोर प्राप्त करने के लिए, जिसका उपयोग व्यक्तिगत निर्णयों के लिए किया जा सके, एक बच्चे को 26 से 32 विभिन्न वस्तुओं को बनाना होगा। यह वर्तमान में किसी भी परीक्षण द्वारा पूछे जाने वाली संख्या से बहुत अधिक है। शोधकर्ताओं ने यह भी पाया कि वस्तु की कठिनाई एक स्थिर तथ्य नहीं है। एक घोंघे का चित्र एक कंप्यूटर प्रोग्राम के लिए आसान हो सकता है लेकिन दूसरे के लिए कठिन, यह इस पर निर्भर करता है कि उस विशिष्ट प्रोग्राम को कैसे बनाया गया है। इसका अर्थ है कि "नॉर्म टेबल्स" (मानक तालिकाएं), जिनका उपयोग किसी बच्चे के स्कोर की दूसरों के साथ तुलना करने के लिए किया जाता है, विभिन्न परीक्षण प्रणालियों के बीच काम करने के लिए भरोसेमंद नहीं हो सकती हैं।
अंततः, यह अध्ययन प्रकट करता है कि जिस खिड़की से हम देख रहे थे, वह वास्तव में एक फ्रेम है जो दृश्य को विकृत कर देता है। एक बच्चे को प्राप्त स्कोर तीन चीजों का मिश्रण है: बच्चे की क्षमता, उनके द्वारा बनाई गई वस्तु, और कंप्यूटर का पूर्वाग्रह। पहली बार, शोधकर्ताओं ने कंप्यूटर के पूर्वाग्रह को बच्चे की क्षमता से अलग करने का तरीका दिखाया है। यह मापकर कि एक कंप्यूटर प्रोग्राम स्वाभाविक रूप से किन लेबल्स की ओर आकर्षित होता है, वे इस कृत्रिम कठिनाई को हटाने के लिए स्कोर को समायोजित कर सकते हैं। यह समायोजन बच्चे के स्कोर को नहीं बदलता है, बल्कि यह बदल देता है कि उस स्कोर का अर्थ क्या है। यह शोधकर्ताओं को कंप्यूटर की प्राथमिकताओं के हस्तक्षेप के बिना बच्चे के वास्तविक विकास को देखने की अनुमति देता है। सबक स्पष्ट है: बच्चे के मन को उनकी कला के माध्यम से समझने के लिए, हमें पहले उन उपकरणों को समझना होगा जिनका उपयोग हम उसे मापने के लिए करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।