Interpolated Supervision Can Change What Regression Benchmarks Reward
यह शोध पत्र यह प्रदर्शित करता है कि इंटरपोलेशन के माध्यम से विरल (sparse) टेम्पोरल अवलोकनों से सघन (dense) रिग्रेशन लेबल का निर्माण करना मौलिक रूप से बेंचमार्क रैंकिंग और मॉडल चयन को बदल देता है, जो अक्सर वास्तविक नैदानिक प्रभावकारिता या भविष्यवाणी वास्तुकला सुधारों को प्रतिबिंबित किए बिना प्रदर्शन तुलनाओं को उलट देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेडिकल मॉनिटरिंग और डेटा साइंस की दुनिया में, शोधकर्ता अक्सर एक सरल धारणा पर भरोसा करते हैं: यदि आप यह अनुमान लगाना चाहते हैं कि कोई रोगी हर एक दिन कैसा महसूस कर रहा है, तो आपको हर एक दिन के लिए एक माप की आवश्यकता है। लेकिन वास्तव में, डॉक्टर हर दिन मरीज को नहीं देख सकते। वे उन्हें महीने में एक बार देखते हैं, या शायद कुछ हफ्तों में एक बार, और फिर उन्हें बीच के समय में क्या हुआ, इसका अनुमान लगाना पड़ता है। इन अंतरालों को भरने के लिए, डेटा वैज्ञानिक अक्सर 'इंटरपोलेशन' (interpolation) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आप एक ग्राफ पर दो बिंदुओं के बीच एक सीधी रेखा खींच रहे हैं; वह रेखा बीच के दिनों के अनुमानित मूल्यों का प्रतिनिधित्व करती है। दशकों से, इस पद्धति को एक विरल (sparse) डेटासेट से पूर्ण डेटासेट बनाने के एक हानिरहित तरीके के रूप में माना जाता रहा है। यह कंप्यूटरों को "दैनिक" डेटा पर प्रशिक्षित होने की अनुमति देता है, भले ही वास्तविक अवलोकन केवल साप्ताहिक या मासिक हों। हालाँकि, एक नया अध्ययन बताता है कि यह सुविधा एक गंभीर समस्या को छिपा सकती है। इन दैनिक अनुमानों को बनाने का तरीका मौलिक रूप से यह बदल सकता है कि कौन से कंप्यूटर मॉडल सबसे अच्छे दिखाई देते हैं, जिससे शोधकर्ताओं को काम के लिए गलत उपकरणों को चुनने की संभावना बढ़ जाती है।
इस अध्ययन के पीछे के शोधकर्ताओं ने एक विशिष्ट प्रश्न की जांच करने का निर्णय लिया: क्या गायब दिनों को भरने के लिए उपयोग की जाने वाली विधि वास्तव में यह बदल देती है कि प्रतियोगिता में कौन सा प्रेडिक्शन मॉडल जीतता है? उन्होंने नई चिकित्सा खोजों की तलाश नहीं की और न ही मरीजों के इलाज के बेहतर तरीके प्रस्तावित किए। इसके बजाय, उन्होंने ऑडिटरों की भूमिका निभाई, उन नियमों की जांच की जिनका उपयोग इन मॉडलों को परखने के लिए किया जाता है। वे पार्किंसंस रोग से संबंधित एक प्रसिद्ध डेटासेट पर ध्यान केंद्रित कर रहे थे, जहाँ मरीज अपनी आवाज़ रोज़ाना रिकॉर्ड करते हैं, लेकिन उनके लक्षणों की गंभीरता केवल कुछ विशिष्ट दिनों में डॉक्टर द्वारा रेट की जाती है। जनता को उपलब्ध कराया गया डेटासेट पहले से ही इन "दैनिक" रेटिंग्स को शामिल करता था, लेकिन शोधकर्ता जानते थे कि ये स्वतंत्र अवलोकन नहीं थे; ये कुछ वास्तविक डॉक्टर मुलाकातों को जोड़ने वाली गणितीय रेखाएं थीं। टीम यह देखना चाहती थी कि क्या इन खींची गई रेखाओं को मॉडलों को प्रशिक्षित और परीक्षण करने के लिए लक्ष्य (target) के रूप में उपयोग करने से उन परिणामों में अंतर आएगा जो केवल वास्तविक, देखे गए बिंदुओं का उपयोग करने से मिलते।
इसका उत्तर देने के लिए, टीम ने न केवल पार्किंसंस डेटा का, बल्कि वायु गुणवत्ता और घरेलू ऊर्जा उपयोग के डेटा का भी उपयोग करके नियंत्रित प्रयोगों की एक श्रृंखला आयोजित की। इन अन्य डेटासेट्स में, वे वास्तविक, निरंतर मापों को जानते थे क्योंकि वे उन सेंसरों से आए थे जो हर क्षण डेटा रिकॉर्ड करते हैं। इसने उन्हें एक आदर्श कंट्रोल ग्रुप बनाने की अनुमति दी। उन्होंने उन्हीं कंप्यूटर मॉडलों और उसी इनपुट डेटा का उपयोग किया, लेकिन उन्होंने केवल उस 'टारगेट' को बदला जिसे वे प्रेडिक्ट करने की कोशिश कर रहे थे। एक परिदृश्य में, मॉडलों को वास्तविक, सघन सेंसर डेटा के विरुद्ध आंका गया। दूसरे परिदृश्य में, उन्हें उसी डेटा के एक संस्करण के विरुद्ध आंका गया जहाँ वास्तविक बिंदुओं को रखा गया था, लेकिन अंतराल को सीधी रेखाओं से भर दिया गया था, ठीक वैसे ही जैसे पार्किंसंस डेटासेट में किया गया था। इनपुट डेटा—आवाज़ की रिकॉर्डिंग या मौसम की स्थिति—बिल्कुल समान रही। केवल बदलने वाली चीज़ यह थी कि "सही" उत्तर की परिभाषा क्या थी।
परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने टारगेट को वास्तविक सेंसर डेटा से बदलकर इंटरपोलेटेड, रेखा-खींचे गए डेटा में बदला, तो मॉडलों की रैंकिंग पलट गई। वायु गुणवत्ता प्रयोगों में, जब वास्तविक डेटा बिंदुओं के बीच का अंतराल बड़ा था, तो मॉडलों की रैंकिंग का क्रम नाटकीय रूप रूप से बदल गया। उदाहरण के लिए, एक विशिष्ट सेटअप में, मॉडलों के लगभग आधे जोड़े आपस में बदल गए; एक मॉडल जो वास्तविक डेटा के विरुद्ध आंका जाने पर स्पष्ट रूप से बेहतर था, अचानक खींची गई रेखाओं के विरुद्ध आंका जाने पर खराब दिखने लगा, और इसके विपरीत भी। यह तब हुआ जब मॉडल स्वयं नहीं बदले थे, और उनके द्वारा भविष्यवाणी करने के लिए उपयोग किया गया डेटा भी समान था। अध्ययन में पाया गया कि टारगेट लेबल बनाने की विधि केवल एक छोटा विवरण नहीं थी; यह एक शक्तिशाली बल था जो वैज्ञानिक तुलना के परिणाम को उलट सकता था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब मॉडलों को केवल उनके विरुद्ध परीक्षण करने के बजाय इन खींची गई रेखाओं पर वास्तव में प्रशिक्षित किया जाता है। उन्होंने पाया कि स्मूदन (smoothed), इंटरपोलेटेड डेटा पर प्रशिक्षण देने से मॉडल अलग तरह से व्यवहार करते हैं, जिससे वे अक्सर एक-दूसरे के अधिक समान हो जाते हैं और वास्तविक जीवन में होने वाले छोटे, तीव्र उतार-चढ़ाव के प्रति कम संवेदनशील हो जाते हैं। एक अलग सिमुलेशन में, जिसे एक ऐसे मरीज की नकल करने के लिए डिज़ाइन किया गया था जिसके लक्षण एक नियमित चक्र में ऊपर-नीचे होते हैं, टीम ने दिखाया कि यदि रेखाएं खींचने के लिए उपयोग किए गए "एंकर" बिंदु उस चक्र के शिखर और गर्त (peaks and valleys) को मिस कर देते हैं, तो परिणामी मॉडल उन पैटर्न को देखने में व्यवस्थित रूप से विफल हो जाएगा। मॉडल चिकनी रेखा को सीख लेगा, न कि ऊबड़-खाबड़ वास्तविकता को। इसने पुष्टि की कि इंटरपोलेटेड डेटा पर प्रशिक्षित मॉडल चिकनी रेखा की भविष्यवाणी करने में उत्कृष्ट हो सकता है, लेकिन उस स्थिति की वास्तविक, अस्त-व्यस्त विविधताओं की भविष्यवाणी करने में कमजोर हो सकता है जिसका उसे निगरानी करनी है।
महत्वपूर्ण रूप से, अध्ययन ने यह दावा नहीं किया कि इंटरपोलेशन हमेशा गलत है या इसका कभी उपयोग नहीं किया जाना चाहिए। लेखक ने उल्लेख किया कि कभी-कभी एक स्मूथ ट्राजेक्टरी (smooth trajectory) की बिल्कुल आवश्यकता होती है। समस्या तब उत्पन्न होती है जब शोधकर्ता इन स्मूदन किए गए लक्ष्यों का उपयोग वास्तविक, अनदेखे दैनिक उतार-चढ़ाव के बारे में दावे करने के लिए करते हैं। अध्ययन ने प्रदर्शित किया कि आप यह सिद्ध करने के लिए कि कोई मॉडल वास्तविक दैनिक परिवर्तनों का पता लगाने में अच्छा है, स्मूदन किए गए टारगेट पर उसकी सफलता का उपयोग नहीं कर सकते, क्योंकि टारगेट ने स्वयं उन परिवर्तनों को मिटा दिया है। पार्किंसंस डेटासेट में, शोधकर्ता लक्षणों की वास्तविक दैनिक गंभीरता को नहीं जान सकते थे क्योंकि कोई स्वतंत्र दैनिक रेटिंग मौजूद नहीं थी। इसलिए, वे यह नहीं कह सकते थे कि दैनिक लक्षणों की भविष्यवाणी करने में कौन सा मॉडल वास्तव में सबसे अच्छा था। वे केवल यह कह सकते थे कि मॉडल का चयन पूरी तरह से इस बात पर निर्भर करता है कि शोधकर्ता चिकनी रेखा की परवाह करते हैं या ऊबड़-खाबड़ वास्तविकता की।
इस कार्य का अंतिम निष्कर्ष डेटा तैयार करने के तरीके में अधिक पारदर्शिता के लिए एक आह्वान है। अध्ययन ने दिखाया कि मशीन लर्निंग प्रतियोगिता का "विजेता" अक्सर एल्गोरिदम की जटिलता से नहीं, बल्कि इस बात से निर्धारित होता है कि टारगेट लेबल कैसे बनाए गए थे। यदि कोई डेटासेट बिंदुओं को सीधी रेखाओं से जोड़कर बनाया गया है, तो जीतने वाले वे मॉडल होंगे जो सीधी रेखाएं खींचने में सबसे अच्छे हैं। यदि लक्ष्य किसी बीमारी की जटिल, उतार-चढ़ाव वाली प्रकृति को समझना है, तो एक ऐसे टारगेट पर निर्भर रहना जिसे स्मूदन कर दिया गया है, भ्रामक परिणामों की ओर ले जा सकता है। शोधकर्ताओं ने एक गणितीय जांच प्रदान की ताकि अन्य लोग यह निर्धारित करने में मदद मिल सके कि क्या उनकी रैंकिंग स्थिर है, लेकिन उन्होंने पाया कि कई मामलों में, रैंकिंग बिल्कुल भी स्थिर नहीं थी। यह कार्य एक अनुस्मारक के रूप में कार्य करता है कि विज्ञान में, आपको जो उत्तर मिलता है वह अक्सर आपके द्वारा पूछे गए प्रश्न का प्रतिबिंब होता है, और यदि प्रश्न एक कृत्रिम रेखा पर आधारित है, तो उत्तर एक कृत्रिम सत्य होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।