Unimodality-Promoting Regularized Learning for Ordinal Regression

कल्पना कीजिए कि आप एक जासूस हैं जो एक धुंधली तस्वीर के आधार पर संदिग्ध की उम्र का अनुमान लगाने की कोशिश कर रहे हैं। आप जानते हैं कि संदिग्ध एक वयस्क है, इसलिए आप "बच्चा" या "वृद्ध" को खारिज कर देते हैं, लेकिन आपको "20 के दशक", "30 के दशक" या "40 के दशक" के बीच अनुमान लगाना है। यह केवल एक रैंडम अनुमान नहीं है; इन श्रेणियों में एक स्वाभाविक क्रम है। कंप्यूटर विज्ञान की दुनिया में, इसे ऑर्डिनल रिग्रेशन (ordinal regression) कहा जाता है। यह मशीनों को यह समझने में मदद करने की कला है कि चीजें कैसे रैंक या अनुक्रम (sequence) को समझती हैं, जैसे कि किसी फिल्म को "नापसंद" से "पसंद" तक रेटिंग देना, या बीमारियों को "हल्के" से "गंभीर" के रूप में वर्गीकृत करना।

बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह है: हम कंप्यूटर को सटीक अनुमान लगाने के लिए कैसे सिखा सकते हैं जब हमारे पास अध्ययन करने के लिए लाखों तस्वीरें नहीं होती हैं? आमतौर पर, जब डेटा कम होता है, तो कंप्यूटर घबरा जाते हैं और बहुत ही अस्थिर, असंगत अनुमान लगाते हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने उन्हें एक "नियम" देने की कोशिश की: वे मानते हैं कि अधिकांश लोगों के लिए, एक विशिष्ट आयु वर्ग (या रेटिंग) में होने की संभावना एक सुंदर, एकल-शिखर वाले पहाड़ की तरह होती है। यदि आपके 30 वर्ष के होने की संभावना है, तो आपकी 29 या 31 वर्ष के होने की भी कुछ संभावना है, लेकिन 10 या 60 वर्ष के होने की बहुत कम संभावना है। इस आकार को यूनिमोडल (unimodal) कहा जाता है। कंप्यूटर को इस "एकल-पहाड़" के आकार का सम्मान करने के लिए मजबूर करके, यह अधिक स्थिर हो जाता है और डेटा सीमित होने पर घबराने की संभावना कम हो जाती है।

लेकिन यहाँ एक मोड़ है: एक नया अध्ययन बताता है कि पुराने नियम मददगार तो थे, लेकिन वे थोड़े अधिक सख्त (heavy-handed) थे। शोधकर्ताओं ने पाया कि पिछले तरीकों ने न केवल कंप्यूटर के "झटका" (jitter) को ठीक किया, बल्कि उसे अत्यधिक सतर्क भी बना दिया, जिससे उसके अनुमान बहुत अस्पष्ट और फैले हुए हो गए, जैसे कि कोई जासूस कहे, "यह 20 से 50 के बीच कोई भी हो सकता है!"

---

डिटेक्टिव का द्वंद्व: क्या बहुत अधिक स्मूथनेस (Smoothness) समस्या है?

ऑर्डिनल रिग्रेशन की दुनिया में, हम अक्सर यूनिमोडैलिटी-प्रमोटिंग रेगुलराइज्ड लर्निंग (UPRL) नामक अवधारणा पर भरोसा करते हैं। इसे एक कंप्यूटर के लिए प्रशिक्षण कोच के रूप में सोचें। कोच कंप्यूटर को कहता है, "हे, तुम्हारे अनुमान एक सुंदर, एकल पर्वत शिखर की तरह दिखने चाहिए, न कि कई चोटियों वाले एक ऊबड़-खाबड़ ढेर की तरह।" यह कंप्यूटर को शांत और सुसंगत रहने में मदद करता है, विशेष रूप से जब उसने बहुत कम उदाहरण देखे हों (छोटा प्रशिक्षण डेटा)।

कुछ समय के लिए, यह दृष्टिकोण अच्छा काम कर रहा था। लेकिन इस पेपर के लेखक, रयोया यामासाकी (Ryoya Yamasaki) ने इस बात पर करीब से गौर करने का फैसला किया कि उनका कोच अपना काम कैसे कर रहा था। उन्होंने पाया कि पुराना कोचिंग तरीका दो काम एक साथ कर रहा था:

1. वे अनुमानों को एक एकल पर्वत (unimodal) बनाने में सफल थे।
2. लेकिन वे पर्वत को बहुत चौड़ा और सपाट भी बना रहे थे।

कल्पना कीजिए कि आप तापमान का अनुमान लगाने की कोशिश कर रहे हैं। एक अच्छा अनुमान हो सकता है "यह लगभग 75°F होने की संभावना है।" पुराना तरीका उस कोच की तरह था जो कहता है, "सुनिश्चित करें कि आपका अनुमान एक एकल शिखर है, लेकिन यह भी सुनिश्चित करें कि यह एक बहुत चौड़ा शिखर हो, ताकि आप बहुत अधिक आत्मविश्वासी न हों।" परिणाम? कंप्यूटर अनावश्यक रूप से "कम आत्मविश्वासी" या "स्मूथ" हो गया। इसने अनुमान लगाना शुरू कर दिया कि "यह 60°F और 90°F के बीच कहीं भी हो सकता है।" हालांकि यह सुरक्षित लगता है, लेकिन यह एक नए प्रकार की त्रुटि पेश करता है जिसे स्केल-रिलेटेड बायस (scale-related bias) कहा जाता है। कंप्यूटर गलत होने से इतना डर जाता है कि वह सटीक होना छोड़ देता है।

नया, अधिक सटीक उपकरण

यामासाकी का पेपर एक नया तरीका प्रस्तावित करता है, जिसे वे स्ट्रिक्ट UPRL (Strict UPLR) कहते हैं। यदि पुराना तरीका एक ऐसा कोच था जिसने कंप्यूटर को "स्मूथ और सुरक्षित रहने" के लिए कहा, तो नया कोच कहता है, "एक एकल पर्वत बनो, लेकिन केवल इसलिए शिखर को चपटा मत करो क्योंकि तुम्हें डर है।"

शोधकर्ता ने एक नया गणितीय "रेगुलराइज़र" (एक नियम जो सीखने की प्रक्रिया में जोड़ा जाता है) बनाया जो ऊबड़-खाबड़, बहु-शिखर वाले अनुमानों को दंडित करता है लेकिन एक तीखे, आत्मविश्वासी शिखर को दंडित नहीं करता है।

• पुराना तरीका: यदि कंप्यूटर एक तीखा शिखर चुनता, तो पुराना नियम शायद कहता, "नहीं, इसे और चौड़ा करो!"
• नया तरीका: यदि कंप्यूटर डेटा के अनुरूप एक तीखा, एकल शिखर चुनता है, तो नया नियम कहता, "बेहतरीन, यही हमें चाहिए। कोई दंड नहीं।"

प्रयोगों ने क्या दिखाया

इसकी जांच करने के लिए, टीम ने कार की कीमतों से लेकर बीमारी के चरणों तक, 21 वास्तविक दुनिया के डेटासेट्स का उपयोग करके सिमुलेशन चलाए। उन्होंने बहुत छोटे सेट (25 उदाहरण) से लेकर बड़े सेट (800 उदाहरण) तक विभिन्न मात्रा में प्रशिक्षण डेटा के साथ प्रयोग किया।

यहाँ उन्होंने क्या पाया:

• पुराने तरीके का 'स्वीट स्पॉट': जब प्रशिक्षण डेटा बहुत कम था (जैसे 25 उदाहरण), तो पुराना तरीका वास्तव में काफी अच्छा प्रदर्शन करता था, विशेष रूप से उन डेटा के लिए जो स्वाभाविक रूप से "फैले हुए" (बड़े स्केल) थे। इसकी अत्यधिक स्मूथ बनाने की प्रवृत्ति ने डेटा की कमी के कारण होने वाले जंगली अनुमानों को स्थिर करने में मदद की।
• नए तरीके का 'स्वीट स्पॉट': जैसे-जैसे प्रशिक्षण डेटा बढ़ा (400 या 800 उदाहरण), पुराना तरीका लड़खड़ाने लगा। उसकी "अत्यधिक स्मूथ" बनाने की आदत एक बाधा बन गई, जिससे वह जितना सटीक हो सकता था उससे कम सटीक हो गया। हालाँकि, नया Strict UPRL तरीका यहाँ चमक उठा। इसने "ओवर-स्मूथिंग" के जाल से बचने में मदद की और अधिक सटीक भविष्यवाणियां प्रदान कीं, विशेष रूप से उन डेटा के लिए जो स्वाभाविक रूप से "सघन" या "छोटे स्केल" के थे।
• निष्कर्ष: अध्ययन से पता चलता है कि पुराने तरीकों की सफलता केवल इसलिए नहीं थी कि उन्होंने "एकल पर्वत" नियम लागू किया; बल्कि यह आंशिक रूप से इसलिए भी थी क्योंकि उन्होंने अनजाने में "अस्पष्ट होने" को लागू कर दिया था। नया तरीका साबित करता है कि आप "एकल पर्वत" के नियम की स्थिरता प्राप्त कर सकते हैं बिना "अस्पष्ट होने" के दंड के।

यह क्यों मायने रखता है

यह केवल गणित के बारे में नहीं है; यह इस बारे में है कि अपने उपकरणों पर कब भरोसा किया जाए। पेपर बताता है कि कई वास्तविक दुनिया की समस्याओं के लिए, "यूनिमोडल" विचार एक शक्तिशाली उपकरण है। हालाँकि, हमें इसका उपयोग सावधानी से करने की आवश्यकता है। यदि आपके पास बहुत कम डेटा है, तो थोड़ा सा "अस्पष्ट स्मूथिंग" वास्तव में मदद कर सकता है। लेकिन यदि आपके पास अधिक डेटा है, या यदि डेटा स्वयं सटीक है, तो आपको एक ऐसे तरीके की आवश्यकता है जो "एकल पर्वत" के आकार का सम्मान करे बिना कंप्यूटर को अनिश्चित बनाए।

लेखक स्वीकार करते हैं कि उनका नया तरीका गणना करने में थोड़ा धीमा है (इसे चलाने के लिए अधिक कंप्यूटर शक्ति की आवश्यकता होती है), लेकिन वे तर्क देते हैं कि वर्तमान में गति से अधिक गणित को सही करना महत्वपूर्ण है। वे सुझाव देते हैं कि भविष्य में, हम पुराने और नए तरीकों को मिला सकते हैं, जिससे विशिष्ट समस्या के आधार पर "सुरक्षित रहने" और "सटीक होने" के बीच संतुलन बनाया जा सके।

संक्षेप में, यह पेपर हमें सिखाता है कि "स्मूथ" होना हमेशा "सही" होने के बराबर नहीं होता। नियमों को परिष्कृत करके, हम कंप्यूटर को ऐसे अनुमान लगाने में मदद कर सकते हैं जो स्थिर और सटीक दोनों हों, जिससे फिल्मों को रेटिंग देने से लेकर बीमारियों का निदान करने तक में बेहतर भविष्यवाणियां संभव हो सकें।