Statistical learning theory and Occam's razor: Regularization

जासूस की दुविधा: क्यों कम होना अक्सर अधिक होता है

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुरागों के बजाय आपके पास डेटा का एक पहाड़ है। विज्ञान और कंप्यूटर की दुनिया में, इसे मशीन लर्निंग (machine learning) कहा जाता है। इसका लक्ष्य कंप्यूटर को डेटा में पैटर्न खोजने के लिए सिखाना है ताकि वह उन नई चीजों के बारे में स्मार्ट अनुमान लगा सके जिन्हें उसने पहले नहीं देखा है। इसे एक कुत्ते को "गेंद" पहचानने के लिए सिखाने जैसा समझें, जिसमें उसे एक हज़ार अलग-अलग गेंदें दिखाई जाती हैं। यदि कुत्ता बहुत सख्ती से सीखता है, तो वह सोच सकता है कि केवल वही विशिष्ट लाल गेंद ही गेंद है, और वह नीली गेंद को पहचान नहीं पाएगा। यदि वह बहुत ढीले तरीके से सीखता है, तो वह एक गोल बिस्कुट को भी गेंद समझ सकता है। यह संतुलन बनाने का प्रयास ही इस समस्या का केंद्र है।

द दशकों से, वैज्ञानिक एक नियम पर बहस करते आए हैं जिसे ओकैम का रेज़र (Occam's Razor) कहा जाता है। यह एक पुराना विचार है जो कहता है कि जब आपके पास दो ऐसी व्याख्याएं हों जो तथ्यों को समान रूप से सही ठहराती हों, तो आपको सरल वाली को चुनना चाहिए। लेकिन क्यों? क्या ब्रह्मांड स्वाभाविक रूप से सरल है? या क्या यह सिर्फ इसलिए है क्योंकि सरल चीजों को संभालना आसान होता है? यह दार्शनिकों और कंप्यूटर वैज्ञानिकों दोनों के लिए एक कठिन प्रश्न रहा है। उन्होंने यह सिद्ध करने की कोशिश की है कि सरल मॉडल बेहतर होते हैं, लेकिन अक्सर वह प्रमाण गोलाकार (circular) लगता था—यह मान लेना कि दुनिया सरल है सिर्फ यह साबित करने के लिए कि सरल मॉडल काम करते हैं।

पेपर का बड़ा विचार: फिट होने के बदले सुरक्षा जाल का व्यापार

टॉम एफ. स्टरकेनबर्ग द्वारा लिखा गया यह पेपर, ओकैम के रेज़र का एक ठोस, गैर-गोलाकार कारण खोजने के लिए मशीन लर्निंग के पीछे के गणित की गहराई में जाता है। लेखक केवल यह नहीं कहता कि "सरलता अच्छी है"; वह सांख्यिकीय शिक्षण सिद्धांत (Statistical Learning Theory) नामक एक ढांचे का उपयोग करके यह दिखाता है कि "परफेक्ट फिट" के थोड़े से हिस्से को "सरलता" के बड़े हिस्से के साथ बदलना वास्तव में कंप्यूटर के लिए एक चतुर उत्तरजीविता रणनीति (survival strategy) है।

यहाँ उस कहानी का विवरण है जो उसने पाया:

1. परफेक्ट फिट का जाल
कल्पना कीजिए कि आप एक ग्राफ पर बिंदुओं के बिखराव के माध्यम से एक रेखा खींचने की कोशिश कर रहे हैं। यदि आपके पास एक बहुत ही लचीला रूलर (एक जटिल मॉडल) है, तो आप इसे इतना सटीक रूप से हिला सकते हैं कि यह हर एक बिंदु को छू ले। यह डेटा को पूरी तरह से फिट करता है। लेकिन यहाँ एक पेंच है: यदि कल आपको बिंदुओं का एक नया सेट मिलता है, तो वह टेढ़ी-मेढ़ी रेखा शायद उन्हें पूरी तरह से मिस कर देगी। इसने पैटर्न के बजाय शोर (random squiggles/noise) को याद कर लिया है। पेपर की भाषा में, इसे ओवरफिटिंग (overfitting) कहा जाता है।

पेपर समझाता है कि यदि आप सबसे जटिल मॉडल (जो कुछ भी फिट कर सकता है) का उपयोग करने की कोशिश करते हैं, तो आप अपने परिणामों पर भरोसा करने की अपनी क्षमता खो देते हैं। आपको एक गारंटी मिलती है जो कहती है, "यदि आपके पास अनंत डेटा है, तो आप सही हो सकते हैं," लेकिन वास्तविक दुनिया में सीमित डेटा के साथ, वह गारंटी बेकार है।

2. "जैसा दिखता है वैसा ही है" का वादा
लेखक एक अवधारणा पेश करता है जिसे यूनिफॉर्म कन्वर्जेंस (Uniform Convergence) कहा जाता है। इसे अपने मॉडल के लिए एक "सच्ची विज्ञापन" (truth-in-advertising) लेबल के रूप में समझें। यह वादा करता है कि यदि आपका मॉडल आपके पास मौजूद डेटा पर अच्छा दिखता है (ट्रेनिंग सेट), तो यह नए डेटा (टेस्ट सेट) पर भी अच्छा दिखेगा।

हालाँकि, पेपर एक सख्त नियम सिद्ध करता है: आप यह "सच्ची विज्ञापन" वाला वादा तभी प्राप्त कर सकते हैं जब आप इस बात को सीमित करें कि आपके मॉडल को कितना जटिल होने की अनुमति है। यदि आपका मॉडल बहुत लचीला (बहुत जटिल) है, तो यह वादा टूट जाता है। आप यह भरोसा नहीं कर सकते कि जो आप देख रहे हैं, वह वही है जो वास्तव में है। इसलिए, पहला सबक यह है: अपने मॉडल को इतना सरल रखें कि आप अपने परिणामों पर भरोसा कर सकें।

3. असली जादू: स्ट्रक्चरल रिस्क मिनिमाइजेशन (SRM)
लेकिन रुकिए, क्या होगा अगर सच्चाई वास्तव में जटिल है? क्या होगा अगर पैटर्न वास्तव में एक टेढ़ी-मेढ़ी रेखा है, और एक सीधी रेखा (एक सरल मॉडल) काम नहीं करेगी? यदि हम केवल सरल मॉडलों पर टिके रहते हैं, तो हम उत्तर को पूरी तरह से मिस कर सकते हैं। यह "बायस-कॉम्प्लेक्सिटी ट्रेड-ऑफ" (bias-complexity trade-off) है।

पेपर की मुख्य खोज एक विधि है जिसे स्ट्रक्चरल रिस्क मिनिमाइजेशन (SRM) कहा जाता है। यह कंप्यूटर का स्मार्ट तरीके से खेलने का तरीका है। एक मॉडल चुनने और उसी पर टिके रहने के बजाय, SRM मॉडलों के एक पूरे परिवार को देखता है, जो बहुत सरल से लेकर बहुत जटिल तक होते हैं।

यहाँ चालाकी भरा तरीका है: SRM केवल उस मॉडल को नहीं खोजता जो डेटा को सबसे अच्छी तरह से फिट करता है। यह उस मॉडल को खोजता है जो डेटा को पर्याप्त रूप से अच्छा फिट करता है और साथ ही जितना संभव हो उतना सरल रहता है। यह जटिलता के लिए एक "जुर्माना" (penalty) जोड़ता है।

• यदि एक जटिल मॉडल एक सरल मॉडल की तुलना में डेटा को थोड़ा बेहतर फिट करता है, लेकिन जटिलता का जुर्माना बहुत बड़ा है, तो SRM कहता है, "धन्यवाद, सरल वाले के साथ ही रहें।"
• यदि एक जटिल मॉडल डेटा को बहुत अधिक बेहतर फिट करता है, तो जुर्माना वाजिब है, और SRM कहता है, "ठीक है, चलिए जटिल बनते हैं।"

4. यह केवल एक अनुमान क्यों नहीं है
पेपर तर्क देता है कि यह केवल एक भाग्यशाली अनुमान या दार्शनिक धारणा नहीं है। यह एक मेथोडोलॉजिकल जस्टिफिकेशन (methodological justification) है। लेखक दिखाता है कि भले ही हम यह न जानते हों कि दुनिया सरल है या जटिल, इस "ट्रेड-ऑफ" रणनीति का उपयोग करना सीखने का सबसे स्मार्ट तरीका है।

वह "लकिनेस" (Luckiness) नामक एक अवधारणा का उपयोग करता है। कल्पना कीजिए कि आप घोड़े की दौड़ पर दांव लगा रहे हैं।

• यदि आप एक सरल घोड़े पर दांव लगाते हैं और दौड़ वास्तव में सरल है, तो आप बड़ा जीतते हैं।
• यदि आप एक सरल घोड़े पर दांव लगाते हैं और दौड़ जटिल है, तो आप हारते हैं, लेकिन उतना भी नहीं जितना कि यदि आपने अंधे होकर किसी जटिल घोड़े पर दांव लगाया होता।
• लेकिन यदि आप एक जटिल घोड़े पर दांव लगाते हैं और दौड़ सरल है, तो आप बड़ा हारते हैं क्योंकि आपने चीजों को बहुत अधिक जटिल बना दिया।

SRM (ट्रेड-ऑफ) का उपयोग करके, आप खुद को सबसे खराब स्थिति से बचाते हैं। यदि आप "भाग्यशाली" हैं (सच्चाई सरल है), तो आप बहुत कुछ पाते हैं, और यदि आप "दुर्भाग्यशाली" हैं (सच्चाई जटिल है), तो आप बहुत अधिक नहीं खोते हैं।

5. पेपर क्या कहता है कि यह क्या नहीं है
लेखक बहुत सावधानी से कहते हैं कि यह क्या नहीं है।

• यह इस बात का प्रमाण नहीं है कि ब्रह्मांड सरल है। हमें इस काम करने के लिए दुनिया के सरल होने में विश्वास करने की आवश्यकता नहीं है।
• यह केवल एक व्यावहारिक नियम (जैसे "सरल चीजों को लिखना आसान है") नहीं है। यह बेहतर सटीकता के बारे में है।
• यह हर एक आधुनिक तकनीक के लिए जादुई समाधान (magic bullet) नहीं है। पेपर स्वीकार करता है कि "डीप लर्निंग" के बहुत नवीनतम क्षेत्र में, चीजें अजीब हो जाती हैं (कभी-कभी सुपर-कॉम्प्लेक्स मॉडल आश्चर्यजनक रूप से अच्छा काम करते हैं), और यह विशिष्ट गणित अभी तक उन नई घटनाओं को पूरी तरह से स्पष्ट नहीं करता है।

निष्कर्ष
तो, हम मशीन लर्निंग में सरलता को क्यों पसंद करते हैं? इस पेपर के अनुसार, ऐसा इसलिए नहीं है क्योंकि ब्रह्मांड सरल है। बल्कि इसलिए है क्योंकि सरलता एक सुरक्षा जाल (safety net) है। "परफेक्ट फिट" के थोड़े से हिस्से को "सरलता" के बहुत से हिस्से के साथ बदलकर, हमें एक गणितीय गारंटी मिलती है कि हमारे कंप्यूटर के अनुमान वास्तव में नए डेटा पर काम करेंगे। यह एक स्क्रिप्ट को रटने और कहानी को समझने के बीच का अंतर है। पेपर सिद्ध करता है कि यह ट्रेड-ऑफ सीखने का सबसे विश्वसनीय तरीका है, चाहे सच्चाई सरल हो या जटिल।