Beyond Modern Asymptotics for Log-Likelihood Ratios in Logistic Regression

कल्पना कीजिए कि आप एक जासूस हैं जो सुरागों के एक सेट का उपयोग करके एक रहस्य को सुलझाने की कोशिश कर रहे हैं। सांख्यिकी (statistics) की दुनिया में, यह "रहस्य" अक्सर विभिन्न चरों (variables) के बीच एक संबंध की वास्तविक प्रकृति को समझना होता है—जैसे कि एक छात्र के अध्ययन के घंटों का उसके टेस्ट स्कोर से क्या संबंध है, या एक विशिष्ट दवा की खुराक रिकवरी के समय को कैसे प्रभावित करती है। जासूसों द्वारा सबसे अधिक इस्तेमाल किया जाने वाला उपकरण लॉजिस्टिक्स रिग्रेशन (logistic regression) कहलाता है। इसे दो समूहों को अलग करने वाली एक रेखा (या वक्र) खींचने के एक परिष्कृत तरीके के रूप में समझें, जैसे "पास" बनाम "फेल" या "बीमार" बनाम "स्वस्थ"।

यह जानने के लिए कि आपका जासूसी काम कितना अच्छा है, आपको यह मापने के तरीके की आवश्यकता है कि आप अपने निष्कर्षों के बारे में कितने आश्वस्त हो सकते हैं। सांख्यिकीविद इस विशेष स्कोर का उपयोग करते हैं जिसे लॉग-लाइक्लीहुड रेशियो (log-likelihood ratio) कहा जाता है। यदि आप अपने डेटा को एक पहेली के रूप में देखते हैं, तो यह स्कोर बताता है कि आपका समाधान एक रैंडम अनुमान की तुलना में टुकड़ों (clues) के साथ कितनी अच्छी तरह फिट बैठता है। लंबे समय तक, वैज्ञानिकों का मानना था कि जैसे-जैसे आप अधिक और अधिक सुराग (डेटा पॉइंट्स) एकत्र करेंगे, यह स्कोर हमेशा एक अनुमानित, सुचारू तरीके से व्यवहार करेगा, जो विल्क्स घटना (Wilks phenomenon) (या एक ची-स्क्वायर वितरण) नामक एक प्रसिद्ध पैटर्न का अनुसरण करता है। यह ऐसा था जैसे यह विश्वास करना कि चाहे अपराध स्थल कितना भी अस्त-व्यst क्यों न हो, सुराग अंततः एक व्यवस्थित, अंडाकार आकार में पूरी तरह से संरेखित हो जाएंगे।

लेकिन यहाँ एक मोड़ है: वास्तविक जीवन शायद ही कभी व्यवस्थित होता है। कभी-कभी, सुराग जटिल तरीकों से व्यवस्थित होते हैं, या आपके पास इतने अधिक चर (variables) होते हैं कि सामान्य नियम टूट जाते हैं। यहीं पर वह शोध पत्र आता है जिसे आप अब पढ़ने जा रहे हैं। यह एक साहसिक प्रश्न पूछता है: क्या होता है जब हमारे पास अनंत डेटा नहीं होता, और सुराग सबसे खराब तरीके से व्यवस्थित होते हैं? लेखक, ह्यूगो चारडन, रीस पाथक और निकिता झिवोटोव्स्की ने यह मान लेना बंद कर दिया कि सब कुछ पूर्ण है और इसके बजाय उन्होंने "सबसे खराब स्थिति" (worst-case scenario) को देखने का निर्णय लिया कि क्या पुराने नियम अभी भी कायम हैं।

द ग्रेट शेप-शिफ्टर: जब नियम टूट जाते हैं

यह शोध पत्र लॉजिस्टिक रिग्रेशन में उस आत्मविश्वास स्कोर (लॉग-लाइक्लीहुड रेशियो) के व्यवहार की गहराई में जाता है। लेखकों ने पाया कि पुराने, आरामदायक नियम केवल बहुत विशिष्ट, आदर्श स्थितियों में ही काम करते हैं। जब आप वास्तविक डेटा की अव्यवस्थित, सीमित दुनिया में कदम रखते हैं, तो इस स्कोर का व्यवहार इस बात पर नाटकीय रूप से बदल जाता है कि आप कितने चरों (dimensions) को संभाल रहे हैं और डेटा कैसे व्यवस्थित है।

डेटा पॉइंट्स को अलग-अलग दिशाओं में इशारा करने वाले तीरों के एक संग्रह के रूप में सोचें। "डिज़ाइन" केवल वही पैटर्न है जो ये तीर बनाते हैं। लेखकों ने पाया कि यदि आप इन तीरों को एक विशिष्ट, जटिल पैटर्न (जिसे वे वैंडरमोंड डिज़ाइन (Vandermonde design) कहते हैं, जिसका नाम एक प्रकार के गणितीय मैट्रिक्स के नाम पर रखा गया है) में व्यवस्थित करते हैं, तो आत्मविश्वास स्कोर उम्मीद से कहीं अधिक बढ़ सकता है।

यहाँ बड़ा खुलासा है:

• "उच्च-आयामी" (High-Dimensional) दुनिया में (3 या अधिक चर): यदि आपके पास बहुत सारे चर हैं और आपके पास सीमित डेटा है, तो सबसे खराब स्थिति वाला आत्मविश्वास स्कोर एक साधारण संख्या नहीं है। यह $d \log(\frac{en}{d})$ के कारक से बढ़ता है।
  • उपमा: कल्पना कीजिए कि आप एक गुप्त कोड का अनुमान लगाने की कोशिश कर रहे हैं। यदि आपके पास घुमाने के लिए 3 या अधिक डायल हैं, और आपके पास सीमित प्रयास हैं, तो "अच्छे दिखने वाले गलत अनुमानों" की संख्या विस्फोट की तरह बढ़ जाती है। शोध पत्र सिद्ध करता है कि आपके सुरागों के सबसे खराब मामले के व्यवस्था में, अनिश्चितता आपके डेटा आकार ($n$) से चरों ($d$) के अनुपात के लघुगणक (logarithm) से जुड़े एक कारक के साथ बढ़ती है। यह ऐसा है जैसे ब्रह्मांड आपके आत्मविश्वास पर एक "सुरक्षा कर" (safety tax) लगा रहा है क्योंकि सुराग एक बहुत ही पेचीदा कोने में छिपे हो सकते हैं।
• "दो-आयामी" (Two-Dimensional) दुनिया में (2 चर): यहीं पर चीजें अजीब हो जाती हैं। शोध पत्र दिखाता है कि केवल दो चरों के साथ भी, व्यवहार अजीब है। सबसे खराब स्थिति वाला स्कोर $\log \log \log n$ की तरह बढ़ता है।
  • उपमा: यह जटिलता का एक तिहरा-परत वाला प्याज है। हालांकि यह छोटा लगता है, लेकिन यह एक संकेत है कि जो "सुचारू, अंडाकार" आकार हम पुराने नियमों से उम्मीद करते हैं, वह पूरी तरह से गायब हो गया है। समाधान स्थान (solution space) की ज्यामिति किसी चिकनी पहाड़ी के बजाय एक नुकीले पर्वत शिखर की तरह मुड़ गई है और टेढ़ी-मेढ़ी हो गई है।
• "एक-आयामी" (One-Dimensional) दुनिया में (1 चर): यहाँ, अराजकता गायब हो जाती है। स्कोर अच्छी तरह से व्यवहार करता है, जो केवल $\log(1/\delta)$ के साथ बढ़ता है, जहाँ $\delta$ आपकी गलती करने का जोखिम है। यह इस बात की परवाह नहीं करता कि आपके पास कितना डेटा है; यह केवल इस बात की परवाह करता है कि आप कितने आश्वस्त होना चाहते हैं।

यादृच्छिकता (Randomness) का जादू

इस शोध पत्र की सबसे रोमांचक खोजों में से एक यह है कि यह "सबसे खराब स्थिति" वाला दुःस्वप्न तब नहीं होता है जब आपका डेटा रैंडम (यादृच्छिक) होता है। विशेष रूप से, यदि आपके सुराग (डिज़ाइन वेक्टर्स) एक गौसियन वितरण (Gaussian distribution) (एक बेल कर्व, जैसे जनसंख्या में ऊंचाई) से रैंडमली चुने गए हैं, तो डरावना लॉगरिदमिक कारक लुप्त (vanish) हो जाता है।

• उपमा: कल्पना कीजिए कि आप घास के ढेर में सुई खोजने की कोशिश कर रहे हैं। यदि कोई घास को एक विशिष्ट, दुर्भावनापूर्ण पैटर्न में ढेर करता है (worst-case design), तो सुई इस तरह से छिपी हो सकती है कि हर एक तिनके की जांच किए बिना उसे ढूंढना असंभव हो जाए। लेकिन यदि घास को रैंडमली (Gaussian design) फेंका जाता है, तो सुई कहीं भी होने की उतनी ही संभावना है, और आप इसे बहुत सरल, अधिक विश्वसनीय तरीके से ढूंढ सकते हैं। शोध पत्र सिद्ध करता है कि रैंडम डेटा के लिए, आत्मविश्वास स्कोर बिल्कुल वैसा ही व्यवहार करता है जैसा कि पुराने, क्लासिक नियम भविष्यवाणी करते हैं: यह $d + \log(1/\delta)$ के साथ स्केल करता है। "सुरक्षा कर" गायब हो जाता है क्योंकि यादृच्छिकता (randomness) पेचीदा कोनों को सुचारू बना देती है।

यह क्यों मायने रखता है

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने गणितीय कठोरता के साथ इन परिणामों को सिद्ध किया। उन्होंने डेटा व्यवस्था के विशिष्ट, स्पष्ट उदाहरणों का निर्माण किया जो आत्मविश्वास स्कोर को उतना ऊंचा करने के लिए मजबूर करते हैं जितना उनके सूत्र भविष्यवाणी करते हैं, जिससे पता चलता है कि सबसे खराब स्थिति में आप इन सीमाओं से बेहतर नहीं कर सकते।

उन्होंने इस विचार को भी खारिज कर दिया कि पुराने "विल्क्स" नियम हर जगह काम करते हैं। उन्होंने दिखाया कि यदि आप उन सरल, पुराने सूत्रों का उपयोग करने का प्रयास करते हैं जब आपके पास कम डेटा और कई चर होते हैं, तो आप खतरनाक रूप से अति-आत्मविश्वासी हो सकते हैं। आपका "कॉन्फिडेंस सेट" (वह क्षेत्र जहाँ आप सोचते हैं कि सत्य निहित है) एक सुंदर, सुरक्षित अंडाकार दिख सकता है, लेकिन वास्तव में, यह एक विशाल, विकृत शंकु (cone) हो सकता है जो सत्य को पूरी तरह से मिस कर देता है।

हालाँकि, एक उम्मीद की किरण है। शोध पत्र दिखाता है कि यदि आप रैंडम डेटा के साथ काम कर रहे हैं (जो कई वैज्ञानिक क्षेत्रों में आम है), तो आप अभी भी सरल, क्लासिक नियमों पर भरोसा कर सकते हैं, बशर्ते आपके पास चरों की संख्या के सापेक्ष पर्याप्त डेटा हो। उन्होंने एक नया "बॉर्डर" भी निर्धारित किया है कि कब ये नियम टूट जाते हैं: यह केवल डेटा और चरों के अनुपात ($d/n$) के बारे में नहीं है, बल्कि $d^{3/2}/n$ के अनुपात के बारे में है। यदि यह संख्या बहुत बड़ी हो जाती है, तो रैंडम डेटा भी बुरा व्यवहार करने लगता है, और सरल नियम काम करना बंद कर देते हैं।

मुख्य निष्कर्ष (The Takeaway)

संक्षेप में, यह शोध पत्र सांख्यिकीविदों और डेटा वैज्ञानिकों के लिए एक वास्तविकता की जाँच (reality check) है। यह हमें बताता है कि जबकि आत्मविश्वास के "पाठ्यपुस्तक" नियम सुंदर और उपयोगी हैं, वे नाजुक हैं। वे टूट जाते हैं जब डेटा कम होता है या जटिल तरीकों से व्यवस्थित होता है। लेकिन, यदि आपका डेटा रैंडम है और पर्याप्त मात्रा में है, तो ब्रह्मांड दयालु है, और पुराने नियम अभी भी सत्य बने रहते हैं। लेखकों ने ठीक से मानचित्रित किया है कि सुरक्षित क्षेत्र कहाँ हैं और खतरा कहाँ है, जिससे हमें डेटा विश्लेषण की जटिल दुनिया में नेविगेट करने के लिए एक नया, अधिक ईमानदार नक्शा मिला है। उन्होंने केवल एक नया रास्ता नहीं खोजा; उन्होंने हमें दिखाया कि चट्टानें कहाँ हैं, ताकि हम उनसे गिर न जाएं।