Reconciling Bayesian and frequentist approaches to robustness against outliers

द ग्रेट डेटा डिटेक्टिव स्टैंडऑफ (The Great Data Detective St standoff)

कल्पना कीजिए कि आप सुरागों के ढेर को देखकर एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में। अधिकांश सुराग एक स्पष्ट, सुसंगत कहानी बताते हैं: संदिग्ध बाईं ओर भागा, फिर दाईं ओर, और फिर एक झाड़ी में छिप गया। लेकिन फिर, आपको कुछ अजीब नोट्स मिलते हैं। एक कहता है कि संदिग्ध चंद्रमा पर उड़ गया, दूसरा दावा करता है कि वह एक टोस्टर में बदल गया। सांख्यिकी (statistics) की दुनिया में, ये अजीब नोट्स आउटलेयर्स (outliers) कहलाते हैं। ये वे डेटा पॉइंट्स हैं जो पैटर्न में फिट नहीं बैठते, अक्सर किसी गलती या किसी दुर्लभ, अराजक घटना के कारण। यदि आप सभी सुरागों—उन उड़ने वाले टोस्टरों को भी शामिल करते हुए—के माध्यम से एक सीधी रेखा खींचने की कोशिश करते हैं, तो आपकी रेखा बहुत अधिक भटक जाएगी, और संदिग्ध के पथ के बारे में आपका निष्कर्ष गलत होगा।

इसे ठीक करने के लिए, सांख्यिकीविदों ने जासूसों की दो मुख्य टीमें विकसित की हैं: बेयसियन (Bayesians) और फ्रीक्वेंटिस्ट (Frequentists)। दोनों ही उन पागल नोटों को अनदेखा करना चाहते हैं और वास्तविक कहानी पर ध्यान केंद्रित करना चाहते हैं, लेकिन वे अलग-अलग टूलकिट का उपयोग करते हैं। फ्रीक्वेंटिस्ट उन इंजीनियरों की तरह हैं जो एक विशेष "स्पंज" बनाते हैं जो पागल नोटों को सोख लेता है और उन्हें तब तक सिकोड़ देता है जब तक कि वे मायने न रखें। बेयसियन उन कलाकारों की तरह हैं जो दुनिया का नक्शा फिर से इस तरह से बनाते हैं कि यह स्वीकार करना आसान हो जाए कि उड़ने वाले टोस्टर अस्तित्व में हो सकते हैं, लेकिन केवल तभी जब नक्शा बहुत सावधानी से बनाया गया हो। लंबे समय तक, इन दोनों टीमों ने सोचा कि वे एक ही समस्या को हल कर रहे हैं, लेकिन वास्तव में वे ऐसे नक्शों का उपयोग कर रहे थे जो आपस में मेल नहीं खाते थे। यह शोध पत्र इस बारेगत है कि उनके नक्शे अलग क्यों थे और अंततः एक ऐसा नक्शा कैसे बनाया जाए जो सभी के लिए काम करे।

नक्शों का टकराव (The Clash of the Maps)

कहानी एक सरल प्रश्न के साथ शुरू होती है: हम पूरे पहेली को फेंक दिए बिना "उड़ने वाले-टोस्टर" वाले डेटा पॉइंट्स को कैसे अनदेखा करें?

फ्रीक्वेंटिस्ट टीम का एक पसंदीदा उपकरण है जिसे टकी का बीवेट (Tukey's biweight) कहा जाता है। कल्पना कीजिए कि यह एक जादुई रूलर है जो, एक बार जब कोई डेटा पॉइंट भीड़ से बहुत दूर हो जाता है, तो बस उसकी परवाह करना बंद कर देता है। यदि कोई बिंदु थोड़ा अजीब है, तो रूलर उसे एक हल्का सा धक्का देता है। यदि वह बेहद अजीब है (जैसे कि टोस्टर), तो रूलर कहता है, "मेरा तुमसे काम खत्म," और उसे शून्य भार (zero weight) दे देता है। यह शोर को अनदेखा करने में अविश्वसनीय रूप से प्रभावी है। हालाँकि, इसमें एक पेच है: यह जादुई रूलर प्रायिकता (probability) के सख्त नियमों का पालन नहीं करता है। यह गणितज्ञों द्वारा कहा जाने वाला एक "इम्प्रापर" (improper) मॉडल है। यह एक ऐसी रेसिपी की तरह है जो एक स्वादिष्ट केक बनाने के लिए तो पूरी तरह से काम करती है, लेकिन वास्तव में इसमें सामग्री को इस तरह सूचीबद्ध नहीं करती है कि वे एक पूर्ण संख्या में जुड़ सकें।

दूसरी ओर, बेयियन टीम अपने रेसिपी के मामले में बहुत चूजी (picky) है। वे जोर देते हैं कि प्रत्येक मॉडल "प्रॉपर" (proper) होना चाहिए, जिसका अर्थ है कि इसे सख्त प्रायिकता नियमों का पालन करना चाहिए जहाँ सब कुछ पूरी तरह से जुड़ता है। आउटलेयर्स को संभालने के लिए, वे हैवी-टेल्ड मॉडल्स (heavy-tailed models) (जैसे स्टूडेंट का t-डिस्ट्रीब्यूशन या LPTN) का उपयोग करते हैं। इन्हें बहुत चौड़े, नरम किनारों वाले मानचित्रों के रूप में सोचें। यदि कोई डेटा पॉइंट दूर है, तो मानचित्र उसे शामिल करने के लिए खिंच जाता है, लेकिन जितना दूर यह जाता है, उसका प्रभाव उतना ही कम होता जाता है। समस्या यह है कि बेयसियनों को उपयोग करने की अनुमति दिए गए सबसे "भारी" पूंछ (tails) भी उड़ने वाले-टोस्टर वाले नोट्स को पूरी तरह से अनदेखा करने के लिए पर्याप्त भारी नहीं हैं। वे अंतिम उत्तर में थोड़े से पागल शोर को अभी भी अंदर आने देते हैं।

इस शोध पत्र के लेखकों ने महसूस किया कि फ्रीक्वेंटिस्ट एक सुपर-पावरफुल, थोड़ी "गैर-कानूनी" उपकरण (इम्प्रापर टकी का बीवेट) का उपयोग कर रहे थे जिसे बेयसियन छू भी नहीं सकते थे। इस कारण से, जब दोनों टीमें एक ही बिखरे हुए डेटा को देखती थीं, तो उन्हें अलग-अलग उत्तर मिलते थे। फ्रीक्वेंटिस्ट को एक साफ रेखा मिलती थी जो आउटलेयर्स को पूरी तरह से अनदेखा कर देती थी। बेयसियन, अपने "प्रॉपर" मानचित्रों में फंसे हुए, अभी भी एक ऐसी रेखा प्राप्त करते थे जो आउटलेयर्स की ओर थोड़ी सी खिंची हुई होती थी।

"जनरलाइज्ड बेयस" के साथ अंतर को पाटना (Bridging the Gap with "General Bayes")

यह शोध पत्र एक समाधान प्रस्तावित करता है जो थोड़ा कानूनी खामी (loophole) जैसा लगता है। लेखक सुझाव देते हैं कि बेयसियनों को जनरलाइज्ड बेयस (Generalized Bayes) नामक एक नया ढांचा अपनाना चाहिए। यह ढांचा एक विशेष परमिट की तरह है जो बेयसियन टीम को उन "इम्प्रापर" उपकरणों (जैसे टकी का बीवेट) का उपयोग करने की अनुमति देता है जिन्हें फ्रीक्वेंटिस्ट पसंद करते हैं, जब तक कि वे उन्हें एक "प्रॉपर" शुरुआती विश्वास (prior) के साथ जोड़ते हैं।

इसे इस तरह सोचें: बेयसियन कलाकार आमतौर पर उस ब्रश से पेंट करने से मना करता है जिससे पेंट हर जगह टपकता है (इम्प्रापर मॉडल)। लेकिन इस नए परमिट के साथ, वे उस टपकने वाले ब्रश का उपयोग कर सकते हैं यदि वे पहले एक साफ कैनवास नीचे रखते हैं (प्रॉपर प्रायर)। परिणाम? पेंट टपकता है, लेकिन अंतिम चित्र अभी भी एक आदर्श, पूर्ण छवि है।

लेखकों ने इस विचार का परीक्षण वास्तविक दुनिया के डेटा के साथ किया, जिसमें भूलभुलैया में दौड़ने वाले चूहों के बारे में एक डेटासेट और बीमा दावों के बारे में दूसरा शामिल था। दोनों मामलों में, पारंपरिक बेयसियन विधि अभी भी आउटलेयर्स द्वारा पटरी से उतर रही थी। लेकिन जब उन्होंने टकी के बीवेट के साथ नए जनरलाइज्ड बेयस दृष्टिकोण का उपयोग किया, तो बेयसियन परिणामों ने फ्रीक्वेंटिस्ट अभ्यासी के समान परिणाम प्राप्त किए, और अनुमानित रिग्रेशन लाइनें अनिवार्य रूप से एक जैसी थीं। आउटलेयर्स को प्रभावी ढंग से अनदेखा कर दिया गया था, और "उड़ने वाले-टोस्टर" वाले नोट्स का प्रभाव काफी कम हो गया था।

गणित क्या कहता है (What the Math Says)

यह शोध पत्र केवल यह नहीं दिखाता कि यह कंप्यूटर पर काम करता है; यह इसे भारी-भरकम गणित के साथ सिद्ध करता है। उन्होंने दिखाया कि जैसे-जैसे आउटलेयर्स और दूर होते जाते हैं (जैसे कि अंतरिक्ष में उड़ता हुआ टोस्टर), नया तरीका उपयोग करने वाला बेयसियन मॉडल एक ऐसी स्थिति के करीब पहुँच जाता है जहाँ वह उन्हें सुनना बंद कर देता है। गणित सिद्ध करता है कि मॉडल "पूर्णतः सुदृढ़" (wholly robust) हो जाता है, जिसका अर्थ है कि आउटलेयर्स का अंतिम उत्तर पर नगण्य प्रभाव पड़ता है, बशर्ते कि आउटलेयर्स की संख्या स्केल एस्टीमेटर के ब्रेकडाउन पॉइंट से अधिक न हो।

उन्होंने यह भी पता लगाया कि अनिश्चितता को कैसे कैलिब्रेट किया जाए। आमतौर पर, जब आप इन "इम्प्रापर" उपकरणों का उपयोग करते हैं, तो यह जानना कठिन होता है कि आपको अपने उत्तर पर कितना विश्वास होना चाहिए। लेखकों ने एक "तापमान" नॉब (जिसे टेम्परिंग पैरामीटर कहा जाता है) को समायोजित करने का एक तरीका विकसित किया ताकि कॉन्फिडेंस इंटरवल (संभावित उत्तरों की सीमा) बिल्कुल सही हो—न बहुत चौड़ा, न बहुत संकीकर। उन्होंने हजारों नकली डेटासेट्स के साथ सिमुलेशन चलाकर दिखाया कि यह तरीका विश्वसनीय रूप से काम करता है, जो ऐसे उत्तर देता है जो पुराने, मानक तरीकों जितने ही भरोसेमंद हैं, लेकिन शोर को अनदेखा करने में बहुत बेहतर हैं।

मुख्य निष्कर्ष (The Takeaway)

मुख्य निष्कर्ष यह है कि दोनों सांख्यिकीय टीमों के बीच का अंतर एक नियम पुस्तिका के अंतर के कारण था: फ्रीक्वेंटिस्ट आउटलेयर्स को पूरी तरह से अनदेखा करने के लिए "इम्प्रापर" मॉडल का उपयोग कर सकते थे, जबकि बेयसियन नहीं कर सकते थे। जनरलाइज्ड बेयस ढांचे को अपनाकर, बेयसियन अब फ्रीक्वेंटिस्ट के समान शक्तिशाली उपकरणों का उपयोग कर सकते हैं। इसका मतलब यह है कि चाहे आप एक फ्रीक्वेंटिस्ट हों या बेयसियन, अब आप समान, अत्यधिक सटीक परिणाम प्राप्त कर सकते हैं, भले ही आपका डेटा उड़ने वाले टोस्टरों और पागल नोटों से भरा हो। यह शोध पत्र सुझाव देता है कि यह केवल एक छोटा सा बदलाव नहीं है; यह दोनों दृष्टिकोणों को पूरी तरह से मिलाने का एक तरीका है, जिससे सभी को काम के लिए सर्वोत्तम उपकरणों तक पहुंच मिलती है।