Polynomial Log-Marginals and Tweedie's Formula : When Is Bayes Possible?

मुख्य चित्र: बिना जाने अनुमान लगाने का "जादू"

कल्पना कीजिए कि आप 1,000 अलग-अलग लोगों की वास्तविक ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं एक जासूस के रूप में। आप उन्हें सीधे माप नहीं सकते। इसके बजाय, आपको केवल प्रत्येक व्यक्ति की एक धुंधली तस्वीर दिखाई देती है, जहाँ धुंधलापन एक हिलते हुए कैमरे के कारण होता है।

सांख्यिकी (statistics) में, इसे नॉर्मल मीन्स (Normal Means) समस्या कहा जाता है। आपके पास शोर वाले अवलोकन ($y$) हैं, और आप वास्तविक मान ($\mu$) का अनुमान लगाना चाहते हैं।

दशकों से, सांख्यिकीविदों ने एम्पेरिकल बेयस (Empirical Bayes) नामक एक चतुर तकनीक का उपयोग किया है। सभी लोगों की ऊंचाइयों के "वास्तविक" वितरण (जिसे "प्रायर" या prior कहा जाता है) का अनुमान लगाने के बजाय, वे धुंधली तस्वीरों को एक समूह के रूप में देखते हैं। वे "धुंधली फोटो वितरण" के आकार (जिसे मार्जिनल डेंसिटी या $m(y)$ कहते हैं) को समझते हैं और उस जानकारी का उपयोग प्रत्येक व्यक्ति के लिए बेहतर अनुमान लगाने के लिए करते हैं।

यह तकनीक ट्वीडी का फॉर्मूला (Tweedie's Formula) नामक एक प्रसिद्ध सूत्र पर निर्भर करती है। यह एक जादुई अनुवादक की तरह है जो धुंधली सामूहिक तस्वीर के आकार को समझता है और तुरंत आपको बताता है कि किसी विशिष्ट व्यक्ति के लिए अपने अनुमान को कैसे सुधारा जाए। इस विधि की सुंदरता यह है कि आपको लोगों के "वास्तविक" प्रायर वितरण को जानने की आवश्यकता नहीं है; आपको बस धुंधली तस्वीरों के आकार को जानने की आवश्यकता है।

शोध पत्र का मुख्य प्रश्न: क्या जादू असली है?

लेखक, ज्योतिष्का दत्ता और निकोलस पोल्सन, एक बहुत ही विशिष्ट, दार्शनिक प्रश्न पूछते हैं: सिर्फ इसलिए कि यह जादुई ट्रिक अच्छी तरह से काम करती है, क्या वास्तव में इसका संबंध एक वास्तविक, वैध "बेयसियन" वास्तविकता से है?

दूसरे शब्दों में: यदि हम धुंधली तस्वीरों का वर्णन करने के लिए एक विशिष्ट गणितीय आकार का उपयोग करते हैं, तो क्या वास्तव में लोगों का एक वास्तविक समूह (एक "प्रायर") मौजूद है जो इन तस्वीरों को उत्पन्न कर सकता था? या क्या हम केवल एक ऐसा आकार बना रहे हैं जो गणितीय रूप से अच्छा दिखता है लेकिन वास्तविक दुनिया में असंभव है?

तीन प्रमुख निष्कर्ष

शोध पत्र तीन अलग-अलग नियमों की खोज करता है कि कौन से आकार "वास्तविक" हैं और कौन से "नकली" हैं।

1. "बहुत जटिल" आकार अस्तित्व में नहीं होते

लेखकों ने धुंधली तस्वीरों के लिए एक विशिष्ट प्रकार के आकार को देखा: एक पॉलीनोमियल (polynomial) (एक वक्र जो $x, x^2, x^3$ आदि जैसी घातों से बना होता है)।

• निष्कर्ष: यदि धुंधली तस्वीरों का वर्णन करने वाली गणित बहुत जटिल हो जाती है (विशेष रूप से, यदि इसका "लॉग" (log) घात 3 या उससे अधिक का पॉलीनोमियल है, जैसे $x^3$ या $x^4$), तो यह एक वास्तविक समूह के लोगों से आना असंभव है।
• उपमा: कल्पना कीजिए कि आप दीवार पर एक छाया देखते हैं जो एक पूर्ण 4-आयामी हाइपरक्यूब की तरह दिखती है। आप उस विशिष्ट छाया को बनाने के लिए एक चित्र तो बना सकते हैं, लेकिन कोई भी 3D वस्तु उस विशिष्ट छाया को उत्पन्न नहीं कर सकती। इसी तरह, यदि डेटा का गणित बहुत अधिक "लहराता" (wiggly) है (घात $\ge 3$), तो कोई भी वास्तविक प्रायर वितरण इसे नहीं बना सकता था।
• परिणाम: कई लोकप्रिय एम्पेरिकल बेयस तरीके जो इन जटिल आकारों का उपयोग करते हैं, वे "व्यावहारिक रूप से उपयोगी" (वे अच्छे अनुमान देते हैं) तो हैं, लेकिन वे "औपचारिक रूप से बेयस" (formally Bayes) नहीं हैं। वे एक ऐसे जादू की तरह हैं जो मंच पर तो काम करता है लेकिन भौतिक विज्ञान के आधार पर नहीं।

2. केवल "वास्तविक" वक्र सरल होते हैं

शोध पत्र सिद्ध करता है कि केवल वही समय होता है जब एक पॉलीनोमियल आकार वास्तविक लोगों के समूह के अनुरूप होता है जब वह बहुत सरल होता है: एक क्वाड्रेटिक (quadratic) (घात 2, जैसे पैराबोला)।

• निष्कर्ष: यदि गणित एक सरल वक्र (घात 2) है, तो यह ठीक से एक गौसियन (Gaussian/बेल कर्व) प्रायर के अनुरूप होता है।
• उपमा: यह कहने जैसा है कि, "एक वास्तविक 3D वस्तु द्वारा डाली जाने वाली एकमात्र छाया एक वृत्त है।" यदि आप एक वृत्त देखते हैं, तो आप जानते हैं कि वस्तु एक गोला है। यदि आप कुछ भी अधिक जटिल देखते हैं, तो आप जानते हैं कि आप एक छल देख रहे हैं।
• परिणाम: प्रसिद्ध जेम्स-स्टीन एस्टीमेटर (James-Stein estimator) (एक क्लासिक सांख्यिकीय उपकरण) इसलिए काम करता है क्योंकि यह एक सरल बेल कर्व को मानता है। इसीलिए यह एक "सच्चा" बेयस नियम है।

3. "हीट इक्वेशन" (Heat Equation) परीक्षण

लेखकों ने एक व्यापक प्रश्न भी देखा: हम कैसे जानते हैं कि एक धुंधली फोटो का आकार एक वास्तविक "गौसियन कनवल्शन" (एक वास्तविक वस्तु जिसे गौसियन ब्लर के माध्यम से देखा गया है) है?

• निष्कर्ष: यह पर्याप्त नहीं है कि आकार "कॉन्वेक्स" (कटोरनुमा) दिखे। एक वास्तविक गौसियन ब्लर होने के लिए, आकार को समय के एक "पड़ोस" (neighborhood) में विस्तार करने में सक्षम होना चाहिए और हीट इक्वेशन (Heat Equation) को संतुष्ट करना चाहिए।
• उपमा: कल्पना कीजिए कि आप जमीन पर पानी का एक गड्ढा देखते हैं। सिर्फ इसलिए कि वह एक गड्ढे जैसा दिखता है, इसका मतलब यह नहीं है कि वह पिघलते हुए बर्फ के टुकड़े से आया है। यह साबित करने के लिए कि वह बर्फ के टुकड़े से आया था, आपको समय को पीछे ले जाने में सक्षम होना चाहिए और यह देखना चाहिए कि बर्फ का टुकड़ा ऊष्मागतिकी (thermodynamics) के नियमों के अनुसार सुचारू रूप से पिघल रहा है (हीट इक्वेशन)। यदि समय को पीछे ले जाने पर गड्ढे का आकार ऊष्मागतिकी के नियमों को तोड़ देता है, तो वह वास्तविक पिघलती बर्फ का टुकड़ा नहीं था।
• परिणाम: यह एक सख्त परीक्षण प्रदान करता है। सिर्फ इसलिए कि एक सांख्यिकीय विधि "अच्छी" और "कॉन्वेक्स" दिखती है, इसका मतलब यह नहीं है कि वह एक वैध बेयसियन मॉडल से आती है। इसे एक सच्चे बेयस प्रक्रिया के रूप में माना जाने के लिए इसे इस "ऊष्मागतिकी" परीक्षण को पास करना होगा।

हमें इसकी परवाह क्यों करनी चाहिए?

शोध पत्र सांख्यिकीविदों और डेटा वैज्ञानिकों के लिए एक चेतावनी के साथ समाप्त होता है।

• अच्छी खबर: एम्पेरिकल बेयस विधियाँ अविश्वसनीय रूप से शक्तिशाली हैं। वे हमें सच्चाई जानने से पहले ही बेहतरीन अनुमान लगाने की अनुमति देती हैं। वे "जोखिम" (हम कितनी बार गलत होते हैं) जैसे मानदंडों को अनुकूलित करते हैं और व्यवहार में बहुत अच्छा काम करते हैं।
• सावधानी: सिर्फ इसलिए कि एक विधि अच्छा काम करती है, इसका मतलब यह नहीं है कि इसमें एक वास्तविक बेयस मॉडल के "संरचनात्मक आश्वासन" (structural guarantees) हैं।
  • सच्चा बेयस (True Bayes) सुरक्षा जाल के साथ आता है: गारंटी देता है कि आपकी विधि "एडमिसिबल" (admissible - जिसे आसानी से बेहतर नहीं किया जा सकता) और सुसंगत है।
  • नकली बेयस (Fake Bayes) (जटिल पॉलीनोमियल्स का उपयोग करने वाली विधियाँ) आपको आज एक अच्छा अनुमान दे सकती हैं, लेकिन उनके पास वे सुरक्षा जाल नहीं हैं। वे "एंटी-पार्सिमोनियस" (अनावश्यक जटिलता जोड़ती हैं) हैं और उन तरीकों से विफल हो सकती हैं जिनमें एक सच्चा बेयस नियम नहीं होगा।

एक वाक्य में सारांश

शोध पत्र यह सिद्ध करता है कि जबकि हम अज्ञात मानों का अनुमान लगाने के लिए कई चतुर गणितीय आकृतियों का आविष्कार कर सकते हैं, केवल सबसे सरल आकार (क्वाड्रेटिक वक्र) ही एक वास्तविक, वैध "प्रायर" वितरण के अनुरूप होते हैं, और इससे अधिक कुछ भी जटिल है, वह एक गणितीय कल्पना है जो उपयोगी तो है, लेकिन उसे एक सच्चे बेयसियन प्रक्रिया के रूप में उचित नहीं ठहराया जा सकता।