📊 statistics

Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

यह शोध पत्र फेसबुक प्रोफ़ेट (Facebook Prophet) का PyMC में एक पूर्ण पुन: कार्यान्वयन प्रस्तुत करता है ताकि इसकी डिफ़ॉल्ट अनुमान विधियों की सीमाओं को दूर किया जा सके, जिससे समय-श्रृंखला पूर्वानुमान समस्याओं पर विभिन्न बेयसियन तकनीकों—जिसमें MCMS, MAP और वेरिएशनल इन्फरेंस (Variational Inference) शामिल हैं—का विस्तृत तुलनात्मक अध्ययन सक्षम हो सके।

मूल लेखक: Jovan Krajevski, Biljana Tojtovska Ribarski

प्रकाशित 2026-01-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jovan Krajevski, Biljana Tojtovska Ribarski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: भविष्य की भविष्यवाणी करने की कोशिश

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि कल एक विशिष्ट विकिपीडिया पेज पर कितने लोग आएंगे। आपके पास एक टूल है जिसे Facebook Prophet कहते हैं जो इसमें बहुत माहिर है। यह पिछले डेटा को देखता है और समस्या को तीन भागों में तोड़कर भविष्य का अनुमान लगाने की कोशिश करता है:

ट्रेंड (Trend): क्या वह पेज समय के साथ अधिक लोकप्रिय हो रहा है? (जैसे धीरे-धीरे ऊपर चढ़ती हुई एक पहाड़ी)।
सीजनलिटी (Seasons): क्या लोग सप्ताहांत (weekends) या छुट्टियों के दौरान अधिक आते हैं? (जैसे ज्वार-भाटा का आना और जाना)।
नॉइज़ (Noise): डेटा में अचानक आने वाले रैंडम और अप्रत्याशित उतार-चढ़ाव।

इस शोध पत्र के लेखकों ने इस टूल का उपयोग यह परीक्षण करने के लिए किया कि भविष्य की भविष्यवाणी के पीछे के गणित को "हल" करने के अलग-अलग तरीके क्या हैं। उन्होंने पाया कि मूल टूल थोड़ा बहुत कठोर (rigid) था, इसलिए उन्होंने इसे PyMC नामक एक नए टूलकिट का उपयोग करके शून्य से फिर से बनाया।

पहेली को सुलझाने के तीन तरीके

यह पेपर तीन अलग-अलग "जासूसों" (इंफरेंस मेथड्स) की तुलना करता है जो भविष्य के डेटा के रहस्य को सुलझाने की कोशिश कर रहे हैं। इन्हें धुंध भरे पहाड़ के बीच सबसे अच्छा रास्ता खोजने के तीन अलग-अलग तरीकों के रूप में समझें।

1. "सबसे अच्छा अनुमान" लगाने वाला जासूस (MAP Estimation)

एनालॉजी (उपमा): कल्पना कीजिए कि आप पहाड़ों की एक श्रृंखला में सबसे ऊँची चोटी की तलाश कर रहे हैं। यह जासूस नक्शा देखता है, सबसे ऊँचा बिंदु ढूंढता है, और कहता है, "जवाब यहीं पर है।"
पेपर क्या कहता है: यह तरीका बहुत तेज़ है। यह आपको उत्तर के लिए एक विशिष्ट संख्या देता है। हालाँकि, यह इस बात को नज़रअंदाज़ कर देता है कि पास में अन्य ऊँची चोटियाँ भी हो सकती हैं या ज़मीन अस्थिर हो सकती है। यह आपको बताता है कि उत्तर कहाँ है, लेकिन यह नहीं कि वह कितना निश्चित है।
परिणाम: यह तेज़ था और इसने अच्छे अनुमान दिए, लेकिन इसने अनिश्चितता (uncertainty) की पूरी कहानी नहीं बताई।

2. "गहन खोजकर्ता" (Full MCMC / NUTS)

एनालॉजी (उपमा): यह जासूस केवल एक जगह नहीं चुनता। वे पूरे पहाड़ों की श्रृंखला में हर रास्ते पर चलने के लिए हाइकर्स (hikers) की एक पूरी टीम भेजते हैं, ताकि पूरे इलाके का नक्शा बनाने के लिए हज़ारों कदम उठाए जा सकें। वे केवल चोटी को नहीं, बल्कि पूरे पहाड़ के आकार को जानना चाहते हैं।
पेपर क्या कहता है: यह सबसे सटीक तरीका है। यह "पोस्टीरियर डिस्ट्रीब्यूशन" (संभावित उत्तरों का पूरा आकार) की खोज करता है। लेखकों ने तीन प्रकार के हाइकर्स का परीक्षण किया:
- Metropolis-Hastings (MH): एक हाइकर जो रैंडम और धीमे कदम उठाता है। वे भटक गए और पहाड़ की अच्छी तरह से खोज नहीं कर पाए।
- DMZ: एक हाइकर जो दूसरों के कदमों की नकल करने की कोशिश करता है। उन्हें भी कुशलता से ज़मीन कवर करने में संघर्ष करना पड़ा।
- NUTS (No-U-Turn Sampler): एक सुपर-स्मार्ट हाइकर जो कुशलता से चलने के लिए नक्शे और कंपास (gradients) का उपयोग करता है। यही विजेता था। इसने बिना समय बर्बाद किए तेज़ी से सबसे अच्छा रास्ता खोजा और पहाड़ का सटीक नक्शा बनाया।
परिणाम: NUTS सबसे विश्वसनीय था, लेकिन इसे "सबसे अच्छा अनुमान" लगाने वाले जासूस की तुलना में चलने में अधिक समय लगा।

3. "तेज़ अनुमान लगाने वाला" (Variational Inference / VI)

एनालॉजी (उपमा): पूरे पहाड़ पर चलने के बजाय, यह जासूस हेलीकॉप्टर से पहाड़ को देखता है और एक सरल, चिकना अंडाकार आकार (oval shape) बनाता है जो पहाड़ जैसा दिखता है। यह एक शॉर्टकट है।
पेपर क्या कहता है: यह तरीका जटिल डेटा में एक सरल आकार (जैसे बेल कर्व) फिट करने की कोशिश करता है। यह "गहन खोजकर्ता" की तुलना में बहुत तेज़ है।
- ADVI: इसने एक साधारण अंडाकार आकार बनाया। यह तेज़ था लेकिन यह बहुत अधिक आत्मविश्वासी हो गया (इसका अंडाकार आकार बहुत संकीर्ण था)।
- FullRank ADVI: इसने एक अधिक जटिल, खिंचा हुआ अंडाकार आकार बनाया। यह भी तेज़ था लेकिन यह थोड़ा अधिक अनिश्चित हो गया (इसका अंडाकार आकार बहुत चौड़ा था)।
परिणाम: यह सबसे तेज़ तरीका था, लेकिन इसका "आकार" गहन खोजकर्ता की तुलना में पूरी तरह से सटीक नहीं था।

दौड़ के परिणाम

लेखकों ने एक प्रसिद्ध फुटबॉल खिलाड़ी के विकिपीडिया पेज के डेटा का उपयोग करके इन जासूसों को परखने के लिए उन्हें टेस्ट किया। यहाँ उनकी तुलना दी गई है:

गति (Speed): "तेज़ अनुमान लगाने वाला" (VI) सबसे तेज़ था। "सबसे अच्छा अनुमान" (MAP) भी बहुत तेज़ था। "गहन खोजकर्ता" (NUTS) धीमा था लेकिन फिर भी प्रबंधनीय था। अन्य हाइकर्स (MH और DMZ) इतने धीमे और अक्षम थे कि वे काम को ठीक से पूरा नहीं कर पाए।
सटीकता (Accuracy): "गहन खोजकर्ता" (NUTS) ने भविष्य का सबसे भरोसेमंद नक्शा दिया। "तेज़ अनुमान लगाने वाला" करीब था लेकिन अनिश्चितता को मापने के तरीके में इसकी कुछ खामियां थीं। "सबसे अच्छा अनुमान" एक त्वरित उत्तर के लिए अच्छा था लेकिन इसने बारीकियों को छोड़ दिया।
विजेता: इस विशिष्ट समस्या के लिए, NUTS समग्र रूप से सबसे अच्छा विकल्प था। यह सबसे तेज़ नहीं था, लेकिन यह एकमात्र ऐसा था जिसने बिना भटके या गलत अनुमान लगाए पूरे पहाड़ का सफलतापूर्वक नक्शा बनाया।

नया टूल (Rebuilt API)

लेखकों ने यह भी उल्लेख किया कि मूल Facebook Prophet टूल एक पहले से तैयार भोजन (pre-packaged meal) की तरह था: आप इसे खा तो सकते थे, लेकिन आप इसके अवयवों (ingredients) को आसानी से बदल नहीं सकते थे।
उन्होंने इसे PyMC में एक मॉड्यूलर लेगो सेट (Lego set) की तरह फिर से बनाया। अब, केवल एक रेसिपी का पालन करने के बजाय, आप अलग-अलग टुकड़ों (जैसे "लीनियर ट्रेंड" + "ईयरली सीजनलिटी") को जोड़कर बिल्कुल वैसा मॉडल बना सकते हैं जैसा आप चाहते हैं। मॉडल बनाने का यह नया "सहज" (intuitive) तरीका विभिन्न विचारों के साथ प्रयोग करना बहुत आसान बनाता है।

सारांश

यह पेपर मूल रूप से इस बारे में एक दौड़ है कि एक विशिष्ट गणितीय मॉडल का उपयोग करके भविष्य की भविष्यवाणी करने का सबसे अच्छा तरीका क्या है।

यदि आपको गति और एक एकल उत्तर चाहिए, तो सबसे अच्छा अनुमान (MAP) का उपयोग करें।
यदि आपको अनिश्चितता का एक त्वरित अनुमान चाहिए, तो तेज़ अनुमान लगाने वाले (VI) का उपयोग करें।
यदि आपको भविष्य और उसकी अनिश्चितताओं का सबसे सटीक, विश्वसनीय चित्र चाहिए, तो गहन खोजकर्ता (NUTS) सबसे अच्छा है, भले ही इसमें थोड़ा अधिक समय लगे।

लेखकों ने निष्कर्ष निकाला कि हालांकि तेज़ तरीके लुभावने हैं, लेकिन स्मार्ट और गहन तरीका (NUTS) उनके टाइम-सीरीज फोरकास्टिंग समस्या के लिए सटीकता और विश्वसनीयता का सबसे अच्छा संतुलन प्रदान करता है।

तकनीकी सारांश: ADVI के साथ NUTS की ओर बढ़ना: Facebook Prophet के साथ विभिन्न बेयसियन अनुमान तकनीकों का अन्वेषण

समस्या विवरण
Facebook Prophet अपने डिकम्पोजेबल मॉडल स्ट्रक्चर और अंतर्निहित अनुमान विधियों: मैक्सिमम ए पोस्टीरियर (MAP) एस्टीमेशन (L-BFGS-B के माध्यम से) और मार्कोव चेन मोंटे कार्लो (MCMC) सैंपलिंग (No-U-Turn Sampler - NUTS के माध्यम से) के कारण टाइम-सीरीज फोरकास्टिंग में काफी लोकप्रिय हुआ है। हालांकि, लेखकों ने मूल कार्यान्वयन में दो प्राथमिक सीमाओं की पहचान की है:

अलचीलापन (Inflexibility): इसका फ्लूएंट API डिज़ाइन डिफ़ॉल्ट्स के अलावा कस्टम मॉडलिंग घटकों या वैकल्पिक अनुमान तकनीकों को शामिल करने की क्षमता को प्रतिबंधित करता है।
अनुमान संबंधी बाधाएं (Inference Constraints): तीव्र प्रयोगों के लिए पूर्ण MCMC सैंपलिंग अक्सर कम्प्यूटेशनल रूप से निषेधात्मक होती है, जबकि MAP एस्टीमेशन पोस्टीरियर डिस्ट्रीब्यूशन को एक एकल बिंदु में सिकोड़ देता है, जिससे पैरामीटर अनिश्चितता के संबंध में महत्वपूर्ण जानकारी लुप्त हो जाती है।

इन मुद्दों को संबोधित करने के लिए, लेखकों ने एक विशिष्ट टाइम-सीरीज फोरकास्टिंग परिदृश्य पर कई बेयसियन अनुमान तकनीकों (Full MCMC, MAP, और Variational Inference) का मूल्यांकन और तुलना करने का लक्ष्य रखा।

कार्यप्रणाली (Methodology)
इस कार्य का मुख्य हिस्सा PyMC (एक प्रोबेबिलिस्टिक प्रोग्रामिंग लाइब्रेरी) का उपयोग करके Facebook Prophet मॉडल का पूर्ण पुन: कार्यान्वयन (Reimplementation) है।

मॉडल पुन: कार्यान्वयन: लेखकों ने PyMC के भीतर Prophet मॉडल ( $y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$ ) का पुनर्निर्माण किया। उन्होंने मूल फ्लूएंट API को एक मॉड्यूलर, सहज API से बदल दिया जो गणितीय नोटेशन को दर्शाता है। यह उपयोगकर्ताओं को घटकों (जैसे, LinearTrend, FourierSeasonality) को अलग से परिभाषित करने और उन्हें मानक अंकगणितीय ऑपरेटरों (जैसे, model = trend * (1 + yearly + weekly)) का उपयोग करके संयोजित करने की अनुमति देता है।
मूल्यांकित अनुमान तकनीकें:
- Full MCMC: तीन एल्गोरिदम का परीक्षण किया गया: मेट्रोपोलिस-हेस्टिंग्स (MH), NUTS, और Z-स्कोर अडैप्टेशन ऑफ DEMetropolis (DMZ)।
- MAP एस्टीमेशन: L-BFGS-B एल्गोरिदम का उपयोग करके किया गया।
- वेरिएशनल इन्फरेंस (VI): दो एल्गोरिदम की जांच की गई: ऑटोमैटिक डिफरेंशियल वेरिएशनल इन्फरेंस (ADVI) और फुल-रैंक ADVI (FR ADVI)।
प्रायोगिक सेटअप:
- डेटासेट: पेयटन मैनिंग के विकिपीडिया पेज के दो वर्षों के लॉग डेली पेज व्यूज (अगले वर्ष के पूर्वानुमान के लिए)।
- मॉडल कॉन्फ़िगरेशन: डिफ़ॉल्ट Prophet सेटिंग्स (25 चेंज पॉइंट्स के साथ पीसवाइज लीनियर ट्रेंड, एडिटिव इयरली और वीकली सीज़नैलिटी)।
- डायग्नोस्टिक्स: अभिसरण (Convergence) का आकलन MCMC के लिए R-hat (Gelman-Rubin), इफेक्टिव सैंपल साइज (ESS), और ऑटोकोरिलेशन प्लॉट्स का उपयोग करके; और VI के लिए नेगेटिव एविडेंस लोअर बाउंड (ELBO) अभिसरण का उपयोग करके किया गया।
- मेट्रिक्स: निष्पादन समय और कम्प्यूटेशनल दक्षता (इफेक्टिव सैंपल्स प्रति सेकंड) के साथ फोरकास्टिंग प्रदर्शन को MSE, RMSE, MAE और MAPE के माध्यम से मापा गया।

प्रमुख योगदान

PyMC-आधारित Prophet पुन: कार्यान्वयन: एक लचीला, मॉड्यूलर फ्रेमवर्क जो मॉडल परिभाषा को अनुमान इंजन से अलग करता है, जिससे कस्टम घटकों और विविध अनुमान एल्गोरिदम का एकीकरण संभव होता है।
तुलनात्मक विश्लेषण: एक मानक टाइम-सीरीज समस्या पर MAP, Full MCMC (MH, DMZ, NUTS), और VI (ADVI, FR ADVI) का विस्तृत अनुभवजन्य तुलनात्मक विश्लेषण, जो सांख्यिकीय गुणवत्ता और कम्प्यूटेशनल दक्षता दोनों का विश्लेषण करता है।
डायग्नोस्टिक अंतर्दृष्टि: यह पेपर Prophet मॉडल संरचना पर विभिन्न सैंपलर के अभिसरण व्यवहार के संबंध में विशिष्ट डायग्नोस्टिक निष्कर्ष प्रदान करता है, यह उजागर करते हुए कि मानक MH और DMZ, NUTS की तुलना में अभिसरण में संघर्ष करते हैं।

परिणाम

MCMC अभिसरण:
- NUTS एकमात्र MCMC एल्गोरिदम था जिसने कुशलतापूर्वक अभिसरण (R-hat < 1.01, ESS > 400) प्राप्त किया, जिसे केवल 550 सैंपल्स की आवश्यकता थी। इसने MH और DMZ की तुलना में बेहतर इफेक्टिव सैंपलिंग रेट (169.69 सैंपल्स/सेकंड) प्रदर्शित किया।
- MH और DMZ 1,000,000 सैंपल्स के बाद भी अभिसरण करने में विफल रहे। MH ने उच्च ऑटोकोरिलेशन दिखाया, और DMZ ने कम ESS मान उत्पन्न किए, जो पोस्टीरियर के अक्षम अन्वेषण को दर्शाता है।
- गैर-अभिसरण के बावजूद, DMZ ने आश्चर्यजनक रूप से MCMC विधियों के बीच सबसे अच्छे फोरकास्टिंग मेट्रिक्स दिए, हालांकि यह विश्वसनीय पोस्टीरियर सन्निकटन के बजाय विशिष्ट पॉइंट एस्टीमेट्स की प्रकृति के कारण है।
वेरिएशनल इन्फरेंस:
- ADVI और FR ADVI लगभग 80,000 इटरेशन के आसपास अभिसरित हुए।
- ADVI ने VI विधियों में उच्चतम गुणवत्ता वाले पूर्वानुमान दिए लेकिन पोस्टीरियर अनिश्चितता को कम करके आंका (ओवरकॉन्फिडेंट)।
- FR ADVI ने पोस्टीरियर अनिश्चितता को बढ़ाकर दिखाया (कम निश्चित) और फोरकास्टिंग मेट्रिक्स में खराब प्रदर्शन किया।
- VI विधियाँ MCMC विधियों की तुलना में काफी तेज़ थीं (लगभग 18–23 सेकंड), हालांकि वे NUTS की पोस्टीरियर फिडेलिटी से मेल नहीं खाती थीं।
MAP एस्टीमेशन:
- MAP ने सबसे तेज़ निष्पादन समय के साथ उच्च गुणवत्ता वाले पूर्वानुमान प्रदान किए।
- लेखक नोट करते हैं कि MAP, रेगुलराइजेशन (Laplace प्रायर्स के लिए L1, Normal प्रायर्स के लिए L2) के साथ मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) के समान है।
पोस्टीरियर सन्निकटन (Posterior Approximation):
- स्लोप पैरामीटर के हिस्टोग्राम ने खुलासा किया कि NUTS ने एक मजबूत पोस्टीरियर डिस्ट्रीब्यूशन प्रदान किया।
- ADVI "ओवरकॉन्फिडेंट" (संकीर्ण वितरण) था, जबकि FR ADVI "अंडरकॉन्फिडेंट" (व्यापक वितरण) था, जो NUTS के ग्राउंड ट्रुथ की तुलना में था।

महत्व और निष्कर्ष
यह निष्कर्ष निकलता है कि कोई सार्वभौमिक रूप से इष्टतम अनुमान विधि नहीं है; चुनाव कम्प्यूटेशनल लागत और सटीक अनिश्चितता परिमाणीकरण की आवश्यकता के बीच के ट्रेड-ऑफ पर निर्भर करता है।

NUTS को इस विशिष्ट समस्या के लिए सबसे अच्छा विकल्प माना गया है, जो अभिसरण विश्वसनीयता और उचित समय-से-अभिसरण के बीच संतुलन प्रदान करता है, भले ही यह VI से धीमा हो।
MAP उन परिदृश्यों के लिए उपयुक्त है जहाँ गति और पॉइंट-एस्टिमेट सटीकता के लिए पूर्ण पोस्टीरियर आकार को कैप्चर करना उतना महत्वपूर्ण नहीं है।
VI (विशेष रूप से ADVI) एक व्यवहार्य विकल्प है जब कम्प्यूटेशनल संसाधन सीमित हों, जो काफी कम निष्पादन समय के साथ MCMC के तुलनीय फोरकास्टिंग मेट्रिक्स प्रदान करता है, हालांकि यह पोस्टीरियर अनिश्चितता को सटीक रूप से कैप्चर करने में सीमाओं से ग्रस्त है।

लेखक इस बात पर जोर देते हैं कि हालांकि VI तेज़ है, लेकिन ADVI और FR ADVI द्वारा अनिश्चितता का ओवर/अंडर एस्टीमेशन एक मुद्दा बना हुआ है जिसके लिए आगे के अनुसंधान की आवश्यकता है। भविष्य का कार्य (JAX/NumPyro के माध्यम से) GPU त्वरण पर केंद्रित होगा ताकि लाइकलीहुड गणनाओं को तेज किया जा सके, हालांकि लेखक नोट करते हैं कि MCMC की अनुक्रमिक प्रकृति (sequential nature) अधिक समानांतर योग्य (parallelizable) VI दृष्टिकोणों की तुलना में समानांतरकरण लाभों को सीमित करती है।