🤖 machine learning

Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference

यह शोध पत्र यह प्रदर्शित करता है कि पांच विशिष्ट फैक्टर-ग्राफ प्रिमिटिव्स (factor-graph primitives) को संयोजित करके गहरे संभाव्य आर्किटेक्चर (deep probabilistic architectures) में क्लोज्ड-फॉर्म वेरिएशनल इन्फरेंस (closed-form variational inference) को संरक्षित किया जा सकता है, जो बिना किसी सीखे गए गेटिंग पैरामीटर्स (learned gating parameters) के निर्णय वृक्षों (decision trees) और कैलिब्रेटेड अनिश्चितता वाले बायेसियन मिश्रण विशेषज्ञों (Bayesian mixture of experts) जैसे सार्वभौमिक फलन सन्निकटों (universal function approximators) के निर्माण को सक्षम बनाता है।

मूल लेखक: Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम का पूर्वानुमान लगाने की कोशिश कर रहे हैं। आपके पास सात अलग-अलग पूर्वानुमानकर्ताओं (forecasters) की एक टीम है: एक बारिश को पहचानने में माहिर है, दूसरा हीटवेव (लू) की भविष्यवाणी करने में जादूगर है, और तीसरा हवा की गति का अनुमान लगाने में उत्कृष्ट है।

इसे करने के पुराने तरीके में (स्टैंडर्ड मशीन लर्निंग), आप सातों की राय लेते हैं, उन्हें निश्चित भार (weights) देते हैं (जैसे, "रेन गाय को 20% वोट मिलेगा, हीट गाय को 10%") और उनके उत्तरों का औसत निकालते हैं। समस्या यह है कि कभी-कभी "रेन गाय" वास्तव में हीटवेव की भविष्यवाणी करने में बहुत खराब होता है, लेकिन सिस्टम को यह नहीं पता चलता कि उसे उसे रोकने के लिए कहना है। यह उसके आत्मविश्वास को एक बदलते हुए तथ्य के रूप में नहीं, बल्कि एक निश्चित तथ्य के रूप में मानता है।

यह शोध पत्र एक "सुपर-फोरकास्टर" टीम बनाने का एक नया तरीका प्रस्तावित करता है जो अधिक स्मार्ट, लचीली और सबसे महत्वपूर्ण बात यह है कि यह जानता है कि वह कब अनुमान लगा रही है।

समस्या: "ब्लैक बॉक्स" का जाल

आमतौर पर, जब आप एक गहरे, अधिक जटिल सिस्टम को बनाने के लिए स्मार्ट घटकों की परतों को एक के ऊपर एक रखते हैं, तो आप गणित को बिगाड़ देते हैं। समीकरण इतने जटिल हो जाते हैं कि कंप्यूटर उन्हें सटीक रूप से हल नहीं कर पाते। उन्हें ट्रायल-एंड-एरर (प्रयास और त्रुटि) विधियों (जैसे सैंपलिंग या ब्लैक-बॉक्स ऑप्टिमाइज़ेशन) का उपयोग करके उत्तर का अनुमान लगाना पड़ता है। यह तेज़ तो है लेकिन अक्सर सटीक नहीं होता, और यह आपको यह भी नहीं बताता कि सिस्टम अपने उत्तर के बारे में कितना आश्वस्त है।

समाधान: संभाव्य मॉडलों (Probabilistic Models) के लिए लेगो सेट

लेखकों ने पाँच लेगो ब्रिक्स (गणितीय बिल्डिंग ब्लॉक्स) का एक विशेष सेट खोजा है जिन्हें आप गहरे, जटिल मॉडल बनाने के लिए किसी भी क्रम में एक साथ जोड़ सकते हैं। जादुई बात यह है कि आप उन्हें किसी भी क्रम में जोड़ें, गणित इतना सरल रहता है कि उसे सटीक रूप से हल किया जा सके।

यहाँ पाँच ब्रिक्स हैं:

द सॉफ्टडॉट (The Softdot): एक बुनियादी कैलकुलेटर जो इनपुट को मिलाता है (जैसे सामग्री को मिलाना)।
द एक्सपोनेंशियल लिंक (The Exponential Link): एक स्विच जो एक संख्या को "कॉन्फिडेंस स्कोर" (विश्वास स्कोर) में बदल देता है (यह सुनिश्चित करता है कि स्कोर हमेशा सकारात्मक रहे)।
द गामा प्रायर (The Gamma Prior): एक नियम जो कहता है, "हम उम्मीद करते हैं कि यह कॉन्फिडेंस स्कोर इस रेंज के आसपास होगा।"
द गॉसियन लाइकलीहुड (The Gaussian Likelihood): एक मानक बेल-कर्व नियम कि कोई अवलोकन (observation) कितना संभावित है।
द इक्वैलिटी नोड (The Equality Node): एक गोंद जो कहता है, "इन दो अलग-अलग तारों में बिल्कुल एक ही मान (value) होना चाहिए।"

यह कैसे काम करता है: "स्मार्ट गेटिंग" सिस्टम

शोध पत्र दिखाता है कि इन ब्रिक्स का उपयोग एक ट्रैफिक कंट्रोलर की तरह काम करने वाले सिस्टम को बनाने के लिए कैसे किया जाता है।

डेप्थ 0 (स्टैटिक): कल्पना कीजिए कि एक समिति है जहाँ हर किसी की एक निश्चित सीट है। सिस्टम सीखता है कि सामान्य तौर पर कौन अच्छा है, लेकिन यह मौसम के आधार पर बदलता नहीं है।
डेप्थ 1 (डायनेमिक): अब, सिस्टम वर्तमान इनपुट को देखता है (जैसे, "भारी बारिश हो रही है")। इसके पास एक "गेट" है जो कहता है, "ठीक है, इस विशिष्ट स्थिति के लिए, आइए रेन गाय पर 90% भरोसा करें और अन्य को अनदेखा करें।" महत्वपूर्ण बात यह है कि सिस्टम केवल एक विजेता को नहीं चुनता; यह इस बात का एक प्रोबेबिलिटी डिस्ट्रीब्यूशन (संभाव्यता वितरण) भी निकालता है कि किस पर भरोसा किया जाना चाहिए। यह जानता है कि उस निर्णय के बारे में वह कितना आश्वस्त है।
डेप्थ 2 (स्प्लिट-ब्रांच रूटिंग): यह असली जादू है। सिस्टम एक निर्णय वृक्ष (decision tree) बनाता है। यह पूछता है, "क्या बारिश हो रही है?" यदि हाँ, तो बाएँ जाएँ। "क्या हवा चल रही है?" यदि हाँ, तो दाएँ जाएँ। यह जटिल, शाखाओं वाले पथ बना सकता है ताकि कठिन स्थितियों (जैसे कि एक "XOR" समस्या, जहाँ उत्तर कारकों के एक विशिष्ट संयोजन पर निर्भर करता है) को संभाला जा सके)।

"कंपाइलर" सादृश्य (Analogy)

इस फ्रेमवर्क को एक प्रोग्रामिंग भाषा की तरह समझें:

वर्णमाला (Alphabet): पाँच लेगो ब्रिक्स।
व्याकरण (Grammar): उन्हें एक साथ जोड़ने के नियम।
रनटाइम (Runtime): कंप्यूटर इंजन जो स्वचालित रूप से आवश्यक गणित को हल करता है।

अधिकांश प्रोबेबिलिस्टिक प्रोग्रामिंग में, यदि आप एक जटिल मॉडल लिखते हैं, तो आपको मॉडल को हल करने के लिए गणितीय समीकरणों को मैन्युअल रूप से व्युत्पन्न (derive) करना पड़ता है। यह एक प्रोग्राम लिखने और फिर हर बार उसके लिए कंपाइलर को हाथ से लिखने जैसा है।

इस शोध पत्र में, लेखकों ने एक यूनिवर्सल कंपाइलर बनाया है। आप बस ब्रिक्स को जोड़ते हैं, और "बेथे फ्री एनर्जी" (एक फैंसी गणितीय ऑब्जेक्टिव फंक्शन) स्वचालित रूप से मॉडल को हल करने के लिए आवश्यक सटीक समीकरण उत्पन्न करती है। आपको अपडेट निकालने के लिए गणित का जीनियस होने की आवश्यकता नहीं है; सिस्टम यह आपके लिए करता है।

परिणाम: कैलिब्रेटेड अनसर्टेन्टी (Calibrated Uncertainty)

सबसे बड़ी जीत अनिश्चितता (uncertainty) है।

पुराना तरीका: एक न्यूरल नेटवर्क कह सकता है, "मैं 25°C की भविष्यवाणी करता हूँ," लेकिन उसे यह नहीं पता कि वह अनुमान लगा रहा है या वह 100% सुनिश्चित है।
यह तरीका: सिस्टम कहता है, "मैं 25°C की भविष्यवाणी करता हूँ, लेकिन मैं केवल 60% आश्वस्त हूँ क्योंकि डेटा अजीब है।" यह आपको एक "कॉन्फिडेंस इंटरवल" देता है जो मॉडल संरचना के आधार पर गणितीय रूप से सही होने की गारंटी देता है।

वास्तविक दुनिया का परीक्षण: टाइम सीरीज़ फोरकास्टिंग

लेखकों ने टाइम-सीरीज़ डेटा (जैसे बिजली का उपयोग या शेयर बाजार की दरें) की भविष्यवाणी करने के लिए इसका परीक्षण किया। उन्होंने सात अलग-अलग AI मॉडलों को मिलाया (कुछ ट्रेंड्स में अच्छे हैं, कुछ सीजनलिटी में)।

उनके सिस्टम ने डेटा के आधार पर विशेषज्ञों के बीच डायनामिक रूप से स्विच करना सीखा।
इसने मानक "मिक्सचर ऑफ एक्सपर्ट्स" मॉडलों की तुलना में बेहतर सटीकता प्रदान की।
सबसे महत्वपूर्ण बात यह है कि इसने विश्वसनीय अनसर्टेन्टी एस्टीमेट्स प्रदान किए। जबकि मानक मॉडल अक्सर "ओवरकॉन्फिडेंट" (यह दावा करते हुए कि वे सुनिश्चित हैं जब वे गलत होते हैं) हो जाते थे, इस सिस्टम ने सही ढंग से संकेत दिया कि वह कब अनिश्चित था।

सारांश

यह शोध पत्र हमें गहरे, जटिल AI मॉडल बनाने का एक नया तरीका देता है जो हैं:

कंपोजेबल (Composable): आप उन्हें जितना चाहें उतना ऊंचा स्टैक कर सकते हैं।
सटीक (Exact): गणित को सटीक रूप से हल किया जाता है, अनुमान नहीं लगाया जाता।
आत्म-जागरूक (Self-Aware): मॉडल जानता है कि वह कब अनिश्चित है, जिससे विश्वास का एक "कैलिब्रेटेड" बोध मिलता है।

यह एक कठोर, नियम-आधारित रोबोट से एक लचीली, आत्म-चिंतनशील विशेषज्ञों की टीम में अपग्रेड करने जैसा है जो बिल्कुल जानता है कि कब किस पर भरोसा करना है।

तकनीकी सारांश: क्लोज्ड-फॉर्म वेरिएशनल इन्फरेंस के साथ नॉन-कंजुगेट फैक्टर ग्राफ की रचना

समस्या विवरण
जटिल निर्भरताओं को कैप्चर करने के लिए, जैसे कि इनपुट-डिपेंडेंट एक्सपर्ट रिलायबिलिटी या रूटिंग मैकेनिज्म, प्रोबेबिलिस्टिक मॉडलिंग अक्सर पदानुक्रमित (hierarchical) आर्किटेक्चर की मांग करती है। हालांकि, डीपर आर्किटेक्चर में प्रोबेबिलिस्टिक बिल्डिंग ब्लॉक्स को जोड़ने से आमतौर पर क्लोज्ड-फॉर्म इन्फरेंस का गुण टूट जाता है। नॉन-कंजुगीटी (non-conjugacy) को संभालने के लिए मानक दृष्टिकोण ब्लैक-बॉक्स इन्फरेंस विधियों (जैसे कि मार्कोव चेन मोंटे कार्लो, एमोर्टाइज्ड वेरिएशनल ऑटोएनकोडर्स, या नॉर्मलाइजिंग फ्लो) पर निर्भर करते हैं, जो इन्फरेंस प्रक्रिया को सीखते या सैंपल करते हैं लेकिन विश्लेषणात्मक सुग्राह्यता (analytical tractability) का त्याग कर देते हैं। लेखक यह पूछते हैं कि क्या प्रोबेबिलिस्टिक मॉडल क्लोज्ड-फॉर्म इन्फरेंस को बनाए रखते हुए, अनुमानित (approximate) या सैंपलिंग-आधारित इन्फरेंस प्रक्रियाओं की आवश्यकता के बिना, पदानुक्रमित रूप से कंपोज किए जा सकते हैं।

कार्यप्रणाली
यह शोध पत्र Forney-स्टाइल फैक्टर ग्राफ (FFG) और वेरिएशनल मैसेज पासिंग (VMP) पर आधारित एक कंपोजिशनल फ्रेमवर्क प्रस्तावित करता है। मुख्य योगदान पांच प्रोबेबिलिस्टिक फैक्टर्स के एक सीमित "वर्णमाला" (alphabet) की पहचान करना है, जो मीन-फील्ड फैक्टराइजेशन बाधाओं के तहत क्लोज्ड-फॉर्म अपडेट्स को संरक्षित करते हैं।

वर्णमाला (The Alphabet): लेखक पांच फैक्टर-ग्राफ प्रिमिटिव्स को परिभाषित करते हैं:
- सॉफ्टडॉट (बाइलीनियर/Bilinear): $f_*(z | w, \phi, \tau) = \mathcal{N}(z | w^\top\phi, \tau^{-1})$
- एक्सपोनेंशियल लिंक: $f_{exp}(\gamma | z) = \delta(\gamma - \exp(z))$
- गामा प्रायर (Gamma Prior): $f_G(\gamma | \alpha, \beta) = \mathcal{G}(\gamma | \alpha, \beta)$
- गौसियन लाइकलीहुड: $f_N(y | \mu, \tau) = \mathcal{N}(y | \mu, \tau^{-1})$
- इक्वेलिटी नोड: $f_=(x_1, x_2, x_3) = \delta(x_1 - x_2)\delta(x_1 - x_3)$
कंपोजिशन और ग्रामर:
- डेप्थ 0 (स्टैटिक एनसेम्बल): फिक्स्ड प्रिसिजन वाले एक्सपर्ट्स का एक सरल संयोजन।
- डेप्थ 1 (प्रिसिजन-गेटेड एक्सपर्ट्स): एक पुन: प्रयोज्य "शब्द" (प्रिसिजन शब्द $\pi$ ) पेश करता है जो एक सॉफ्टडॉट और एक एक्सपोनेंशियल लिंक से बना है। यह एक एक्सपर्ट की प्रिसिजन को फिक्स्ड कॉन्स्टेंट के बजाय इनपुट फीचर्स का एक सीखा हुआ फंक्शन बनाने की अनुमति देता है।
- डेप्थ 2 (स्प्लिट-ब्रांच रूटिंग): विपरीत स्विचों के साथ कई प्रिसिजन वर्ड्स को कंपोज करके पीसवाइज-लीनियर प्रिसिजन फंक्शन्स बनाता है। इन लेयर्स को स्टैक करने से मॉडल किसी भी बाइनरी डिसीजन ट्री को एनकोड कर सकता है, जिससे इनपुट स्पेस को उन क्षेत्रों में विभाजित किया जा सकता है जहाँ अलग-अलग एक्सपर्ट्स सक्रिय होते हैं।
रनटाइम और इन्फरेंस:
- इन्फरेंस एल्गोरिदम निर्धारित नहीं है, बल्कि यह बेट (Bethe) फ्री एनर्जी (BFE) के न्यूनीकरण के माध्यम से मॉडल स्पेसिफिकेशन से उभरता है।
- मैसेज पासिंग के प्रकार: फ्रेमवर्क एक हाइब्रिड दृष्टिकोण का उपयोग करता है। नॉन-डिटरमिनिस्टिक फैक्टर्स (सॉफ्टडॉट, गामा, नॉर्मल) के लिए, मीन-फील्ड बाधाओं के तहत वेरिएशनल मैसेज पासिंग (VMP) का उपयोग किया जाता है। डिटरमिनिस्टिक फैक्टर्स (इक्वेलिटी और एक्सपोनेंशियल लिंक) के लिए, बेलिफ प्रोपेगेशन (BP) की आवश्यकता होती है क्योंकि मीन-फील्ड फैक्टराइजेशन से डिजेनरेसी (degeneracy) हो सकती है।
- Q-कंजुगेसी: एक प्रमुख सैद्धांतिक परिणाम यह है कि एक्सपोनेंशियल लिंक की नॉन-कंजुगेट प्रकृति के बावजूद, मैसेज ट्रेक्टेबल रहते हैं। एक्सपोनेंशियल लिंक $z$ पर एक गौसियन मैसेज को $\gamma$ पर एक लॉग-नॉर्मल मैसेज में, और इसके विपरीत, एक लॉग-गामा मैसेज में बदल देता है। फॉर्म कंस्ट्रेंट्स ( $z$ के लिए गौसियन, $\gamma$ के लिए गामा) लागू करके और गौसियन के मोमेंट-जनरेटिंग फंक्शन और गामा फैमिली के पर्याप्त सांख्यिकी (sufficient statistics) का उपयोग करके, लेखक मार्जिनल पोस्टेरियर्स के लिए क्लोज्ड-फॉर्म फिक्स्ड-पॉइंट इक्वेशंस निकालते हैं। यह सुनिश्चित करता है कि सभी मैसेज कंप्यूटेशन और मार्जिनल अपडेट्स विश्लेषणात्मक हैं, जिनमें किसी संख्यात्मक एकीकरण (numerical integration) या सैंपलिंग की आवश्यकता नहीं होती है।

मुख्य योगदान

क्लोज्ड-फॉर्म कंपोजिशनल इन्फरेंस: लेखक सिद्ध करते हैं कि पांच-अक्षर वाली वर्णमाला से बना कोई भी मॉडल क्लोज्ड-फॉर्म वेरिएशनल मैसेज पासिंग को स्वीकार करता है। सेट Q-कंजुगेट अपडेट्स के तहत क्लोज्ड है, जिसका अर्थ है कि मैसेज का पैरामेट्रिक रूप (गौसियन या गामा) पूरे ग्राफ में, यहाँ तक कि नॉन-कंजुगेट एक्सपोनेंशियल लिंक के पार भी, संरक्षित रहता है।
यूनिवर्सल फंक्शन एप्रोक्सिमेशन: शोध पत्र यह प्रदर्शित करता है कि स्प्लिट-ब्रांच रूटिंग लेयर्स को स्टैक करने से मनमाने डिसीजन ट्री एनकोड होते हैं। शार्प रूटिंग (हाई प्रिसिजन) की सीमा में, आउटपुट का पोस्टीरियर मीन किसी भी कॉम्पैक्ट डोमेन पर किसी भी निरंतर फंक्शन का अनुमान लगाता है, जो क्लोज्ड-फॉर्म इन्फरेंस बनाए रखते हुए यूनिवर्सल एप्रोक्सिमेशन क्षमताएं स्थापित करता है।
बायेसियन मिक्सचर ऑफ एक्सपर्ट्स: फ्रेमवर्क को एनसेम्बल टाइम-सीरीज फोरकास्टिंग पर लागू किया गया है, जिससे एक बायेसियन मिक्सचर ऑफ एक्सपर्ट्स प्राप्त होता है जहाँ गेटिंग फंक्शन्स को ग्रेडिएंट डिसेंट के माध्यम से सीखने के बजाय इन्फर किया जाता है। यह एक्सपर्ट सिलेक्शन पर कैलिब्रेटेड अनसर्टेनिटी प्रदान करता है।

परिणाम
फ्रेमवर्क का मूल्यांकन सात विविध फोरकास्टर्स (CNN, LSTM, DLinear, और क्वांटाइल प्रेडिक्टर्स सहित) के एनसेम्बल का उपयोग करके पांच बेंचमार्क टाइम-सीरीज डेटासेट्स (ETTh1, ETTh2, Exchange Rate, Electricity, Traffic) पर किया गया।

परफॉरमेंस: "नॉइजी डायगोनल" वेरिएंट (जो फोरकास्टर डिसएग्रीमेंट को इरिड्यूसिबल नॉइज़ से अलग करता है और डायगोनल कोवेरिएंस कंस्ट्रेंट्स का उपयोग करता है) ने सटीकता (MSE), कैलिब्रेशन (नेगेटिव लॉग-लाइक्लीहुड, NLL), और पैरामीटर एफिशिएंसी के बीच सबसे अच्छा ट्रेड-ऑफ हासिल किया।
कैलिब्रेशन: सॉफ्टमैक्स-आधारित मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) बेसलाइन्स के विपरीत, जो अक्सर नॉन-फाइनाइट NLL मान उत्पन्न करते हैं (जो खराब कैलिब्रेशन या ओवरकॉन्फिडेंस का संकेत देते हैं), प्रस्तावित फ्रेमवर्क अच्छी तरह से कैलिब्रेटेड प्रेडिक्टिव डिस्ट्रीब्यूशंस प्रदान करता है। अनसर्टेटी एस्टीमेट्स स्वाभाविक रूप से रूटिंग एम्बिग्युटी को कैप्चर करते हैं, जहाँ शार्प-रूटिंग रेजीम्स में पोस्टीरियर स्टैंडर्ड डेविएशन निर्णय सीमाओं (decision boundaries) पर केंद्रित होते हैं।
एफिशिएंसी: डायगोनल वेरिएंट्स ने प्रतिस्पर्धी या बेहतर प्रदर्शन बनाए रखते हुए पैरामीटर काउंट को काफी कम कर दिया (उदाहरण के लिए, एक्सचेंज रेट डेटासेट के लिए ~15,000 से ~950 तक)।

महत्व और दावे
शोध पत्र का दावा है कि यह डीप लर्निंग की मॉडुलैरिटी और प्रोबेबिलिस्टिक इन्फरेंस की विश्लेषणात्मक कठोरता के बीच के अंतर को कम करता है। फैक्टर्स की वर्णमाला को एक भाषा और बेट फ्री एनर्जी को एक कंपाइलर के रूप में मानकर, लेखक नए डेरिवेशंस के लिए प्रत्येक आर्किटेक्चर की आवश्यकता के बिना, गहरे, पदानुक्रमित प्रोबेबिलिस्टिक मॉडल बनाने में सक्षम बनाते हैं।

विनम्रता (Modesty): लेखक स्वीकार करते हैं कि वर्णमाला ऑपरेशन्स (गुणा, घातांक, जोड़) का एक विशिष्ट उपसमुच्चय है, और शुद्ध लीनियर-गौसियन वर्णमालाएं यूनिवर्सल एप्रोक्सिमेशन प्राप्त नहीं कर सकतीं; एक्सपोनेंशियल लिंक इस अभिव्यक्ति के लिए आवश्यक है।
निहितार्थ (Implication): यह कार्य स्थापित करता है कि क्लोज्ड-फॉर्म इन्फरेंस, डीपर, नॉन-कंजुगेट आर्किटेक्चर के साथ सह-अस्तित्व में होना संभव है। यह ब्लैक-बॉक्स इन्फरेंस विधियों के लिए एक सिद्धांतिक विकल्प प्रदान करता है, जो इन्फरेंस एल्गोरिथ्म के प्रत्यक्ष आउटपुट के रूप में मार्जिनल पोस्टीरियर डिस्ट्रीब्यूशन और कैलिब्रेटेड अनसर्टेटी को "फ्री" में प्रदान करता है, न कि एक एड-ऑन या एप्रोक्सिमेशन के रूप में।