🤖 machine learning

Direct Bethe Free Energy Minimization for Bayesian Neural Ne twork

यह शोध पत्र सीधे बेथे मुक्त ऊर्जा (Bethe free energy) को न्यूनतम करके बेयसियन न्यूरल नेटवर्क को प्रशिक्षित करने के लिए एक ढांचे का प्रस्ताव करता है, जो मानक बैकप्रोपैगेशन को विश्लेषणात्मक पोस्टीरियर अपडेट के साथ एकीकृत करता है ताकि कुशल, सिंगल-पास एम्पेरिकल बेयस अनुकूलन सक्षम किया जा सके जो ग्रिड-सर्च हाइपरपैरामीटर ट्यूनिंग के प्रदर्शन से मेल खाते हुए क्रॉस-वैलिडेशन की आवश्यकता को समाप्त करता है।

मूल लेखक: Pavel Prochazka

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pavel Prochazka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं, जैसे घर की कीमत का अनुमान लगाना या यह बताना कि कोई ईमेल स्पैम है या नहीं। अधिकांश आधुनिक रोबोट (AI मॉडल) "डिटरमिनिस्टिक" (deterministic) होते हैं, जिसका अर्थ है कि वे आपको एक ही उत्तर देते हैं: "इस घर की कीमत $500,000 है।" लेकिन वास्तविक दुनिया में, चीजें बहुत जटिल होती हैं। एक बेहतर रोबोट कहेगा, "इस घर की कीमत$ 500,000 होने की संभावना है, लेकिन मैं इसके बारे में केवल 80% आश्वस्त हूँ, और यह $450k से$ 550k के बीच हो सकती है।" इसे अनिश्चितता (uncertainty) कहा जाता है, और यह सुरक्षा और भरोसे के लिए अत्यंत महत्वपूर्ण है।

यह शोध पत्र इन "अनिश्चितता-जागरूक" (uncertainty-aware) रोबोट्स को प्रशिक्षित करने का एक नया तरीका पेश करता है, जिन्हें बेयसियन न्यूरल नेटवर्क (Bayesian Neural Networks) कहा जाता है। लेखक एक विधि प्रस्तावित करते हैं जिसे डायरेक्ट बेथे फ्री एनर्जी मिनिमाइजेशन (Direct Bethe Free Energy Minimization) कहा जाता है।

यहाँ उन्होंने क्या किया और यह क्यों महत्वपूर्ण है, इसका सरल विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों (analogies) के माध्यम से समझाया गया है।

1. समस्या: "अनुमान लगाने के खेल" का अंतर (The "Guessing Game" Gap)

वर्तमान में, अधिकांश AI मॉडल को वैरिएशनल इन्फरेंस (Variational Inference) नामक पद्धति का उपयोग करके प्रशिक्षित किया जाता है। इसे एक नक्शे पर सबसे अच्छा रास्ता खोजने की कोशिश करने जैसा समझें, लेकिन आप केवल नक्शे के एक धुंधले, कम-रिज़ॉल्यूशन वाले संस्करण को देखने के लिए अधिकृत हैं। आप अपने रास्ते के कितने अच्छे हैं, इसका केवल एक "लोअर बाउंड" (lower bound) प्राप्त करते हैं।

समस्या: क्योंकि आपका नक्शा धुंधला है, आप शायद सबसे सटीक रास्ता चूक जाएं। आपके धुंधले अनुमान और वास्तविक, सटीक उत्तर के बीच एक स्थायी "गैप" (अंतर) रहता है। आप अपने धुंधले नक्शे को कितना भी सुधार लें, आप इस अंतर को पूरी तरह से कभी नहीं भर सकते।

2. समाधान: "स्थानीय निरंतरता" का नियम (The "Local Consistency" Rule)

लेखक एक अलग दृष्टिकोण का सुझाव देते हैं। पूरे धुंधले नक्शे को देखने के बजाय, वे एक सरल प्रश्न पूछते हैं: "क्या पहेली के स्थानीय टुकड़े एक-दूसरे से सहमत हैं?"

एक समूह के दोस्तों की कल्पना करें जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं।

पुराना तरीका (ELBO): हर कोई स्वतंत्र रूप से उत्तर का अनुमान लगाता है, और आप उनके अनुमानों का औसत निकालते हैं। कभी-कभी वे असहमत होते हैं, और औसत गलत होता है।
नया तरीका (Bethe): आप हर दोस्त से उनके पड़ोसियों के साथ अपने नोट्स की जांच करने के लिए कहते हैं। "जो आप सोचते हैं, क्या वह आपके पड़ोसी जो सोचते हैं उससे मेल खाता है?" यदि हर कोई स्थानीय स्तर पर सहमत है, तो पूरा समूह सही होगा।

एक विशिष्ट प्रकार की संरचना पर (जिसे लेखक "ट्री-स्ट्रक्चर्ड ग्राफ" कहते हैं, जैसे कि बिना किसी अजीब लूप वाला एक मानक न्यूरल नेटवर्क), यदि हर कोई स्थानीय रूप से सहमत है, तो पूरा समूह गणितीय रूप से 100% सही होगा। अब कोई "धुंधला नक्शा" नहीं बचा है; आपके पास सटीक समाधान है।

3. यह कैसे काम करता है: "सिंगल-पास" का जादू (The "Single-Pass" Magic)

आमतौर पर, सभी को सहमत करने के लिए एक धीमी, बार-बार होने वाली बातचीत (इटरेटिव मैसेज पासिंग) की आवश्यकता होती है। यह धीमा है और रोबोट को सिखाना कठिन है।

लेखकों की सफलता यह है कि उन्होंने सीधे स्टैंडर्ड ग्रेडिएंट डिसेंट (standard gradient descent) (वही टूल जिसका उपयोग सामान्य AI को प्रशिक्षित करने के लिए किया जाता है) का उपयोग करके "बेथे फ्री एनर्जी" को सीधे कम करने का तरीका खोज निकाला है।

उपमा: दोस्तों को घंटों तक आपस में बात करने देने के बजाय, उन्होंने एक ऐसा एकल नियम खोजने का तरीका निकाला जिसे पालन करने पर वे तुरंत सहमत हो जाते हैं।
परिणाम: रोबोट एक ही पास (one pass) में सीख जाता है। इसे सिमुलेशन चलाने, 50 अलग-अलग अनुमान लगाने, या खुद को कई बार फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह मानक, गैर-अनिश्चितता वाले AI की तुलना में समान समय में "सटीक" अनिश्चितता अंशांकन (uncertainty calibration) प्राप्त कर लेता है।

4. "स्व-समायोजन" विशेषता (The "Self-Adjusting" Feature - Empirical Bayes)

इन मॉडलों को प्रशिक्षित करते समय, आपको आमतौर पर एक "नॉब" (हाइपरपैरामीटर) चुनना पड़ता है जो यह नियंत्रित करता है कि रोबोट अपने स्वयं के पूर्व विश्वासों (prior beliefs) पर कितना भरोसा करता है। आमतौर पर, आपको इस नॉब का अनुमान लगाना होता है, रोबोट को प्रशिक्षित करना होता है, परिणाम देखने होते हैं, और फिर से अनुमान लगाना होता है (जिसे क्रॉस-वैलिडेशन कहा जाता है)। यह रेडियो के नॉब को घुमाकर ट्यून करने जैसा है—नॉब घुमाएं, सुनें, फिर से घुमाएं, और फिर सुनें।

लेखकों की विधि इस नॉब को डिफरेंशिएबल (differentiable) बनाती है।

उपमा: रोबोट गाना सीखने के दौरान ही अपना रेडियो नॉब खुद ट्यून करना सीख जाता है। वह गाने की धुन सीखने के साथ-साथ अपने आप नॉब को एडजस्ट करता है।
लाभ: अब अनुमान लगाने या क्रॉस-वैलिडेशन का इंतज़ार करने की ज़रूरत नहीं है। रोबोट एक ही ट्रेनिंग रन में अपने लिए एकदम सही सेटिंग ढूंढ लेता है।

5. परिणाम: बाकी सब से बेहतर, वही गति (Better than the Rest, Same Speed)

लेखकों ने 20 अलग-अलग मानक डेटासेट्स (जैसे घर की कीमतें बताने या स्पैम पहचानने जैसे) पर इनका परीक्षण किया।

गति: उनकी विधि सबसे सरल, बुनियादी AI मॉडल (MAP) जितनी तेज़ है। इसके लिए "डीप एन्सेम्बल्स" (जो मॉडल को 5 बार चलाते हैं) या "मोंटे कार्लो ड्रॉपआउट" (जो इसे 50 बार चलाते हैं) जैसी धीमी और भारी प्रक्रियाओं की आवश्यकता नहीं है।
सटीकता: इतनी तेज़ होने के बावजूद, यह अक्सर उन धीमी और भारी विधियों से बेहतर प्रदर्शन करती है। यह बेहतर भविष्यवाणियां और बहुत बेहतर "कैलिब्रेशन" (इसका आत्मविश्वास वास्तविकता से मेल खाता है) प्रदान करती है।
"टू-मून" (Two-Moons) उदाहरण: एक विजुअल टेस्ट में, पुराने तरीके या तो बहुत अधिक आश्वस्त थे (यह सोचकर कि वे सब कुछ जानते हैं) या खराब रूप से स्केल किए गए थे। नया तरीका सटीक "अनिश्चितता क्लाउड" (uncertainty clouds) बनाता था जो डेटा से दूर जाने पर स्वाभाविक रूप से फैल जाते थे, जिससे स्पष्ट होता था कि वह कहाँ अनिश्चित था।

सारांश

यह शोध पत्र AI के लिए एक नया प्रशिक्षण नियम प्रस्तावित करता है जो:

"अनुमानित" और "सटीक" उत्तरों के बीच के अंतर को स्थानीय निरंतरता सुनिश्चित करके समाप्त करता है।
एकल पास (single pass) में चलता है, जिससे यह मानक AI जितना ही तेज़ होता है लेकिन अनिश्चितता के मामले में बहुत अधिक स्मार्ट होता है।
मानव द्वारा अनुमान लगाने और बार-बार जांचने की आवश्यकता के बिना अपने स्वयं के सेटिंग्स को खुद ट्यून करता है।

यह एक कार को अपग्रेड करने जैसा है जिसे हर हफ्ते इंजन ट्यून करने के लिए मैकेनिक की आवश्यकता होती है (क्रॉस-वैलिडेशन), बजाय एक ऐसी सेल्फ-ड्राइविंग इंजन के जो चलते समय ही अपने ईंधन मिश्रण को तुरंत एडजस्ट करता है, जिससे आपकी गति धीमी हुए बिना बेहतर माइलेज और सुरक्षा मिलती है।

तकनीकी सारांश: बेयसियन न्यूरल नेटवर्क के लिए प्रत्यक्ष बेथे फ्री एनर्जी मिनिमाइजेशन (Direct Bethe Free Energy Minimization)

समस्या विवरण (Problem Statement)
बेयसियन न्यूरल नेटवर्क (BNNs) को आमतौर पर एविडेंस लोअर बाउंड (ELBO) को अधिकतम करके प्रशिक्षित किया जाता है। हालाँकि, ELBO जेन्सन की असमानता (Jensen's inequality) के अनुप्रयोग से उत्पन्न होने वाले एक संरचनात्मक "जेन्सन गैप" (Jensen gap) से ग्रस्त है; यह गैप केवल तभी समाप्त होता है जब अनुमानित पोस्टीरियर (approximate posterior), सटीक पोस्टीरियर के बराबर हो, जो व्यवहार में शायद ही कभी होता है। मौजूदा विकल्प विभिन्न ट्रेड-ऑफ का सामना करते हैं: वेरिएशनल इन्फरेंस (variational inference) में गैप बना रहता है, पोस्ट-हॉक विधियाँ (जैसे लैप्लेस एप्रोक्सिमेशन) प्रशिक्षण के दौरान संभाव्य फीडबैक (probabilistic feedback) की कमी रखती हैं, और सैंपलिंग-आधारित विधियाँ (जैसे डीप एनसेम्बल्स, MC ड्रॉपआउट) कई फॉरवर्ड पासेज के कारण उच्च इन्फरेंस लागत वहन करती हैं। इसके अलावा, मानक एम्पिरिकल बेज़ (weights और hyperparameters का संयुक्त अनुकूलन) के लिए आमतौर पर एक बाहरी क्रॉस-वैलिडेशन लूप या मार्जिनल लाइकलीहुड अनुमान की आवश्यकता होती है, जिससे कम्प्यूटेशनल ओवरहेड बढ़ जाता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र BNNs को सीधे बेथे फ्री एनर्जी ( $F_{Bethe}$ ) को ग्रेडिएंट डिसेंट के माध्यम से कम करके प्रशिक्षित करने का प्रस्ताव देता है, न कि एक वेरिएशनल लोअर बाउंड को अधिकतम करके।

सैद्धांतिक आधार (Theoretical Foundation): ट्री-स्ट्रक्चर्ड फैक्टर ग्राफ्स (tree-structured factor graphs) पर, बेथे फ्री एनर्जी को कम करना स्थानीय निरंतरता शर्तों (local consistency conditions) को संतुष्ट करने वाले विश्वासों (beliefs) को खोजने के समान है। इष्टतम (optimum) पर, बेथे फ्री एनर्जी सटीक नेगेटिव लॉग-पार्टिशन फंक्शन के बराबर होती है, जो जेन्सन गैप को पूरी तरह से समाप्त कर देती है।
आर्किटेक्चर (Architecture): यह ढांचा संभाव्य (probabilistic) और नियतात्मक (deterministic) सबग्राफ के किसी भी मिश्रण को समायोजित करता है। विशेष रूप से, लेखक इसे एक नियतात्मक बैकबोन नेटवर्क ( $\psi$ ) और एक गॉसियन पोस्टीरियर $q(w) = \mathcal{N}(\mu, \Sigma)$ वाले संभाव्य अंतिम परत (last layer) के साथ स्थापित करते हैं।
शेयर्ड-कैविटी निर्माण (Shared-Cavity Construction): $N$ डेटा प्लेट्स में साझा किए गए वेट पोस्टीरियर को संभालने के लिए, यह विधि "शेयर्ड-कैविटी" सन्निकटन का उपयोग करती है जहाँ पोस्टीरियर $q(w)$ प्रत्येक प्लेट के लिए आउटगोइंग मैसेज के रूप में कार्य करता है। यह बेथे फ्री एनर्जी को फैक्टर्स पर सुलभ इंटीग्रल्स के योग में विभाजित करने की अनुमति देता है।
क्लोज्ड-फॉर्म लॉसेस (Closed-Form Losses): पोस्टीरियर को केवल अंतिम परत तक सीमित करके और गॉसियन या प्रोबिट लाइकलीहुड का उपयोग करके, लेखक विश्लेषणात्मक रूप से सुलभ लॉसेस प्राप्त करते हैं:
- रिग्रेशन (गॉसियन लाइकलीहुड): बेथे ऑब्जेक्टिव सटीक मार्जिनल लाइकलीहुड के बराबर है। लॉस एक हेटेरोसेडास्टिक नेगेटिव लॉग-लाइकेलीहुड प्लस एक प्रायर टर्म है।
- वर्गीकरण (प्रोबिट लाइकलीहुड): प्रोबिट-गॉसियन कॉन्वोल्यूशन आइडेंटिटी का उपयोग करते हुए, लॉस एक क्लोज्ड-फॉर्म टर्म $-\log \Phi(t_n)$ प्लस प्रायर टर्म में बदल जाता है।
Z-कंसिस्टेंट प्रायर और एम्पिरिकल बेज़ (Z-Consistent Prior & Empirical Bayes): प्रायर को $p(w) = \mathcal{N}(0, \alpha^{-1}I)$ के रूप में तैयार किया गया है। महत्वपूर्ण रूप से, $-\log Z_w$ (प्रायर का लॉग-पार्टिशन फंक्शन) टर्म प्रायर प्रिसिजन $\alpha$ को एक डिफरेंशिएबल पैरामीटर बनाता है। यह सिंगल-पास एम्पिरिकल बेज़ को सक्षम बनाता है, जहाँ वेट्स, कोवेरिएंस और हाइपरपैरामीटर्स को एक ही ग्रेडिएंट पास में संयुक्त रूप से अनुकूलित किया जा सकता है, जिसके लिए किसी बाहरी क्रॉस-वैलिडेशन लूप की आवश्यकता नहीं होती।
इन्फरेंस लागत (Inference Cost): प्रेडिक्टिव डिस्ट्रीब्यूशन क्लोज्ड-फॉर्म में है, जिसके लिए केवल एक सिंगल डिटर्मिनिस्टिक फॉरवर्ड पास (MAP-इक्विवेलेंट कॉस्ट) की आवश्यकता होती है, जो एनसेम्बल या सैंपलिंग विधियों के विपरीत है।

मुख्य योगदान (Key Contributions)

प्रत्यक्ष बेथे मिनिमाइजेशन (Direct Bethe Minimization): BNNs में बेथे फ्री एनर्जी को कम करने के लिए एक ग्रेडिएंट-आधारित ढांचा, जो वेरिएशनल इन्फरेंस के जेन्सन गैप को बायपास करता है और मिश्रित संभाव्य/नियतात्मक ग्राफ्स का समर्थन करता है।
सिंगल-पास एम्पिरिकल बेज़ (Single-Pass Empirical Bayes): Z-कंसिस्टेंट प्रायर फॉर्मूलेशन हाइपरपैरामीटर्स को डिफरेंशिएबल बनाता है, जिससे एक ही पास में वेट्स, कोवेरिएंस और प्रायर प्रिसिजन का संयुक्त अनुकूलन संभव होता है। लेखक दावा करते हैं कि यह अधिकांश डेटासेट्स पर ग्रिड-सर्च क्रॉस-वैलिडेशन प्रदर्शन से मेल खाता है।
टाइट ऑप्टिमाइजेशन ज्योमेट्री (Tighter Optimization Geometry): बेथे ऑब्जेक्टिव MAP और ELBO के बीच स्थित है ( $L_{MAP} \le L_{Bethe} \le L_{ELBO}$ )। यह उस संरचनात्मक जेन्सन गैप को हटा देता है जिसे कोई भी वेरिएशनल फैमिली बंद नहीं कर सकती।
क्लोज्ड-फॉर्म प्रेडिक्टिव्स (Closed-Form Predictives): दोनों रिग्रेशन और वर्गीकरण ऑब्जेक्टिव क्लोज्ड-फॉर्म प्रेडिक्शन प्रदान करते हैं, जिससे इन्फरेंस लागत मानक नियतात्मक नेटवर्क के समान बनी रहती है।

प्रायोगिक परिणाम (Experimental Results)
विधि का मूल्यांकन 8 UCI रिग्रेशन और 12 UCI वर्गीकरण बेंचमार्क पर एक साझा हाइपरपैरामीटर व्यवस्था (सिंगल हिडन लेयर, विड्थ 50, फुल-बैच Adam) के तहत किया गया।

प्रदर्शन (Performance): बेथे वेरिएंट्स (विशेष रूप से Bethe-FG फुल कोवेरिएंस के साथ और Bethe-Diag डायगोनल कोवेरिएंस के साथ) ने अधिकांश नेगेटिव लॉग-लाइकेलीहुड (NLL) और कैलिब्रेशन मेट्रिक्स पर संदर्भ विधियों (MAP, Laplace, VBLL, MC Dropout, Deep Ensembles) के बराबर या उनसे बेहतर प्रदर्शन किया।
- रिग्रेशन में, Bethe-FG या Bethe-Diag 8 में से 6 डेटासेट्स पर सर्वश्रेष्ठ या सर्वश्रेष्ठ में से एक था।
- वर्गीकरण में, ऑर्डिनल बेथे वेरिएंट 8 में से 6 डेटासेट्स पर सर्वश्रेष्ठ या सर्वश्रेष्ठ में से एक था।
मल्टी-पास विधियों के साथ तुलना (Comparison to Multi-Pass Methods): बेथे ने डीप एनसेम्बल्स (5x लागत) और MC ड्रॉपआउट (50x लागत) के मुकाबले प्रतिस्पर्धी परिणाम दिए, जबकि इसमें केवल एक फॉरवर्ड पास की आवश्यकता थी।
एम्पिरिकल बेज़ बनाम क्रॉस-वैलिडेशन (Empirical Bayes vs. Cross-Validation): प्रायर प्रिसिजन $\alpha$ के संयुक्त एम्पिरिकल बेज़ अनुकूलन ने लगभग सभी डेटासेट-वेरिएंट संयोजनों पर ग्रिड-सर्च क्रॉस-वैलिडेशन परिणामों से मेल खाया, जिससे बाहरी हाइपरपैरामीटर लूप की आवश्यकता समाप्त हो गई।
एब्लेशन (Ablation): एक लीनियर-मॉडल सेटिंग (नो बैकबोन) में, एम्पिरिकल बेज़ ने ट्यून्ड रिज/प्रोबिट रिग्रेशन से मेल खाया, जो पुष्टि करता है कि यह तंत्र न्यूरल नेटवर्क कन्फाउंड्स के बिना काम करता है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि प्रत्यक्ष बेथे मिनिमाइजेशन, वेरिएशनल इन्फरेंस का एक सिद्धांत आधारित विकल्प प्रदान करता है जो ELBO में निहित संरचनात्मक जेन्सन गैप को हटा देता है। ट्री-स्ट्रक्चर्ड एप्रोक्सिमेशन पर सटीक इन्फरेंस की सैद्धांतिक कठोरता का लाभ उठाते हुए, यह ढांचा प्राप्त करता है:

कैलिब्रेटेड अनसर्टेंटी (Calibrated Uncertainty): जैसा कि 'टू-मून' (Two-Moons) बेंचमार्क पर दर्शाया गया है, बेथे कैलिब्रेटेड अनसर्टेंटी कंटूर बनाता है जो डेटा से दूर फैलता है, जबकि MAP ओवरकॉन्फिडेंट है और लैप्लेस खराब तरीके से स्केल किया गया है।
दक्षता (Efficiency): यह एक "मजबूत सिंगल-पास बिल्डिंग ब्लॉक" प्रदान करता है जो मल्टी-पास विधियों (जैसे एनसेम्बल्स) के प्रदर्शन से मेल खाता है, बिना उनके इन्फरेंस ओवरहेड के।
ऑप्टिमाइजेशन लैंडस्केप (Optimization Landscape): लेखक नोट करते हैं कि हालांकि यह ढांचा ट्री ग्राफ्स पर सैद्धांतिक रूप से सटीक है, व्यावहारिक अनुकूलन चुनौतियां मौजूद हैं (जैसे रिग्रेशन में "वैरिएंस स्टार्वेशन" जहाँ ऑब्जर्वेशन नॉइज़ अनसर्टेंटी को सोख लेता है, या "अल्फा-रनवे" जहाँ प्रायर प्रिसिजन विचलन करता है)। हालांकि, वे इन्हें संयुक्त एम्पिरिकल बेज़ लैंडस्केप की विशिष्ट विफलता मोड के रूप में वर्णित करते हैं, न कि बेथे फ्रेमवर्क की मौलिक सीमाओं के रूप में।

यह शोध पत्र निष्कर्ष निकालता है कि यह दृष्टिकोण बेथे मिनिमाइजेशन के माध्यम से नियतात्मक नेटवर्क की कम्प्यूटेशनल दक्षता और ट्री-स्ट्रक्चर्ड एप्रोक्सिमेशन पर सटीक इन्फरेंस की सैद्धांतिक कठोरता के साथ एंड-टू-एंड बेयसियन न्यूरल नेटवर्क को प्रशिक्षित करने की अनुमति देता है।