🔢 mathematics

SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching

यह शोध पत्र ELBO समाधानों के अस्तित्व को सिद्ध करके और ब्लम-ग्लाडिशेव (Blum-Gladyshev) स्थिति के तहत डायनेमिक बैचिंग और प्रीकंडीशनिंग के साथ मिनीबैट प्रोजेक्टेड SGD के लिए अभिसरण गारंटी स्थापित करके, स्टोकेस्टिक ऑप्टिमाइज़ेशन थ्योरी और ब्लैक-बॉक्स वेरिएशनल इन्फरेंस (BBVI) के बीच के अंतर को पाटता है, जो BBVI ग्रेडिएंट्स में अंतर्निहित अनबाउंडेड वेरिएंस को ध्यान में रखता है।

मूल लेखक: Hippolyte Labarrière, Cesare Molinari, Silvia Villa, Lorenzo Rosasco

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hippolyte Labarrière, Cesare Molinari, Silvia Villa, Lorenzo Rosasco

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह वैरिएशनल इन्फरेंस (Variational Inference) का लक्ष्य है: एक जटिल संभाव्यता वितरण (probability distribution) का सर्वोत्तम अनुमान लगाना)। आप पूरी घाटी को एक साथ नहीं देख सकते, इसलिए आपको अपने पैरों के नीचे की जमीन के आधार पर कदम उठाने होंगे।

मशीन लर्निंग की दुनिया में, इसे स्टोकेस्टिक ग्रेडिएंट डिसेंट (Stochastic Gradient Descent - SGD) नामक एल्गोरिदम का उपयोग करके किया जाता है। SGD को एक ऐसे हाइकर (पर्वतारोही) के रूप में सोचें जो ढलान की ओर छोटे कदम ले रहा है। आमतौर पर, हम यह मान लेते हैं कि जमीन कुछ हद तक अनुमानित है: यदि आप एक कदम उठाते हैं, तो ढलान बहुत अधिक नाटकीय रूप से नहीं बदलती है।

हालाँकि, ब्लैक-बॉक्स वैरिएशनल इन्फरेंस (Black-Box Variational Inference - BBVI) में, जमीन बेहद खतरनाक है। आपके द्वारा मापा गया "ढलान" (ग्रेडient) अविश्वसनीय रूप से शोर भरा (noisy) है। वास्तव में, शोध पत्र का तर्क है कि यह शोर केवल यादृच्छिक (random) नहीं है; यह लक्ष्य से जितनी दूर होता जाता है, उतना ही अत्यधिक तेज होता जाता है। मानक हाइकिंग नियम (गणितीय धारणाएं) कहते हैं कि शोर एक निश्चित सीमा के भीतर रहना चाहिए, लेकिन यहाँ, शोर आपके लक्ष्य से आपकी दूरी के साथ द्विघात रूप से (quadratically) बढ़ता है। यह ऐसा है जैसे आप एक पहाड़ी के नीचे उतरने की कोशिश कर रहे हों जहाँ लक्ष्य से दूर होने पर हवा और भी अधिक शक्तिशाली होती जाती है।

शोध पत्र का समाधान: एक स्मार्ट हाइकिंग रणनीति

लेखक, हिप्पोलिट लैबारे और उनके सहयोगियों ने इस शोर भरी जमीन में हाइकर को जीवित रहने और वास्तव में तल तक पहुँचने में मदद करने के लिए दो मुख्य उपकरण प्रस्तावित किए हैं:

1. "डायनामिक बैचिंग" बैकपैक (The "Dynamic Batching" Backpack)

आमतौर पर, एक हाइकर यह तय करने के लिए कि उसे कहाँ कदम रखना है, जमीन के एक छोटे से हिस्से को देखता है। मशीन लर्निंग में, इसे "बैच साइज ऑफ 1" कहा जाता है।

समस्या: यदि जमीन बहुत शोर भरी है, तो केवल एक स्थान को देखना ढलान का एक बहुत ही खराब विचार देता है।
समाधान: शोध पत्र सुझाव देता है कि जैसे-जैसे आप तल के करीब पहुँचते हैं या जैसे-जैसे आप आगे बढ़ते हैं, आपको अधिक जमीन (बैच साइज बढ़ाकर) देखनी चाहिए।
उपमा: कल्पना कीजिए कि आप एक धुंधले जंगल में हैं। जब आप दूर होते हैं, तो आप शायद पेड़ों के बीच से बस झाँकते हैं। लेकिन जैसे-जैसे आप अपनी मंजिल के करीब पहुँचते हैं, आप एक बड़े क्षेत्र का बारीकी से निरीक्षण करना शुरू कर देते हैं ताकि आप किसी खाई में न गिर जाएँ। समय के साथ अधिक नमूने (samples) लेकर (अधिक जमीन देखकर), आप शोर को कम (smooth out) कर देते हैं।

2. "प्रीकंडीशनिंग" कंपास (The "Preconditioning" Compass)

कभी-कभी, घाटी केवल खड़ी ही नहीं होती; उसका आकार भी अजीब हो सकता है। शायद यह एक लंबी, संकरी घाटी (canyon) हो। यदि आप हर दिशा में समान आकार के कदम उठाते हैं, तो आप घाटी की दीवारों से टकराकर इधर-उधर उछल सकते हैं बजाय इसके कि आप आगे बढ़ें।

समस्या: "लोकेशन" (आप कहाँ हैं) और "स्केल" (वितरण कितना चौड़ा है) में शोर अलग-अलग व्यवहार करता है। एक बहुत शोर भरा हो सकता है, जबकि दूसरा शांत।
समाधान: लेखक एक प्रीकंडीशनिंग मैट्रिक्स का उपयोग करते हैं। इसे एक स्मार्ट कंपास के रूप में सोचें जो आपको बताता है, "हे, बाईं ओर जमीन फिसलन भरी है, इसलिए वहां छोटे कदम लें। दाईं ओर जमीन ठोस है, इसलिए आप बड़े कदम ले सकते हैं।"
परिणाम: यह शोर को संतुलित करता है। यह हाइकर को शोर के सबसे तेज हिस्से द्वारा रास्ते से भटकने से रोकता है।

उन्होंने क्या सिद्ध किया?

शोध पत्र दो प्रमुख दावे करता है, जो कठोर गणित द्वारा समर्थित हैं:

गंतव्य का अस्तित्व है: इससे पहले कि आप घाटी के तल को खोज सकें, आपको यह सुनिश्चित करना होगा कि एक तल वास्तव में मौजूद है। कई पिछले शोध पत्रों में, शोधकर्ताओं ने केवल यह मान लिया था कि समाधान मौजूद है। इन लेखकों ने सिद्ध किया कि एक विस्तृत श्रेणी के वितरणों (एलिप्टिक लोकेशन-स्केल फैमिली, जिसमें गॉसियन और लाप्लास वितरण शामिल हैं) के लिए, एक समाधान निश्चित रूप से मौजूद है, बशर्ते कि लक्षित फलन (target function) पर्याप्त तेजी से बढ़े।
हाइकर वहाँ पहुँचेगा: उन्होंने सिद्ध किया कि यदि आप उनके विशिष्ट संयोजन—डायनामिक बैचिंग (जैसे-जैसे आप आगे बढ़ते हैं, अधिक जमीन देखना) और प्रीकंडीशनिंग (भू-भाग के आधार पर अपने कदम का आकार समायोजित करना)—का उपयोग करते हैं, तो एल्गोरिदम समाधान तक पहुँचने की गारंटी देता है।
- उन्होंने दिखाया कि यह "फाइनाइट टाइम" (निर्धारित कदमों की संख्या में आप कितनी तेजी से पहुँचते हैं) और "एसिम्प्टोटिक" (क्या होता है यदि आप अनंत काल तक चलते रहते हैं) दोनों के लिए काम करता है।
- महत्वपूर्ण रूप से, उन्होंने दिखाया कि भले ही शोर अनबाउंडेड (unbounded) हो (यह बहुत बड़ा हो सकता है), ये दो तकनीकें इसे प्रभावी ढंग से नियंत्रित करती हैं।

"वास्तविक दुनिया" का परीक्षण

यह सिद्ध करने के लिए कि उनका सिद्धांत काम करता है, उन्होंने एक उच्च-आयामी समस्या (200 आयाम, जो 200 अलग-अलग दिशाओं वाली घाटी के समान है) के साथ एक सिमुलेशन चलाया।

परिणाम: मानक हाइकिंग विधि (साधारण SGD) धीमी और अस्थिर थी।
नई विधि: स्मार्ट कंपास (प्रीकंडीशनिंग) और डायनामिक बैकपैक (बैचिंग) का उपयोग करने वाली विधि बहुत अधिक तेज़ी से और सुचारू रूप से तल तक पहुँच गई।
मुख्य अंतर्दृष्टि: शोध पत्र इस बात पर जोर देता है कि केवल अधिक कदम उठाना ही पर्याप्त नहीं है; आपको यह बदलकर स्मार्ट कदम उठाने की आवश्यकता है कि आप कितने डेटा को देखते हैं और आप अपनी गति को कैसे स्केल करते हैं।

सारांश

सरल शब्दों में, यह शोध पत्र कहता है: "हम जानते हैं कि इन जटिल संभाव्यता समस्याओं को हल करने का मानक तरीका गणितीय रूप से अस्थिर है क्योंकि शोर बहुत तेज हो जाता है। हमने सिद्ध किया कि एक समाधान मौजूद है, और हमने दिखाया है कि एक 'स्मार्ट कंपास' का उपयोग करके कदमों को संतुलित करने और एक 'डायनामिक बैकपैक' का उपयोग करके जैसे-जैसे आप आगे बढ़ते हैं अधिक डेटा एकत्र करने से, आप सबसे शोर भरे, सबसे अराजक वातावरण में भी विश्वसनीय रूप से उत्तर खोज सकते हैं।"

तकनीकी सारांश: वेरिएशनल इन्फरेंस के लिए SGD: प्रीकंडीशनिंग और डायनेमिक बैचिंग के माध्यम से अनबाउंडेड वेरिएंस (Unbounded Variance) का समाधान

समस्या विवरण
ब्लैक-बॉक्स वेरिएशनल इन्फरेंस (BBVI), एट्रैक्टेबल पोस्टीरियर डिस्ट्रीब्यूशंस को एविडेंस लोअर बाउंड (ELBO) को ऑप्टिमाइज़ करके अनुमानित करता है, जिसके लिए स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) का उपयोग किया जाता है। इस सेटिंग में एक मौलिक चुनौती यह है कि ELBO के स्टोकेस्टिक ग्रेडिएंट्स में स्वाभाविक रूप से अनबाउंडेड वेरिएंस (unbounded variance) होता है। विशेष रूप से, वेरिएंस ऑप्टिमम से दूरी के साथ द्विघाती (quadratically) रूप से बढ़ता है, जो क्लासिकल SGD कन्वर्जेंस एनालिसिस के लिए आवश्यक यूनिफॉर्मली बाउंडेड वेरिएंस की मानक धारणा का उल्लंघन करता है। इसके बजाय, ये ग्रेडिएंट्स कमजोर ब्लम-ग्लाडीशेव (Blum-Gladyshev - BG) स्थिति (condition) का पालन करते हैं। हालांकि हालिया साहित्य ने स्थापित किया है कि BBVI ग्रेडिएंट्स BG स्थिति को संतुष्ट करते हैं, लेकिन मिनिबैचिंग और सामान्य सेटिंग्स में प्रीकंडीशनिंग के उपयोग के संबंध में, BG के तहत SGD के लिए सैद्धांतिक कन्वर्जेंस गारंटी और BBVI के व्यावहारिक कार्यान्वयन के बीच एक अंतर बना हुआ है।

कार्यप्रणाली (Methodology)
यह शोध डिस्ट्रीब्यूशन के व्यापक वर्ग एलिप्टिक लोकेशन-स्केल फैमिलीज़ (जिसमें गॉसियन, लाप्लास और स्टूडेंट-टी डेंसिटी शामिल हैं) के भीतर नेगेटिव ELBO के अनुकूलन (optimization) पर केंद्रित है। लेखक मिनिबैच प्रोजेक्टेड स्टोकेस्टिक ग्रेडिएंट डिसेंट (PSGD) का विश्लेषण करते हैं, जो दो प्रमुख तंत्रों से सुसज्जित है:

प्रीकंडीशनिंग (Preconditioning): लोकेशन ( $\mu$ ) और स्केल ( $\Sigma$ ) मापदंडों के विशिष्ट वेरिएंस विशेषताओं के अनुसार स्टेप साइज को अनुकूलित करने के लिए एक डायगोनल स्केलिंग मैट्रिक्स $\Lambda$ लागू किया जाता है।
डायनेमिक बैचिंग (Dynamic Batching): इटरेशन के दौरान मिनिबैच साइज ( $N_k$ ) को बदलने की अनुमति दी जाती है, जो या तो स्थिर रहता है या बढ़ता है, ताकि ग्रेडिएंट वेरिएंस रिडक्शन और कम्प्यूटेशनल कॉस्ट के बीच संतुलन बनाया जा सके।

विश्लेषण BG स्थिति के तहत किया गया है, जहाँ ग्रेडिएंट एस्टीमेट का अपेक्षित स्क्वेयर्ड नॉर्म, ऑप्टिमम से दूरी के एक क्वाड्रेटिक फंक्शन द्वारा सीमित होता है। लेखक लोकेशन और स्केल मापदंडों के लिए प्रीकंडीशनिंग के साथ मिनिबैच PSGD के लिए कन्वर्जेंस रेट्स का विश्लेषण करते हैं। वे फाईनाइट-टाइम होराइजन्स और एसिम्प्टोटिक रिजीम्स (asymptotic regimes) दोनों के लिए कन्वर्जेंस रेट्स निकालते हैं, जिसमें कॉनवेक्स (convex) और नॉन-कॉनवेक्स (non-convex) दोनों सेटिंग्स शामिल हैं (लatter के मामले में बाउंडेड इटरिट्स की धारणा के तहत)।

प्रमुख योगदान
यह शोध तीन प्राथमिक सैद्धांतिक योगदान देता है:

मिनिमाइज़र का अस्तित्व (Existence of a Minimizer): लॉग-जॉइंट डेंसिटी $\log q(x, z)$ पर न्यूनतम विकास धारणाओं (minimal growth assumptions) के तहत, लेखक नेगेटिव ELB के ग्लोबल मिनिमाइज़र के अस्तित्व को सिद्ध करते हैं। यह एक मौलिक गुण को संबोधित करता जिसे अक्सर साहित्य में ए प्रियोरी (a priori) माना जाता है लेकिन सामान्य एलिप्टिक फैमिलीज़ के लिए शायद ही कभी सिद्ध किया जाता है।
मिनिबैच PSGD के लिए कन्वर्जेंस गारंटी: लेखक प्रीकंडीशनिंग और डायनेमिक बैचिंग के साथ BG स्थिति के तहत मिनिबैच PSGD के लिए व्यापक कन्वर्जेंस रेट्स स्थापित करते हैं। वे फाईनाइट-टाइम बाउंड्स और एसिम्प्टोटिक रेट्स (लगभग निश्चित रूप से कन्वर्जेंस) प्रदान करते हैं, जो यह दर्शाते हैं कि कैसे डायनेमिक बैचिंग और प्रीकंडीशनिंग मिलकर BBVI में निहित अनबाउंडेड वेरिएंस को व्यवस्थित रूप से संभाल सकते हैं।
SGD थ्योरी का सामान्यीकरण: यह कार्य मौजूदा SGD कन्वर्जेंस थ्योरी को मिनिबैच एस्टीमेटर्स और प्रीकंडीशनिंग मैट्रिसेस को शामिल करने के लिए विस्तारित करता है। यह स्पष्ट रूप से मिनिबैच साइज और प्रीकंडीशनिंग मैट्रिक्स की भूमिका को क्वांटिफाई करता है, जिससे यह पता चलता है कि ये तंत्र वेरिएंस को कम करने में कैसे मदद करते हैं, जिससे जटिल, अनबाउंडेड वेरिएंस सेटिंग्स में भी कठोर गारंटी संभव हो पाती है।

परिणाम

फाईनाइट-टाइम रेट्स: स्टोकेस्टिक ग्रेडिएंट इवैल्यूएशन के एक निश्चित बजट $E$ के लिए, लेखक उपयुक्त स्टेप साइज और बैच साइज को ट्यून करके $O(1/\sqrt{E})$ (अनिश्चित रूप से करीब) के क्रम के कन्वर्जेंस रेट्स प्राप्त करते हैं। वे प्रदर्शित करते हैं कि विभिन्न रणनीतियाँ (जैसे घटता हुआ स्टेप साइज और स्थिर बैच, घटता हुआ स्टेप साइज और बढ़ता हुआ बैच, या स्थिर स्टेप साइज और बढ़ता हुआ बैच) इन दरों को प्राप्त कर सकती हैं, और इष्टतम विकल्प कम्प्यूटेशनल बाधाओं (जैसे मेमोरी उपलब्धता बनाम पैरेललाइजेशन क्षमताएं) पर निर्भर करता है।
प्रीकंडीशनिंग प्रभावकारिता: सैद्धांतिक विश्लेषण दिखाता है कि प्रीकंडीशनिंग (विशेष रूप से बेस डिस्ट्रीब्यूशन के कर्टोसिस के आधार पर $\Sigma$ पैरामीटर के लिए स्टेप साइज को स्केल करना) कन्वर्जेंस कांस्टेंट्स में महत्वपूर्ण सुधार करता है। हाई-डायमेंशनल डेटा ( $d=200$ ) के साथ बेयसियन लॉजिस्टिक रिग्रेशन पर किए गए संख्यात्मक प्रयोग पुष्टि करते हैं कि एडेप्टेड स्केलिंग और मिनिबैचिंग, ग्रेडिएंट इवैल्यूएशन की संख्या और CPU समय दोनों के संदर्भ में तेज़ कन्वर्जेंस की ओर ले जाते हैं, विशेष रूप से प्रोजेक्शन स्टेप के लिए आवश्यक महंगी सिंगुलर वैल्यू डिकंपोजिशन (SVD) ऑपरेशन्स की आवृत्ति को कम करके।
एसिम्प्टोटिक कन्वर्जेंस: स्टेप साइज और बैच साइज पर समेबिलिटी कंडीशंस (summability conditions) के तहत, एल्गोरिदम लगभग निश्चित रूप से (almost sure) कन्वर्जेंस प्राप्त करता है। पेपर स्टेप साइज और बैच साइज शेड्यूल्स के लिए विशिष्ट नीतियां प्रदान करता है जो इन शर्तों को पूरा करते हुए इष्टतम कन्वर्जेंस रेट्स बनाए रखते हैं।

महत्व
यह शोध स्टोकेस्टिक ऑप्टिमाइज़ेशन थ्योरी और BBVI की व्यावहारिक मांगों के बीच के अंतर को पाटता है। BG की शिथिल (relaxed) स्थिति के तहत समाधान के अस्तित्व को सिद्ध करके और कन्वर्जेंस गारंटी स्थापित करके, यह कार्य एक्सपोनेंशियल फैमिलीज़ या कंजुगेट मॉडल्स जैसी प्रतिबंधात्मक धारणाओं पर निर्भर किए बिना, BBVI में मानक SGD-आधारित विधियों के उपयोग के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है। लेखक तर्क देते हैं कि डायनेमिक बैचिंग और प्रीकंडीशनिंग, उस अनबाउंडेड वेरिएंस को प्रबंधित करने के लिए सिद्धांतवादी तंत्र हैं जो वेरिएशनल इन्फरेंस समस्याओं को विशिष्ट बनाता है। हालांकि वर्तमान विश्लेषण एलिप्टिक लोकेशन-स्केल फैमिलीज़ तक सीमित है और कॉनवेक्सिटी (या नॉन-कॉनवेक्स मामलों के लिए बाउंडेड इटरिट्स) पर निर्भर है, यह ढांचा भविष्य के व्यापक इन्फरेंस टास्क और ऑप्टिमाइज़ेशन रणनीतियों के लिए सैद्धांतिक गारंटी का विस्तार करने का मार्ग प्रशस्त करता है।