📊 statistics

Learning Latent Energy-Based Models via Interacting Particle Langevin Dynamics

यह शोध पत्र एक निरंतर-समय ढांचे (continuous-time framework) और इंटरैक्टिंग पार्टिकल लैंग्विन डायनेमिक्स पर आधारित एक व्यावहारिक विविक्त एल्गोरिदम (discretized algorithm) प्रस्तावित करता है, ताकि मैक्सिमम मार्जिनल लाइकलीहुड एस्टीमेशन समस्याओं को प्रमाणिक रूप से हल करके एनर्जी-बेस्ड प्रायर्स वाले लेटेंट वेरिएबल मॉडल्स को कुशलतापूर्वक सीखा जा सके।

मूल लेखक: Joanna Marks, Tim Y. J. Wang, O. Deniz Akyildiz

प्रकाशित 2026-07-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joanna Marks, Tim Y. J. Wang, O. Deniz Akyildiz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट केवल वही न देखे जो वह देख रहा है, बल्कि दुनिया के "नियमों" को भी समझे ताकि वह अपने आप नए, वास्तविक चित्र बना सके। यह एक विशेष प्रकार के AI का काम है जिसे एनर्जी-बेस्ड मॉडल (EBM) कहा जाता है। एक EBM को पहाड़ियों और घाटियों वाले परिदृश्य (लैंडस्केप) के रूप में समझें। रोबोट को सबसे गहरी घाटियों को खोजना है क्योंकि वे सबसे अधिक "वास्तविक" या "संभावित" चित्रों का प्रतिनिधित्व करती हैं। समस्या क्या है? मानचित्र बहुत विशाल, धुंधला और छिपे हुए खतरों से भरा है।

लंबे समय तक, इन रोबोटों को सिखाने का मानक तरीका एक अकेले खोजकर्ता को एक बहुत लंबी, धीमी पदयात्रा पर भेजने जैसा था। यह खोजकर्ता (एक विधि जिसे MCMC कहा जाता है) एक समय में एक ही स्थान की जांच करते हुए इधर-उधर घूमता रहता था। यह सटीक था, लेकिन अविश्वसनीय रूप से धीमा था। यदि आप पूरे पर्वत श्रृंखला का मानचित्र बनाना चाहते, तो खोजकर्ता को इसमें वर्षों लग सकते थे।

बड़ा विचार: एक अकेले हाइकर के बजाय एक झुंड (स्वार्म)
इस शोध पत्र के लेखकों, जोआना मार्क्स, टिम वाई. जे. वांग और ओ. डेनिज़ अकील्डिज़ ने पूछा: "क्या होगा अगर हम एक थके हुए अकेले खोजकर्ता के बजाय, उन्हें पूरा एक झुंड भेज दें?"

उन्होंने EBIPLA (एनर्जी-बेस्ड इंटरैक्टिंग पार्टिकल लैंग्विन एल्गोरिदम) नामक एक नई विधि विकसित की। एक अकेले थके हुए हाइकर के बजाय, वे "कणों" (particles) की एक टीम का उपयोग करते हैं (सोचिए जैसे पक्षियों का एक झुंड या मधुमक्खियों का एक समूह)। ये कण केवल बिना किसी उद्देश्य के इधर-उधर नहीं भटकते; वे एक-दूसरे से बात करते हैं। यदि एक पक्षी को एक गहरी घाटी दिखती है, तो पूरा झुंड अपने उड़ने के मार्ग को उस क्षेत्र की जांच करने के लिए बदल लेता है।

सीक्रेट सॉस: एक साथ दो काम
आमतौर पर, इन मॉडलों को सिखाना एक दो-चरणीय नृत्य है जो एक लूप में फंस जाता है:

मानचित्र का अनुमान लगाएं: यह समझने की कोशिश करें कि घाटियाँ कहाँ हैं।
मानचित्र की जाँच करें: अनुमान को सत्यापित करने के लिए एक हाइकर भेजें।
दोहराएं: इसे बार-बार करें, जिसमें बहुत समय लगता है।

लेखकों की नई तरकीब दोनों कामों को एक साथ करने की है। कणों का झुंड एक ही समय में दो काम करता है:

वे रोबोट के खड़े होने के लिए सबसे अच्छी जगहों को खोजने के लिए "छिपे हुए कमरे" (लेटेंट स्पेस) की खोज करते हैं।
वे वास्तविक समय में रोबोट के मस्तिष्क (पैरामीटर्स) को अपडेट करते हैं, जो झुंड द्वारा देखी गई चीज़ों के आधार पर होता है।

यह एक ऐसी टीम की तरह है जो न केवल इलाके का मानचित्र बनाती है, बल्कि कमांडर को तुरंत बताती है कि रणनीति को कैसे समायोजित किया जाए, जबकि वे अभी भी दौड़ रहे होते हैं।

उन्होंने क्या सिद्ध किया (और क्या नहीं)
टीम ने इसे केवल कंप्यूटर पर परीक्षण नहीं किया और उम्मीद नहीं की; उन्होंने इसके चारों ओर एक गणितीय किला बनाया।

प्रमाण: उन्होंने सिद्ध किया कि यदि आप अपने झुंड में अधिक कण जोड़ते जाते हैं, तो टीम का सामूहिक अनुमान सटीक उत्तर के करीब पहुंच जाता है। उन्होंने दिखाया कि भले ही आपके पास एक विशाल डेटासेट हो, आपको अच्छे परिणाम प्राप्त करने के लिए एक विशाल झुंड की आवश्यकता नहीं है। गणित बताता है कि जैसे-जैसे आपका डेटा बढ़ता है, झुंड और भी कुशल हो जाता है।
सिमुलेशन: उन्होंने नकली डेटा (जैसे एक "स्विस रोल" आकार) और वास्तविक छवियों (जैसे CelebA से चेहरे और SVHN से कारें) पर इसका परीक्षण किया। इन सिमुलेशन में, उनकी झुंड विधि पुरानी "एकल हाइकर" विधि की तुलना में काफी तेज़ थी। उदाहरण के लिए, 64 कणों वाले एक कार्य में, पुरानी विधि को नए झुंड विधि की तुलना में बहुत अधिक समय लगा, भले ही दोनों एक ही मात्रा में डेटा देख रहे थे।
परिणाम: इमेज डेटासेट पर, उनकी विधि ने मौजूदा सर्वोत्तम विधियों (जैसे LEBM) के समान ही अच्छी छवियां बनाईं, लेकिन वे वहां बहुत तेज़ी से पहुँचीं। SVHN नामक डेटासेट पर, उन्होंने वास्तव में दिखाया कि अधिक कण जोड़ने से (1 से 32 तक) छवियां बेहतर दिखने लगीं, जो उनके इस सिद्धांत की पुष्टि करती है कि अधिक स्काउट्स का अर्थ है एक बेहतर मानचित्र।

उन्होंने किसे खारिज किया
लेखक स्पष्ट रूप से बताते हैं कि उनकी विधि क्या नहीं है।

वे किसी "जादुई" शॉर्टकट का उपयोग नहीं कर रहे हैं जो कठिन गणित को अनदेखा करता है। वे अभी भी उसी कठिन समस्या को हल कर रहे हैं, बस एक स्मार्ट टीम के साथ।
वे यह दावा नहीं कर रहे हैं कि यह हर संभावित AI समस्या के लिए अंतिम समाधान है। वे स्वीकार करते हैं कि उनका गणितीय प्रमाण तब सबसे अच्छा काम करता है जब "परिदृश्य" चिकना और कटोरे के आकार का (लॉग-कॉन्केविटी नामक स्थिति) हो। वास्तविक दुनिया की छवियां ऊबड़-खाबड़ और अस्त-व्यस्त हो सकती हैं, इसलिए हालांकि उनकी विधि उनके परीक्षणों में बहुत अच्छा काम करती है, लेकिन सख्त गणितीय गारंटी चिकने मामलों के लिए है।
वे यह नहीं कह रहे हैं कि पुरानी विधियां बेकार हैं। पुराना "एकल हाइकर" (LEBM) अभी भी काम करता है और अच्छी छवियां बनाता है; बस उसे वहां तक पहुँचने में बहुत अधिक समय लगता है।

निष्कर्ष
लेखक सुझाव देते हैं कि एक "झुंड" दृष्टिकोण का उपयोग करके जहाँ कई कण परस्पर क्रिया करते हैं और एक साथ सीखते हैं, हम इन जटिल AI मॉडलों को गुणवत्ता खोए बिना बहुत तेज़ी से प्रशिक्षित कर सकते हैं। उन्होंने गणितीय रूप से सिद्ध किया कि यह झुंड सही उत्तर की ओर अभिसरित (converge) होता है और प्रयोगों में दिखाया कि यह पारंपरिक, धीमी और स्थिर विधियों की तुलना में बहुत तेज़ी से चलता है। यह एक अकेले, धीमी पदयात्रा को एक तेज़, समन्वित उड़ान में बदलने का एक तरीका है, जिससे रोबोट को दुनिया को समझने के लिए सिखाना आसान हो जाता है।

तकनीकी सारांश: इंटरैक्टिंग पार्टिकल लैंज़िविन डायनेमिक्स के माध्यम से लेटेंट एनर्जी-बेस्ड मॉडल्स को सीखना

समस्या विवरण

एनर्जी-बेस्ड मॉडल्स (EBMs) एक लचीला ढांचा प्रदान करते हैं, जो $e^{-U_\theta(x)}$ के समानुपाती संभाव्यता घनत्व (probability densities) को परिभाषित करके जनरेटिव मॉडलिंग करते हैं। हालांकि, MLE के माध्यम से EBM को प्रशिक्षित करना चुनौतीपूर्ण है क्योंकि नॉर्मलाइजिंग कांस्टेंट (normalizing constant) अग्राह्य (intractable) होता है और उच्च-आयामी सेटिंग्स में मॉडल वितरण से नमूना लेना (sampling) कठिन होता है, विशेष रूप से जहाँ MCMC विधियाँ धीमी मिक्सिंग से ग्रस्त होती हैं।

इन समस्याओं को हल करने के लिए, लेटेंट एनर्जी-बेस्ड मॉडल्स (LEBMs) प्रस्तावित किए गए हैं, जो डेटा को एक कम-आयामी लेटेंट वेरिएबल पर आधारित एक लाइकलीहुड (डिकोडर) के रूप में मॉडल करते हैं, जहाँ लेटेंट स्पेस पर प्रायर (prior) एक EBM है। LEMLs को प्रशिक्षित करने के लिए मैक्सिमम मार्जिनल लाइकलीहुड एस्टीमेशन (MMLE) समस्या को हल करना आवश्यक है। यह एक "डबली-इंट्रैक्टेबल" (doubly-intractable) चुनौती प्रस्तुत करता है:

अग्राह्य पोस्टीरियर (Intractable Posterior): मार्जिनल लाइकलीहुड के लिए लेटेंट वेरिएबल्स को इंटीग्रेट करने की आवश्यकता होती है, जिसके लिए पोस्टीरियर $p_\theta(x|y)$ से सैंपलिंग करना आवश्यक है।
अग्राह्य प्रायर (Intractable Prior): EBM प्रायर का नॉर्मलाइजिंग कांस्टेंट अज्ञात है।

मौजूदा दृष्टिकोण, जैसे कि पांग एट अल. (2020) द्वारा, डबल MCMC लूप्स (एक पोस्टीरियर के लिए, एक प्रायर के लिए) वाले एक्सपेक्टेशन-मैक्सिमाइजेशन (EM)-समान प्रक्रियाओं का उपयोग करते हैं। ये विधियाँ महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पेश करती हैं और नॉन-एसिम्टोटिक कन्वर्जेंस विश्लेषण को जटिल बनाती हैं।

कार्यप्रणाली

लेखक EBIPLA (Energy-Based Interacting Particle Langevin Algorithm) का प्रस्ताव करते हैं, जो लेटेंट LEBMs के लिए MMLE समस्या को हल करने के लिए एक नवीन डिफ्यूजन-आधारित दृष्टिकोण है।

सैद्धांतिक ढांचा

यह विधि अनुकूलन (optimization) के साथ लैंज़िविन डायनेमिक्स के संबंध का लाभ उठाती है। लेखक एक इंटरैक्टिंग पार्टिकल सिस्टम का उपयोग करते हुए एक निरंतर-समय ढांचे (continuous-time framework) को परिभाषित करते हैं जो स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) पर आधारित है।

संयुक्त डायनेमिक्स (Joint Dynamics): सिस्टम मापदंडों $\theta_t$ और कणों के एक संग्रह $\{X_{m,n}^t\}$ (जहाँ $m$ डेटा पॉइंट्स को इंडेक्स करता है और $n$ कणों को इंडेक्स करता है) को विकसित करता है।
SDE फॉर्मूलेशन:
- पैरामीटर $\theta_t$ उन डायनेमिक्स के अनुसार विकसित होता है जो मार्जिनल लॉग-लाइकलीहुड $\ell_M(\theta)$ के मैक्सिमाइज़र को लक्षित करते हैं। नॉइज़ स्केलिंग को $\eta = MN$ (जहाँ $M$ डेटा पॉइंट्स की संख्या है और $N$ कणों की संख्या है) पर सेट किया गया है, जो यह सुनिश्चित करता है कि सिस्टम का $\theta$ -मार्जनल $\theta$ के MMLE समाधान पर केंद्रित हो जाए जैसे-जैसे $N$ बढ़ता है।
- कण $X_{m,n}^t$ प्रत्येक डेटा पॉइंट के लिए पोस्टीरियर वितरण $p_\theta(\cdot|y_m)$ को लक्षित करते हुए लैंज़िविन डायनेमिक्स के माध्यम से विकसित होते हैं।
डिस्क्रीटाइजेशन (Discretization): व्यावहारिक एल्गोरिदम बनाने के लिए निरंतर SDEs को यूलर-मारियूरा स्कीम (Euler-Maruyama scheme) का उपयोग करके डिस्क्रीटाइज किया जाता है।

एल्गोरिथमिक कार्यान्वयन

डिस्क्रीट एल्गोरिदम (एल्गोरिदम 1) मापदंडों और कणों को पुनरावृत्ति (iteratively) के माध्यम से अपडेट करता है:

पैरामीटर अपडेट: मापदंडों $(\alpha, \beta)$ को कण प्रणाली द्वारा अनुमानित ग्रेडिएंट्स का उपयोग करके अपडेट किया जाता है। प्रायर पैरामीटर $\alpha$ के लिए अपडेट में प्रायर के सापेक्ष ऊर्जा फंक्शन के ग्रेडिएंट का एक्सपेक्टेशन $E_{p_\alpha}[\nabla_\alpha U_\alpha(x)]$ शामिल है।
प्रायर सन्निकटन (Prior Approximation): चूंकि प्रायर एक्सपेक्टेशन अग्राह्य है, इसलिए इसे प्रायर वितरण को लक्षित करने वाले एक शॉर्ट-रन अनएडजस्टेड लैंज़िविन एल्गोरिदम (ULA) चेन का उपयोग करके अनुमानित किया जाता है।
पार्टिकल अपडेट: प्रत्येक डेटा पॉइंट के लिए, पोस्टीरियर को अनुमानित करने के लिए $N$ कणों को एक साथ अपडेट किया जाता है।
अनुकूलन (Optimization): व्यवहार में, लेखक बड़े डेटासेट्स को संभालने के लिए एडम ऑप्टिमाइज़र और मिनी-बैचिंग का उपयोग करते हैं, जो फुल-डेटा डिस्क्रीटाइजेशन गुणों से मेल खाने के लिए विशिष्ट नॉइज़ स्कीम्स पेश करते हैं।

मुख्य योगदान

निरंतर-समय ढांचा (Continuous-Time Framework): यह पेपर लेटेंट EBMs को प्रशिक्षित करने के लिए एक SDE-आधारित ढांचे को पेश करता है। प्रस्तावित इंटरैक्टिंग पार्टिकल सिस्टम के स्टेशनरी मेजर को हल्के अनुमानों के तहत मार्जिनल लाइकलीहुड के मैक्सिमाइज़र्स पर केंद्रित होने के लिए सिद्ध किया गया है।
व्यावहारिक एल्गोरिदम (EBIPLA): SDEs से एक डिस्क्रीट एल्गोरिदम निकाला गया है, जो क्रमिक MCMC लूप्स के बजाय समवर्ती (simultaneous) पार्टिकल अपडेट्स को प्रतिस्थापित करता है, जिससे कम्प्यूटेशनल ओवरहेड काफी कम हो जाता है।
नॉन-एसिम्टोटिक कन्वर्जेंस गारंटी:
- लॉग-कॉन्केविटी और स्मूथनेस धारणाओं के तहत, लेखक LEBMs को प्रशिक्षित करने के लिए पहले कन्वर्जेंस बाउंड्स प्रदान करते हैं।
- वे सिद्ध करते हैं कि पैरामीटर अनुमान $k$ और कणों $N$ की संख्या बढ़ने के साथ एम्पीरिकल मैक्सिमाइज़र $\theta^\star$ के करीब पहुँच जाते हैं।
- एक नया रीस्केलिंग पेश किया गया है ताकि बाउंड्स को स्पष्ट रूप से डेटासेट आकार $M$ पर निर्भर बनाया जा सके, जो यह दर्शाता है कि मैक्सिमाइज़र से दूरी $M$ बढ़ने के साथ घटती है। यह बड़े डेटासेट्स पर अपेक्षाकृत कम कणों के साथ भी पार्टिकल-आधारित विधियों की प्रभावशीलता को सैद्धांतिक रूप से न्यायसंगत बनाता है।
इनएक्सैक्ट ग्रेडिएंट्स को संभालना: विश्लेषण इस व्यावहारिक सेटिंग तक विस्तारित है जहाँ प्रायर एक्सपेक्टेशन को ULA के माध्यम से अनुमानित किया जाता है, जो इस सन्निकटन द्वारा पेश किए गए बायस (bias) को ध्यान में रखते हुए कन्वर्जेंस बाउंड्स प्रदान करता है।

प्रायोगिक परिणाम

लेखक सिंथेटिक और इमेज डेटासेट्स पर EBIPLA को मान्य करते हैं:

सिंथेटिक डेटासेट्स: रोटेटेड स्विस रोल, हाफ-मून और सर्कल डेटासेट्स पर, EBIPLA बेसलाइन LEBM (पांग एट अल., 2020) के समान सैंपल क्वालिटी प्राप्त करता है लेकिन एक अधिक सटीक ऊर्जा परिदृश्य (energy landscape) सीखता है। महत्वपूर्ण रूप से, EBIPला उल्लेखनीय कम्प्यूटेशनल दक्षता प्रदर्शित करता है; इसका रनटाइम कणों की संख्या के साथ सब-लीनियरली स्केल करता है, जबकि बेसलाइन का रनटाइम MCMC स्टेप्स के साथ सुपर-लीनियरली स्केल करता है।
इमेज डेटासेट्स: SVHN, CIFAR-10 और CelebA64 पर मूल्यांकन करते हुए, EBIPLA अन्य लेटेंट वेरिएबल मॉडल्स (LVMs) और लेटेंट EBMs की तुलना में मीन स्क्वेर्ड एरर (MSE) और फ्रेट चेप्टर इनसेप्शन डिस्टेंस (FID) के मामले में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
- हाई-रेज़ोल्यूशन CelebA-HQ पर, EBIPLA एक अतिरिक्त लेटेंट डिफ्यूजन मॉडल का उपयोग करने वाले अधिक जटिल बेसलाइन (DAMC) के प्रदर्शन के करीब पहुँच जाता है, जबकि मानक LEBM से काफी बेहतर प्रदर्शन करता है।
- SVHN पर प्रयोग दर्शाते हैं कि पोस्टीरियर कणों की संख्या बढ़ाने से जेनरेशन प्रदर्शन में सुधार होता है, जो सैद्धांतिक भविष्यवाणियों के अनुरूप है।
लेटेंट स्पेस: लेटेंट स्पेस इंटरपोलेशन के विज़ुअलाइज़ेशन सुझाव देते हैं कि EBIPLA एक सुचारू और अर्थपूर्ण लेटेंट प्रतिनिधित्व सीखता है।

महत्व और दावे

पेपर का दावा है कि EBIPLA लेटेंट एनर्जी-बेस्ड मॉडल्स को प्रशिक्षित करने के लिए मौजूदा MCMC-आधारित विधियों के लिए एक कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है। इंटरैक्टिंग पार्टिकल सिस्टम और डिफ्यूजन लिमिट्स का लाभ उठाकर, यह विधि उन दोहरे MCMC लूप्स से बचती है जो पिछले दृष्टिकोणों के लिए समस्या बन जाते थे।

लेखक इस बात पर जोर देते हैं कि उनका कार्य LEBMs को प्रशिक्षित करने के लिए पहले सैद्धांतिक कन्वर्जेंस बाउंड्स प्रदान करता है, यह स्थापित करते हुए कि एल्गोरिदम सीमित कणों और डेटा पॉइंट्स के साथ भी MMLE समाधान की ओर बढ़ता है। उनका तर्क है कि पार्टिकल-आधारित दृष्टिकोण बड़े डेटासेट्स पर कम संख्या में कणों के साथ भी प्रभावी रहता है, जो उनके द्वारा प्राप्त बाउंड्स द्वारा समर्थित एक गुण है। हालांकि उनके सैद्धांतिक गारंटियाँ मजबूत लॉग-कॉन्केविटी धारणाओं पर निर्भर करती हैं, लेखक नोट करते हैं कि अंतर्निहित पार्टिकल सिस्टम को अधिक सामान्य, गैर-लॉग-कॉन्केव लैंडस्केप में मैक्सिमाइज़र्स के आसपास केंद्रित होने के लिए डिज़ाइन किया गया है।

पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान कार्यान्वयन प्रायर सन्निकटन के लिए सरल लैंज़िविन चेन्स का उपयोग करता है, यह ढांचा सैंपलर चयन के प्रति उदासीन (agnostic) है और इसे प्रदर्शन में और सुधार के लिए उन्नत सैंपलर (जैसे HMC) या अंडरडैम्प्ड डायनेमिक्स के साथ विस्तारित किया जा सकता है।