🤖 machine learning

SESaMo: Symmetry-Enforcing Stochastic Modulation for Normalizing Flows

यह शोध पत्र SESaMo प्रस्तुत करता है, जो एक नवीन नॉर्मलाइजिंग फ्लो फ्रेमवर्क है जो समरूपता (symmetry) इंडक्टिव बायस को शामिल करने के लिए स्टोकेस्टिक मॉड्यूलेशन का उपयोग करता है, जिससे विविध भौतिक और सांख्यिकीय मॉडलों में सटीक और टूटी हुई समरूपताओं (exact and broken symmetries) को प्रभावी ढंग से सीखना सक्षम होता है।

मूल लेखक: Janik Kreit, Dominic Schuh, Kim A. Nicoli, Lena Funcke

प्रकाशित 2026-07-24

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Janik Kreit, Dominic Schuh, Kim A. Nicoli, Lena Funcke

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं, लेकिन बादलों को देखने के बजाय, आप यह पता लगाने की कोशिश कर रहे हैं कि एक रासायनिक प्रतिक्रिया या धातु के टुकड़े में लाखों सूक्ष्म कण खुद को कैसे व्यवस्थित करेंगे। भौतिकी और रसायन विज्ञान में, ये कण केवल स्थिर नहीं रहते; वे एक अराजक उलझन में नाचते हैं, और सबसे आरामदायक जगह खोजने की कोशिश करते हैं। वैज्ञानिक इसे "बोल्ट्ज़मैन वितरण (Boltzmann distribution) से सैंपलिंग करना" कहते हैं। यह एक फैंसी तरीका है यह कहने का कि, "इन कणों के व्यवस्थित होने के सभी संभावित तरीके क्या हैं, और प्रत्येक तरीके की संभावना कितनी है?" समस्या यह है कि संभावनाओं की संख्या इतनी विशाल है कि यह दुनिया के हर समुद्र तट पर एक विशिष्ट रेत के कण को खोजने जैसा है।

इसे हल करने के लिए, वैज्ञानिक "जेनरेटिव मॉडल्स" (generative models) का उपयोग करते हैं, जो सुपर-स्मार्ट एआई कलाकारों की तरह होते हैं। ये कलाकार कणों की सबसे संभावित व्यवस्थाओं को बनाना सीखते हैं। एक लोकप्रिय प्रकार का कलाकार "नॉर्मलाइजिंग फ्लो" (Normalizing Flow) कहलाता है। एक नॉर्मलाइजिंग फ्लो को एक जादुई, खिंचने वाली रबर की चादर के रूप में सोचें। आप एक सरल, उबाऊ पैटर्न (जैसे बिंदुओं का एक आदर्श घेरा) से शुरू करते हैं, और एआई इस चादर को तब तक खींचता और सिकोड़ता है जब जब तक कि यह उन कणों के जटिल, बिखरे हुए पैटर्न जैसा न दिखने लगे जिनका आप अध्ययन करना चाहते हैं। इस पद्धति की सुंदरता यह है कि यह आपको बता सकता है कि किसी भी विशिष्ट व्यवस्था की संभावना कितनी है, जो वैज्ञानिकों के लिए एक सुपरपावर है।

हालाँकि, इसमें एक पेच है। कई भौतिक प्रणालियों में "समरूपता" (symmetries) होती है। इसका मतलब है कि यदि आप सिस्टम को उल्टा कर देते हैं, या घुमा देते हैं, या दो समान कणों को आपस में बदल देते हैं, तो भौतिकी नहीं बदलती है। यह एक स्नोफ्लेक (हिमपात के कण) की तरह है: यदि आप इसे 60 डिग्री घुमाते हैं तो यह वैसा ही दिखता है। यदि आपका एआई कलाकार इन नियमों को नहीं जानता है, तो वह उन चीजों को सीखने में समय बर्बाद करता है जिन्हें उसे सीखने की आवश्यकता नहीं है, या इससे भी बुरा, वह भ्रमित हो सकता है और केवल चित्र के एक ही हिस्से को सीख सकता है, बाकी हिस्से को अनदेखा कर देता है। इसे "मोड कोलैप्स" (mode collapse) कहा जाता है, जहाँ एआई एक ही ढर्रे में फंस जाता है और अन्य समान रूप से वैध तरीकों को भूल जाता है।

नई तकनीक: सिमेट्री-एनफोर्सिंग स्टोकेस्टिक मॉड्यूलेटर (The Symmetry-Enforcing Stochastic Modulator)

इस शोध पत्र में, लेखक एक नई विधि पेश करते हैं जिसे SESaMo (Symmetry-Enforcing Stochastic Modulation) कहा जाता है। वे उस समस्या को ठीक करना चाहते थे जहाँ एआई कलाकार सममित प्रणालियों (symmetrical systems) के साथ काम करते समय एक ही ढर्रे में फंस जाते हैं, विशेष रूप से तब जब वे समरूपताएं "टूटी" हुई हों (यानी, सिस्टम पलटने पर लगभग समान दिखता है, लेकिन पूरी तरह नहीं)।

SESaMo कैसे काम करता है, इसके लिए एक मनोरंजक उपमा का उपयोग करते हैं:

कल्पना कीजिए कि आप एक तितली का भित्ति चित्र (mural) बनाने की कोशिश कर रहे हैं। तितली के दो पंख हैं जो एक-दूसरे के दर्पण प्रतिबिंब (mirror images) हैं।

पुराना तरीका (कैनोनिकलाइजेशन): आप कलाकार को केवल बायां पंख पेंट करने के लिए मजबूर करते हैं। फिर, आप एक दर्पण लेते हैं और बाएं पंख को सामने रखकर दाएं पंख को बनाते हैं। यह तब बहुत अच्छा काम करता है जब तितली पूरी तरह से सममित हो। लेकिन क्या होगा अगर तितली बीमार है, और बायां पंख बहुत बड़ा है जबकि दायां पंख बहुत छोटा है? यदि आप केवल बाएं पंख को मिरर करते हैं, तो आपका चित्र गलत होगा। पुराना तरीका संघर्ष करता है जब दोनों पक्ष समान नहीं होते।
SESaMo का तरीका: कलाकार को केवल एक तरफ पेंट करने के लिए मजबूर करने के बजाय, SESaMo कलाकार को एक "जादुई पासा" (magic dice) देता है। पहले, कलाकार एक पंख (मान लीजिए बायां) को पूरी तरह से पेंट करता है। फिर, जादुई पासा फेंका जाता है।
- यदि पासे का परिणाम "हेड्स" आता है, तो कलाकार बाएं पंख को वैसा ही रखता है।
- यदि पासे का परिणाम "टेल्स" आता है, तो कलाकार दाएं पंख को बनाने के लिए पंख को पलट देता है।
- गुप्त नुस्खा (The Secret Sauce): पासा निष्पक्ष नहीं है। एआई यह सीखता है कि पासे को कैसे "लोड" करना है। यदि तितली पूरी तरह से सममित है, तो पासा निष्पक्ष (50/50) होता है। लेकिन यदि तितली बीमार है और एक पंख दूसरे से बड़ा है, तो एआई पासे को लोड करना सीखता है ताकि "टेल्स" अधिक बार आए, या कम बार आए, जो वास्तविक दुनिया से मेल खाता हो।

यह "स्टोकेस्टिक मॉड्यूलेशन" (लोड किया गया पासा) मॉडल को तितली का सटीक आकार सीखने की अनुमति देता है, भले ही पंखों के आकार अलग-अलग हों। यह मॉडल को समरूपता के नियमों का सम्मान करने के लिए मजबूर करता है (आप केवल एक यादृच्छिक पंख नहीं बना सकते; इसे दूसरे के फ्लिप के रूप में होना चाहिए) जबकि यह भी सीखने की अनुमति देता है कि एक पक्ष दूसरे की तुलना में अधिक सामान्य हो सकता है।

उन्होंने क्या पाया

लेखकों ने कई चुनौतियों का परीक्षण किया, जिनमें सरल गणितीय पहेलियों से लेकर जटिल भौतिक सिमुलेशन तक शामिल हैं।

गणितीय पहेली: उन्होंने एक "गौसियन मिक्सचर" (Gaussian Mixture) के साथ शुरुआत की, जो रंगों के कई अलग-अलग धब्बों जैसी एक तस्वीर है। उन्होंने धब्बों को अलग-अलग आकार दिए (समरूपता को तोड़ते हुए)। पुराने तरीकों ने या तो भ्रमित होकर केवल सबसे बड़े धब्बे को चित्रित किया, या उन्होंने सभी को चित्रित करने की कोशिश की लेकिन बहुत खराब तरीके से किया। हालाँकि, SESaMo ने सभी धब्बों को पूरी तरह से चित्रित किया, उनके सटीक आकार और स्वरूप को पकड़ा।
भौतिक सिमुलेशन: वे वास्तविक दुनिया की भौतिक समस्याओं पर आगे बढ़े:
- $\phi^4$ थ्योरी: यह मॉडल करता है कि कण एक क्षेत्र (field) में कैसे परस्पर क्रिया करते हैं। उन्होंने एक "टूटी हुई" समरूपता के साथ परीक्षण किया जहाँ कण एक अवस्था को दूसरी अवस्था की तुलना में अधिक पसंद करते हैं। SESaMo ने पुराने तरीकों की तुलना में बहुत तेज़ी से और अधिक सटीकता से कणों के सही वितरण को सीखा।
- हबार्ड मॉडल (Hubbard Model): यह सामग्रियों में इलेक्ट्रॉनों के घूमने के लिए एक प्रसिद्ध मॉडल है, जो सुपरकंडक्टर्स जैसी चीजों को समझने के लिए महत्वपूर्ण है। यह एक बहुत कठिन समस्या है। लेखकों ने दिखाया कि SESaMo इलेक्ट्रॉनों के एक बड़े ग्रिड (अप टू $18 \times 100$ साइट्स) को संभाल सकता है और टूटी हुई समरूपताओं को सही ढंग से सीख सकता है, जबकि अन्य विधियाँ विफल रहीं या क्रैश हो गईं।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि SESaMo वैज्ञानिकों के लिए एक शक्तिशाली नया उपकरण है। यह केवल एआई को समरूपता के नियमों का पालन करने के लिए मजबूर नहीं करता है; यह एआई को यह सिखाता है कि जब वे नियम थोड़े टूट जाते हैं तो उसे कैसे संभालना है। अपने सिमुलेशन में, SESaMo ने लगातार मौजूदा विधियों से बेहतर प्रदर्शन किया, उच्च सटीकता प्राप्त की और तेजी से कन्वर्ज (सीखना पूरा करना) हुआ। इसने सफलतापूर्वक सिस्टम के सभी अलग-अलग "मोड्स" या संभावनाओं को सीखना सीखा, जिससे वह केवल एक ही चीज़ पर अटक जाने के जाल से बच सका। हालाँकि वर्तमान में परिणाम कंप्यूटर सिमुलेशन और गणितीय मॉडलों पर आधारित हैं, लेखक दिखाते हैं कि यह दृष्टिकोण भौतिकी और रसायन विज्ञान में जटिल प्रणालियों को समझने के लिए—जैसे कि दवाएं कैसे फोल्ड होती हैं या नए पदार्थ बिजली कैसे संचालित करते हैं—एक गेम-चेंजर हो सकता है।

तकनीकी सारांश: SESAMO: नॉर्मलाइजिंग फ्लो के लिए सिमेट्री-एनफोर्सिंग स्टोकेस्टिक मॉड्यूलेशन (Symmetry-Enforcing Stochastic Modulation)

समस्या विवरण (Problem Statement)
अननॉर्मलाइज्ड बोल्ट्ज़मैन जैसी डिस्ट्रीब्यूशन $p(x) = \exp(-f[x])/Z$ से सैंपलिंग करना भौतिकी, रसायन विज्ञान और अर्थशास्त्र में एक मौलिक चुनौती है। पारंपरिक मार्कोव चेन मोंटे कार्लो (MCMC) विधियाँ अक्सर ऑटोकोरिलेशन और मेटास्टेबल अवस्थाओं को अलग करने वाली उच्च-ऊर्जा बाधाओं के कारण धीमी अभिसरण (convergence) से ग्रस्त होती हैं, जिससे एर्गोडिसिटी (ergodicity) संबंधी समस्याएँ उत्पन्न होती हैं। जबकि डीप जेनरेटिव मॉडल, विशेष रूप से नॉर्मलाइजिंग फ्लो (NFs), क्लोज्ड-फॉर्म लाइकलीहुड के साथ इन डिस्ट्रीब्यूशन को अनुमानित करने के लिए एक वेरिएशनल इन्फरेंस दृष्टिकोण प्रदान करते हैं, वे महत्वपूर्ण प्रशिक्षण चुनौतियों का सामना करते हैं। विशेष रूप से, मानक NFs अक्सर "मोड कोलैप्स" (mode collapse) से जूझते हैं, यानी वे लक्ष्य डिस्ट्रीब्यूशन के सभी मोड्स को कैप्चर करने में विफल रहते हैं, खासकर जब डिस्ट्रीब्यूशन में समरूपता (symmetries) या टूटी हुई समरूपता (broken symmetries) मौजूद हो जहाँ प्रायिकता द्रव्यमान (probability mass) सममित क्षेत्रों में असमान रूप से वितरित होता है। इसके अतिरिक्त, फ्लो आर्किटेक्चर में पूर्व ज्ञान जैसे कि सिमेट्री को शामिल करना ताकि अभिसरण को तेज किया जा सके और भौतिक निरंतरता सुनिश्चित की जा सके, एक खुला विषय बना हुआ है, विशेष रूप से टूटी हुई सिमेट्री के लिए जहाँ मानक इक्विवेरिएंट (equivariant) दृष्टिकोण अपर्याप्त हो सकते हैं।

कार्यप्रणाली: सिमेट्री-एनफोर्सिंग स्टोकेस्टिक मॉड्यूलेशन (SESaMo)
पेपर SESaMo का प्रस्ताव करता है, जो फ्लो-आधारित जेनरेटिव मॉडल में सटीक और टूटी हुई सिमेट्री (निरंतर और असतत दोनों) को शामिल करने के लिए डिज़ाइन किया गया है। पिछले दृष्टिकोणों के विपरीत जो कठोर आर्किटेक्चरल बाधाओं या कैनोनिकलाइजेशन (canonicalization) पर निर्भर करते हैं, SESaMo एक नवीन स्टोकेस्टिक मॉड्यूलेशन तंत्र पेश करता है।

मुख्य तंत्र (Core Mechanism): SESaMo एक फ्लो $g_\theta$ सीखने का कार्य करता है जो एक सरल प्रायर डिस्ट्रीब्यूशन $q_0$ (जैसे, एक गौसियन) को एक परिभाषित "कैनोनिकल सेल" $\Omega$ के भीतर लक्ष्य डिस्ट्रीब्यूशन के एक एकल मोड (या एक विशिष्ट सेक्टर) में मैप करता है। यह संरेखण (alignment) लॉस फंक्शन में एक पेनल्टी टर्म $\Lambda$ के माध्यम से लागू किया जाता है, जो यह सुनिश्चित करता है कि फ्लो नमूनों को कैनोनिकल सेल के बाहर मैप न करे, जिससे बायजेक्टिविटी (bijectivity) बनी रहे।
स्टोकेस्टिक मॉड्यूलेशन (Stochastic Modulation): एक बार जब फ्लो एक एकल मोड को कैप्चर कर लेता है, तो एक स्टोकेस्टिक मॉड्यूलेशन मैप $S_u$ $S_{u}$ लागू किया जाता है। यह मैप एक पैरामीटराइज्ड वेरिएबल $u$ $u$ पर आधारित होता है, जिसे $b$ $b$ द्वारा पैरामीटराइज्ड डिस्ट्रीब्यूशन $p_{S,b}(u)$ $p_{S, b} (u)$ से निकाला जाता है। मैप $S_u$ $S_{u}$ , नमूने को कैनोनिकल सेल से कॉन्फ़िगरेशन स्पेस के अन्य सममित क्षेत्रों में रूपांतरित करता है।
- सटीक सिमेट्री (Exact symmetries) के लिए, मॉड्यूलेशन प्रायिकता समान (uniform) होती है (उदाहरण के लिए, $Z_2$ के लिए $u \sim \text{Bernoulli}(0.5)$ )।
- टूटी हुई सिमेट्री (Broken symmetries) के लिए, पैरामीटर $b$ को प्रशिक्षण के दौरान सीखा जाता है, जिससे मॉडल विभिन्न मोड्स के बीच सही प्रायिकता द्रव्यमान वितरण को इन्फर करने में सक्षम होता है (उदाहरण के लिए, $u \sim \text{Bernoulli}(e^b)$ जहाँ $b \in \mathbb{R}^-$ )।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल को रिवर्स कलबैक-लेब्लर (KL) डाइवर्जेंस को मिनिमाइज करके प्रशिक्षित किया जाता है। लॉस फंक्शन में मानक KL टर्म, अननॉर्मलाइज्ड लॉग-प्रोबेबिलिटी और बायजेक्टिविटी पेनल्टी टर्म शामिल है। चूंकि मॉड्यूलेशन वेरिएबल $u$ असतत (discrete) और स्टोकेस्टिक है, इसलिए मॉड्यूलेशन पैरामीटर्स $b$ के सापेक्ष ग्रेडिएंट्स की गणना करने के लिए REINFORCE एस्टीमेटर का उपयोग किया जाता है।
बायजेक्टिविटी प्रवर्तन (Bijectivity Enforcement): इसका एक प्रमुख तकनीकी योगदान लॉस फंक्शन में एक रेगुलेराइजेशन टर्म $\Lambda(\tilde{z}_c)$ (इक्वेशन 10) का परिचय देना है। यह टर्म उन नमूनों को दंडित करता है जो कैनोनिकल सेल $\Omega$ के बाहर मैप होते हैं, जिससे रूपांतरण बायजेक्टिव बना रहता है, जो वैध NFs के लिए एक सख्त आवश्यकता है।

प्रमुख योगदान (Key Contributions)

नवीन ढांचा (Novel Framework): SESaMo का परिचय, जो फिक्स्ड आर्किटेक्चरल इक्विवेरिएंस के बजाय स्टोकेस्टिक मॉड्यूलेशन के माध्यम से मनमाने सिमेट्री (दोनों सटीक और टूटी हुई) को नॉर्मलाइजिंग फ्लो में शामिल करने में सक्षम बनाता है।
टूटी हुई सिमेट्री को संभालना (Handling Broken Symmetries): टूटी हुई सिमेट्री वाले मोड्स के बीच प्रायिकता द्रव्यमान वितरण को सीखने की क्षमता, जो कैनोनिकलाइजेशन विधियों की सीमाओं को संबोधित करती है जो अक्सर समान द्रव्यमान मानती हैं या विषमता (asymmetry) के साथ संघर्ष करती हैं।
संख्यात्मक बायजेक्टिविटी (Numerical Bijectivity): फ्लो की बायजेक्टिविटी को संख्यात्मक रूप से लागू करने के लिए एक विशिष्ट पेनल्टी टर्म का प्रस्ताव, जो नमूनों को कैनोनिकल सेल से बाहर जाने से रोकता है।
व्यापक बेंचमार्किंग (Extensive Benchmarking): टॉय प्रॉब्लम्स (गौसियन मिक्सचर) और भौतिक रूप से प्रासंगिक लैटिस क्वांटम फील्ड थ्योरी, जिसमें जटिल $\phi^4$ थ्योरी और हबार्ड (Hubbard) मॉडल शामिल हैं, पर विधि का सत्यापन।

परिणाम (Results)
लेखकों ने फ्लो एनिलड इम्पोर्टेंस सैंपलिंग बूटस्ट्रैप (FAB), वेरिएशनल मिक्सचर ऑफ नॉर्मलाइजिंग फ्लो (VMoNF), और कैनोनिकलाइजेशन के साथ RealNVP के विरुद्ध SESaMo का संख्यात्मक प्रयोग किया।

गौसियन मिक्सचर मॉडल (Gaussian Mixture Model): SESaMo ने सटीक $Z_8$ सिमेट्री के लिए 0.9986 और टूटी हुई $Z_8$ सिमेट्री के लिए 0.9947 का प्रभावी नमूना आकार (Effective Sample Size - ESS) प्राप्त किया, जो VMoNF (जो मोड कोलैप्स से ग्रस्त था) और कैनोनिकलाइजेशन से काफी बेहतर प्रदर्शन करता है।
कॉम्प्लेक्स $\phi^4$ थ्योरी: $8 \times 8$ लैटिस पर सटीक और टूटी हुई $U(1)$ सिमेट्री के लिए, SESaMo ने क्रमशः उच्चतम ESS (0.9472 और 0.941) प्राप्त किया, जबकि FAB और VMoNF ने ~0.22–0.28 के आसपास ESS मान दिए। कैनोनिकलाइजेशन इस सेटिंग में निरंतर सिमेट्री के लिए लागू नहीं था।
हबार्ड मॉडल (Hubbard Model): एक छोटे वॉल्यूम ( $2 \times 1$ ) पर, SESaMo ने टूटी हुई $Z_4$ सिमेट्री के लिए 0.996 का ESS प्राप्त किया, जो कैनोनिकलाइजेशन (0.839) और VMoNF (0.37) से बेहतर है। महत्वपूर्ण रूप से, SESaMo ने बड़े वॉल्यूम ( $18 \times 100$ ) तक स्केलेबिलिटी प्रदर्शित की, जिसमें 0.74 का ESS प्राप्त हुआ, जबकि FAB अव्यवहार्य था और कैनोनिकलाइजेशन गिरकर 0.024 रह गया।
अभिसरण (Convergence): सभी बेंचमार्क में, SESaMo ने बेसलाइन विधियों की तुलना में तेज़ और अधिक स्थिर अभिसरण प्रदर्शित किया, जो मोड कोलैप्स को प्रभावी ढंग से कम करता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि SESaMo जेनरेटिव मॉडल में इंडक्टिव बायस (सिमेट्री) को शामिल करने के लिए एक लचीला और शक्तिशाली उपकरण प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ लक्ष्य डिस्ट्रीब्यूशन टूटी हुई सिमेट्री या जटिल मोड संरचना प्रदर्शित करते हैं। फ्लो के सीखने (जो एक एकल मोड को कैप्चर करता है) को प्रायिकता द्रव्यमान के पुनर्वितरण (जिसे लर्नेबल स्टोकेस्टिक मॉड्यूलेशन द्वारा संभाला जाता है) से अलग करके, विधि मोड कोलैप्स जैसी वेरिएशनल इन्फरेंस की मौलिक चुनौतियों को दूर करती है। लेखक SESaMo को लैटिस क्वांटम फील्ड थ्योरी के लिए एक स्टेट-ऑफ-द-आर्ट दृष्टिकोण के रूप में प्रस्तुत करते हैं, जो उन निरंतर सिमेट्री को संभालने में सक्षम है जहाँ पिछली विधियाँ (जैसे कैनोनिकलाइजेशन) सीमाओं का सामना करती हैं। यह कार्य विशेष रूप से भौतिकी और रसायन विज्ञान अनुप्रयोगों के लिए मूल्यवान है जहाँ सिमेट्री स्वाभाविक है लेकिन अक्सर टूटी हुई होती है, जिससे जटिल बोल्ट्ज़मैन डिस्ट्रीब्यूशन की अधिक सटीक और कुशल सैंपलिंग संभव होती है।

इसी तरह के और पेपर