🤖 machine learning

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

यह शोध पत्र SCALLOP को प्रस्तुत करता है, जो फ्लो-आधारित जनरेटिव मॉडल्स के लिए एक स्केलेबल, हचिन्सन-मुक्त (Hutchinson-free) लाइकलीहुड डिस्टिलेशन विधि है, जो मौजूदा बेसलाइन्स जैसे कि F2D2 की तुलना में ट्रेनिंग वेरिएंस और समय को काफी कम करते हुए 10 गुना तक तेज़ इन्फरेंस प्राप्त करता है।

मूल लेखक: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम का पूर्वानुमान लगाने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट कंप्यूटर मॉडल है जो आपको बिल्कुल बता सकता है कि कल आसमान कैसा दिखेगा (नमूना/sample)। लेकिन, आपको यह भी जानने की आवश्यकता है कि उस विशिष्ट मौसम पैटर्न के होने की कितनी संभावना है (संभावना/likelihood)।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक ऐसा मॉडल बनाना जो यह दोनों काम कर सके—उच्च गुणवत्ता वाली छवियां या आणविक संरचनाएं (molecular structures) बना सके और साथ ही यह भी बता सके कि उनकी संभावना कितनी है—अत्यंत कठिन है। आमतौर पर, आपको एक विकल्प चुनना पड़ता है: या तो आपको बेहतरीन तस्वीरें मिलती हैं लेकिन आप संभावना की गणना नहीं कर पाते, या फिर आप संभावना की गणना कर सकते हैं लेकिन तस्वीरें धुंधली होती हैं या गणित में बहुत अधिक समय लगता है।

यह शोध पत्र एक नई विधि पेश करता है जिसे SCALLOP (Scalable Likelihood distillation of flOw maPs) कहा जाता है ताकि इस समस्या को हल किया जा सके। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: गणित का "ट्रैफिक जाम"

कल्पना कीजिए कि एक नदी एक शांत झील (रैंडम शोर/noise) से एक जटिल शहर (वास्तविक डेटा जैसे अणु या चेहरे) की ओर बह रही है।

पुराने तरीके: यह जानने के लिए कि किसी बिंदु पर कितना पानी बह रहा है (संभावना), वैज्ञानिकों को नदी को रोकना पड़ता था, हर एक बूंद को मापना पड़ता था और जटिल गणनाएं करनी पड़ती थीं। यह एक ट्रैफिक जाम में हर एक कार को रोककर कुल कारों की गिनती करने जैसा था। यह धीमा था, और अक्सर उन्हें अनुमान लगाना पड़ता था, जिससे भारी त्रुटियां (high variance) होती थीं।
"Hutchinson" का शॉर्टकट: पिछले प्रयासों ने कुल ट्रैफिक का अनुमान लगाने के लिए कारों का एक रैंडम सैंपल लेने की कोशिश की। लेकिन यह एक शहर में कुल कारों का अनुमान लगाने के लिए सड़क पर मौजूद केवल तीन लोगों से पूछने जैसा था। कभी-कभी यह काम करता था, लेकिन अक्सर इनका अनुमान बहुत गलत होता था, जिससे प्रशिक्षण प्रक्रिया अस्थिर और शोर भरी (noisy) हो जाती थी।

समाधान: SCALLOP का "GPS और स्पीडोमीटर"

लेखकों ने एक ऐसा सिस्टम बनाया है जो एक ऐसी कार की तरह काम करता है जिसमें इन-बिल्ट GPS और एक सटीक स्पीडोमीटर है जिसे गति जांचने के लिए इंजन रोकने की आवश्यकता नहीं होती।

फ्लो मैप (GPS): वे एक "फ्flow Map" का उपयोग करते हैं, जो एक पूर्व-निर्धारित मानचित्र की तरह है जो AI को रैंडम शोर से एक वास्तविक छवि या अणु तक केवल कुछ ही चरणों में जाने का रास्ता बताता है (जैसे घुमावदार ग्रामीण सड़कों के बजाय सीधे हाईवे पर जाना)।
संभावना (स्पीडोमीटर): कठिन हिस्सा यह जानना है कि साथ ही "संभावना" (स्पीडोमीटर की रीडिंग) क्या है।
- पुराना तरीका: संभावना प्राप्त करने के लिए, पुराने मॉडलों (जैसे F2D2) को उस "रैंडम अनुमान" वाले तरीके (Hutchinson's estimator) का उपयोग करना पड़ता था, जो शोर भरा और धीमा था।
- SCALLOP का तरीका: लेखकों ने महसूस किया कि वे 'कंडीशनल डाइवर्जेंस मैचिंग' (Conditional Divergence-Matching) नामक एक गणितीय ट्रिक का उपयोग करके संभावना की गणना सीधे कर सकते हैं, बिना अनुमान लगाए। कारों को गिनने के लिए उन्हें रोकने के बजाय, वे नदी के प्रवाह को देखते हैं। उन्होंने एक ऐसा फॉर्मूला तैयार किया जो मॉडल को बिना भारी गणित किए, चलते हुए ही संभावना को "देखने" की अनुमति देता है।

यह एक बड़ी बात क्यों है?

शोध पत्र का दावा है कि SCALLOP तीन तरीकों से एक बड़ा अपग्रेड है:

यह अधिक सुचारू है (कम शोर): क्योंकि यह रैंडम अनुमान पर निर्भर नहीं है, इसलिए इसका प्रशिक्षण (training) बहुत अधिक स्थिर है। कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जिसका स्पीडोमीटर पहले पागलों की तरह ऊपर-नीचे होता था; SCALLYP सुई को स्थिर बनाता है। इसका मतलब है कि मॉडल तेजी से और अधिक विश्वसनीय रूप से सीखता है।
यह तेज़ है: पुराने तरीके ऐसे थे जैसे एक कार चलाना जिसे मैप देखने के लिए हर रेड लाइट पर रुकना पड़ता था। SCALLOP सीधे चलता रहता है। शोध पत्र दिखाता है कि यह आणविक विज्ञान (molecular science) के लिए मौजूदा सर्वोत्तम तरीकों से 10 गुना तेज़ है और कुछ अन्य प्रतिस्पर्धियों की तुलना में 100 गुना तेज़ है।
यह हर जगह काम करता है: उन्होंने दो बहुत अलग चीजों पर इसका परीक्षण किया:
1. अणु (Molecules): उन्होंने इसका उपयोग प्रोटीन (जैसे एलेनिन पेप्टाइड्स) के फोल्ड होने के सिमुलेशन के लिए किया। यह ड्रग डिस्कवरी के लिए महत्वपूर्ण है क्योंकि वैज्ञानिकों को न केवल यह जानने की आवश्यकता है कि एक अणु का आकार कैसा है, बल्कि यह भी कि उस आकार में उसके होने की कितनी संभावना है। SCALLYP ने इसे वर्तमान अत्याधुनिक (state-of-the-art) विधियों से बेहतर और तेज़ किया।
2. छवियां (Images): उन्होंने चेहरे बनाने (CelebA डेटासेट) के लिए भी इसका परीक्षण किया। इसने उच्च गुणवत्ता वाली छवियां और सटीक संभावना अनुमान उत्पन्न किए, जिससे सिद्ध हुआ कि यह विधि केवल विज्ञान के लिए ही नहीं, बल्कि सामान्य डेटा के लिए भी काम करती है।

निचोड़ (The Bottom Line)

SCALLYP को AI जनरेटर्स के लिए एक नए इंजन के रूप में सोचें। पहले, यदि आप किसी उत्पन्न छवि या अणु की "संभावना" जानना चाहते थे, तो आपको समय और सटीकता के रूप में एक भारी टैक्स देना पड़ता था। SCALLYP इस टैक्स को हटा देता है। यह AI को जटिल डेटा (जैसे 3D अणु या चेहरे) बनाने और यह बताने की अनुमति देता है कि उनके अस्तित्व की संभावना कितनी है, और वह भी एक ही, तेज़ और स्थिर प्रक्रिया में।

संक्षेप में: यह AI को चीजें बनाने और उन चीजों के अस्तित्व की संभावना को समझने के लिए सिखाने का एक तेज़, अधिक सटीक और कम "शोर भरा" तरीका है।

तकनीकी सारांश: स्केलेबल लाइकलीहुड फ्लो मैप्स (SCALLOP) के माध्यम से फ्यू-स्टेप बोल्ट्ज़मैन जनरेटर

समस्या विवरण

फ्लो-आधारित जनरेटिव मॉडलिंग में हालिया प्रगति ने कम फंक्शन इवैल्यूएशन (NFE) के साथ उच्च-गुणवत्ता वाले सैंपल जनरेशन को सक्षम किया है। हालांकि, मॉडल लाइकलीहुड (सैंपल डेंसिटी) का अनुमान लगाना एक बाधा बना हुआ है। मौजूदा दृष्टिकोण एक ट्रेड-ऑफ का सामना करते हैं:

प्रतिबंधात्मक आर्किटेक्चर (Restrictive Architectures): नॉर्मलाइजिंग फ्लो्स, चेंज-ऑफ-वेरिएबल्स फॉर्मूला के माध्यम से सटीक लाइकलीहुड गणना सुनिश्चित करते हैं, लेकिन उन्हें आर्किटेक्चरल बाधाओं (जैसे कि इन्वर्टिबल लेयर्स) की आवश्यकता होती है जो अभिव्यक्ति (expressivity) को सीमित करती हैं, विशेष रूप से आणविक मॉडलिंग जैसे डोमेन में जहाँ सिमेट्री मौजूद होती है।
उच्च-विचलन अनुमानक (High-Variance Estimators): कंटीन्यूअस नॉर्मलाइजिंग फ्लोज़ (CNFs) और उनके डिस्टिल्ड समकक्ष (जैसे फ्लो मैप्स) अधिक अभिव्यक्ति प्रदान करते हैं, लेकिन उन्हें वेलोसिटी फील्ड के डायवर्जेंस को इंटीग्रेट करने की आवश्यकता होती है। इसे आमतौर पर हचिनसन ट्रेस एस्टीमेटर (Hutchinson's trace estimator) का उपयोग करके अनुमानित किया जाता है, जो पर्याप्त विचरण (variance) पेश करता है और जिसका कम्प्यूटेशनल बजट आयामीता (dimensionality) के साथ खराब तरीके से स्केल होता है।
डिस्टिलेशन सीमाएँ (Distillation Limitations): हाल के तरीके जैसे F2D2 (Ai et al., 2026) सैंपलिंग और लाइकलीहुड दोनों को कुछ स्टेप्स में डिस्टिल करने का प्रयास करते हैं, लेकिन वे अभी भी ट्रेनिंग के दौरान हचिनसन-आधारित डायवर्जेंस एस्टीमेटर्स पर निर्भर हैं, जिससे वे उच्च विचरण और कम्प्यूटेशनल ओवरहेड को विरासत में प्राप्त करते हैं।

परिणामस्वरूप, एक्सप्रेसिव, फ्यू-स्टेप जनरेटिव मॉडल्स के लिए लाइकलीहुड का अनुमान लगाने के लिए स्केलेबल, लो-वेरिएंस तरीकों की कमी है, जो फ्री एनर्जी एस्टीमेशन और वैज्ञानिक डोमेन में एन्हांस्ड सैंपलिंग के लिए बोल्ट्ज़मैन जनरेटर्स के रूप में उनके अनुप्रयोग में बाधा डालता है।

कार्यप्रणाली: SCALLOP

लेखक SCAlable LikeLihood distillation of flOw maPs (SCALLOP) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो F2D2 लाइकलीहुड फ्लो मैप मॉडल पर आधारित है लेकिन हचिनसन-आधारित ट्रेनिंग ऑब्जेक्टिव के स्थान पर एक स्केलेबल, वेक्टरकृत विकल्प का उपयोग करता है।

1. लाइकलीहुड फ्लो मैप्स (Likelihood Flow Maps)

SCALLOP एक लाइकलीहुड फ्लो मैप $\Psi$ का उपयोग करता है, जो एक ऑपरेटर है जो समय $t$ पर एक स्टेट $x_t$ को समय $s$ पर एक स्टेट $x_s$ और संबंधित लॉग-डेंसिटी परिवर्तन में संयुक्त रूप से मैप करता है। इसे इस प्रकार पैरामीटराइज किया गया है:
$\Psi_\theta(x_t, t, s) = \begin{bmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$
जहाँ $u_\theta$ वेलोसिटी की भविष्यवाणी करता है और $D_\theta$ डायवर्जेंस (लॉग-डेंसिटी परिवर्तन) की भविष्यवाणी करता है।

2. कंडीशनल डायवर्जेंस मैचिंग (Conditional Divergence Matching - CDM)

मुख्य नवाचार हचिनसन ट्रेस एस्टीमेटर को कंडीशनल डायवर्जेंस मैचिंग (CDM) से बदलना है।

व्युत्पत्ति (Derivation): फ्लो ट्राजेक्टरी के साथ लॉग-डेंसिटी पर चेन रूल का उपयोग करके ( $dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$ ), लेखक डायवर्जेंस टर्म को पुनर्गठित करते हैं।
तंत्र (Mechanism): टारगेट डेटा पॉइंट $x_1$ पर कंडीशन करके (एक लीनियर इंटरपोलेशन सेटिंग में $x_t = (1-t)x_0 + tx_1$ ), कंडीशनल डिस्ट्रीब्यूशन $p_t(x_t|x_1)$ ट्रैक्टेबल (गौसियन) हो जाता है। यह डायवर्जेंस को स्पष्ट डायवर्जेंस ऑपरेटर्स या स्टोकेस्टिक ट्रेस एस्टीमेटर्स के बिना व्यक्त करने की अनुमति देता है।
ऑब्जेक्टिव: CDM ऑब्जेक्टिव अनुमानित डायवर्जेंस $D_\theta$ और ज्ञात वेलोसिटी फील्ड एवं कंडीशनल स्कोर्स से प्राप्त टर्म के बीच के अंतर को कम करता है, जिससे हचिनसन के एस्टीमेटर की आवश्यकता पूरी तरह समाप्त हो जाती है।

3. वेक्टरकृत डायवर्जेंस मैचिंग (Vectorized Divergence Matching)

दक्षता में और सुधार करने के लिए, लेखक वेक्टराइज्ड डायवर्जेंस मैचिंग (CDM-v) पेश करते हैं।

स्केलर डायवर्जेंस $\nabla \cdot v_t$ की भविष्यवाणी करने के बजाय, नेटवर्क जैकोबियन के डायगोनल एंट्रीज के वेक्टर, $\text{diag}(\nabla v_t)$ , की भविष्यवाणी करता है।
यह लर्निंग टारगेट को एक स्केलर से एक वेक्टर सिग्नल में बदल देता है, जो अधिक डेटा-एफिशिएंट है और एक पूर्णतः वेक्टरकृत फॉर्मूलेशन की अनुमति देता है।
सैद्धांतिक विश्लेषण दिखाता है कि वेक्टरकृत लॉस को मिनिमाइज करना एक कांस्टेंट तक मानक डायवर्जेंस मैचिंग लॉस को मिनिमाइज करने के समान है।

4. ट्रेनिंग और आर्किटेक्चर

आर्किटेक्चर: SCALLOP एक डिफ्यूजन ट्रांसफॉर्मर (DiT) बैकबोन का उपयोग करता है जिसमें शेयर्ड एनकोडिंग लेयर्स और सैंपल वेलोसिटी तथा वेक्टरकृत लॉग-डेंसिटी परिवर्तन के लिए अलग-अलग रीडआउट हेड्स हैं।
सिमेट्री (Symmetry): आणविक प्रणालियों के लिए, आर्किटेक्चर वेलोसिटी के लिए SE(3) इक्विवेरिएंस (equivariance) और लॉग-डेंसिटी परिवर्तन के लिए SE(3) इनवेरिएंस (इनवेरिएंस) लागू करता है (वेक्टर आउटपुट के समेशन के माध्यम से)।
स्थिरीकरण (Stabilization): $t=1$ पर सिंगुलैरिटी को संभालने के लिए, ट्रेनिंग सैंपल्स $t$ को $[0, 1-\epsilon]$ से लिया जाता है और डायवर्जेंस मैचिंग टर्म पर लीनियर वेटिंग लागू की जाती है।

मुख्य योगदान

स्केलेबल ट्रेनिंग ऑब्जेक्टिव: SCALLOP एक हचिनसन-मुक्त, वेक्टरकृत लाइकलीहुड डिस्टिलेशन ऑब्जेक्टिव (CDM-v) पेश करता है जो F2D2 की तुलना में ट्रेनिंग विचरण और कम्प्यूटेशनल लागत को काफी कम कर देता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): SCALLOP सभी मेट्रिक्स (इफेक्टिव सैंपल साइज, एनर्जी वॉसरस्टीन-2, टोरशनल एंगल वॉसरस्टीन-2) में F2D2 पर पर्याप्त सुधार प्रदर्शित करता है। यह तेजी से कन्वर्ज होता है और बेहतर टेस्ट सेट प्रदर्शन प्राप्त करता है।
इन्फरेंस दक्षता: आणविक डोमेन में, SCALLOP नॉर्मलाइजिंग फ्लो की तुलना में 10 $\times$ तक तेज़ और FALCON की तुलना में 100 $\times$ तेज़ इन्फरेंस प्राप्त करता है, जबकि प्रतिस्पर्धी या बेहतर सैंपल क्वालिटी बनाए रखता है।
सामान्यीकरण (Generalizability): विधि को हाई-डायमेंशनल इमेज डेटासेट्स (CelebA-64) पर मान्य किया गया है, जो F2D2 की तुलना में सटीक लाइकलीहुड एस्टीमेशन और स्थिर ट्रेनिंग डायनेमिक्स दिखाता है।

परिणाम

आणविक प्रणालियाँ (बोल्ट्ज़मैन जनरेटर्स)

एलेनिन डायपेप्टाइड (ALA-2) से हेक्सापेप्टाइड (ALA-6) सिस्टम पर मूल्यांकन:

प्रदर्शन: SCALLOP सभी मेट्रिक्स में लगातार F2D2 से बेहतर प्रदर्शन करता है। यह स्टेट-ऑफ-द-आर्ट FALCON और FALCON-A के प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
स्थिरता: SCALLOP के लिए ट्रेनिंग ग्रेडिएंट्स, F2D2 की तुलना में काफी कम विचरण और उच्च सिग्नल-टू-नॉइज़ रेशियो (SNR) प्रदर्शित करते हैं।
गति: SCALLOP इन्फरेंस के दौरान बड़े बैच साइज़ ( $10^4$ ) का समर्थन करता है, जबकि FALCON को जैकोबियन कंप्यूटेशन लागत के कारण अत्यधिक प्रतिबंधित बैच साइज़ की आवश्यकता होती है। SCALLOP, नॉर्मलाइजिंग फ्लो से 10 $\times$ और FALCОN से 100 $\times$ तेज़ है।

इमेज जनरेशन (CelebA-64)

SCALLOP 1 से 8 यूलर स्टेप्स में F2D2 के समान BPD और FID प्राप्त करता है।
यह F2D2 की तुलना में प्रति-सैंपल BPD एरर को लगातार कम करता है।
लॉस कंप्यूटेशन 16.9% तेज़ (F2D2 के 83.1% वॉल-क्लॉक टाइम) है और अधिक स्थिर ट्रेनिंग डायनेमिक्स के साथ आता है।

महत्व और दावे

पेपर का दावा है कि SCALLOP फ्यू-स्टेप जनरेटिव मॉडल्स में अभिव्यक्ति (expressivity) और ट्रैक्टेबल लाइकलीहुड इवैल्यूएशन के बीच लंबे समय से चले आ रहे ट्रेड-ऑफ को हल करता है। हचिनसन ट्रेस एस्टीमेटर को हटाकर, SCALLOP लो-वेरिएंस के साथ अत्यधिक एक्सप्रेसिव लाइकलीहुड फ्लो मैप्स को प्रशिक्षित करना सक्षम बनाता है।

लेखक SCALLOP को वैज्ञानिक अनुप्रयोगों के लिए एक व्यावहारिक समाधान के रूप में देखते हैं जहाँ सटीक लाइकलीहुड एस्टीमेशन महत्वपूर्ण है, जैसे फ्री एनर्जी कैलकुलेशन और एन्हांस्ड सैंपलिंग। वे नोट करते हैं कि हालांकि SCALLOP सैद्धांतिक रूप से 1 स्टेप में सैंपल जेनरेट कर सकता है, लेकिन यह व्यावहारिक रूप से हाई-डायमेंशनल कार्यों के लिए $\sim$ 10 स्टेप्स का उपयोग करता है। यह विधि इस धारणा पर निर्भर करती है कि वेलोसिटी फील्ड अच्छी तरह से सीखा गया है, और इस धारणा से उत्पन्न होने वाले बायस (bias) के संबंध में सैद्धांतिक अंतर अन-क्वांटिफाइड (unquantified) है। फिर भी, अनुभवजन्य परिणाम दर्शाते हैं कि SCALLOP लाइकलीहुड-अवेयर जनरेटिव मॉडलिंग के लिए एक प्रतिस्पर्धी, स्टेट-ऑफ-द-आर्ट दृष्टिकोण है जो प्रशिक्षण और इन्फरेंस दोनों को काफी तेज करता है।