🤖 machine learning

Riemannian MeanFlow

यह शोधपत्र रिमानियन मीनफ्लो (RMF) का परिचय देता है, जो मैनिफोल्ड्स पर प्रत्यक्ष फ्लो मैपिंग्स को सीखने के लिए एक फ्रेमवर्क है ताकि पारंपरिक डिफ्यूजन या फ्लो मॉडल्स की तुलना में 10 $\times$ तक कम फंक्शन इवैल्यूकेशन्स के साथ उच्च-गुणवत्ता वाली जनरेटिव मॉडलिंग सक्षम की जा सके और साथ ही कुशल, रिवॉर्ड-ड्रिवन डिज़ाइन का समर्थन भी किया जा सके।

मूल लेखक: Dongyeop Woo, Marta Skreta, Seonghyun Park, Kirill Neklyudov, Sungsoo Ahn

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dongyeop Woo, Marta Skreta, Seonghyun Park, Kirill Neklyudov, Sungsoo Ahn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को नए प्रोटीन या डीएनए (DNA) अनुक्रमों को डिजाइन करना सिखाने की कोशिश कर रहे हैं। ये केवल अक्षरों या संख्याओं की सूचियाँ नहीं हैं; ये जटिल 3D संरचनाएँ हैं जिनमें सख्त नियम होते हैं, जैसे कि एक पहेली जहाँ हर टुकड़ा एक विशिष्ट ज्यामितीय आकार में पूरी तरह से फिट होना चाहिए।

AI की दुनिया में, "डिफ्यूजन" (Diffusion) और "फ्लो" (Flow) मॉडल ऐसे कलाकारों की तरह हैं जो धीरे-धीरे शोर (noise) के एक ढेर को एक पूर्ण कृति में बदल देते हैं। सामान्य तौर पर, वे यह काम सैकड़ों छोटे, सावधानीपूर्ण चरणों के माध्यम से करते हैं, और प्रत्येक व्यक्तिगत चरण पर अपने काम की जाँच करते हैं ताकि वे पथ से भटक न जाएँ।

समस्या: धीमी चाल
लेख बताता है कि सैकड़ों कदम उठाना बहुत धीमा और महंगा है। यह कमरे को पार करने के लिए 100 छोटे, सतर्क कदम उठाने जैसा है, जबकि आप एक या दो बड़ी लंबी छलाँगों में भी दूरी तय कर सकते थे। उन वैज्ञानिकों के लिए जिन्हें हजारों अणु डिजाइन करने की आवश्यकता होती है, यह सुस्ती एक बड़ी बाधा है।

समाधान: रिमानियन मीनफ्लो (Riemannian MeanFlow - RMF)
लेखक रिमानियन मीनफ्लो (RMF) नामक एक नई विधि पेश करते हैं। कल्पना कीजिए कि आप रोबोट को केवल अगले कदम को देखने के बजाय, एक साथ "पूरे पथ" को देखना सिखा रहे हैं।

उन्होंने इसे कैसे किया, इसके लिए कुछ रोजमर्रा के उदाहरण यहाँ दिए गए हैं:

1. "औसत गति" का शॉर्टकट

कल्पना कीजिए कि आप शहर A से शहर B तक जा रहे हैं।

पुराना तरीका (डिफ्यूजन/फ्लो): आप धीरे गाड़ी चलाते हैं, हर सेकंड अपना GPS देखते हैं, और लगातार अपने स्टीयरिंग व्हील को ठीक करते रहते हैं। यह सटीक है लेकिन इसमें बहुत समय लगता है।
नया तरीका (RMF): हर सेकंड जाँच करने के बजाय, आप A से B तक जाने के लिए आवश्यक औसत गति और दिशा की गणना करते हैं। आपको रुककर जाँच करने की आवश्यकता नहीं है; आप बस उस एकल गणना के आधार पर पूरी यात्रा कर लेते हैं।

लेख गणितीय रूप से सिद्ध करता है कि इस "औसत गति" को सीधे उन जटिल ज्यामितीय आकृतियों (मैनिफोल्ड्स) पर सीखा जा सकता है जहाँ ये अणु मौजूद होते हैं, बिना सैकड़ों छोटे कदम उठाए।

2. यात्रा का वर्णन करने के तीन तरीके

लेखकों ने इस "औसत गति" का वर्णन करने के तीन अलग-अलग तरीके खोजे, जो गणितीय रूप से समान हैं। वे एक सड़क यात्रा को तीन अलग-अलग दृष्टिकोणों से देखने जैसे हैं:

यूलरियन दृश्य (Eulerian View): एक निश्चित बिंदु (जैसे खंभे पर लगे कैमरे) से सड़क को देखना और यह देखना कि यातायात आपके पास से कैसे गुजरता है।
लैग्रेंजियन दृश्य (Lagrangian View): कार में बैठना और यह महसूस करना कि जैसे-जैसे आप गाड़ी चलाते हैं, गति कैसे बदलती है।
सेमीग्रुप दृश्य (Semigroup View): यात्रा को दो भागों में तोड़ना (A से B तक, फिर B से C तक) और यह महसूस करना कि A से C तक का सीधा रास्ता इन दोनों का संयोजन है।

लेख दिखाता है कि इन दृष्टिकोणों का उपयोग करने से AI सीधे "एक-कदम की छलांग" सीख सकता है।

3. "स्टॉप-ग्रेडिएंट" (Stop-Gradient) का कमाल

इन मॉडलों को प्रशिक्षित करना प्लेटों के एक ढेर को संतुलित रखने की कोशिश करने जैसा है। यदि आप यह गणना करने की कोशिश करते हैं कि हर छोटा बदलाव अंतिम परिणाम को कैसे प्रभावित करता है, तो गणित इतना भारी हो जाता है कि कंप्यूटर क्रैश हो जाता है (या मेमोरी समाप्त हो जाती है)।
लेखक "स्टॉप-ग्रेडिएंट" नामक एक चतुर तकनीक का उपयोग करते हैं। कल्पना कीजिए कि आप एक छात्र को पढ़ा रहे हैं। उन्हें हर बार यह पुनर्गणना करने के बजाय कि वे किसी उत्तर तक कैसे पहुँचे, आप बस कहते हैं: "यह सही उत्तर है; अब इसके अनुसार अपने अगले प्रयास को व्यवस्थित करें।" यह कंप्यूटर को जटिल गणित से अभिभूत होने से रोकता है और प्रशिक्षण को तेज़ और अधिक स्थिर बनाता है।

4. गति नहीं, मंजिल का अनुमान लगाना

अधिकांश मॉडल हर क्षण वेग (velocity) की भविष्यवाणी करने की कोशिश करते हैं। RMF सीधे मंजिल (मैप पर अंतिम बिंदु) की भविष्यवाणी करने की कोशिश करता है।

उपमा: ड्राइवर को, "5 मील प्रति घंटे की गति से बाएं मुड़ें, फिर 10 मील प्रति घंटे की गति से दाएं मुड़ें," बताने के बजाय, आप बस कहते हैं: "जब तक आपको बड़ा लाल खलिहान न दिख जाए, तब तक गाड़ी चलाते रहें।"
यह दृष्टिकोण उच्च-आयामी डेटा (जैसे लंबे DNA अनुक्रम या बड़े प्रोटीन) के लिए बहुत बेहतर काम करता है और मॉडल को इन आकृतियों के लिए डिज़ाइन किए गए मौजूदा सॉफ़्टवेयर का उपयोग करने की अनुमति देता है बिना उन्हें फिर से लिखे।

उन्होंने क्या हासिल किया

लेखक ने दो वास्तविक वैज्ञानिक कार्यों पर इसका परीक्षण किया:

DNA प्रमोटर डिजाइन करना: ये जीन के लिए "स्टार्ट बटन" की तरह होते हैं। नई विधि ने एक ही चरण में उच्च-गुणवत्ता वाले DNA अनुक्रम उत्पन्न किए, जो उन पुराने तरीकों के समान प्रदर्शन करती है जिनमें 100 चरणों की आवश्यकता होती है।
प्रोटीन स्कैफोल्ड डिजाइन करना: ये प्रोटीन के कंकाल (skeletons) हैं। नई विधि 1 से 5 चरणों में वैध प्रोटीन संरचनाएं बना सकती थी, जबकि पिछले तरीके इतनी तेज़ी से ऐसा करने के लिए कहे जाने पर विफल हो जाते थे या ढह जाते थे।

निष्कर्ष
लेख का दावा है कि डेटा की ज्यामिति को समझकर और इन "औसत गति" के शॉर्टकट का उपयोग करके, वे बिना गुणवत्ता खोए जटिल जैविक संरचनाओं को 10 गुना तेज़ी से (10 गुना कम कंप्यूटर गणनाओं का उपयोग करके) उत्पन्न कर सकते हैं। यह तीव्र, पुनरावृत्ति वाले वैज्ञानिक डिजाइनों के लिए AI का उपयोग करना संभव बनाता है, जहाँ शोधकर्ता एक एकल परिणाम के लिए घंटों प्रतीक्षा करने के बजाय हजारों विचारों का तेज़ी से परीक्षण कर सकते हैं।

तकनीकी सारांश: Riemannian MeanFlow

समस्या विवरण (Problem Statement)

डिफ्यूजन और फ्लो मॉडल ने रिमानियन मैनिफोल्ड्स (Riemannian manifolds) पर जनरेटिव मॉडलिंग के लिए एक प्रमुख प्रतिमान स्थापित किया है और इन्हें प्रोटीन बैकबोन संरचनाओं को उत्पन्न करने और DNA अनुक्रमों को डिजाइन करने जैसे कार्यों में सफलतापूर्वक लागू किया गया है। हालाँकि, इन विधियों को ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) या स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) के संख्यात्मक एकीकरण के लिए अनुमान (inference) के दौरान दस से सौ न्यूरल नेटवर्क मूल्यांकन (फंक्शन इवैल्यूएशन या NFEs) की आवश्यकता होती है। यह कम्प्यूटेशनल बोझ एक बाधा है, विशेष रूप से वैज्ञानिक डिजाइन पाइपलाइनों में जहाँ जनरेटिव मॉडल प्रॉपर्टी-ड्रिवन ऑप्टिमाइज़ेशन के लिए पुनरावृत्ति लूप के भीतर प्रस्ताव तंत्र (proposal mechanisms) के रूप में कार्य करते हैं। जबकि यूक्लिडियन सेटिंग्स में कंसिस्टेंसी मॉडल्स और फ्लो मैप लर्निंग जैसी 'फ्यू-स्टेप जनरेशन' तकनीकों की जांच की गई है, वे उच्च-आयामी रिमानियन मैनिफोल्ड सेटिंग्स में कम खोजे गए हैं और अक्सर अस्थिर रहते हैं।

कार्यप्रणाली: Riemannian MeanFlow (RMF)

लेखक Riemannian MeanFlow (RMF) प्रस्तुत करते हैं, जो एक ऐसा ढांचा है जिसे सीधे मैनिफोल्ड्स पर फ्लो मैप्स सीखने और केवल एक सिंगल फॉरवर्ड पास के साथ उच्च-गुणवत्ता वाली जनरेशन सक्षम करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली का मूल आधार मैनिफोल्ड पर औसत वेग (mean velocity) के तीन समतुल्य वर्णनों को व्युत्पन्न करना और उपयोग करना है, जो समय बिंदुओं $s$ और $t$ के बीच फ्लो मैप से संबंधित हैं।

1. सैद्धांतिक आधार (Theoretical Foundations)

यह ढांचा औसत वेग $u_{s,t}$ को एक निरंतर वेग के रूप में परिभाषित करता है, जो यदि $x_s$ से $x_t$ तक एक जियोडेसिक (geodesic) के साथ समय अंतराल $t-s$ के दौरान बनाए रखा जाता है, तो बिंदु को सही ढंग से ट्रांसपोर्ट करेगा। लेखक तीन पहचानों (identities) को व्युत्पन्न करते हैं जो प्रशिक्षण उद्देश्यों के आधार के रूप में कार्य करती हैं:

यूलर पहचान (Euler Identity): स्रोत समय $s$ के सापेक्ष परिभाषा संबंध का अवकलन (differentiation) करके व्युत्पन्न की गई। यह औसत वेग को वेलोसिटी फील्ड के कोवेरिएंट डेरिवेटिव और लॉगरिदमिक मैप के डेरिवेटिव से जोड़ती है।
लाग्रेंज पहचान (Lagrange Identity): लक्ष्य समय $t$ के सापेक्ष अवकलन करके व्युत्पन्न की गई। यह औसत वेग को इंस्टेंटेनियस वेलोसिटी के डिफरेंशियल और औसत वेग के पार्शियल टाइम डेरिवेटिव से जोड़ती है।
सेमीग्रुप पहचान (Semigroup Identity): एक बीजगणितीय स्थिति जो फ्लो मैप्स के सेमीग्रुप गुण ( $\Phi_{r,t} \circ \Phi_{s,r} = \Phi_{s,t}$ ) से व्युत्पन्न है। यह प्रत्यक्ष फ्लो ( $s$ से $t$ ) और एक मध्यवर्ती समय बिंदु $r$ के माध्यम से फ्लो के संयोजन के बीच निरंतरता को लागू करती है।

2. प्रशिक्षण उद्देश्य और स्थिरीकरण (Training Objectives and Stabilization)

लेखक इन पहचानों को रिग्रेशन उद्देश्यों में परिवर्तित करते हैं। एक महत्वपूर्ण डिज़ाइन निर्णय स्टॉप-ग्रेडिएंट ऑपरेटर का स्थान है। पूर्व के कार्यों (जैसे, Generalized Flow Maps) के विपरीत, जो आंशिक रूप से स्टॉप-ग्रेडिएंट लागू करते हैं, RMF पूरे रिग्रेशन ऑब्जेक्टिव पर स्टॉप-ग्रेडिएंट लागू करता है। यह फॉर्मूलेशन:

बैकप्रोपैगेशन के दौरान उच्च-क्रम डेरिवेटिव (जैसे, जैकोबियन-वेक्टर प्रोडक्ट्स के माध्यम से ग्रेडिएंट्स) के मूल्यांकन की आवश्यकता को समाप्त करता है।
मेमोरी खपत को लगभग 2 गुना कम करता है।
उच्च-आयामी सेटिंग्स में प्रशिक्षण स्थिरता में सुधार करता है।

उच्च आयामों में अनुकूलन समस्याओं को संबोधित करने के लिए, पेपर कई स्थिरीकरण तकनीकों का प्रस्ताव करता है:

टाइम सैंपलिंग (Time Sampling): यूलर और सेमीग्रुप उद्देश्यों के लिए क्रमबद्ध समय जोड़े ( $s \le t$ ), और लाग्रेंज उद्देश्यों के लिए अवक्रमित (unordered) जोड़े।
एडेप्टिव लॉस वेटिंग (Adaptive Loss Weighting): डेरिवेटिव-निर्भर पदों में उच्च वेरिएंस को संभालने के लिए रिग्रेशन ऑब्जेक्टिव के परिमाण के आधार पर लॉस को क्लिपिंग करना।
टाइम डेरिवेटिव कंट्रोल (Time Derivative Control): नेटवर्क आउटपुट में समय डेरिवेटिव के परिमाण को सीमित करने के लिए लो-फ्रीक्वेंसी टाइम एम्बेडिंग्स का उपयोग करना।

3. पैरामीट्राइजेशन (Parameterization)

पेपर औसत वेग के लिए तीन पैरामीट्राइजेशन स्कीम्स का मूल्यांकन करता है:

$v$ -prediction: टेंगेंट वेक्टर (वेलोसिटी) का अनुमान लगाना।
$x_t$ -prediction: सीधे एंडपॉइंट का अनुमान लगाना।
$x_1$ -prediction: वर्तमान अवस्था और समय अंतराल को देखते हुए $t=1$ पर प्रक्षेपवक्र (trajectory) के अंत का अनुमान लगाना।
लेखक उल्लेख करते हैं कि $x_1$ -prediction सबसे मजबूत है। यह मौजूदा वैज्ञानिक आर्किटेक्चर (जैसे, प्रोटीन के लिए SE(3) फ्रेम्स आउटपुट करने वाले) के साथ संगत है और $D=2048$ तक के आयामों तक अच्छी तरह स्केल करता है, जबकि $x_t$ -prediction विफल हो जाता है और $v$ -prediction आयाम बढ़ने पर गुणवत्ता खो देता है।

4. रिवॉर्ड-गाइडेड इन्फरेंस (Reward-Guided Inference)

यह ढांचा मॉडल को पुन: प्रशिक्षित किए बिना रिवॉर्ड-गाइडेड जनरेशन का समर्थन करता है। फ्लो मैप की मध्यवर्ती चरणों से अंतिम अवस्थाओं की भविष्यवाणी करने की क्षमता का लाभ उठाते हुए, लेखक एक रिवॉर्ड लुकअहेड स्ट्रैटेजी (Reward Lookahead Strategy) का प्रस्ताव करते हैं। वर्तमान नॉइज़ी स्टेट $x_t$ पर रिवॉर्ड के ग्रेडिएंट का उपयोग करने के बजाय, वे अनुमानित एंडपॉइंट $\Phi_{t,1}(x_t)$ पर ग्रेडिएंट का उपयोग करते हैं। यह दृष्टिकोण विशिष्ट लक्ष्यों की ओर जनरेशन को निर्देशित करने में अधिक प्रभावी साबित हुआ है।

मुख्य परिणाम (Key Results)

लेखक दो जैविक कार्यों पर RMF को सत्यापित करते हैं: प्रमोटर DNA डिज़ाइन (एक सिम्प्लेक्स में $\mathbb{R}^{1024 \times 4}$ पर अनुक्रम) और प्रोटीन बैकबोन जनरेशन ( $N$ तक 128 के साथ $SE(3)^N$ पर)।

दक्षता (Efficiency): RMF स्टेट-ऑफ-द-आर्ट मल्टी-स्टेप बेसलाइन्स (जैसे, Fisher FM, FrameFlow, FrameDiff) के समान सैंपल क्वालिटी प्राप्त करता है, लेकिन इसके लिए 10 गुना कम फंक्शन इवैल्यूएशन की आवश्यकता होती है।
- प्रोटीन बैकबोन जनरेशन में, RMF 5 स्टेप्स में 82% डिजाइन क्षमता और 1 स्टेप में 35% प्राप्त करता है, जबकि बेसलाइन्स इन कम-स्टेप वाले रेजिम में काफी गिर जाते हैं या पूरी तरह से विफल हो जाते हैं।
- DNA डिज़ाइन में, RMF वेरिएंट केवल 1 स्टेप में 100 स्टेप्स वाले Fisher FM के प्रदर्शन के बराबर प्रदर्शन करता है।
स्थिरता (Stability): प्रस्तावित स्थिरीकरण तकनीकें (विशेष रूप से सेमीग्रुप ऑब्जेक्टिव और $x_1$ -prediction का संयोजन) उच्च-आयामी स्थानों में स्थिर प्रशिक्षण सक्षम करती हैं जहाँ अन्य फ्लो मैप विधियाँ (जैसे, GFM) कन्वर्ज होने में विफल रहती हैं या त्रुटिपूर्ण सैंपल उत्पन्न करती हैं।
रिवॉर्ड गाइडेंस (Reward Guidance): नेइव गाइडेंस या अनगाइडेड जनरेशन की तुलना में टारगेट रेगुलेटरी प्रोफाइल्स (DNA) और सेकेंडरी स्ट्रक्चर कंपोजिशन (प्रोटीन) के साथ संरेखण में सुधार करने के लिए रिवॉर्ड-लुकाहेड स्ट्रैटेजी का उपयोग करने वाला रिवॉर्ड-गाइडेड इन्फरेंस बेहतर परिणाम देता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह रिमानियन मैनिफोल्ड्स पर फास्ट सैंपलिंग के लिए एक सिद्धांतिक आधार और व्यावहारिक दिशा-निर्देश स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

अंतराल को पाटना (Bridging the Gap): यह कम-स्टेप जनरेशन क्षमताओं को जटिल, उच्च-आयामी रिमानियन मैनिफोल्ड्स तक विस्तारित करता है, जो वैज्ञानिक अनुप्रयोगों के लिए एक महत्वपूर्ण कदम है।
स्केलेबिलिटी (Scalability): ऐसे सिद्धांत व्युत्पन्न करके जो उच्च-क्रम डेरिवेटिव्स से बचते हैं और $x_1$ -prediction का उपयोग करते हैं, यह विधि उन आयामों ( $D \approx 2000$ ) और अनुक्रम लंबाई तक स्केल करती है जो पहले फ्यू-स्टेप मैनिफोल्ड जनरेटिव मॉडल्स के लिए अप्राप्य थे।
वैज्ञानिक वर्कफ़्लो में दक्षता: इन्फरेंस लागत में कमी (10-गुना तक) जनरेटिव मॉडल्स को प्रॉपर्टी-ड्रिवन ऑप्टिमाइज़ेशन के लिए इटरेटिव साइंटिफिक डिज़ाइन लूप्स में एक प्रस्ताव तंत्र के रूप में अधिक व्यावहारिक बनाती है।
रिवॉर्ड लुकअहेड: यह प्रदर्शित करता है कि फ्लो मैप्स मध्यवर्ती चरणों से अंतिम अवस्थाओं की भविष्यवाणी करके कुशल रिवॉर्ड-गाइडेड डिज़ाइन को सक्षम करते हैं, जो मैनिफोल्ड्स पर पहले प्रदर्शित नहीं की गई क्षमता है।

लेखक RMF को सभी जनरेटिव मॉडलिंग के विकल्प के रूप में नहीं, बल्कि एक विशेष ढांचे के रूप में स्थापित करते हैं जो उन ज्यामितीय रूप से बाधित वैज्ञानिक डोमेन में उच्च-गुणवत्ता वाली, कुशल जनरेशन को सक्षम करता है जहाँ कम्प्यूटेशनल लागत एक सीमित कारक है।