A Few-Step Generative Model on Cumulative Flow Maps

तकनीकी सारांश: संचयी प्रवाह मानचित्रों (Cumulative Flow Maps) पर एक अल्प-चरण जनरेटिव मॉडल

समस्या विवरण
जनरेटिव मॉडल, जिनमें डिफ्यूजन मॉडल और फ्लो मैचिंग शामिल हैं, आमतौर पर तात्कालिक प्रवाह मानचित्रों (instantaneous flow maps या तात्कालिक गतिकी) को सीखने के रूप में तैयार किए जाते हैं जो वर्तमान अवस्था $x(t)$ पर आधारित स्थानीय अवस्था अपडेट की भविष्यवाणी करते हैं। डेटा उत्पन्न करने के लिए, इन मॉडलों को एक सरल स्रोत वितरण से एक जटिल डेटा वितरण तक ले जाने वाले संचयी प्रवाह मानचित्र (cumulative flow map)—जो कि परिमित-समय का परिवहन है—का अनुमान लगाने के लिए कई छोटे समय चरणों में पुनरावृत्ति संख्यात्मक एकीकरण (iterative numerical integration) की आवश्यकता होती है। यह बहु-चरण नमूनाकरण प्रक्रिया (multi-step sampling process) महत्वपूर्ण गणना लागत उत्पन्न करती है।

जबकि हालिया प्रयासों ने अल्प-चरण (few-step) और एक-चरण (one-step) पीढ़ी की खोज की है, मौजूदा दृष्टिकोणों की सीमाएँ हैं:

1. डिस्टिलेशन-आधारित विधियाँ अक्सर जटिल शिक्षक-छात्र (teacher-student) प्रशिक्षण पाइपलाइनों की मांग करती हैं।
2. कंसिस्टेंसी मॉडल्स और मीन फ्लो (जो माध्य वेग सीखता है) मुख्य रूप से विशिष्ट फॉर्मुलेशन (जैसे $u$-prediction फ्लो मैचिंग) के लिए डिज़ाइन किए गए हैं और अन्य व्यापक रूप से उपयोग किए जाने वाले फ्रेमवर्क, जैसे कि DDIM, EDM, या $x_1$-prediction फ्लो मैचिंग के प्रति स्वाभाविक रूप से सामान्यीकृत नहीं होते हैं।
3. सीधे दीर्घ-दूरी के संचयी मानचित्रों को सीखना चुनौतीपूर्ण है क्योंकि मानक प्रशिक्षण उद्देश्यों के लिए आवश्यक सशर्त समकक्ष (conditional counterparts) संचयी क्षेत्रों (cumulative fields) के लिए अस्तित्व में नहीं होते हैं, जो एक मौलिक प्रशिक्षण बाधा उत्पन्न करता है।

कार्यप्रणाली: संचयी प्रवाह मानचित्र (Cumulative Flow Maps - CFM)
लेखक Cumulative Flow Maps (CFM) का प्रस्ताव करते हैं, जो एक स्पष्ट संचयी-क्षेत्र पैरामीट्राइजेशन के माध्यम से तात्कालिक स्थानीय अपडेट को परिमित-समय परिवहन के साथ जोड़ता है।

• एकीकृत अमूर्तता (Unified Abstraction): यह विधि तात्कालिक प्रवाह मानचित्र $\psi_{t \to t+h}$ को एक अमूर्त फलन $F[m_t(x), x, t, t+h]$ का उपयोग करके औपचारिक रूप देती है, जहाँ $m_t(x)$ तात्कालिक क्षेत्र (जैसे वेग) है। यह अमूर्तता विविध पैरामीट्राइजेशन ($u$-FM, $x_1$-FM, DDIM, EDM) को एकीकृत करती है।
• संचयी पैरामीट्राइजेशन (Cumulative Parameterization): CFM इस अवधारणा को दीर्घ-दूरी के परिवहन तक विस्तारित करता है, तात्कालिक मानचित्रों के संयोजन के रूप में एक संचयी प्रवाह मानचित्र $\psi_{t \to r}$ को परिभाषित करके। मॉडल एक संचयी पैरामीट्राइजेशन फील्ड $m_{t \to r}(x)$ सीखता है ताकि $\psi_{t \to r}(x) = F[m_{t \to r}(x), x, t, r]$ हो सके। यह मॉडल को एक ही चरण या कुछ ही चरणों में समय $t$ से किसी भी भविष्य के समय $r$ तक नमूनाकरण (sampling) को आगे बढ़ाने की अनुमति देता है।
• क्षेत्र समीकरणों के माध्यम से प्रशिक्षण (Training via Field Equations): एक प्रमुख चुनौती यह है कि एक सशर्त संचयी क्षेत्र $m_{t \to r}(x | X_1)$ सुसंगत रूप से अस्तित्व में नहीं होता है। इससे निपटने के लिए, लेखक एक क्षेत्र-समीकरण-आधारित पुनर्गठन (उपपत्ति 3) व्युत्पन्न करते हैं। वे संचयी क्षेत्र को तात्कालिक क्षेत्र और उसके डेरिवेटिव के संदर्भ में व्यक्त करते हैं:
  $$m_{t \to r}(x) = G(t, r)m_t(x) + H(t, r)E[\dots]$$
  यह फॉर्मुलेशन एक सरोगेट लॉस फंक्शन (समीकरण 7) के निर्माण की अनुमति देता है जो सशर्त तात्कालिक क्षेत्र $m_t(x | X_1)$ (जो सीखने योग्य है) का उपयोग संचयी क्षेत्र को सुपरवाइज करने के लिए करता है। इसमें डेरिवेटिव टर्म्स ($\partial_t m$ और $\partial_x m$) शामिल हैं, जिन्हें जैकोबियन-वेक्टर उत्पादों (JVP) या डिस्क्रीट एप्रोक्सिमेशन के माध्यम से गणना किया जाता है।
• कार्यान्वयन (Implementation): इस दृष्टिकोण के लिए न्यूनतम आर्किटेक्चरल परिवर्तनों की आवश्यकता होती है। यह लक्ष्य समय $r$ के लिए एक अतिरिक्त एंबेडर के साथ समय एम्बेडिंग को बढ़ाता है और एक औसत एम्बेडिंग $(emb_t + emb_r)/2$ का उपयोग करता है। इसके लिए किसी डिस्टिलेशन या क्षमता वृद्धि की आवश्यकता नहीं है।

प्रमुख योगदान

1. तात्कालिक-संचयी प्रवाह-मानचित्र अमूर्तता: यह शोध पत्र संचयी प्रवाह मानचित्रों को तात्कालिक मानचित्रों के संयोजन द्वारा प्राप्त परिमित-समय परिवहन के रूप में औपचारिक रूप देता है, जिससे बहु-चरण और अल्प-चरण पीढ़ी को एक एकल गणितीय ढांचे के तहत एकीकृत किया जाता है।
2. $u$-Prediction से परे सामान्यीकरण: CFM 'मीन फ्लो' की अवधारणा को $u$- और $x_1$-फ्लो मैचिंग, EDM और DDIM सहित विविध जनरेटिव फॉर्मुलेशन तक विस्तृत करता है। यह उन सेटिंग्स में अल्प-चरण पीढ़ी को सक्षम बनाता है जहाँ पिछले तरीके (जैसे मीन फ्लो) लागू नहीं थे, जैसे कि ज्योमेट्री डिस्ट्रीब्यूशन मॉडलिंग और पिक्सेल-स्पेस इमेज जनरेशन।
3. मॉडल-अग्नोस्टिक प्रशिक्षण: एक क्षेत्र-समीकरण-आधारित उद्देश्य को व्युत्पन्न करके, यह विधि बिना किसी आर्किटेक्चरल बदलाव या डिस्टिलेशन के संचयी प्रवाह मानचित्रों को सीखने में सक्षम बनाती है, जिससे मौजूदा मॉडलों में नमूनाकरण चरणों में काफी कमी आती है।

प्रायोगिक परिणाम
लेखक पांच विविध ग्राफिक्स कार्यों में CFM का मूल्यांकन करते हैं, जो गुणवत्ता बनाए रखते हुए या उसमें सुधार करते हुए महत्वपूर्ण गति (10×–200×) प्रदर्शित करते हैं:

• इमेज जनरेशन (CelebA-HQ): CFM-DDIM का उपयोग करते हुए, मॉडल 128-स्टेप बेसलाइन के तुलनीय FID स्कोर के साथ 1-स्टेप और 4-स्टेप जनरेशन प्राप्त करता है, जो कंसिस्टेंसी डिस्टिलेशन और प्रशिक्षण विधियों से बेहतर प्रदर्शन करता है।
• जियोमेट्रिक डिस्ट्रीब्यूशन मॉडलिंग: GeoDist कार्य पर, CFM-EDM 60-स्टेप बेसलाइन की तुलना में चार्मल डिस्टेंस (Chamfer Distance) में गिरावट के बिना 6×–10× की गति प्राप्त करता है। विशेष रूप से, $u$-प्रेडिक्शन विधियाँ इस डोमेन में अल्प-चरण पीढ़ी का समर्थन करने में विफल रहती हैं, जबकि CFM-EDM सफल होता है।
• जॉइंट पोजीशन प्रेडिक्शन (PDT): RigNet डेटासेट पर लागू होने पर, CFM-DDIM मूल 1000-स्टेप PDT की तुलना में जॉइंट प्रेडिक्शन सटीकता (CD-J2J, IoU, Precision, Recall) को बनाए रखते हुए इन्फरेंस को 1000 चरणों से घटाकर 5 चरणों (200× स्पीडअप) में कम कर देता है।
• इमेज-कंडीशन्ड स्केच जनरेशन: ControlSketch डेटासेट पर, CFM 1 या 4 चरणों में वेक्टरकृत स्केच (50× स्पीडअप) उत्पन्न करता है, जिसकी फिडेलिटी (MS-SSIM, DreamSim) SwiftSketch बेसलाइन के समान है।
• 3D SDF जनरेशन: स्पार्स कंडीशनल SDF पुनर्निर्माण (64 पॉइंट्स) के लिए, CFM-$x_1$-FM समान पुनर्निर्माण गुणवत्ता के साथ Functional Diffusion की तुलना में 6–16× की गति प्राप्त करता है।

महत्व और दावे
शोध पत्र का दावा है कि CFM एक सामान्य गणितीय ढांचा प्रदान करता है जो विशेष रूप से विविध डेटा प्रतिनिधित्व (छवियां, पॉइंट क्लाउड्स, इम्प्लिसिट फील्ड्स) से जुड़े कंप्यूटर ग्राफिक्स अनुप्रयोगों के लिए उपयुक्त है। इसका प्राथमिक महत्व है:

• दक्षता को आर्किटेक्चर से अलग करना: यह केवल प्रशिक्षण उद्देश्य और समय एम्बेडिंग को संशोधित करके, बिना किसी डिस्टिलेशन या आर्किटेक्चरल ओवरहाल के, भारी इन्फरेंस त्वरण (200× तक) प्राप्त करता है।
• एकीकृत ढांचा: यह तात्कालिक गतिकी और दीर्घ-रेंज परिवहन के बीच के अंतर को पाटता है, और उन मॉडलों के लिए एक सिद्धांत आधारित समाधान प्रदान करता है जहाँ पिछले "मीन वेलोसिटी" दृष्टिकोण विफल रहे थे।
• व्यावहारिकता: यह विधि मॉडल-अग्नोस्टिक है और इसे मौजूदा मल्टी-स्टेप मॉडलों को तेज करने के लिए या नए अल्प-चरण मॉडलों को शुरू से प्रशिक्षित करने के लिए उपयोग किया जा सकता है।

लेखक का कहना है कि हालांकि CFM कई मॉडलों के लिए लागू है, उनका वर्तमान मूल्यांकन पांच अनुप्रयोगों और चार प्रतिनिधि फॉर्मुलेशन तक सीमित है, जिससे बड़े पैमाने के डेटासेट (जैसे ImageNet) तक विस्तार करना भविष्य का कार्य है।