💻 computer science

Posterior Augmented Flow Matching

यह शोध पत्र पोस्टीरियर-ऑगमेंटेड फ्लो मैचिंग (PAFM) प्रस्तुत करता है, जो सिंगल-टारगेट सुपरविजन को कई संभावित टारगेट कंप्लीशन के ऊपर एक एक्सपेक्टेशन (expectation) से बदलकर मानक फ्लो मैचिंग में उच्च-वैरिएंस ट्रेनिंग सिग्नल और फ्लो कोलैप्स की समस्याओं को कम करता है, जिससे नगण्य कम्प्यूटेशनल ओवरहेड के साथ विभिन्न मॉडलों और डेटासेट्स पर जेनेरेटिव प्रदर्शन में सुधार होता है।

मूल लेखक: George Stoica, Sayak Paul, Matthew Wallingford, Vivek Ramanujan, Abhay Nori, Winson Han, Ali Farhadi, Ranjay Krishna, Judy Hoffman

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: George Stoica, Sayak Paul, Matthew Wallingford, Vivek Ramanujan, Abhay Nori, Winson Han, Ali Farhadi, Ranjay Krishna, Judy Hoffman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशिष्ट विवरण के आधार पर कुत्ते का चित्र बनाना सिखाने की कोशिश कर रहे हैं, जैसे कि "एक रोएंदार गोल्डन रिट्रीवर।"

पुराना तरीका (फ्लो मैचिंग - Flow Matching)
वर्तमान मानक विधि में, जिसे फ्लो मैचिंग कहा जाता है, प्रशिक्षण प्रक्रिया इस प्रकार काम करती है:

आप रोबोट को एक शुरुआती बिंदु (रैंडम शोर का एक धब्बा) और एक अंतिम बिंदु (कुत्ते की एक आदर्श फोटो) दिखाते हैं।
आप शोर से कुत्ते तक एक सीधी रेखा खींचते हैं।
आप उस रेखा के बीच में एक रैंडम स्थान चुनते हैं और रोबोट से पूछते हैं: "यदि आप यहाँ हैं, तो इस विशिष्ट कुत्ते तक पहुँचने के लिए आपको किस दिशा में जाना चाहिए?"
रोबोट उस एक विशिष्ट पथ के लिए उत्तर सीखता है।

समस्या:
"रोएंदार गोल्डन रिट्रीवर" के लाखों अलग-अलग रूप हो सकते हैं। लेकिन इस पुरानी विधि में, रोबोट केवल एक ही विशिष्ट कुत्ता और एक ही विशिष्ट पथ देखता है। यह बिल्कुल वैसा ही है जैसे किसी शहर तक जाने के लिए केवल एक ही संकीर्ण सड़क देखी जाए। यदि रोबोट उस सटीक सड़क से थोड़ा भी भटक जाता है, तो वह घबरा जाता है क्योंकि उसे नहीं पता कि क्या करना है। वह "कुत्ते तक पहुँचने" की सामान्य अवधारणा सीखने के बजाय, उस एक विशिष्ट सड़क को रटने लगता है। इससे "फ्लो कोलैप्स" (flow collapse) होता है, जहाँ रोबोट धुंधले, अजीब या एक जैसे दिखने वाले कुत्ते बनाता है क्योंकि वह अन्य संभावनाओं को तलाशने से डरता है।

नया तरीका (PAFM)
लेखक पोस्टीरियर-ऑगमेंटेड फ्लो मैचिंग (PAFM) पेश करते हैं। यह रोबोट को सिखाने का एक स्मार्ट तरीका है।

केवल एक कुत्ता और एक पथ दिखाने के बजाय, PAFM कहता है: "ठीक है, तुम यात्रा के बीच में इस स्थान पर हो। केवल उस एक कुत्ते को मत देखो जो वहाँ खड़ा है। उन सभी संभावित कुत्तों को देखो जो तुम अंत में प्राप्त कर सकते हो, और उस दिशा का औसत निकालो जहाँ तुम्हें जाना चाहिए।"

यह एक रचनात्मक उपमा (analogy) का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:

"भीड़" की उपमा: कल्पना कीजिए कि आप एक धुंधले मैदान (यात्रा के बीच) में खड़े हैं। पुरानी विधि में, एक अकेला व्यक्ति चिल्लाता है, "उस तरफ जाओ जहाँ कुत्ता है!" और आप दौड़ पड़ते हैं। नई विधि (PAFM) में, आप अपने चारों ओर देखते हैं और लोगों की एक पूरी भीड़ देखते हैं। कुछ लोग बाईं ओर इशारा कर रहे हैं, कुछ दाईं ओर, कुछ ऊपर। लेकिन वे सभी समान रूप से नहीं चिल्ला रहे हैं।
- वे लोग जिनके पास ऐसे कुत्तों के चित्र हैं जो आपके द्वारा मांगे गए "रोएंदार गोल्डन रिट्रीवर" से बहुत मिलते-जुलते हैं, वे ज़ोर से चिल्लाते हैं।
- वे लोग जिनके पास बिल्लियों या अजीब राक्षसों के चित्र हैं, वे बहुत धीरे चिल्लाते हैं।
- रोबोट इन सभी आवाज़ों के वेटेड एवरेज (weighted average - भारित औसत) को सुनता है। वह उस दिशा में बढ़ना सीखता है जो सबसे अधिक संभावित कुत्तों को संतुष्ट करती है, न कि केवल उस एक रैंडम कुत्ते को जिसे उसने पहले चुना था।

वे इसे कैसे करते हैं (जादुई ट्रिक)
पेपर बताता है कि हर संभावित कुत्ते की गणना करना असंभव है (बहुत अधिक गणित है)। इसलिए, वे एक चतुर शॉर्टकट का उपयोग करते हैं:

उम्मीदवार ढूँढना: वे डेटाबेस से कुछ अन्य कुत्ते निकालते हैं जो उस एक कुत्ते के समान दिखते हैं जिस पर वे वर्तमान में प्रशिक्षण दे रहे हैं।
फिट की जाँच करना: वे दो चीजें जाँचते हैं:
- इस बात की कितनी संभावना है कि यह उम्मीदवार कुत्ता वर्तमान धुंध वाले स्थान में बदल गया होगा?
- क्या यह उम्मीदवार कुत्ता "रोएंदार गोल्डन रिट्रीवर" के विवरण से मेल खाता है?
वेटेड वोट (Weighted Vote): वे प्रत्येक उम्मीदवार को उनके फिट होने के आधार पर एक "वोट" देते हैं। रोबोट फिर इन सभी वेटेड वोटों के केंद्र की ओर बढ़ने के लिए सीखता है।

परिणाम
पेपर दावा करता है कि ऐसा करने से, रोबोट शोर को छवियों में बदलने का एक बहुत अधिक सुचारू और विश्वसनीय मानचित्र सीखता है।

कम भ्रम: रोबोट एक विशिष्ट पथ पर अटकता नहीं है।
बेहतर चित्र: परीक्षणों में, इस नई विधि ने पुराने तरीके की तुलना में कुत्तों (और अन्य चीजों) की अधिक स्पष्ट और यथार्थवादी छवियां बनाईं।
सस्ता अपग्रेड: सबसे अच्छी बात यह है कि यह "भीड़" वाला दृष्टिकोण बहुत अधिक कंप्यूटर पावर खर्च नहीं करता है। यह ऐसा है जैसे कमरे में कुछ और आवाज़ें जोड़ना, बिना किसी बड़े माइक्रोफ़ोन या तेज़ आवाज़ वाले कमरे की आवश्यकता के।

सारांश में
पेपर तर्क देता है कि इमेज जनरेटर को प्रशिक्षित करने का पुराना तरीका बहुत "स्पार्स" (sparse - विरल) है (यह एक बार में केवल एक पथ को देखता है)। नया तरीका, PAFM, कई संभावित पथों को एक साथ देखकर और उनका औसत निकालकर उन अंतरालों को भर देता है। यह रोबोट को अधिक स्मार्ट, लचीला और उच्च गुणवत्ता वाली छवियां बनाने में बेहतर बनाता है, और इसके लिए भारी हार्डवेयर अपग्रेड की आवश्यकता भी नहीं होती है।

यहाँ शोध पत्र "Posterior-Augmented Flow Matching" (PAFM) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: स्पार्स सुपरविजन और फ्लो कोलैप्स (Sparse Supervision and Flow Collapse)

यह शोध पत्र फ्लो मैचिंग (Flow Matching - FM) की एक मौलिक सीमा को संबोधित करता है, जो कि निरंतर-समय (continuous-time) जनरेटिव मॉडल का एक वर्ग है। ये मॉडल एक सरल प्रायर (जैसे Gaussian शोर) से एक जटिल डेटा वितरण तक नमूनों (samples) को ले जाने के लिए एक समय-निर्भर वेक्टर फील्ड (vector field) सीखते हैं।

मुख्य मुद्दा: मानक FM में, प्रशिक्षण स्पार्स, वन-टू-वन सुपरविजन (sparse, one-to-one supervision) पर निर्भर करता है। किसी भी शोर नमूने $\epsilon$ और लक्ष्य डेटा बिंदु $z$ को जोड़ने वाले प्रक्षेपवक्र (trajectory) के किसी भी मध्यवर्ती अवस्था $z_t$ के लिए, मॉडल को उस एक विशिष्ट लक्ष्य $z$ की ओर वेग (velocity) की भविष्यवाणी करने के लिए निर्देशित किया जाता है।
उच्च-आयामी वास्तविकता (High-Dimensional Reality): उच्च-आयामी स्थानों (जैसे चित्र) में, एक ही मध्यवर्ती बिंदु $z_t$ कई अलग-अलग प्रक्षेपवक्रों पर वैध रूप से स्थित हो सकता है जो विविध, वैध लक्ष्य छवियों की ओर ले जाते हैं जो एक ही स्थिति (जैसे, "एक कुत्ते की फोटो") को संतुष्ट करती हैं।
परिणाम:
- उच्च विचरण (High Variance): किसी विशिष्ट $z_t$ पर ग्रेडिएंट का अनुमान एक एकल शोर वाले सिग्नल से लगाया जाता है।
- फ्लो कोलैप्स (Flow Collapse): मॉडल वास्तविक निरंतर मैपिंग सीखने के बजाय विशिष्ट स्रोत-लक्ष्य युग्मों (source-target pairings) को याद करने लगता है। इससे "फ्लो कोलैप्स" होता है, जहाँ विविध इनपुट अत्यधिक समान या धुंधले आउटपुट में मैप हो जाते हैं, जिससे सामान्यीकरण (generalization) करने में विफलता होती है।

2. कार्यप्रणाली: पोस्टीरियर-ऑगमेंटेड फ्लो मैचिंग (PAFM)

लेखक PAFM प्रस्तावित करते हैं, जो FM का एक सैद्धांतिक रूप से आधारित सामान्यीकरण है। यह सिंगल-टारगेट सुपरविजन के स्थान पर वैध लक्ष्य पूर्णता (target completions) के पोस्टीरियर वितरण (posterior distribution) के ऊपर एक अपेक्षा (expectation) का उपयोग करता है।

सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

एकल लक्ष्य $z$ के विरुद्ध लॉस को कम करने के बजाय, PAFM संभावित लक्ष्यों $\{z_j\}$ के सेट पर अपेक्षित लॉस को कम करता है, जिन्हें पोस्टीरियर वितरण $p(z_j | z_t, y)$ से निकाला गया है, जहाँ $y$ कंडीशन (condition) है।

उद्देश्य (Objective): नया लॉस फंक्शन कई संभावित लक्ष्यों से प्राप्त ग्रेडिएंट्स को एकत्रित करता है, जिन्हें उनके पोस्टीरियर संभावना (likelihood) द्वारा भारित (weighted) किया जाता है।
अनबायस्ड एस्टिमेटर (Unbiased Estimator): लेखक सिद्ध करते हैं (Theorem 1) कि PAFM मूल FM ऑब्जेक्टिव का एक अनबायस्ड एस्टिमेटर है। अपेक्षा में, $L_{PAFM} = L_{FM}$ ।
विचरण में कमी (Variance Reduction): महत्वपूर्ण रूप से, Theorem 2 सिद्ध करता है कि प्रत्येक मध्यवर्ती बिंदु के लिए $K > 1$ संभावित प्रक्षेपवक्रों की जानकारी को एकत्रित करके, PAFM मानक FM की तुलना में ग्रेडिएंट विचरण (gradient variance) को कम करता है। विचरण कमी कारक (variance reduction factor) सैंपलिंग स्कीम के प्रभावी नमूना आकार (Effective Sample Size - ESS) से संबंधित है।

व्यावहारिक कार्यान्वयन (Practical Implementation)

चूंकि वास्तविक पोस्टीरियर गणना योग्य नहीं है (intractable), PAFM इम्पॉर्टेंस सैंपलिंग (Importance Sampling) का उपयोग करके समस्या को दो सन्निकटन (approximations) में विभाजित करता है:

मध्यवर्ती की संभावना (Likelihood of the Intermediate): $p(z_t | z_j)$ : यह कितनी संभावित है कि लक्ष्य $z_j$ ने वर्तमान मध्यवर्ती $z_t$ उत्पन्न किया है? इसकी गणना ज्ञात कंडीशनल प्रोबेबिलिटी पाथ (Gaussian) का उपयोग करके की जाती है।
कंडीशन लाइक्लीहुड (Condition Likelihood): $p(y | z_j)$ $p (y ∣ z_{j})$ : लक्ष्य $z_j$ $z_{j}$ कंडीशन $y$ $y$ के साथ कितनी अच्छी तरह मेल खाता है?
- क्लास-कंडीशन्ड (Class-conditioned): नियत (Deterministic) (यदि लेबल मेल खाते हैं तो 1, अन्यथा 0)।
- टेक्स्ट-कंडीशन्ड (Text-conditioned): विजन-लैंग्वेज मॉडल्स (जैसे CLIP/SigLIP) का उपयोग करके अनुमानित या यदि उम्मीदवार पहले से फ़िल्टर किए गए हैं तो समान (uniform) माना जाता है।

प्रशिक्षण एल्गोरिदम (Training Algorithm):
प्रत्येक प्रशिक्षण चरण के लिए, मॉडल एक मध्यवर्ती $z_t$ का नमूना लेता है। एक लक्ष्य के बजाय, यह $K$ उम्मीदवार लक्ष्यों $\{z_j\}$ को प्राप्त करता है। मॉडल इन लक्ष्यों के भारित औसत (weighted average) की ओर वेग की भविष्यवाणी करता है, जहाँ भार $p(z_t | z_j) \cdot p(y | z_j)$ के समानुपाती होता है।

3. लक्ष्य चयन रणनीतियाँ (Target Selection Strategies)

पेपर उम्मीदवार सेट $\{z_j\}$ बनाने के लिए कई व्यावहारिक रणनीतियों का अन्वेषण करता है:

लेटेंट स्पेस नियरएस्ट नेबर्स (Latent Space Nearest Neighbors - प्राथमिक): लेटेंट स्पेस में प्रशिक्षण छवि के $K$ निकटतम पड़ोसियों को खोजने के लिए FAISS का उपयोग करना। यह ज्यामितीय निकटता और अर्थ संबंधी समानता सुनिश्चित करता है।
रैंडम ऑग्मेंटेशन (Random Augmentations): स्रोत छवि पर रैंडम क्रॉप, रिसाइज और रोटेशन लागू करके लक्ष्य बनाना। यह स्थानिक विविधता (spatial diversity) बढ़ाता है।
VAE मोमेंट सैंपलिंग (VAE Moment Sampling): स्रोत छवि के VAE एनकोडिंग के Gaussian वितरण (मोमेंट) से $K$ बार नमूना लेना। यह माध्य एनकोडिंग के आसपास छोटे व्यवधान (perturbations) प्रदान करता है।

4. मुख्य योगदान (Key Contributions)

सैद्धांतिक सामान्यीकरण (Theoretical Generalization): PAFM को एक अनबायस्ड सामान्यीकरण के रूप में सिद्ध किया गया है जो संगत लक्ष्यों के पूर्ण पोस्टीरियर पर सुपरविजन को एकत्रित करके ग्रेडिएंट विचरण को कम करता है।
फ्लो कोलैप्स शमन (Flow Collapse Mitigation): एक सघन (denser) सुपरविजन सिग्नल प्रदान करके, PAFM मॉडल को विशिष्ट युग्मों को याद करने से रोकता है, जिससे अधिक मजबूत वेक्टर फील्ड प्राप्त होता है।
लचीलापन (Flexibility): यह ढांचा उम्मीदवारों के चयन के तरीके के प्रति स्वतंत्र (agnostic) है, जिससे विभिन्न डेटा मोडैलिटी और आर्किटेक्चर के साथ एकीकरण संभव है।
दक्षता (Efficiency): यह विधि नगण्य कम्प्यूटेशनल ओवरहेड पेश करती है क्योंकि उम्मीदवार सेट को पूर्व-निर्धारित (pre-compute) किया जा सकता है (जैसे FAISS इंडेक्स के माध्यम से) और प्रशिक्षण के दौरान लोड किया जा सकता है।

5. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न स्केल्स, आर्किटेक्चर और डेटासेट्स पर PAFM का मूल्यांकन किया:

डेटासेट्स:
- ImageNet-1K (Class-conditioned): SiT-B/2 और SiT-XL/2 मॉडल्स पर परीक्षण किया गया।
- CC12M (Text-to-Image): MMDiT आर्किटेक्चर पर परीक्षण किया गया।
मेट्रिक्स: FID50K (Fréchet Inception Distance), sFID, Precision, Recall।
प्रदर्शन लाभ (Performance Gains):
- ImageNet: PAFM ने FID में 3.4 अंक तक सुधार किया (उदाहरण के लिए, SiT-XL/2 ने 11.14 से 9.85 FID तक सुधार किया)।
- CC12M: PAFM ने FID को 10.37 (FM) से घटाकर 9.45 कर दिया।
- निरंतरता (Consistency): सभी मॉडल स्केल्स (SiT-B/2, SiT-XL/2) और आर्किटेक्चर (SiT, MMDiT) में सुधार देखा गया।
ग्रेडिएंट विचरण (Gradient Variance): अनुभवजन्य विश्लेषण (Empirical analysis) ने दिखाया कि PAFM ने FM की तुलना में मिनी-बैच ग्रेडिएंट विचरण को लगभग 4 गुना कम कर दिया, जिससे अधिक स्थिर प्रशिक्षण गतिशीलता (training dynamics) प्राप्त हुई।
कम्प्यूटेशनल लागत (Computational Cost):
- थ्रूपुट (Throughput) केवल 6.6% कम हुआ।
- पीक मेमोरी उपयोग में 0.4% की वृद्धि हुई।
- प्रति स्टेप FLOPs अपरिवर्तित रहा।

6. महत्व (Significance)

PAFM फ्लो-आधारित और डिफ्यूजन मॉडल्स में अंतर्निहित "स्पार्स सुपरविजन" बाधा को संबोधित करके जनरेटिव मॉडलिंग में एक महत्वपूर्ण कदम है।

मजबूती (Robustness): यह मौलिक रूप से उच्च-आयामी जनरेटिव मॉडल्स के प्रशिक्षण की स्थिरता में सुधार करता है, जिससे मोड कोलैप्स और आर्टिफैक्ट्स का जोखिम कम होता है।
दक्षता (Efficiency): यह न्यूनतम अतिरिक्त कंप्यूट के साथ अत्याधुनिक प्रदर्शन सुधार प्राप्त करता है, जिससे यह मानक फ्लो मैचिंग ऑब्जेक्टिव के लिए एक अत्यधिक व्यावहारिक ड्रॉप-इन रिप्लेसमेंट बन जाता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण क्लास-कंडीशन्ड और टेक्स्ट-टू-इमेज जनरेशन दोनों के लिए लागू है, जो बताता है कि यह परीक्षण किए गए विशिष्ट आर्किटेक्चर से परे कई निरंतर जनरेटिव मॉडल्स को लाभान्वित कर सकता है।