🤖 AI

Score-Regularized Joint Sampling with Importance Weights for Flow Matching

यह शोध पत्र एक स्कोर-रेगुलराइज्ड जॉइंट सैंपलिंग फ्रेमवर्क (score-regularized joint sampling framework) प्रस्तावित करता है जिसमें इम्पोर्टेंस वेटिंग (importance weighting) का उपयोग किया गया है, जो सीमित सैंपलिंग बजट के तहत सटीक एक्सपेक्टेशन एस्टीमेशन (expectation estimation) को सक्षम करने के लिए फ्लो मैचिंग मॉडल्स (flow matching models) से विविध और उच्च-गुणवत्ता वाले नमूने उत्पन्न करता है।

मूल लेखक: Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Truong Nguyen

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Truong Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई कलाकार (Flow Matching Model) है जो आपसे कुछ भी बनाने के लिए कह सकता है, जैसे कि एक "धूप वाला समुद्र तट" या "साइबरपंक शहर"। यह कलाकार अविश्वसनीय रूप से प्रतिभाशाली है, लेकिन उसकी एक आदत है: यदि आप उसे लगातार 10 चित्र बनाने के लिए कहते हैं, तो वह उसी धूप वाले समुद्र तट के 10 लगभग एक जैसे चित्र बनाता है, बस बादलों में थोड़ा अंतर होता है। वह अपने पसंदीदा "कम्फर्ट ज़ोन" में फंस जाता है।

यह एक समस्या है यदि आप यह जानना चाहते हैं कि कलाकार क्या कुछ बना सकता है का औसत (average) क्या है। यदि आप केवल 10 चित्र मांगते हैं और वे सभी एक जैसे होते हैं, तो आपका औसत गलत होगा। आप उन दुर्लभ लेकिन महत्वपूर्ण चीजों को खो देते हैं, जैसे कि "सूर्यास्त वाला समुद्र तट" या "तूफानी समुद्र तट"।

यह पेपर इस बात का एक नया तरीका प्रस्तावित करता है कि कलाकार से चित्र कैसे मांगे जाएं ताकि आपको 10 अद्वितीय (unique) चित्रों का एक विविध (diverse) सेट मिले, जबकि आप अभी भी सटीक रूप से वास्तविक औसत की गणना कर सकें।

यहाँ बताया गया है कि वे इसे कैसे करते हैं, जिसे तीन सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "ग्रुपथिंक" (Groupthink) कलाकार

आमतौर पर, जब आप 10 नमूने (samples) मांगते हैं, तो कलाकार उन्हें एक-एक करके, स्वतंत्र रूप से बनाता है। यह 10 अलग-अलग लोगों से मौसम का अनुमान लगाने के लिए पूछने जैसा है; यदि वे सभी एक ही खिड़की से देखते हैं, तो वे सभी "धूप वाला" अनुमान लगा सकते हैं, भले ही तूफान आने वाला हो।

समस्या: यदि कलाकार के पास कोई दुर्लभ लेकिन महत्वपूर्ण शैली (जैसे "तूफानी") है, तो स्वतंत्र सैंपलिंग उसे पूरी तरह से मिस कर सकती है।
लक्ष्य: हम चाहते हैं कि 10 नमूने फैलकर उन सभी अलग-अलग शैलियों (modes) को कवर करें जिन्हें कलाकार जानता है, न कि केवल सबसे लोकप्रिय एक को।

2. समाधान: "सोशल डिस्टेंसिंग" नियम (Score-Regularized Sampling)

विविध चित्र प्राप्त करने के लिए, शोधकर्ता कलाकार को बताते हैं: "10 चित्र बनाओ, लेकिन सुनिश्चित करो कि वे एक-दूसरे से अलग हों।" वे ऐसा एक "विकर्षण बल" (repulsive force - जैसे एक-दूसरे को दूर धकेलने वाले चुंबक) जोड़कर करते हैं जो चित्रों के बनते समय उन्हें एक-दूसरे से दूर धकेलता है।

लेकिन यहाँ एक पेंच है: यदि आप उन्हें बहुत अधिक जोर से धकेलते हैं, तो कलाकार भ्रमित हो सकता है और बेतुकी चीजें बना सकता है (जैसे तैरते हुए टोस्टर वाला समुद्र तट)। इसे "मैप से भटक जाना" (drifting off the map) कहा जाता है।

समाधान (Score-Regularization):
शोधकर्ताओं ने कलाकार को एक विशेष दिशा-सूचक यंत्र दिया जिसे "स्कोर" (Score) कहा जाता है।

"स्कोर" को एक मानचित्र के रूप में समझें जो कलाकार को बताता है कि "अच्छे, उच्च-गुणवत्ता वाले" क्षेत्र (data manifold) कहाँ हैं।
जब "सोशल डिस्टेंसिंग" बल किसी चित्र को एक अजीब, कम-गुणवत्ता वाले क्षेत्र में धकेलने की कोशिश करता है, तो स्कोर कहता है, "नहीं! वापस मुड़ो! अच्छे पथ पर बने रहो!"
परिणाम: 10 चित्र विभिन्न शैलियों को कवर करने के लिए फैल जाते हैं (विविधता), लेकिन वे सभी वास्तविकता के दायरे के भीतर रहते हैं (गुणवत्ता)। यह बिल्लियों के झुंड को नियंत्रित करने जैसा है: आप चाहते हैं कि वे अलग-अलग दिशाओं में जाएं, लेकिन आप नहीं चाहते कि वे खाई में कूद जाएं।

3. गुप्त नुस्खा: "फेयरनेस टिकट" (Importance Weights)

अब, हमारे पास 10 विविध चित्र हैं। लेकिन क्योंकि हमने उन्हें अलग होने के लिए मजबूर किया है, वे अब एक "निष्पक्ष" रैंडम सैंपल नहीं रह गए हैं। उदाहरण के लिए, यदि कलाकार आमतौर पर 90% बार "धूप वाला" चित्र बनाता है, लेकिन हमारे विविधता नियम ने एक चित्र को "तूफानी" बना दिया, तो वह "तूफानी" चित्र अब हमारे 10 चित्रों के समूह में अति-प्रतिनिधित्व (over-represented) कर रहा है।

यदि हम इन 10 चित्रों का औसत लेते हैं, तो हमारा गणित गलत होगा। हमें गणित को ठीक करने की आवश्यकता है।

समाधान:
शोधकर्ताओं ने प्रत्येक चित्र के लिए एक "फेयरनेस टिकट" (Importance Weight) की गणना करने का एक तरीका विकसित किया है।

उपमा: कल्पना कीजिए कि आप एक पार्टी में हैं। आमतौर पर, 90% मेहमान लाल शर्ट पहनते हैं। लेकिन आज रात, आपने समूह को विविध बनाने के लिए 1 मेहमान को नीली शर्ट पहनने के लिए मजबूर किया।
पार्टी के "औसत विचार" की सही गणना करने के लिए, आप केवल नीली शर्ट को लाल शर्ट के बराबर नहीं मान सकते। आपको कहना होगा, "वह नीली शर्ट एक दुर्लभ विचार का प्रतिनिधित्व करती है, इसलिए चलिए उसे 10 लाल शर्ट के वजन के रूप में गिनते हैं," या इसके विपरीत, "लाल शर्ट आम हैं, इसलिए चलिए उन्हें 0.1 व्यक्ति के रूप में गिनते हैं।"
वे इसे कैसे करते हैं: वे एक छोटे, तेज़ "सहायक रोबोट" (एक residual velocity field) को प्रशिक्षित करते हैं जो बिल्कुल सीखता है कि विविधता नियम ने संभावनाओं को कैसे बदल दिया। यह रोबोट चित्र बनते समय प्रत्येक चित्र के लिए वजन (weight) की गणना करता है।
परिणाम: आपको विविध चित्रों का एक समूह मिलता है, लेकिन जब आप इन विशेष भारों (weights) का उपयोग करके उनका औसत निकालते हैं, तो आपको ठीक वही उत्तर मिलता है जो आपको 1,000,000 रैंडम चित्र खींचने से मिलता।

सारांश: यह क्यों मायने रखता है

पुराना तरीका: 10 चित्र मांगें। 10 समान चित्र प्राप्त करें। दुर्लभ चीजों को मिस करें। खराब गणित।
नया तरीका: 10 चित्र मांगें। उन्हें अलग होने के लिए मजबूर करें (विविधता)। उन्हें वास्तविक बनाए रखने के लिए एक दिशा-सूचक यंत्र का उपयोग करें (Score-Regularization)। प्रत्येक चित्र को उसकी दुर्लभता के आधार पर एक "वजन" दें (Importance Weights)।
लाभ: आपको कम संसाधनों का उपयोग करके यह बेहतर समझ मिलती है कि AI क्या कर सकता है। यह एक संग्रहालय के पूरे दौरे को प्राप्त करने जैसा है जहाँ आप 10 अलग-अलग कमरों में जाते हैं, बजाय इसके कि आप एक ही पेंटिंग को 10 बार देखें, और फिर पूरे संग्रहालय की "औसत" सुंदरता जानने के लिए गणित को सही ढंग से करते हैं।

यह विधि AI शोधकर्ताओं को उनके मॉडल पर अधिक भरोसा करने में मदद करती है, खासकर जब उन्हें AI के "औसत" व्यवहार के आधार पर निर्णय लेने की आवश्यकता होती है, न कि केवल एक भाग्यशाली, रैंडम ड्रॉ की उम्मीद करने की।

यहाँ शोध पत्र "Score-Regularized Joint Sampling with Importance Weights for Flow Matching" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फ्लो मैचिंग मॉडल जटिल वितरणों (complex distributions) को उत्पन्न करने के लिए शक्तिशाली उपकरण हैं, लेकिन सीमित सैंपलिंग बजट के तहत उनके आउटपुट के फलनों (functions) के प्रत्याशा (expectations, जैसे $E[f(X)]$ ) का अनुमान लगाना चुनौतीपूर्ण है।

विचरण की समस्या (The Variance Issue): मानक इंडिपेंडेंट एंड आइडेंटिकली डिस्ट्रीब्यूटेड (IID) सैंपलिंग अक्सर उच्च-विचरण (high-variance) वाले अनुमान देती है, विशेष रूप से तब जब दुर्लभ लेकिन उच्च-प्रभाव वाले परिणाम प्रत्याशा पर हावी होते हैं।
विविधता-गुणवत्ता ट्रेड-ऑफ (The Diversity-Quality Trade-off): मौजूदा गैर-IID जॉइंट सैंपलिंग विधियाँ (जैसे, Particle Guidance, DiverseFlow) एक "डाइवर्सिटी वेलोसिटी" (diversity velocity) पेश करती हैं ताकि समवर्ती प्रक्षेपवक्रों (concurrent trajectories) को एक-दूसरे से दूर धकेला जा सके। हालाँकि, तीव्र विविधता बल (diversity forces) नमूनों को निम्न-घनत्व वाले, ऑफ-मैनिफोल्ड (off-manifold) क्षेत्रों में धकेल देते हैं, जिससे नमूना गुणवत्ता कम हो जाती है। कमजोर बल गुणवत्ता को बनाए रखते हैं लेकिन विविधता में महत्वपूर्ण सुधार करने में विफल रहते हैं।
पक्षपात की समस्या (The Bias Issue): मौजूदा जॉइंट सैंपलिंग विधियाँ इम्पॉर्टेंस वेट्स (importance weights) की गणना के लिए कोई तंत्र प्रदान नहीं करती हैं। फलस्वरूप, जॉइंटली सैंपल किए गए आउटपुट का साधारण औसत प्रत्याशाओं का पक्षपाती अनुमान (biased estimator) देता है क्योंकि जॉइंट सैंपलर का मार्जिनल वितरण लक्ष्य वितरण से भिन्न होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जिसे Score-Regularized Joint Sampling with Importance Weights (SRIW-Flow) कहा जाता है, जो विविधता/गुणवत्ता और निष्पक्ष अनुमान (unbiased estimation) दोनों को संबोधित करता है।

A. विविधता के लिए स्कोर-आधारित रेगुलाइजेशन (SR)

विविधता-गुणवत्ता ट्रेड-ऑफ को हल करने के लिए, यह विधि मॉडल के स्कोर फंक्शन ( $\nabla_x \log p(x|t)$ ) का उपयोग करके विविधता वेग की दिशा को नियंत्रित करती है।

तंत्र (Mechanism): विविधता ग्रेडिएंट $g$ (जो विविधता उद्देश्य जैसे कि पेयरवाइज दूरियों से प्राप्त होता है) को स्कोर वेक्टर के समानांतर ( $g_{\parallel}$ ) और लंबवत ( $g_{\perp}$ ) घटकों में विभाजित किया जाता है।
रेगुलाइजेशन (Regularization):
- यदि विविधता संबंधी गति उच्च घनत्व के साथ संरेखित होती है ( $g \cdot s \geq 0$ ), तो इसे रखा जाता है।
- यदि गति निम्न-घनत्व/ऑफ-मैनिफोल्ड क्षेत्रों की ओर धकेलती है ( $g \cdot s < 0$ ), तो समानांतर घटक को कम या हटा दिया जाता है (एक "सॉफ्ट" या "हार्ड" बाधा के माध्यम से)।
परिणाम: यह सुनिश्चित करता है कि नमूने मुख्य रूप से डेटा मैनिफोल्ड के अनुदिश (उच्च-घनत्व वाले क्षेत्रों के भीतर) एक-दूसरे से दूर धकेले जाएं, जिससे उच्च नमूना गुणवत्ता बनाए रखते हुए ऑफ-मैनिफोल्ड ड्रिफ्ट (off-manifold drift) को रोका जा सके।

B. रेसिडुअल फ्लो के माध्यम से इम्पॉर्टेंस वेट अनुमान (Importance Weight Estimation via Residual Flow)

निष्पक्ष अनुमान ( $\hat{\mu} = \frac{1}{n} \sum w_i f(X_i)$ ) को सक्षम करने के लिए, यह विधि वेट्स $w(x) = p(x)/p'(x)$ की गणना करने के लिए जॉइंट सैंपलर के मार्जिनल वितरण को सीखती है।

रेसिडुअल वेलोसिटी लर्निंग (Residual Velocity Learning): पूरे फ्लो को पुन: सीखने के बजाय, एक हल्का रेसिडुअल वेलोसिटी फील्ड $r_\phi(x, t)$ प्रशिक्षित किया जाता है। यह क्षेत्र, जब मूल प्री-ट्रेन्ड वेलोसिटी $v(x, t)$ में जोड़ा जाता है, तो एक विक्षेपित फ्लो (perturbed flow) बनाता है जो विविधता-युग्मित (diversity-coupled) सैंपलर द्वारा प्रेरित मार्जिनल वितरण से मेल खाता है।
ट्रैजेक्टरी-आधारित विकास (Trajectory-Based Evolution): एक निश्चित स्थिति पर वेट्स का अनुमान लगाने के बजाय (जो आउट-ऑफ-डिस्ट्रीब्यूशन समस्याओं से ग्रस्त हो सकता है), यह विधि नमूना प्रक्षेपवक्र (sample trajectory) के साथ लॉग-वेट अनुपात के विकास को एकीकृत करती है।
- रेक्टिफाइड फ्लो (Rectified Flows) के लिए, वेलोसिटी फील्ड और रेसिडुअल का उपयोग करके क्लोज्ड फॉर्म में इम्पॉर्टेंस वेट के विकास को निकाला जाता है, जिससे अलग से स्कोर फंक्शन सीखने की आवश्यकता नहीं होती।
- वेट अपडेट नियम रेसिडुअल वेलोसिटी के डायवर्जेंस और मूल वेलोसिटी, रेसिडुअल और विविधता वेग के बीच की अंतःक्रिया को ध्यान में रखता है।

3. मुख्य योगदान (Key Contributions)

गैर-IID सैंपलिंग फ्रेमवर्क: फ्लो मैचिंग के लिए एक नवीन दृष्टिकोण जो वितरण के विविध और महत्वपूर्ण क्षेत्रों को कवर करने के लिए कई नमूनों को संयुक्त रूप से निकालता है।
स्कोर-रेगुलराइज्ड डाइवर्सिटी: यह विधि स्कोर फंक्शन का उपयोग करके विविधता बलों को नियंत्रित करती है, जो नमूना विविधता और ऑन-मैनिफोल्ड गुणवत्ता के बीच के ट्रेड-ऑफ को प्रभावी ढंग से हल करती है।
अनबायस्ड इम्पॉर्टेंस वेटिंग: रेसिडुअल वेलोसिटी फील्ड को सीखकर और प्रक्षेपवक्यों के साथ वेट्स को विकसित करके, यह गैर-IID फ्लो नमूनों के लिए इम्पॉर्टेंस वेट की गणना करने वाली पहली विधि (लेखकों की जानकारी के अनुसार) है।
सैद्धांतिक और अनुभवजन्य सत्यापन: वेट इवोल्यूशन के लिए सैद्धांतिक प्रमाण और बेहतर विविधता, गुणवत्ता और अनुमान सटीकता दिखाने वाला व्यापक अनुभवजन्य सत्यापन।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन गॉसियन मिश्रण (Gaussian mixtures), स्टेबल डिफ्यूजन 3.5 (टेक्स्ट-टू-इमेज), और FLUX.1-Fill (इमेज इनपेंटिंग) पर किया गया।

गॉसियन मिश्रण (सिंथेटिक):
- विविधता और गुणवत्ता: स्कोर-रेगुलाइजेशन (SR) जोड़ने से उच्च मोड कवरेज बनाए रखते हुए नमूना गुणवत्ता (उच्च लॉग-प्रोबेबिलिटी, लोअर RMSE टू मोड्स) में काफी सुधार हुआ। इसके विपरीत, मानक विविधता विधियाँ (जैसे DiverseFlow) अक्सर विविधता के लिए गुणवत्ता का त्याग करती हैं।
- अनुमान सटीकता: प्रक्षेपवक्र-आधारित इम्पॉर्टेंस वेट एस्टीमेटर ने डेंसिटी बेसलाइन्स (kNN, KDE) और फिक्स्ड-पोजीशन एस्टीमेटर्स की तुलना में काफी कम स्क्वेयर्ड एरर (SE) और बेहतर रैंकिंग मेट्रिक्स (Kendall's $\tau$ , Spearman's $\rho$ ) प्राप्त किए।
- एक्सपेक्टेशन एस्टीमेशन: प्रस्तावित विधि ने जनरेटेड नमों के वितरण का अनुमान लगाने के लिए IID सैंपलिंग और अनवेटेड नॉन-IID सैंपलिंग दोनों की तुलना में सबसे कम जेन्सन-शैनन डाइवर्जेंस (Jensen-Shannon divergence) दिया।
टेक्स्ट-टू-इमेज (Stable Diffusion 3.5) और इनपेंटिंग (FLUX.1):
- कवरेज रेडियस: विधि ने विभिन्न प्रॉम्प्ट्स के लिए IID सैंपलिंग की तुलना में कवरेज रेडियस (लेटेंट स्पेस में वर्स्ट-केस ज्योमेट्रिक कवरेज के लिए एक मीट्रिक) को कम किया।
- गुणात्मक सुधार: विजुअल परिणामों ने दिखाया कि SR ने आर्टिफैक्ट्स (जैसे शुद्ध विविधता बलों से उत्पन्न अवास्तविक चित्र) को रोका और आउटपुट सेट की विविधता बनाए रखते हुए विवरणों (जैसे इनपेंटिंग में आंखों की संरचना) को परिष्कृत किया।
- दक्षता: दृष्टिकोण ने प्रदर्शित किया कि ऑन-मैनिफोल्ड गुणवत्ता बनाए रखने से सैंपल दक्षता बढ़ती है, जिससे वितरण को प्रभावी ढंग से कवर करने के लिए कम नमूनों की आवश्यकता होती है।

5. महत्व (Significance)

यह कार्य फ्लो मैचिंग मॉडल के आउटपुट के विश्वसनीय लक्षण वर्णन (characterization) के लिए एक मौलिक प्रगति प्रदान करता है। स्कोर रेगुलराइजेशन के माध्यम से विविधता तंत्र को ऑफ-मैनिफोल्ड ड्रिफ्ट से अलग करके और इम्पॉर्टेंस वेटिंग के माध्यम से निष्पक्ष प्रत्याशा अनुमान के लिए एक कठोर मार्ग प्रदान करके, यह शोध पत्र सक्षम बनाता है:

महंगे जनरेटिव मॉडल्स का अधिक कुशल उपयोग (सटीक सांख्यिकी के लिए कम नमूनों की आवश्यकता)।
उच्च-गुणवत्ता वाले, विविध आउटपुट की आवश्यकता वाले अनुप्रयोगों (जैसे मेडिकल इमेजिंग, वैज्ञानिक सिमुलेशन) में सुरक्षित तैनाती।
एक प्लग-इन समाधान जिसे बिना बेस मॉडल को फिर से प्रशिक्षित किए मौजूदा प्री-ट्रेन्ड फ्लो मैचिंग मॉडल्स पर लागू किया जा सकता है।

लेखकों ने जनरेटिव मॉडलिंग में विविधता-गुणवत्ता ट्रेड-ऑफ को प्रबंधित करने में आगे के अनुसंधान को सुगम बनाने के लिए अपना कोड ओपन-सोर्स किया है।