🤖 machine learning

Follow the Mean: Reference-Guided Flow Matching

यह शोध पत्र "फॉलो द मीन" (Follow the Mean) प्रस्तुत करता है, जो एक संदर्भ-निर्देशित फ्लो मैचिंग फ्रेमवर्क है जो उदाहरण-आधारित एंडपॉइंट मीन शिफ्ट्स के माध्यम से प्रीट्रेन्ड मॉडल्स को अनुकूलित करके नियंत्रणीय इमेज जनरेशन को सक्षम बनाता है, जो बिना फाइन-ट्यूनिंग या टेस्ट-टाइम सर्च के आउटपुट को निर्देशित करने के लिए प्रशिक्षण-मुक्त और अर्ध-पैरामीट्रिक विधियाँ प्रदान करता है।

मूल लेखक: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार है जिसने तस्वीरों के एक विशाल पुस्तकालय से पेंटिंग करना सीखने में कई साल बिताए हैं। यह कलाकार इतना कुशल है कि वह आपके द्वारा वर्णित किसी भी चीज़ को चित्रित कर सकता है, जैसे कि "जंगल में एक हाथी।" हालाँकि, एक बार जब कलाकार प्रशिक्षित हो जाता है, तो वह "जम" (frozen) जाता है। आप उसे आसानी से नए करतब नहीं सिखा सकते बिना उसके पुराने कौशल को भुलाए या उसे फिर से प्रशिक्षित करने में महीनों खर्च किए।

आमतौर पर, यदि आप चाहते हैं कि वह कलाकार एक ग्रे हाथी के बजाय एक गुलाबी हाथी पेंट करे, तो आपको या तो:

पुनः प्रशिक्षित करना होगा: उन्हें हजारों गुलाबी हाथी दिखाने होंगे और उम्मीद करनी होगी कि वे सीख जाएं (महंगा और धीमा)।
एक पर्यवेक्षक जोड़ना होगा: एक आलोचक को काम पर रखना जो हर बार कलाकार पर चिल्लाए जब वह ग्रे रंग पेंट करे, जिससे उसे फिर से कोशिश करने के लिए मजबूर किया जा सके (धीमा और गणनात्मक रूप से भारी)।
ड्राफ्ट्स में खोजना: 100 संस्करण बनाना और उनमें से सबसे अच्छा चुनना (अपव्ययकारी)।

यह शोध पत्र एक बहुत ही सरल तरीका पेश करता है: रेफरेंस-गाइडेड फ्लो मैचिंग (Reference-Guided Flow Matching)।

मुख्य विचार: "भीड़ का अनुसरण करें"

लेखकों ने एक चतुर शॉर्टकट की खोज की है। कलाकार के मस्तिष्क (मॉडल वेट्स) को बदलने के बजाय, आप बस यह बदलते हैं कि कलाकार पेंट करते समय किसे देख रहा है।

पेंटिंग की प्रक्रिया को एक नदी (प्रवाह/flow) में नाव चलाने की तरह समझें। नाव को एक विशिष्ट गंतव्य (अंतिम छवि) तक पहुँचना है।

मानक पेंटिंग: नाव एक मानचित्र का अनुसरण करती है जो कलाकार के प्रशिक्षण पर आधारित है। यदि आप एक हाथी मांगते हैं, तो मानचित्र एक ग्रे हाथी की ओर ले जाता है।
नया तरीका: लेखकों ने महसूस किया कि यदि आप नाव शुरू होने से ठीक पहले उसे एक रेफरेंस सेट (संदर्भ सेट) की तस्वीरें दिखाते हैं (जैसे, 20 गुलाबी हाथियों की तस्वीरें), तो नाव का गंतव्य बदल जाता है। नदी की "धारा" दिशा बदलकर गुलाबी हाथियों की ओर मुड़ जाती है।

आपको कलाकार को कुछ भी नया सिखाने की आवश्यकता नहीं है। आप बस उन्हें संदर्भ तस्वीरों का एक नया ढेर थमा देते हैं, और नदी का गणित स्वाभाविक रूप से अंतिम छवि को उन तस्वीरों की शैली, रंग या आकार की ओर खींच लेता है।

इसे करने के दो तरीके

शोध पत्र इस "रेफरेंस गाइड" के दो संस्करण प्रस्तावित करता है:

1. "इंस्टेंट गाइड" (रेफरेंस-मीन गाइडेंस)

यह "ट्रेनिंग-फ्री" संस्करण है।

यह कैसे काम करता है: आप एक फ्रीज़्ड, प्री-ट्रेंड मॉडल (जैसे कि पेपर में उल्लेखित FLUX.2 मॉडल) लेते हैं। जब आप कोई छवि बनाना चाहते हैं, तो आप इसमें अपना प्रॉम्प्ट और संदर्भ छवियों का एक छोटा बैंक (जैसे, 20 गुलाबी हाथी) फीड करते हैं।
जादू: मॉडल केवल टेक्स्ट को नहीं देखता; यह गणना करता है कि संदर्भ तस्वीरें किस दिशा में इशारा कर रही हैं, उनका एक "मीन" (औसत) निकालता है। इसके बाद, यह पेंटिंग की प्रक्रिया को धीरे से उस औसत की ओर धकेलता है।
परिणाम: आपको एक गुलाबी हाथी, एक वैन गॉग-शैली का घर, या एक विशिष्ट हाथ का इशारा मिलता है, और यह सब मॉडल के कोड की एक भी लाइन या उसे फिर से प्रशिक्षित किए बिना होता है। यह ऐसा है जैसे आपने कलाकार को पेंटिंग शुरू करने से ठीक पहले एक नया 'मूड बोर्ड' दे दिया हो।

2. "स्मार्ट असिस्टेंट" (सेमी-पैरामेट्रिक गाइडेंस)

यह संस्करण उन मॉडलों के लिए है जो शुरुआत से ही संदर्भों से सीखने के लिए बने हैं।

यह कैसे काम करता है: कल्पना कीजिए कि कलाकार के पास एक "स्मार्ट असिस्टेंट" खड़ा है। यह असिस्टेंट संदर्भ तस्वीरों को देखता है और कहता है, "हे, इन तस्वीरों का औसत एक बिल्ली है जिसकी पूंछ रोएँदार है।"
सुधार (Refinement): कलाकार फिर उस औसत के आधार पर पेंट करता है लेकिन किसी भी अजीब विवरण को ठीक करने के लिए अपना स्वयं का "रेसिड्यूअल" (अपनी रचनात्मक चमक) जोड़ता है।
परिणाम: यह मॉडल को कुशलतापूर्वक संदर्भों का उपयोग करना सीखने की अनुमति देता है। यह केवल संदर्भ बैंक को बदलकर बिल्लियों या कुत्तों को उत्पन्न करने के बीच स्विच कर सकता है, बिना पूरे सिस्टम को फिर से प्रशिक्षित किए। यह मूल मॉडल की उच्च गुणवत्ता को बनाए रखता है लेकिन तुरंत अनुकूलित करने की क्षमता जोड़ता है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि यह दृष्टिकोण श्रेष्ठ है क्योंकि:

यह तेज़ है: आपको घंटों के पुन: प्रशिक्षण या जटिल खोजों के लिए प्रतीक्षा करने की आवश्यकता नहीं है। आप बस संदर्भ छवियों को बदल देते हैं।
यह लचीला है: आप केवल मॉडल को उदाहरण दिखाकर रंग, शैली, वस्तु की पहचान और यहाँ तक कि जटिल संरचनाओं (जैसे हाथ का आकार या कीहोल) को नियंत्रित कर सकते हैं।
यह सरल है: यह एक गणितीय सिद्धांत पर निर्भर करता है: यदि आप प्रवाह (फ्लो) के "गंतव्य" (एंडपॉइंट मीन) को बदलते हैं, तो पूरी यात्रा बदल जाती है।

एक वास्तविक दुनिया का उदाहरण

कल्पना कीजिए कि आप एक कार चला रहे हैं जिसके पास एक बहुत ही सख्त जीपीएस (AI मॉडल) है।

पुराना तरीका: अपने गंतव्य को बदलने के लिए, आपको कार की पूरी नेविगेशन प्रणाली को रीप्रोग्राम करना पड़ता है (Fine-tuning) या यात्री से लगातार "बाएं मुड़ो!" चिल्लाने के लिए कहना पड़ता है (Guidance/Classifiers)।
इस पेपर का तरीका: आप बस अपने वांछित गंतव्य की तस्वीरों का एक ढेर डैशबोर्ड पर रख देते हैं। कार की नेविगेशन प्रणाली इतनी स्मार्ट है कि वह उन तस्वीरों को देख सके, यह समझ सके कि "ओह, वे वहाँ जाना चाहते हैं," और स्वचालित रूप से कार को नया रास्ता दिखा सके। आपने कार को नहीं बदला; आपने बस संदर्भ बिंदु बदल दिया।

इस पेपर ने क्या सिद्ध किया

लेखकों ने इसका परीक्षण किया:

रंग: ग्रे हाथियों को गुलाबी बनाना।
शैलियाँ: तस्वीरों को स्केच या वैन गॉग की पेंटिंग में बदलना।
संरचनाएं: हाथ के आकार या कीहोल (keyhole) को ठीक करना।
संरचना (Composition): यह सुनिश्चित करना कि दो वस्तुएं एक-दूसरे के सापेक्ष सही स्थानों पर दिखाई दें।

हर मामले में, केवल "रेफरेंस सेट" (तस्वीरों का ढेर) को बदलकर, वे फ्रीज़्ड AI मॉडल को ठीक वैसा ही बनाने के लिए निर्देशित कर सके जैसा वे चाहते थे, जिससे यह सिद्ध हुआ कि डेटा (संदर्भ तस्वीरें) मॉडल को बदलने की तुलना में मॉडल को बेहतर ढंग से नियंत्रित कर सकता है।

तकनीकी सारांश: फॉलो द मीन: रेफरेंस-गाइडेड फ्लो मैचिंग

समस्या विवरण

प्रीट्रेन्ड जनरेटिव मॉडल्स (जैसे विशिष्ट गुणों, शैलियों या संरचनाओं को लागू करना) के आउटपुट को नियंत्रित करना एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा दृष्टिकोण आमतौर पर तीन श्रेणियों में आते हैं, जिनमें से प्रत्येक की विशिष्ट सीमाएँ हैं:

फाइन-ट्यूनिंग और एडेप्टर्स: प्रत्येक नए लक्ष्य के लिए मॉडल पैरामीटर्स को संशोधित करने की आवश्यकता होती है, जो गणनात्मक रूप से महंगा और गतिशील परिवर्तनों के लिए लचीलापनहीन है।
गाइडेंस मेथड्स: ये जनरेटर को फ्रीज रखते हैं लेकिन सहायक क्लासिफायर, रिवॉर्ड मॉडल, या रिवॉर्ड सिग्नल पर निर्भर करते हैं, जिससे अतिरिक्त कंप्यूटेशनल ओवरहेड और बाहरी नेटवर्क पर निर्भरता आती है।
सर्च-बेस्ड मेथड्स: ये रिट्रेनिंग से तो बचते हैं लेकिन बार-बार सैंपलिंग, फ़िल्टरिंग, या प्रति-प्रॉम्ट ऑप्टिमाइज़ेशन के माध्यम से उच्च इन्फरेंस लागत का सामना करते हैं।

इनमें से कोई भी दृष्टिकोण उच्च-गुणवत्ता वाली जनरेशन बनाए रखते हुए अतिरिक्त प्रशिक्षण, सहायक नेटवर्क और टेस्ट-टाइम सर्च को एक साथ नहीं टाल पाता है। यह पेपर एक वैकल्पिक फॉर्मूलेशन प्रस्तावित करता है: रेफरेंस-गाइडेड फ्लो, जो मॉडल के वेट्स को बदलने के बजाय डेटा उदाहरणों के माध्यम से मॉडल को अनुकूलित करके जनरेशन को नियंत्रित करता है।

कार्यप्रणाली (Methodology)

पेपर का मुख्य अंतर्दृष्टि यह है कि फ्लो मैचिंग (FM) में, वेलोसिटी फील्ड $u_t(x)$ पूरी तरह से कंडीशनल एंडपॉइंट मीन $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$ द्वारा शासित होता है। एक लीनियर इंटरपॉलेंट के लिए, वेलोसिटी इस प्रकार दी जाती है:
$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$
परिणामस्वरूप, एंडपॉइंट मीन को शिफ्ट करने से संपूर्ण फ्लो ट्राजेक्टरी शिफ्ट हो जाती है। लेखक प्रस्तावित करते हैं कि इस मीन को इमेज के एक रेफरेंस सेट $R$ पर कंडीशन करके शिफ्ट किया जा सकता है, जो प्रभावी रूप से मॉडल को $R$ द्वारा प्रेरित वितरण की ओर निर्देशित करता है, बिना मॉडल वेट्स को बदले।

पेपर इस सिद्धांत को दो रूपों में स्थापित करता है:

1. रेफरेंस-मीन गाइडेंस (RMG)

RMG फ्रीज़्ड प्रीट्रेन्ड मॉडल्स को नियंत्रित करने के लिए एक ट्रेनिंग-फ्री विधि है।

मैकेनिज्म: यह एंडपॉइंट मीन के बीच के अंतर के आधार पर वेलोसिटी फील्ड के लिए एक क्लोज्ड-फॉर्म करेक्शन कंप्यूट करता है, जहाँ अंतर रेफरेंस सेट ( $\hat{\mu}^\rho_t$ ) और प्रीट्रेन्ड मॉडल ( $\mu^\theta_t$ ) के बीच है।
फॉर्मूला: गाइडेड वेलोसिटी को इस प्रकार परिभाषित किया गया है:
$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$
जहाँ $\beta_t$ एक गाइडेंस शेड्यूल है और $\hat{\mu}^\rho_t(x)$ रेफरेंस सेट का एम्पिरिकल वेटेड एवरेज है (जिसे रेफरेंस इमेजेस पर सॉफ्टमैक्स के माध्यम से कंप्यूट किया जाता है)।
विशेषताएं: इसके लिए कोई ग्रेडिएंट कंप्यूटेशन, कोई सहायक नेटवर्क, और बेस मॉडल के अलावा कोई अतिरिक्त मॉडल इवैल्यूएशन की आवश्यकता नहीं है। कलर, आइडेंटिटी, स्टाइल, या स्ट्रक्चर को बदलने के लिए इन्फरेंस के समय रेफरेंस सेट को बदला जा सकता है।

2. सेमी-पैरामेट्रिक गाइडेंस (SPG)

SPG एक लर्नेबल आर्किटेक्चर है जो रेफरेंस-मीन गाइडेंस की अवधारणा को एमोर्टाइज करता है।

आर्किटेक्चर: मॉडल $\mu^\theta_t(x_t, R)$ ट्रेनिंग के दौरान स्पष्ट रूप से एक रेफरेंस सेट $R$ पर कंडीशन होता है। यह एक "एंकर" $\bar{x}$ (जो क्लोज्ड-फॉर्म मीन के समान है) को कंप्यूट करने के लिए क्रॉस-अटेंशन मैकेनिज्म का उपयोग करता है और उन न्यूसेंस कोरिलेशन (जैसे साझा बैकग्राउंड) को ठीक करने के लिए एक लर्नड रेसिडुअल रिफाइनर $f^\theta$ का उपयोग करता है जिन्हें एंकर अनजाने में कॉपी कर सकता है।
ट्रेनिंग: इसे एक 'लीव-वन-आउट' ऑब्जेक्टिव के साथ प्रशिक्षित किया जाता है ताकि एंकर अपने स्वयं के एंडपॉइंट पर अटेंड न कर सके, जिसे रेसिडुअल लॉस के साथ जोड़ा गया है ताकि रिफाइनर को एंकर से परे विवरण कैप्चर करने के लिए सिखाया जा सके।
विशेषताएं: SPG स्टैंडर्ड मॉडल्स (जैसे DiT-B/4) की अनकंडीशनल जनरेशन क्वालिटी से मेल खाता है, जबकि इन्फरेंस-टाइम कंट्रोल के लिए रेफरेंस-सेट सब्स्टीट्यूशन को सक्षम बनाता है।

मुख्य योगदान

मीन शिफ्ट के रूप में गाइडेंस: लेखक गाइडेंस को ट्रेनिंग सेट के प्रोबेबिलिटी पाथ और एक रेफरेंस सेट के बीच एक ज्यामितीय इंटरपोलेशन के रूप में परिभाषित करते हैं। वे सिद्ध करते हैं कि परिणामी गाइडेंस टर्म दोनों वितरणों के एंडपॉइंट मीन्स के बीच के अंतर पर निर्भर करती है।
रेफरेंस-मीन गाइडेंस (RMG): यह एक ट्रेनिंग-फ्री विधि है जो एक रेफरेंस बैंक का उपयोग करके क्लोज्ड फॉर्म में वेलोसिटी शिफ्ट को कंप्यूट करती है। यह बिना ग्रेडिएंट्स, क्लासिफायर या रिवॉर्ड मॉडल्स के फ्रीज़्ड मॉडल्स (FLUX.2-klein पर प्रदर्शित) को प्रभावी ढंग से निर्देशित कर सकती है।
सेमी-पैरामेट्रिक गाइडेंस (SPG): यह एक नियंत्रणीय आर्किटेक्चर है जो रेफरेंस-मीन एंकर और एक रेसिडुअल करेक्शन को अनुमानित करने के लिए सीखता है। यह उच्च जनरेशन क्वालिटी बनाए रखते हुए इन्फरेंस-टाइम कंट्रोल को सक्षम करता है, जो साझा बैकग्राउंड जैसे न्यूसेंस आर्टिफैक्ट्स को सफलतापूर्वक दबा देता है।

परिणाम

पेपर मैकेनिस्टिक विश्लेषण और व्यापक प्रयोगों के माध्यम से दृष्टिकोण को मान्य करता है:

मैकेनिस्टिक वैलिडेशन: टू-मून डिस्ट्रीब्यूशन और MNIST पर, लेखक दिखाते हैं कि रेफरेंस सेट की संरचना बदलना सीधे फ्लो फील्ड और फाइनल अट्रैक्टर को शिफ्ट करता है, जो पोस्टीरियर मीन की कॉज़ल भूमिका को अलग करता है।
ट्रेनिंग-फ्री कंट्रोल (RMG): एक फ्रीज़्ड FLUX.2-klein (4B) मॉडल पर लागू होने पर, RMG कलर (पिंक/ब्लू एलीफेंट), आइडेंटिटी (जिराफ/जेब्रा), स्टाइल (वैन गॉग/स्केच), और स्ट्रक्चर (कीहोल शेप्स, हैंड पोसेस) के लिए जनरेशन को सफलतापूर्वक निर्देशित करता है।
- GenEval बेंचमार्क: RMG कंपोजिशनल टेक्स्ट-टू-इमेज कार्यों (जैसे पोजीशन, टू-ऑब्जेक्ट जनरेशन) पर सर्च-बेस्ड (Best-of-4, SMC) और ग्रेडिएंट-बेस्ड (ReNO) बेसलाइन्स से बेहतर प्रदर्शन करता है, जबकि केवल एक सैंपलिंग ट्राजेक्टरी का उपयोग करता है और कोई सहायक मॉडल नहीं लेता। यह सिंगल सैंपलिंग ट्राजेक्टरी के साथ 91.17 का औसत स्कोर प्राप्त करता है, जबकि बेसलाइन का स्कोर 80.10 है, और इसमें इन्फरेंस टाइम काफी कम है और कोई बाहरी मॉडल कॉल नहीं है।
सेमी-पैरामेट्रिक गाइडेंस (SPG): AFHQv2 पर प्रशिक्षित, SPG एक DiT-B/4 बेसलाइन (FID 23.26 बनाम 23.11) की अनकंडीशनल क्वालिटी से मेल खाता है।
- कंट्रोल: रेफरेंस सेट को बदलना (जैसे कैट-ओनली बनाम डॉग-ओनली) व्यवस्थित रूप से आउटपुट डिस्ट्रीब्यूशन को शिफ्ट करता है। जनरेटेड क्लास प्रोपोर्शन रेफरेंस सेट की संरचना का बारीकी से पालन करते हैं।
- आर्टिफैक्ट सप्रेशन: RMG के विपरीत, जो न्यूसेंस कोरिलेशन (जैसे सभी रेफरेंस इमेजेस से व्हाइट बैकग्राउंड) को ट्रांसफर कर सकता है, SPG का रेसिडुअल रिफाइनर ऑब्जेक्ट-लेवल गाइडेंस को सुरक्षित रखते हुए ऐसे आर्टिफैक्ट्स को सफलतापूर्वक दबा देता है।

महत्व और दावे

पेपर तर्क देता है कि जनरेटिव मॉडल्स को पैरामीटर अपडेट के बजाय डेटा के माध्यम से अनुकूलित किया जा सकता है। एंडपॉइंट मीन्स को शिफ्ट करने की समस्या के रूप में गाइडेंस को फ्रेम करके, लेखक फाइन-ट्यूनिंग, ऑक्ज़िलरी गाइडेंस, या सर्च के लिए एक सरल, सिद्धांत आधारित विकल्प प्रदान करते हैं।

फ्रीज़्ड मॉडल्स के लिए: RMG दर्शाता है कि एक प्रीट्रेन्ड मॉडल को उस रेफरेंस सेट को बदलकर प्रभावी ढंग से निर्देशित किया जा सकता है जिसका वह निहित रूप से पालन करता है, जो "रिवॉर्ड्स के बजाय उदाहरणों के साथ गाइड करें" का प्रतिमान पेश करता है।
लर्नेबल मॉडल्स के लिए: SPG दिखाता है कि इस मैकेनिज्म को एक लर्न करने योग्य आर्किटेक्चर में एमोर्टाइज किया जा सकता है जो उच्च जनरेशन क्वालिटी बनाए रखते हुए लचीला, इन्फरेंस-टाइम कंट्रोल सक्षम करता है।
व्यापक दिशा: यह कार्य एक ऐसी दिशा का सुझाव देता है जहाँ जनरेटिव मॉडल्स डेटा रेफरेंस के माध्यम से गतिशील रूप से अनुकूलित होते हैं, जिससे कंट्रोलेबल जनरेशन के लिए रिट्रेनिंग या जटिल रिवॉर्ड इंजीनियरिंग की आवश्यकता कम हो जाती है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि RMG अपने रेफरेंस सेट की गुणवत्ता को विरासत में लेता है (शोर वाले रेफरेंस आर्टिफैक्ट्स पेश करते हैं) और बड़े सेट्स पर मीन्स कंप्यूट करना महंगा हो सकता है, हालांकि सबसैंपलिंग समाधान प्रदान करती है। वे दुरुपयोग को रोकने के लिए रेफरेंस सेट्स के जिम्मेदार क्यूरेशन की आवश्यकता पर जोर देते हैं।