🤖 machine learning

PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

यह शोध पत्र PG-MAP को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो डिफ्यूजन और फ्लो-मैचिंग मॉडलों के लिए इन्फरेंस-टाइम अलाइनमेंट को बेहतर बनाता है, और यह प्रक्रिया को कंडीशनिंग और लेटेंट वेरिएबल्स पर एक संयुक्त गिब्स-MAP अनुकूलन (joint Gibbs-MAP optimization) के रूप में व्यवस्थित करके मौजूदा सिंगल-एक्सिस विधियों की तुलना में विभिन्न मेट्रिक्स और मानव मूल्यांकन में श्रेष्ठ प्रदर्शन प्राप्त करता है।

मूल लेखक: Ruolan Sun, Pawel Polak

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ruolan Sun, Pawel Polak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक ग्राहक के ऑर्डर के आधार पर एक उत्तम व्यंजन बनाने की कोशिश कर रहे हैं। AI इमेज जनरेशन की दुनिया में, "शेफ" एक जटिल मॉडल है (जैसे Stable Diffusion), "ऑर्डर" टेक्स्ट प्रॉम्प्ट है (जैसे, "एक रेड पंडा अंतरिक्ष यात्री"), और "व्यंजन" अंतिम छवि है।

आमतौर पर, जब शेफ कोई गलती करता है, तो आप इसे एक बार में केवल एक ही तरीके से ठीक कर सकते हैं:

ऑर्डर बदलें: आप टेक्स्ट प्रॉम्प्ट को फिर से लिखते हैं ताकि वह अधिक विशिष्ट हो सके (जैसे, शेफ को यह बताना कि "सुनिश्चित करें कि पांडा लाल हो")।
सामग्री में बदलाव करें: आप बनावट या लाइटिंग को ठीक करने के लिए खाना पकाते समय कच्चे मिश्रण को एडजस्ट करते हैं (जैसे, अधिक नमक डालना या आंच को नियंत्रित करना)।

मौजूदा तरीके आपको इनमें से एक रास्ता चुनने के लिए मजबूर करते हैं। यदि आप टेक्स्ट को ठीक करते हैं, तो आप बनावट को बिगाड़ सकते हैं। यदि आप बनावट को ठीक करते हैं, तो आप प्रॉम्प्ट के अर्थ को खो सकते हैं।

PG-MAP एक नया "सुपर-शेफ असिस्टेंट" है जो यह दोनों काम एक साथ, गतिशील रूप से, खाना पकते समय करता है।

मूल विचार: एक गतिशील नृत्य (A Dynamic Dance)

यह पेपर PG-MAP (Preference-Guided Adaptive MAP) पेश करता है। शुरुआत में एक एकल निर्णय लेने या अंत में चीजों को एक बार में ठीक करने के बजाय, PG-MAP इमेज निर्माण प्रक्रिया को एक निरंतर यात्रा के रूप में देखता है।

इमेज जनरेशन प्रक्रिया को एक लंबे, घुमावदार रोड ट्रिप की तरह समझें जो एक धुंधले शुरुआती बिंदु (रैंडम नॉइज़) से एक स्पष्ट मंजिल (अंतिम छवि) तक जाती है।

समस्या: इस सड़क पर, "धुंध" (नॉइज़) शुरुआत में घनी होती है और अंत में साफ हो जाती है। मौजूदा तरीके एक स्थिर मानचित्र या एक एकल समायोजन का उपयोग करके कार को मोड़ने की कोशिश करते हैं।
PG-MAP समाधान: PG-MAP एक GPS की तरह कार्य करता है जो चरण-दर-चरण मार्ग की लगातार पुनर्गणना करता है। यह छवि की वर्तमान स्थिति को देखता है और एक साथ दो प्रश्न पूछता है:
1. "क्या टेक्स्ट विवरण अभी भी जो हम देख रहे हैं उससे मेल खाता है?" (कंडीशनिंग, या c-साइड)।
2. "क्या विजुअल क्वालिटी अच्छी दिख रही है?" (लेटेंट स्टेट, या z-साइड)।

यह "टेक्स्ट विवरण" और "विजुअल सामग्री" दोनों को एक साथ एडजस्ट करता है, यह सुनिश्चित करते हुए कि वे एक-दूसरे से लड़ने के बजाय सामंजस्य में काम करें।

यह कैसे काम करता है: "फॉरवर्ड-कंसिस्टेंसी" का नियम

पेपर एक फैंसी शब्द "फॉरवर्ड-कंसिस्टेंसी कपलिंग" का उपयोग करता है। यहाँ एक सरल उपमा है:

कल्पना कीजिए कि आप एक अंधेरे जंगल (इमेज जनरेशन प्रक्रिया) से गुजर रहे हैं। आपके पास एक टॉर्च (AI मॉडल) है जो आपको दिखाती है कि आप अभी कहाँ हैं।

पुराने तरीके कहते थे, "मुझे पता है कि मैं कहाँ से शुरू हुआ था, इसलिए मैं बस एक सीधी रेखा में चलता रहूँगा," या "मैं अंत में एक बार रास्ता बदल दूँगा।"
PG-MAP कहता है, "आइए देखें कि टॉर्च अभी कहाँ इशारा कर रही है। यदि प्रकाश संकेत देता है कि हम रास्ते से भटक रहे हैं, तो हम वापस पटरी पर आने के लिए अपने दिशा (टेक्स्ट) और अपने कदमों (इमेज डिटेल्स) को एक ही समय में धीरे से मोड़ देंगे।"

यह हर छोटे कदम के लिए एक "स्कोर" (रिवॉर्ड) की गणना करके ऐसा करता है। यदि छवि एक "रेड पंडा" जैसी दिखती है लेकिन फर धुंधला दिखता है, तो यह फर को तेज करता है। यदि फर शानदार दिखता है लेकिन जानवर इंसान जैसा दिखता है, तो यह पांडा के आकार को वापस लाने के लिए टेक्स्ट एम्बेडिंग को टवीक करता है।

दो अलग-अलग प्रकार की सड़कें

पेपर ने एक दिलचस्प खोज की है: सबसे अच्छा ड्राइविंग तरीका इस बात पर निर्भर करता है कि आप किस प्रकार की सड़क पर हैं।

डिफ्यूजन मॉडल्स (बंपी, धुंधली सड़क): पुराने मॉडल्स (जैसे SD 1.5 या SDXL) पर, सड़क शोर (noise) से भरी होती है। यहाँ PG-MAP प्रक्रिया के शुरुआती चरणों में, जब धुंध घनी होती है, तब टेक्स्ट और इमेज डिटेल्स दोनों को एडजस्ट करके सबसे अच्छा काम करता है।
फ्लो-मैचिंग मॉडल्स (स्मूथ, सीधी हाईवे): नए, तेज़ मॉडल्स (जैसे SD3.5) पर, सड़क बहुत चिकनी होती है। यहाँ, PG-MAP महसूस करता है कि टेक्स्ट को टवीक करना अनावश्यक है (सड़क बहुत स्थिर है)। इसके बजाय, यह यात्रा के बिल्कुल अंत में इमेज डिटेल्स को फाइन-ट्यून करने पर ध्यान केंद्रित करता है।

यह अनुकूलन क्षमता अद्वितीय है; अन्य अधिकांश उपकरण दोनों प्रकार की सड़कों के लिए एक ही रणनीति का उपयोग करने की कोशिश करते हैं।

परिणाम: बेहतर तस्वीरें, कम अनुमान

लेखकों ने हजारों प्रॉम्प्ट्स पर इसका परीक्षण किया।

विजुअल क्वालिटी: छवियां अधिक शार्प थीं, उनमें बेहतर लाइटिंग थी, और अधिक सटीक विवरण थे (जैसे तलवार की पकड़ या पंख की बनावट)।
प्रॉम्प्ट सटीकता: छवियां टेक्स्ट विवरण से बेहतर मेल खाती थीं (जैसे "रेड पंडा" वास्तव में पांडा की तरह दिखता था, न कि इंसान की तरह)।
मानवीय प्राथमिकता: जब वास्तविक लोगों से पुराने तरीके और PG-MAP के बीच चुनने के लिए कहा गया, तो उन्होंने लगभग 60% से 67% बार PG-MAP को चुना।

"ओरेकल" का रहस्य

पेपर ने एक "क्या-होता-यदि" प्रयोग भी चलाया। उन्होंने पूछा: "यदि हम जादुई रूप से हर एक विशिष्ट प्रॉम्प्ट को ठीक करने का परफेक्ट तरीका जान पाते, तो हम कितना बेहतर हो सकते थे?"
उन्होंने पाया कि विभिन्न प्रकार के प्रॉम्प्ट्स को अलग-अलग सुधारों की आवश्यकता होती है।

छोटे, विशिष्ट प्रॉम्प्ट्स (जैसे "एक लाल घन") को टेक्स्ट के साथ अधिक मदद की आवश्यकता होती है।
एटमॉस्फेरिक प्रॉम्प्ट्स (जैसे "समुद्र के ऊपर सूर्यास्त") को विजुअल टेक्सचर के साथ अधिक मदद की आवश्यकता होती है।

PG-MAP एक एकल टूल है जो दोनों को संभालता है, लेकिन पेपर सुझाव देता है कि भविष्य में, एक स्मार्ट "ट्रैफिक कंट्रोलर" प्रत्येक विशिष्ट अनुरोध के लिए सबसे अच्छा सेटिंग स्वचालित रूप से चुन सकता है, जिससे छवियां और भी बेहतर हो सकती हैं।

सारांश

PG-MAP एक ट्रेनिंग-फ्री टूल है जो इमेज जनरेटर्स को स्मार्ट बनाता है क्योंकि यह उन्हें इमेज बनते समय, चरण-दर-चरण, प्रॉम्प्ट के अर्थ और इमेज के लुक दोनों को एक साथ एडजस्ट करने की अनुमति देता है। यह अपनी रणनीति को उपयोग किए जा रहे AI मॉडल के प्रकार के आधार पर अनुकूलित करता है, जिसके परिणामस्वरूप ऐसी छवियां मिलती हैं जो टेक्स्ट के प्रति अधिक सटीक और देखने में अधिक सुंदर होती हैं।

तकनीकी सारांश: PG-MAP: डिफ्यूजन और फ्लो-मैचिंग मॉडल्स के इन्फरेंस-टाइम अलाइनमेंट के लिए संयुक्त MAP ऑप्टिमाइज़ेशन

समस्या विवरण
प्री-ट्रेंड टेक्स्ट-टू-इमेज मॉडल्स (डिफ्यूजन और फ्लो-मैचिंग) के लिए वर्तमान इन्फरेंस-टाइम अलाइनमेंट विधियाँ आमतौर पर एक एकल नियंत्रण अक्ष (single control axis) पर कार्य करती हैं। कंडीशनिंग-साइड विधियाँ (जैसे, अटेंशन एडिटिंग, प्रॉम्प्ट एम्बेडिंग लर्निंग) टेक्स्ट एम्बेडिंग $c$ को संशोधित करती हैं, जबकि लेटेंट-साइड विधियाँ (जैसे, रिवॉर्ड-गाइडेड लेटेंट परटर्बेशन्स) लेटेंट स्टेट $z_t$ को संशोधित करती हैं। मौजूदा फ्रेमवर्क कंडीशनिंग और लेटेंट वेरिएबल्स के बीच संयुक्त निर्भरता को मॉडल करने में विफल रहते हैं, और अपडेट्स को समन्वित (coordinated) बनाने के बजाय योगात्मक (additive) मानते हैं। इसके अतिरिक्त, ये विधियाँ अक्सर स्थिर (static) होती हैं, जो प्रक्षेपवक्र (trajectory) के प्रारंभ ( $z_T$ ) या ऑफलाइन पर नियंत्रण रणनीतियों को फिक्स कर देती हैं, जिससे डिनोइज़र की गतिशील सूचना आवश्यकताओं की अनदेखी होती है जो हाई-नॉइज़ (ग्लोबल लेआउट) से लो-नॉइज़ (लोकल डिटेल) शासन की ओर विकसित होती हैं। यह सीमा विभिन्न जनरेटिव ट्रांसपोर्ट्स (डिफ्यूजन बनाम फ्लो-मैचिंग) में अलाइनमेंट तकनीकों के हस्तांतरण में बाधा डालती है।

कार्यप्रणाली: PG-MAP
लेखक PG-MAP (पसेंडेंस-गाइडेड एडेप्टिव MAP) प्रस्तावित करते हैं, जो इन्फरेंस-टाइम अलाइनमेंट को एक प्रक्षेपवक्र-स्तरीय Gibbs-MAP / प्रॉक्सिमल एनर्जी ऑप्टिमाइज़ेशन के रूप में स्वरूपित करता है। मुख्य नवाचार एक फॉरवर्ड-कंसिस्टेंसी कपलिंग है जो प्रत्येक डिनोइजिंग स्टेप पर कंडीशनिंग $c$ और लेटेंट स्टेट $z_t$ को संयुक्त रूप से अनुकूलित (optimize) करता है।

ऑब्जेक्टिव फंक्शन: फ्रेमवर्क एक स्टेप-डिपेंडेंट एनर्जी फंक्शन $J_t(c, z_t)$ को परिभाषित करता है जिसमें तीन घटक शामिल हैं:
1. फॉरवर्ड-कंसिस्टेंसी रेसिडुअल: एक टर्म $\ell_t(c, z_t)$ जो वर्तमान लेटेंट $z_t$ और पिछले स्टेप के स्टेट के मॉडल के अपने अनुमान के बीच विचलन को दंडित करता है, जिससे यह सुनिश्चित होता है कि प्रक्षेपवक्र डिनोइज़र के फॉरवर्ड कर्नेल के साथ सुसंगत रहे।
2. गौसियन एंकरिंग प्रायर्स: टर्म $R_c(c)$ और $R_z(z_t)$ जो अनुकूलित वेरिएबल्स को उनके अपरिवर्तित मानों ( $c_0$ और DDIM प्रक्षेपवक्र बिंदु $z^{ddim}_t$ ) से एंकर करते हैं। महत्वपूर्ण रूप से, लेटेंट प्रायर स्केल $\sigma_z(t)$ शेड्यूल-एडेप्टिव है, जो डिफ्यूजन प्रक्रिया के मार्जिनल नॉइज़ स्केल ( $\sigma_z(t) = \gamma\sqrt{1-\bar{\alpha}_t}$ ) को ट्रैक करता है ताकि एक स्केल-इनवेरिएंट ट्रस्ट रीजन प्रदान किया जा सके जो डेटा मैनिफोल्ड के करीब पहुँचते ही सख्त हो जाता है।
3. पसेंडेंस रिवॉर्ड टिल्ट: एक टर्म $\lambda Q(\hat{x}_0, y)$ जो मॉडल के प्रति-स्टेप क्लीन इमेज के प्रीव्यू के आधार पर मानव प्राथमिकता (जैसे, PickScore, HPS) की ओर ऑप्टिमाइज़ेशन को निर्देशित करता है।
एडेप्टिव एक्टिव सेट: फ्रेमवर्क एक स्टेप-डिपेंडेंट एक्टिव सेट $A_t \subseteq \{c, z_t\}$ और एक रिवॉर्ड गेट $\lambda_t$ का उपयोग करता है।
- डिफ्यूजन मॉडल्स (SD 1.5, SDXL): फ्रेमवर्क $c$ और $z_t$ दोनों को संयुक्त रूप से रिफाइन करता है, मुख्य रूप से हाई-नॉइज़ विंडो में, जिससे प्रक्षेपवक्र के विकसित होने के साथ कंडीशनिंग और लेटेंट वेरिएबल्स एक-दूसरे को सूचित कर पाते हैं।
- फ्लो-मैचिंग मॉडल्स (SD3.5): ODE की नियत (deterministic) प्रकृति और कॉन्कैटिनेटेड टेक्स्ट एनकोडर्स की उच्च क्षमता के कारण, फ्रेमवर्क एक लेटेंट-ओनली वेरिएंट (UG-FM) में बदल जाता है। यहाँ, एक्टिव सेट $\{z_t\}$ तक सीमित हो जाता है जो डेटा-साइड विंडो (लो नॉइज़) पर केंद्रित है, क्योंकि कंडीशनिंग अपडेट्स अप्रभावी पाए गए और नॉइज़-साइड परटर्बेशन्स को ODE डायनेमिक्स द्वारा अत्यधिक बढ़ा दिया जाता है।
ऑप्टिमाइज़ेशन: रिफाइंड पेयर $(c^\star_t, z^\star_t)$ को एनर्जी फंक्शन से प्राप्त ग्रेडिएंट्स का उपयोग करके कुछ छोटे जॉइंट एसेंट स्टेप्स (आमतौर पर $K=2$ ) के माध्यम से प्राप्त किया जाता है। यह प्रक्रिया CFG जैसी मौजूदा विधियों के साथ कंपोजेबल है, क्योंकि CFG वेक्टर फील्ड को संशोधित करता है जबकि PG-MAP एक फिक्स्ड वेक्टर फील्ड के तहत क्वेरी पॉइंट को मूव करता है।

प्रमुख योगदान

संयुक्त ( $c, z_t$ ) MAP फ्रेमवर्क: डिनोइज़र के फॉरवर्ड कर्नेल के माध्यम से कंडीशनिंग और लेटेंट वेरिएबल्स को कपल करने वाला पहला इन्फरेंस-टाइम फ्रेमवर्क, जो कम्पोज़िशन विफलताओं (c-साइड) और टेक्सचर विफलताओं (z-साइड) को एक साथ संबोधित करता है।
एकीकृत ऑब्जेक्टिव: ऑब्जेक्टिव $J_t$ पूर्ववर्ती सिंगल-एक्सिस विधियों (MAP-c, Reward-z) को विशेष मामलों के रूप में विश्लेषणात्मक रूप से रिकवर करता है, जबकि CFG एक कंपोजेबल एक्सटर्नल मैकेनिज्म बना रहता है न कि एक विशेष मामला।
शेड्यूल-एडेप्टिव ऑप्टिमाइज़ेशन: एक टाइम-डिपेंडेंट ट्रस्ट रीजन और एक्टिव सेट पेश करता है जो नॉइज़ शेड्यूल के अनुसार अनुकूलित होता है, जो हाई नॉइज़ पर बाधाओं को ढीला करता है और डेटा एंड के पास उन्हें सख्त करता है।
ट्रांसपोर्ट-डिपेंडेंट एनालिसिस: यह प्रदर्शित करता है कि अनुकूलतम एक्टिव सेट जनरेटिव ट्रांसपोर्ट पर निर्भर करता है; डिफ्यूजन हाई-नॉइज़ पर संयुक्त रिफाइनमेंट से लाभान्वित होता है, जबकि फ्लो-मैचिंग डेटा एंड पर लेटेंट-ओनली रिफाइनमेंट से लाभान्वित होता है, जिसे लोकल परटर्बेशन विश्लेषण और अनुभवजन्य सत्यापन द्वारा समर्थित किया गया है।

परिणाम

डिफ्यूजन बैकबोन्स (SD 1.5, SDXL): PG-MAP लगातार अलाइनमेंट मेट्रिक्स में सुधार करता है। SDXL पर, यह स्टैटिक बेसलाइन के मुकाबले 56.4% PickScore और 56.2% Aesthetic विन रेट प्राप्त करता है। ट्यून्ड CFG के साथ PG-MAP को मिलाने से सबसे मजबूत समग्र प्रदर्शन मिलता है, जो 64.6% HPS और 56.5% Aesthetic तक पहुँचता है।
फ्लो-मैचिंग बैकबोन (SD3.5-medium): लेटेंट-ओनली वेरिएंट (UG-FM) स्टैटिक बेसलाइन के मुकाबले 91.9% PickScore और 75.7% HPS विन रेट प्राप्त करता है। नियंत्रित प्रयोगों ने नॉइज़-संबंधित आर्टिफैक्ट्स को खारिज कर दिया, जिससे पुष्टि हुई कि लाभ स्ट्रक्चर्ड, लो-फ्रीक्वेंसी लेटेंट परटर्बेशन्स के कारण हैं।
मानव मूल्यांकन: SDXL पर, पेयरवाइज ह्यूमन इवैल्यूएशन में PG-MAP को स्टैटिक बेसलाइन्स, ट्यून्ड CFG और कंप्यूट-मैच्ड यूनिवर्सल गाइडेंस पर प्राथमिकता दी गई (60–67% विन रेट)।
ओरेकल रूटिंग: एक ओरेकल विश्लेषण प्रकट करता है कि विभिन्न प्रॉम्प्ट प्रकार (जैसे, एट्रिब्यूट-बाइंडिंग बनाम एटमॉस्फेरिक सीन्स) अलग-अलग ऑप्टिमाइज़ेशन वेरिएंट से लाभान्वित होते हैं। एक प्रति-प्रॉम्प्ट सेलेक्टर सैद्धांतिक रूप से मेट्रिक्स को अतिरिक्त 5–14 प्रतिशत अंक तक सुधार सकता है, जो भविष्य के रूटिंग मैकेनिज्म के लिए महत्वपूर्ण अवसर का संकेत देता है।

महत्व और दावे
पेपर का दावा है कि PG-MAP स्टैटिक, सिंगल-एक्सिस गाइडेंस ह्यूरिस्टिक्स से डायनेमिक, प्रक्षेपवक्र-जागरूक ऑप्टिमाइज़ेशन की ओर एक बदलाव का प्रतिनिधित्व करता है। इन्फरेंस-टाइम अलाइनमेंट के लिए डिफ डिफ़ॉल्ट डिज़ाइन सिद्धांत के रूप में। फॉरवर्ड-कंसिस्टेंसी कपलिंग के साथ एक प्रॉक्सिमल एनर्जी ऑप्टिमाइज़ेशन के रूप में अलाइनमेंट को स्वरूपित करके, फ्रेमवर्क मॉडैलिटीज के बीच समन्वित अपडेट को सक्षम बनाता है जो डिफ्यूजन और फ्लो-मैचिंग दोनों ट्रांसपोर्ट्स के अनुकूल है। लेखक इस बात पर जोर देते हैं कि "लोड-बियरिंग" घटक केवल बड़े स्टेप साइज़ या मजबूत रिवॉर्ड सिग्नल नहीं, बल्कि संयुक्त कपलिंग और नॉन-स्टेशनरी शेड्यूलिंग हैं। यह कार्य इस बात को समझने के लिए एक एकीकृत सैद्धांतिक और अनुभवजन्य आधार प्रदान करता है कि जनरेशन प्रक्रिया के दौरान कंडीशनिंग और लेटेंट वेरिएबल्स कैसे परस्पर क्रिया करते हैं, जो जनरेटिव मॉडल अलाइनमेंट को बेहतर बनाने के लिए एक लचीला, ट्रेनिंग-फ्री दृष्टिकोण प्रदान करता है।