🤖 machine learning

Diamond Maps: Efficient Reward Alignment via Stochastic Flow Maps

यह शोध पत्र डायमंड मैप्स (Diamond Maps) का परिचय देता है, जो एक नवीन स्टोकेस्टिक फ्लो मॉडल है जो सिमुलेशन स्टेप्स को एकल-चरण सैंपलर (single-step sampler) में अमोर्टाइज़ करके इन्फरेंस के समय कुशल, सटीक और स्केलेबल रिवॉर्ड अलाइनमेंट सक्षम बनाता है, जबकि किसी भी उपयोगकर्ता की प्राथमिकताओं के अनुकूल होने के लिए आवश्यक स्टोकेस्टिसिटी को भी सुरक्षित रखता है।

मूल लेखक: Peter Holderrieth, Douglas Chen, Luca Eyring, Ishin Shah, Giri Anantharaman, Yutong He, Zeynep Akata, Tommi Jaakkola, Nicholas Matthew Boffi, Max Simchowitz

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peter Holderrieth, Douglas Chen, Luca Eyring, Ishin Shah, Giri Anantharaman, Yutong He, Zeynep Akata, Tommi Jaakkola, Nicholas Matthew Boffi, Max Simchowitz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अविश्वसनीय रूप से प्रतिभाशाली कलाकार है जो आपकी कल्पना के अनुसार कोई भी चित्र बना सकता है। आप उससे कहते हैं "एक बिल्ली की पेंटिंग बनाओ," और वह बिल्कुल सटीक काम करता है। लेकिन फिर आप कहते हैं, "दरअसल, मुझे एक ऐसी बिल्ली चाहिए जिसने एक छोटी टोपी पहनी हो, हाथ में कॉफी का कप पकड़ा हो, और संदिग्ध दिख रही हो।"

AI की दुनिया में, इसे रिवॉर्ड अलाइनमेंट (Reward Alignment) कहा जाता है। आप चाहते हैं कि AI केवल कुछ भी न बनाए, बल्कि ऐसी चीजें बनाए जो विशिष्ट, जटिल नियमों या प्राथमिकताओं को पूरा करती हों।

वर्तमान AI कलाकारों (जैसे डिफ्यूजन या फ्लो मॉडल्स) के साथ समस्या यह है कि वे बहुत कठोर हैं। यदि आप उन्हें एक नया नियम पालन करना चाहते हैं, तो आपको आमतौर पर:

उन्हें फिर से प्रशिक्षित करना होगा (Retrain): जैसे कलाकार को नई शैली सीखने के लिए महीनों तक वापस आर्ट स्कूल भेजना। (यह धीमा है, महंगा है, और हर नए नियम के लिए आपको ऐसा करना पड़ता है)।
उन्हें अनाड़ी तरीके से निर्देशित करना होगा: जैसे पेंटिंग करते समय निर्देश चिल्लाना। "नहीं, टोपी बहुत बड़ी है! कॉफी उलटी है!" इसके परिणामस्वरूप अक्सर एक खराब पेंटिंग बनती है या इसमें बहुत समय लगता है।

डायमंड मैप्स (Diamond Maps) एक नया आविष्कार है जो खेल बदल देता है। यह ऐसा है जैसे कलाकार को एक जादुई क्रिस्टल बॉल देना जो उसे एक भी ब्रश चलाने से पहले अपनी पेंटिंग के भविष्य को तुरंत देखने की अनुमति देती है।

यह कैसे काम करता है, यहाँ सरल उपमाओं के साथ समझाया गया है:

1. पुराना तरीका: "चरण-दर-चरण" चलना

कल्पना कीजिए कि आप एक धुंधले जंगल (एक AI इमेज जेनरेट कर रहा है) में चल रहे हैं। आप एक विशिष्ट खजाना (एक आदर्श चित्र जो आपके प्रॉम्प्ट से मेल खाता हो) खोजना चाहते हैं।

वर्तमान AI: आप एक कदम उठाते हैं, चारों ओर देखते हैं, फिर दूसरा कदम उठाते हैं, फिर देखते हैं। यह धीमा है। यदि आप यह जांचना चाहते हैं कि क्या कोई रास्ता खजाने की ओर ले जाता है, तो आपको पूरा रास्ता चलना होगा, यह महसूस करना होगा कि यह एक बंद रास्ता है, वापस आना होगा, और फिर दूसरा रास्ता आज़माना होगा।
समस्या: यह जांचने के लिए कि क्या कोई रास्ता अच्छा है, आपको पूरी यात्रा का सिमुलेशन करना होगा। हर संभावित रास्ते के लिए ऐसा करना असंभव है।

2. डायमंड मैप: "क्रिस्टल बॉल" का शॉर्टकट

डायमंड मैप्स AI को एक क्रिस्टल बॉल देता है। चरण-दर-चरण चलने के बजाय, AI अपने वर्तमान स्थान पर देख सकता है और तुरंत आगे "टेलीपोर्ट" होकर देख सकता है कि यदि वह एक विशिष्ट रास्ता चुनता है, तो अंतिम चित्र कैसा हो सकता है।

"लुक-अहेड" (Look-Ahead): AI पूछता है, "यदि मैं इस तरफ जाता हूँ, तो क्या बिल्ली टोपी पहनेगी?" क्रिस्टल बॉल कहता है, "हाँ, लेकिन टोपी टेढ़ी है।"
"स्टोकेस्टिक" (Stochastic) ट्विस्ट: जादू केवल एक क्रिस्टल बॉल नहीं है; यह क्रिस्टल बॉल्स का एक बादल है। क्योंकि भविष्य 100% निश्चित नहीं है, AI एक साथ कई संभावित भविष्य बनाता है (जैसे भविष्य के 10 अलग-अलग संस्करणों को देखना)।
निर्णय: यह तेजी से सभी 10 भविष्यों की जांच करता है, देखता है कि किसमें सबसे अच्छी टोपी है, और पेंटिंग को उसी दिशा में मोड़ देता है।

3. डायमंड मैप्स के दो प्रकार

पेपर दो तरीके बताता है कि इस क्रिस्टल बॉल को कैसे बनाया जाए, यह इस पर निर्भर करता है कि आपके पास कौन से टूल्स हैं:

प्रकार A: "विशेषज्ञ" (Posterior Diamond Maps)
- उपमा: आप एक मास्टर नेविगेटर को काम पर रखते हैं जिसने जंगल का इतना गहरा अध्ययन किया है कि वह जानता है कि "धुंधली शुरुआत" से "खजाने के अंत" तक एक ही छलांग में कैसे पहुँचा जाए।
- यह कैसे काम करता है: यह एक कस्टम-बिल्ट मॉडल है जिसे विशेष रूप से परिणाम का तुरंत पूर्वानुमान लगाने के लिए प्रशिक्षित किया गया है। यह अविश्वसनीय रूप से तेज़ और सटीक है लेकिन इसके लिए कुछ शुरुआती सेटअप (ट्रेनिंग) की आवश्यकता होती है।
प्रकार B: "यूनिवर्सल एडेप्टर" (Weighted Diamond Maps)
- उपमा: आपके पास एक मानक GPS (एक मौजूदा AI मॉडल) है। यह अच्छा है, लेकिन यह केवल एक ही रास्ता देता है। डायमंड मैप तकनीक उस GPS पर एक स्मार्ट ओवरले जोड़ने जैसा है। यह मानक GPS को लेता है, उसमें थोड़ी हलचल पैदा करता है (कुछ "शोर" या यादृच्छिकता जोड़ता है), और उसे तुरंत 50 अलग-अलग संभावित रास्ते बनाने के लिए कहता है। फिर, यह सबसे अच्छे वाले को चुनता है।
- यह कैसे काम करता है: यह "प्लग-एंड-प्ले" वाला संस्करण है। आप लगभग किसी भी मौजूदा AI मॉडल को बिना उसे शुरू से फिर से प्रशिक्षित किए डायमंड मैप में बदल सकते हैं।

यह एक बड़ी बात क्यों है?

गति: यह जंगल में एक धीमे, कई घंटों के लंबे सफर को 1-सेकंड की एक नज़र में बदल देता है।
लचीलापन: आप चलते-चलते नियम बदल सकते हैं। क्या आपको टॉप हैट के बजाय सोम्ब्रेरो (Sombrero) वाली बिल्ली चाहिए? AI को वापस स्कूल जाने की ज़रूरत नहीं है। यह बस नए रास्ते को खोजने के लिए क्रिस्टल बॉल का उपयोग करता है।
गुणवत्ता: क्योंकि यह एक ब्रश स्ट्रोक लगाने से पहले ही कई संभावनाओं को देख सकता है, यह "खराब पेंटिंग" वाली समस्या से बच जाता है। यह उस रास्ते को खोजता है जो सबसे अच्छे परिणाम की ओर ले जाता है, न कि केवल पहले मिलने वाले परिणाम की ओर।

निष्कर्ष

डायमंड मैप्स AI को एक "अंधे पेंटर" से बदलकर एक "दूरदर्शी पेंटर" बनाने जैसा है जो ब्रश उठाने से पहले ही अपने मन में तैयार कृति (Masterpiece) को देख सकता है। यह AI जनरेशन को तेज़, स्मार्ट और आपके विशिष्ट, अजीब या जटिल निर्देशों का पालन करने में बहुत बेहतर बनाता है।

यहाँ शोध पत्र "Diamond Maps: Efficient Reward Alignment via Stochastic Flow Maps" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन (Diffusion) और फ्लो मैचिंग (Flow Matching) जैसे जनरेटिव मॉडल उच्च गुणवत्ता वाले नमूने (samples) तो उत्पन्न करते हैं, लेकिन प्रशिक्षण के बाद रिवॉर्ड अलाइनमेंट (reward alignment - यानी विशिष्ट उपयोगकर्ता प्राथमिकताओं या बाधाओं को पूरा करने के लिए जनरेशन को निर्देशित करना) में संघर्ष करते हैं। मौजूदा विधियाँ दो श्रेणियों में आती हैं, जिनमें दोनों के महत्वपूर्ण दोष हैं:

रिवॉर्ड फाइन-ट्यूनिंग (Reward Fine-tuning): इसके लिए प्रत्येक नए रिवॉर्ड फंक्शन के लिए मॉडल को पुन: प्रशिक्षित करने की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा और लचीलेपन में अक्षम है।
इन्फरेंस-टाइम गाइडेंस (Inference-time Guidance): यह बिना पुन: प्रशिक्षण के सैंपलिंग प्रक्रिया को संशोधित करता है लेकिन अनुमानों (जैसे, वैल्यू फंक्शन का अनुमान लगाने के लिए डिनोइज़र का उपयोग करना) पर निर्भर करता है। ये अनुमान अक्सर गलत (biased) होते हैं और जटिल रिवॉर्ड्स के लिए मोड कोलैप्स (mode collapse) या खराब सैंपल गुणवत्ता का कारण बन सकते हैं।

मुख्य चुनौती यह है कि सटीक गाइडेंस (exact guidance) के लिए वैल्यू फंक्शन $V_t(x_t)$ का अनुमान लगाना आवश्यक है, जो एक शोर वाले स्टेट (noisy state) $x_t$ से अपेक्षित भविष्य के रिवॉर्ड को दर्शाता है। मानक फ्लो/डिफ्यूजन मॉडल में, इस अनुमान के लिए कई स्टोकेस्टिक स्टेप्स (SDE/ODE) को सिम्युलेट करने की आवश्यकता होती है, जिससे यह रियल-टाइम अलाइनमेंट के लिए कम्प्यूटेशनल रूप से अव्यवहार्य हो जाता है।

2. कार्यप्रणाली: डायमंड मैप्स (Methodology: Diamond Maps)

लेखक डायमंड मैप्स प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो जनरेटिव मॉडल्स को स्वाभाविक रूप से अनुकूलन योग्य (adaptable) बनाने के लिए उन्हें पुनर्गठित करता है। मुख्य नवाचार नियत (deterministic) फ्लो मैप्स को स्टोकेस्टिक फ्लो मैप्स (stochastic flow maps) में बदलना है, जो वैल्यू फंक्शन और उसके ग्रेडिएंट के कुशल, एक-चरणीय (one-step) अनुमान की अनुमति देते हैं।

यह शोध पत्र दो विशिष्ट डिज़ाइन पेश करता है:

A. पोस्टीरियर डायमंड मैप्स (Posterior Diamond Maps)

अवधारणा: ये GLASS Flows (ट्रांजिशन सैंपलिंग के लिए एक विधि) से डिस्टिल किए गए स्टोकेस्टिक फ्लो मैप्स हैं। मानक फ्लो मैप्स के विपरीत, जो शोर से डेटा को नियत रूप से मैप करते हैं, पोस्टीरियर डायमंड मैप्स को सीधे पोस्टीरियर डिस्ट्रीब्यूशन $p_{1|t}(z|x_t)$ (शोर वाले स्टेट $x_t$ दिए पर क्लीन डेटा $z$ का वितरण) से नमूने लेने के लिए प्रशिक्षित किया जाता है।
तंत्र (Mechanism):
- वे जनरेशन प्रक्रिया के "आउटर टाइम" ( $t$ ) से भिन्न एक "इनर टाइम" एक्सिस ( $s$ ) का उपयोग करते हैं।
- एक ही न्यूरल नेटवर्क इवैल्यूएशन में पोस्टीरियर से कई ट्राजेक्टरीज को सैंपल करके, वे वैल्यू फंक्शन के लिए एक सुसंगत (unbiased) एस्टिमेटर प्रदान करते हैं:
  $V_t(x_t) \approx \log \frac{1}{K} \sum_{k=1}^K \exp(r(z_k))$
  जहाँ $z_k$ , पोस्टीरियर से लिए गए सैंपल्स हैं।
सैंपलिंग दक्षता: लेखक Diamond Early Stop DDPM सैंपलिंग पेश करते हैं। इटरेटिव डिनोइजिंग और री-नोइजिंग (जिससे एरर जमा होता है) के बजाय, वे फ्लो को "जल्दी" रोकने और स्टेट को पुन: रूपांतरित करने के लिए एक गणितीय मैपिंग निकालते हैं। यह किसी भी दो टाइम स्टेप्स $t$ और $t'$ के बीच कुशल सीक्वेंशियल मोंटे कार्लो (SMC) और सर्च को सक्षम बनाता है।

B. वेटेड डायमंड मैप्स (Weighted Diamond Maps)

अवधारणा: एक विधि जो मौजूदा, ऑफ-द-शेल्फ मानक फ्लो मैप्स (जो नियत हैं) को बिना बेस मॉडल को पुन: प्रशिक्षित किए, स्टोकेस्टिक वैल्यू फंक्शन एस्टिमेटर्स में बदल देती है।
तंत्र:
- रीनोइजिंग (Renoising): इन्फरेंस के समय, वर्तमान स्टेट $x_t$ को एक स्टोकेस्टिक परटर्बेशन का उपयोग करके एक पहले के टाइम $x_{t'}$ पर वापस री-नोइज किया जाता है।
- फ्लो मैपिंग: फिर मानक फ्लो मैप का उपयोग इस री-नोइज्ड स्टेट को डेटा एंडपॉइंट $z$ तक मैप करने के लिए किया जाता है।
- करेक्शन: चूंकि यह प्रक्रिया वास्तविक पोस्टीरियर से सैंपल नहीं लेती है, इसलिए लेखक सैंपल्स को सही ढंग से वेट करने के लिए एक रिकवरी रिवॉर्ड और स्कोर-आधारित करेक्शन पेश करते हैं। यह वैल्यू फंक्शन के ग्रेडिएंट के लिए एक सुसंगत एस्टिमेटर बनाता है:
  $\nabla V_t(x_t) \approx \sum w_k \nabla r_{recov}(z_k)$
लाभ: यह अभ्यासकर्ताओं को रिवॉर्ड अलाइनमेंट के लिए एक नया पोस्टीरियर मॉडल डिस्टिल किए बिना मौजूदा प्री-ट्रेंड मॉडल्स (जैसे FLUX या SANA-Sprint) का तुरंत उपयोग करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

स्टोकेस्टिक फ्लो मैप्स: यह शोध पत्र इस धारणा को चुनौती देता है कि फ्लो मैप्स को नियत होना चाहिए। यह प्रदर्शित करता है कि स्टोकेस्टिसिटी पेश करने से सटीक वैल्यू फंक्शन अनुमान संभव होता है, जो इष्टतम रिवॉर्ड अलाइनमेंट के लिए एक पूर्व शर्त है।
दो-आयामी दृष्टिकोण:
- पोस्टीरियर डायमंड मैप्स: सटीक पोस्टीरियर सैंपलिंग और कुशल SMC के लिए GLASS Flows से डिस्टिल किया गया एक उच्च-सटीकता वाला तरीका।
- वेटेड डायमंड मैप्स: रीनोइजिंग और इम्पोर्टेंस वेटिंग के माध्यम से मानक फ्लो मैप्स को सुसंगत एस्टिमेटर्स में बदलने के लिए एक व्यावहारिक एल्गोरिदम।
Diamond Early Stop DDPM: एक नवीन सैंपलिंग तकनीक जो इनर टाइम को आउटर टाइम में गणितीय रूप से मैप करके इटरेटिव सैंपलिंग में एरर संचय (error accumulation) से बचती है, जिससे कुशल सर्च और SMC सक्षम होता है।
स्केलेबल अलाइनमेंट: यह फ्रेमवर्क केवल ODE स्टेप्स या स्वतंत्र सैंपल्स (Best-of-N) बढ़ाने के बजाय मोंटे कार्लो (MC) सैंपल्स के माध्यम से कंप्यूट को स्केल करने में सक्षम बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सुपर-रिज़ॉल्यूशन, इनवर्स प्रॉब्लम्स और टेक्स्ट-टू-इमेज जनरेशन सहित कार्यों के लिए CIFAR-10, CelebA-64 और ImageNet (256x256) पर डायमंड मैप्स का मूल्यांकन किया।

सुपर-रिज़ॉल्यूशन और इनवर्स प्रॉब्लम्स: पोस्टीरियर डायमंड मैप्स ने मानक गाइडेंस (DPS) और नैव (naive) फ्लो मैप एप्रोक्सिमेशन की तुलना में एक बेहतर पारेटो फ्रंटियर (इमेज क्वालिटी/FID और रिवॉर्ड अलाइनमेंट के बीच ट्रेड-ऑफ) प्राप्त किया। उन्होंने उच्च रिवॉर्ड स्केल्स के प्रति अधिक मजबूती दिखाई।
टेक्स्ट-टू-इमेज (FLUX और SANA-Sprint):
- GenEval और UniGenBench++: वेटेड डायमंड मैप्स, Best-of-N (N बार सैंपल करना और सबसे अच्छा चुनना) और Flow Map Guidance से काफी बेहतर रहे।
- कंप्यूट स्केलिंग: Best-of-N (जिसमें घटते रिटर्न मिलते हैं) या Flow Map Guidance (जो अधिक स्टेप्स के साथ संतृप्त हो जाता है) के विपरीत, डायमंड मैप्स ने मोंटे कार्लो सैंपल्स की संख्या बढ़ने के साथ निरंतर सुधार दिखाया।
- दक्षता: SANA-Sprint पर, वेटेड डायमंड मैप्स ने कम फंक्शन इवैल्यूएशन (NFE) के साथ उच्च GenEval स्कोर (0.83 बनाम Best-of-N के लिए 0.79) प्राप्त किया।
गुणात्मक परिणाम (Qualitative Results): मॉडल्स ने सफलतापूर्वक आउट-ऑफ-डिस्ट्रीब्यूशन इमेज (जैसे, "एक सुपरमार्केट में जेब्रा") उत्पन्न कीं जो बिना गाइडेंस के बनाना असंभव था, जो रिवॉर्ड लैंडस्केप के प्रभावी अन्वेषण (exploration) को दर्शाता है।

5. महत्व (Significance)

पैराडाइम शिफ्ट: यह शोध पत्र रिवॉर्ड अलाइनमेंट को एक "बाद के विचार" (फाइन-ट्यूनिंग या अनुमानित गाइडेंस) से बदलकर जनरेटिव मॉडल आर्किटेक्चर के एक अंतर्निहित गुण में बदल देता है।
व्यावहारिकता: एक ऐसा तरीका (Weighted Diamond Maps) प्रदान करके जो मौजूदा प्री-ट्रेंड मॉडल्स के साथ काम करता है, यह अलाइन्ड जनरेटिव मॉडल्स को तैनात करने की बाधा को कम करता है।
सैद्धांतिक कठोरता: यह फ्लो मॉडल्स में वैल्यू फंक्शन के लिए गणितीय रूप से सुसंगत एस्टिमेटर्स प्रदान करता है, जो उस "अव्यवहार्यता" (intractability) की समस्या को हल करता है जिसने डिफ्यूजन/फ्लो मॉडल्स में सटीक गाइडेंस को सीमित कर दिया था।
भविष्य की दिशा: यह फ्रेमवर्क मोडैलिटी-अज्ञेइक (modality-agnostic) है और मॉलिक्यूल्स, रोबोटिक्स, वीडियो और ऑडियो के लिए लागू किया जा सकता है, जो ऐसे जनरेटिव मॉडल्स का मार्ग प्रशकी है जो किसी भी बाधा के प्रति तीव्र अनुकूलन में सक्षम सामान्य-उद्देश्य वाले इन्फरेंस इंजन के रूप में कार्य कर सकें।