🤖 machine learning

Step-level Denoising-time Diffusion Alignment with Multiple Objectives

यह शोध पत्र मल्टी-ऑब्जेक्टिव स्टेप-लेवल डिनोइजिंग-टाइम डिफ्यूजन अलाइनमेंट (MSDDA) को प्रस्तुत करता है, जो एक रिट्रेनिंग-मुक्त ढांचा है जो सिंगल-ऑब्जेक्टिव बेस मॉडल्स से बिना किसी एप्रोक्सिमेशन एरर के सीधे क्लोज्ड-फॉर्म ऑप्टिमल रिवर्स डिनोइजिंग डिस्ट्रीब्यूशन व्युत्पन्न करके, मल्टीपल ऑब्जेक्टिव्स के साथ डिफ्यूजन मॉडल्स को अलाइन करने के लिए स्टेप-लेवल रीइन्फोर्समेंट लर्निंग फाइन-ट्यूनिंग के साथ सटीक समानता प्राप्त करता है।

मूल लेखक: Qi Zhang, Dawei Wang, Shaofeng Zou

प्रकाशित 2026-04-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qi Zhang, Dawei Wang, Shaofeng Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास डिफ्यूजन (Diffusion) नाम का एक बेहद प्रतिभाशाली कलाकार है। इस कलाकार ने लाखों चित्रों से किताबों के एक विशाल पुस्तकालय से वर्षों तक पेंटिंग करना सीखा है, जिससे उसने कुछ भी पूरी सटीकता से बनाना सीख लिया है। हालाँकि, डिफ्यूजन यह नहीं जानता कि आपको विशेष रूप से क्या पसंद है। आप चाहते हैं कि आपकी तस्वीरें सुंदर (aesthetic) हों, लेकिन आप यह भी चाहते हैं कि वे आपके विवरण से सटीक रूप से मेल खाती हों (consistency), और आप निश्चित रूप से नहीं चाहेंगे कि वे डरावनी या अनुचित (safety) हों।

आमतौर पर, यदि आप चाहते हैं कि डिफ्यूजन आपके विशिष्ट नियमों का पालन करे, तो आपको कलाकार को फिर से प्रशिक्षित करने के लिए एक शिक्षक को काम पर रखना पड़ता है। लेकिन यहाँ समस्या यह है: मानवीय पसंद जटिल होती है। आप कलाकार को केवल एक एकल नियम जैसे "इसे सुंदर बनाओ" नहीं सिखा सकते। आपको "सुंदरता," "सटीकता," और "सुरक्षा" को एक साथ संतुलित करना होगा।

पुराना तरीका: "थका हुआ शिक्षक" वाली समस्या

पहले, यदि आप इन विभिन्न लक्ष्यों को संतुलित करना चाहते थे, तो शोधकर्ताओं ने दो मुख्य दृष्टिकोणों को आज़माया:

"अनंत क्लास" विधि: वे आपकी पसंद के हर संभावित संयोजन के लिए कलाकार का एक अलग संस्करण प्रशिक्षित करते थे। यदि आप 50% सुंदर और 50% सटीक चित्र चाहते थे, तो वे एक कलाकार को प्रशिक्षित करते थे। यदि आप 80% सुंदर और 20% सटीक चाहते थे, तो वे दूसरे को प्रशिक्षित करते थे। यह हर उस मूड के लिए एक नया शिक्षक रखने जैसा है जिसमें आप हो सकते हैं। यह महंगा, धीमा और हर संभावना को कवर करना असंभव है।
"अनुमान लगाने वाला खेल" विधि: उन्होंने पेंटिंग होने के दौरान ही मौजूदा कलाकारों को आपस में मिलाने की कोशिश की। लेकिन ऐसा करने के लिए, उन्हें लगातार रुकना पड़ता था और पूछना पड़ता था, "क्या यह हिस्सा सुंदर है? क्या यह हिस्सा सटीक है?" इसके लिए जटिल गणित की आवश्यकता थी। इसने सब कुछ धीमा कर दिया और अक्सर छोटी त्रुटियाँ पैदा कीं, जैसे कोई चित्रकार अपनी सांस रोककर रंग का अनुमान लगाने की कोशिश कर रहा हो।

नया समाधान: MSDDA (द "मास्टर मिक्सर")

यह पेपर MSDDA (मल्टी-ऑब्जेक्टिव स्टेप-लेवल डीनोइजिंग-टाइम डिफ्यूजन एलाइनमेंट) नामक एक नई विधि पेश करता है। इसे एक मास्टर मिक्सर के रूप में सोचें जो बिना किसी को फिर से प्रशिक्षित किए या निरंतर फीडबैक मांगे, विभिन्न संस्करणों के कलाकार को तुरंत मिला सकता है।

यह कैसे काम करता है, इसके लिए एक सरल उपमा का उपयोग करें:

1. विशेषज्ञ कलाकार (बेस मॉडल)

कल्पना कीजिए कि आपके पास तीन विशेषज्ञ कलाकार हैं:

कलाकार A सुंदरता (Beauty) का उस्ताद है।
कलाकार B सटीकता (Accuracy) का उस्ताद है।
कलाकार C सुरक्षा (Safety) का उस्ताद है।

आप पहले से ही इन तीनों कलाकारों को अलग-अलग प्रशिक्षित कर चुके हैं। वे अपने क्षेत्रों में विशेषज्ञ हैं।

2. "चरण-दर-चरण" का रहस्य

पुराने तरीकों में, इन कलाकारों को मिलाना ऐसा था जैसे खाना पकने के बाद तीन अलग-अलग सूपों को मिलाने की कोशिश करना, जिसके परिणामस्वरूप अक्सर अजीब स्वाद आता था।

लेखकों ने महसूस किया कि डिफ्यूजन मॉडल एक बार में पूरा चित्र नहीं बनाते हैं। वे शोर (static noise) से भरे एक खाली कैनवास से शुरू करते हैं और धीरे-धीरे शोर को हटाते (remove the noise) हुए चित्र को प्रकट करते हैं।

इस पेपर की सफलता यह समझने में है कि शोर हटाने के हर एक चरण (step) में, आप कलाकार A, कलाकार B और कलाकार C की "राय" को गणितीय रूप से पूरी तरह से मिला सकते हैं।

3. "रेसिपी" (क्लोज्ड-फॉर्म सॉल्यूशन)

लेखकों ने इन कलाकारों को मिलाने के लिए एक सरल गणितीय रेसिपी (एक "closed-form solution") की खोज की है।

यदि आप एक ऐसा चित्र चाहते हैं जो 80% सुंदर और 20% सटीक हो, तो आपको किसी को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
आप बस कलाकार A और कलाकार B से "शोर हटाने के निर्देश" लेते हैं।
आप उन्हें एक विशिष्ट सूत्र का उपयोग करके मिलाते हैं (जैसे रंगों को मिलाना)।
जादू: यह मिश्रण परफेक्ट है। यह गणितीय रूप से सिद्ध है कि यह बिल्कुल वैसा ही होगा जैसा आपको तब मिलता यदि आपने उस विशिष्ट 80/20 विभाजन के लिए एक नया कलाकार शुरू से प्रशिक्षित किया होता। इसमें कोई "अनुमान" या "अनुमान त्रुटियां" नहीं हैं।

यह एक बड़ी बात क्यों है?

पुनः प्रशिक्षण की आवश्यकता नहीं: आपको नए शिक्षक काम पर रखने की आवश्यकता नहीं है। आप बस मौजूदा विशेषज्ञों को लेते हैं और उनके निर्देशों को चलते समय (on the fly) मिला देते हैं।
तत्काल अनुकूलन: क्या आप बीच में ही अपना विचार बदलना चाहते हैं? "वास्तव में, इसे 90% सटीक बनाओ!" सिस्टम बिना दोबारा शुरू किए तुरंत मिश्रण की पुनर्गणना कर सकता है।
कोई "रिवॉर्ड" सेंसर नहीं: पुराने तरीकों को लगातार चित्र की जांच करने के लिए एक रिवॉर्ड स्कोर (जैसे वास्तविक समय में काम को ग्रेड देने वाला शिक्षक) की आवश्यकता होती थी। इस नए तरीके को इसकी आवश्यकता नहीं है। यह सीधे विशेषज्ञों के ज्ञान को मिला देता है।
गति: क्योंकि इसे जटिल पुरस्कारों (rewards) की गणना करने के लिए रुकने की आवश्यकता नहीं है, इसलिए यह "अनुमान लगाने वाले खेल" वाली विधियों की तुलना में बहुत तेज़ है।

उपमा सारांश

कल्पना कीजिए कि आप एक स्मूदी बना रहे हैं।

पुराना तरीका: आपको हर संभावित फल अनुपात के लिए एक नया ब्लेंडर खरीदना पड़ता है (50% स्ट्रॉबेरी, 50% केला; फिर 60% स्ट्रॉबेरी, 40% केला)। या, आप ब्लेंडर चलते समय चीनी की मात्रा का अनुमान लगाने की कोशिश करते हैं, जिससे अक्सर स्वाद बिगड़ जाता है।
MSDDA तरीका: आपके पास तीन परफेक्ट स्मूदी बेस हैं (स्ट्रॉबेरी, केला, आम)। जब आपको एक विशिष्ट मिश्रण चाहिए होता है, तो आप बस एक कप में सही मात्रा में प्रत्येक बेस डालते हैं। परिणाम पूरी तरह से संतुलित होता है, इसके लिए किसी नए उपकरण की आवश्यकता नहीं होती, और इसमें कुछ ही सेकंड लगते हैं।

निचोड़

यह पेपर हमें AI आर्ट के लिए एक "यूनिवर्सल रिमोट कंट्रोल" देता है। हर विशिष्ट पसंद के लिए एक नया AI प्रशिक्षित करने के बजाय, अब हम ठीक वही चित्र बनाने के लिए विभिन्न AI विशेषज्ञों को तुरंत मिला सकते हैं जो आप चाहते हैं, पूर्ण सटीकता के साथ और बिना किसी अतिरिक्त प्रशिक्षण समय के। यह "मानवीय प्राथमिकताओं को संतुलित करने" के जटिल गणित को एक सरल, सुंदर मिश्रण रेसिपी में बदल देता है।

यहाँ शोध पत्र "Step-level Denoising-time Diffusion Alignment with Multiple Objectives" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल आमतौर पर डेटा वितरण से मेल खाने के लिए बड़े पैमाने के डेटासेट पर प्री-ट्रेन किए जाते हैं, लेकिन उनमें विशिष्ट मानवीय प्राथमिकताओं (जैसे सौंदर्य गुणवत्ता, टेक्स्ट-इमेज निरंतरता, सुरक्षा) के साथ संरेखण (alignment) की कमी होती है। जबकि सिंगल-ऑब्जेक्टिव (एकल-उद्देश्य) संरेखण के लिए रीइन्फोर्समेंट लर्निंग (RL) फाइन-ट्यूनिंग सफल रही है, वास्तविक दुनिया के अनुप्रयोगों में बहु-उद्देश्यीय (multiple), अक्सर परस्पर विरोधी उद्देश्यों को संतुलित करने की आवश्यकता होती है।

मौजूदा बहु-उद्देश्यीय संरेखण दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

मल्टी-ऑब्जेक्टिव RL फाइन-ट्यूनिंग: प्राथमिकता भार (preference weights) के स्थान को कवर करने के लिए बड़ी संख्या में मॉडलों को प्रशिक्षित करने की आवश्यकता होती है (जो उद्देश्यों की संख्या के साथ घातीय रूप से बढ़ती है), या जटिल संघर्ष-परिहार अपडेट दिशाओं को हल करना पड़ता है, जो गणनात्मक रूप से अत्यधिक महंगा है।
डिनोइजिंग-टाइम अलाइनमेंट (ट्रेनिंग-फ्री): मौजूदा विधियाँ जो इन्फरेंस के समय प्री-अलाइन्ड मॉडलों को फ्यूज करती हैं, सामान्यतः दो श्रेणियों में आती हैं:
1. रिवॉर्ड-डिपेंडेंट (पुरस्कार-निर्भर): इनके लिए रिवॉर्ड फंक्शन और उनके ग्रेडिएंट/वैल्यू तक पहुँच की आवश्यकता होती है, जिससे बार-बार सैंपलिंग और अनुमान (जैसे कि टवीडी एस्टिमेटर के माध्यम से) आवश्यक हो जाता है, जो गणनात्मक रूप से महंगा है।
2. रिवॉर्ड-फ्री (पुरस्कार-मुक्त): रिवॉर्ड एक्सेस के बिना मॉडलों को फ्यूज करने वाली विधियाँ (जैसे Reward Soup, DB-MPA, DERADIFF)। हालाँकि, ये विधियाँ अक्सर अव्यहार्य (intractable) इष्टतम नीतियों से प्राप्त सन्निकटन (approximations) पर निर्भर करती हैं, जो परिणामी डिनोइजिंग ऑब्जेक्टिव्स में अनिश्चित सन्निकटन त्रुटियों (unquantified approximation errors) को पेश करती हैं।

मुख्य प्रश्न: क्या हम एक ऐसा रिट्रेनिंग-फ्री, डिनोइजिंग-टाइम मल्टी-ऑब्जेक्टिव अलाइनमेंट मेथड डिज़ाइन कर सकते हैं जिसे किसी भी व्यक्तिगत रिवॉर्ड फंक्शन की आवश्यकता न हो और जो कोई सन्निकटन त्रुटि (approximation error) पेश न करे?

2. कार्यप्रणाली (Methodology)

लेखक MSDDA (Multi-objective Step-level Denoising-time Diffusion Alignment) प्रस्तावित करते हैं, एक ऐसा फ्रेमवर्क जो बिना रिट्रेनिंग के सटीक बहु-उद्देश्यीय संरेखण प्राप्त करता है। इसकी कार्यप्रणाली तीन प्रमुख सैद्धांतिक स्तंभों पर आधारित है:

A. स्टेप-लेवल RL फॉर्मूलेशन

मानक RL फॉर्मुलेशन में (जो सर्कुलर पॉलिसी-एडवांटेज अनुमानों पर निर्भर होते हैं) इष्टतम नीति को ट्रैक करने की अव्यहार्यता को दूर करने के लिए, लेखक इस समस्या को एक स्टेप-लेवल RL कार्य के रूप में पुनर्गठित करते हैं।

ट्रस्ट रीजन पॉलिसी ऑप्टिमाइजेशन (TRPO) से प्रेरित होकर, वे रिवॉर्ड और KL रेगुलराइजेशन टर्म्स को स्टेप-वाइज एडवांटेज में विघटित करते हैं।
वे एक स्टेप-लेवल DPO (Direct Preference Optimization) ऑब्जेक्टिव व्युत्पन्न करते हैं। मानक डिफ्यूजन DPO के विपरीत, इस लॉस में एक स्पष्ट स्टेप-वाइज रेगुलराइजेशन टर्म ( $\Delta_{diff}$ ) शामिल है जो मॉडल को कम-पसंदीदा ट्राजेक्टरीज पर प्री-ट्रेंड मॉडल के करीब रहने के लिए प्रोत्साहित करता है, जबकि पसंदीदा ट्राजेक्टरीज पर विचलन की अनुमति देता है।
मुख्य अंतर्दृष्टि: यह फॉर्मूलेशन सर्कुलर डिपेंडेंसी को हल करता है, जिससे इष्टतम नीति सुलभ (tractable) हो जाती है और केवल प्री-ट्रेंड पॉलिसी के एडवांटेज पर निर्भर होती है।

B. क्लोज्ड-फॉर्म मल्टी-ऑब्जेक्टिव फ्यूजन

इस स्टेप-लेवल फॉर्मूलेशन पर निर्माण करते हुए, लेखक सिद्ध करते हैं कि एक भारित रिवॉर्ड $r_w = \sum w_i r_i$ के लिए, इष्टतम रिवर्स डिनोइजिंग डिस्ट्रीब्यूशन $p_w$ को शुद्ध रूप से सिंगल-ऑब्जेक्टिव अलाइन्ड मॉडलों $\{p_i\}$ के फ्यूजन द्वारा बनाया जा सकता है।

थ्योरम 1: यदि प्रत्येक सिंगल-ऑब्जेक्टिव मॉडल $p_i$ एक गॉसियन डिस्ट्रीब्यूशन $N(\mu_i, \sigma_i^2 I)$ है, तो इष्टतम मल्टी-ऑब्जेक्टिव डिस्ट्रीब्यूशन $p_w$ भी एक गॉसियन $N(\mu_w, \sigma_w^2 I)$ होगा।
क्लोज्ड-फॉर्म पैरामीटर्स: माध्य (mean) और विचरण (variance) बेस मॉडल्स के स्पष्ट फलन हैं:
$\sigma_w^2 = \left( \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \right)^{-1}$
$\mu_w = \sigma_w^2 \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \mu_i$
यह बिना किसी अतिरिक्त ट्रेनिंग या रिवॉर्ड फंक्शन एक्सेस के, इन्फरेंस के समय सटीक (exact) फ्यूजन की अनुमति देता है।

C. सैद्धांतिक समानता (Theoretical Equivalence)

यह शोध पत्र सिद्ध करता है कि इस फ्यूजन के माध्यम से व्युत्पन्न डिनोइजिंग-टाइम ऑब्जेक्टिव, स्टेप-लेवल RL फाइन-ट्यूनिंग फॉर्मूलेशन के समाधान के बिल्कुल समान (exactly equivalent) है।

DB-MPA और DERADIFF जैसी पिछली रिवॉर्ड-फ्री विधियों के विपरीत, जो समस्या को सुलभ बनाने के लिए डिफ्यूजन डायनेमिक्स में कुछ टर्म्स को हटा देती हैं (जिससे त्रुटियां आती हैं), MSDDA कोई भी टर्म नहीं हटाता है।
यह DB-MPA (जो सभी ऑब्जेक्टिव्स के लिए समान वेरिएंस मानता है) को हेट्रोजेनियस वेरिएंस ( $\sigma_i^2$ ) को संभालने के लिए सामान्यीकृत करता है।

3. मुख्य योगदान (Key Contributions)

स्टेप-लेवल RL फ्रेमवर्क: डिफ्यूजन मॉडल्स के लिए एक नया स्टेप-लेवल RL फॉर्मूलेशन पेश किया जो मार्जिनल KL ऑप्टिमाइजेशन की अव्यहार्यता से बचता है और स्टेप-लेवल DPO ऑब्जेक्टिव के व्युत्पन्न को सक्षम बनाता है।
सटीक क्लोज्ड-फॉर्म समाधान: MSDDA प्रस्तावित किया गया, जो एक रिट्रेनिंग-फ्री एल्गोरिदम है जो किसी भी प्राथमिकता भार वेक्टर (preference weight vector) के लिए इष्टतम रिवर्स डिनोइजिंग डिस्ट्रीब्यूशन को क्लोज्ड फॉर्म में कंप्यूट करता है।
शून्य सन्निकटन त्रुटि (Zero Approximation Error): सैद्धांतिक रूप से सिद्ध किया कि MSDDA फ्यूजन स्टेप-लेवल RL पॉलिसी के गणितीय रूप से समान है, जिससे पिछली डिनोइजिंग-टाइम विधियों में निहित सन्निकटन त्रुटियां समाप्त हो जाती हैं।
रिवॉर्ड-फ्री ऑपरेशन: इस विधि को इन्फरेंस के दौरान रिवॉर्ड फंक्शन या ग्रेडिएंट्स तक पहुँच की आवश्यकता नहीं है, यह पूरी तरह से प्री-अलाइन्ड सिंगल-ऑब्जेक्टिव मॉडल्स के पैरामीटर्स पर निर्भर करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो रिवॉर्ड ऑब्जेक्टिव्स के साथ Stable Diffusion v1.5 का उपयोग करके MSDDA का मूल्यांकन किया:

ImageReward: टेक्स्ट-इमेज अलाइनमेंट के लिए।
VILA: सौंदर्य गुणवत्ता (aesthetic quality) के लिए।

बेसलाइन्स (Baselines):

Stable Diffusion (Pre-trained)।
Reward Soup (RS): मॉडल पैरामीटर्स का लीनियर इंटरपोलेशन।
CoDe & RGG: रिवॉर्ड ग्रेडिएंट/वैल्यू-आधारित गाइडेंस विधियाँ।
DB-MPA / DERADIFF: अन्य रिवॉर्ड-फ्री फ्यूजन विधियाँ।

निष्कर्ष:

प्रदर्शन: MSDDA ने विभिन्न प्राथमिकता भारों ( $w$ ) के तहत सभी बेसलाइन्स को लगातार पछाड़ दिया। इसने उच्चतम पारेटो फ्रंट (Pareto front) स्कोर प्राप्त किया, जो Reward Soup या ग्रेडिएंट-आधारित विधियों की तुलना में सौंदर्य गुणवत्ता और टेक्स्ट निरंतरता दोनों को बेहतर ढंग से संतुलित करता है।
गुणात्मक संरेखण (Qualitative Alignment): विजुअल परिणामों ने दिखाया कि MSDDA ने उन जटिल प्रॉम्प्ट्स (जैसे, "a purple colored dog," "a pink banana") का सख्ती से पालन किया जहाँ बेस SD मॉडल विफल रहा और Reward Soup ने अक्सर आर्टिफैक्ट्स या गलत रंग उत्पन्न किए।
दक्षता (Efficiency):
- MSDDA, रिवॉर्ड-ग्रेडिएंट विधियों (Coode, RGG) की तुलना में काफी तेज़ है क्योंकि यह डिनोइजिंग के दौरान बार-बार रिवॉर्ड मूल्यांकन से बचता है।
- यह SD/RS की तुलना में थोड़ा धीमा है (लगभग 2x रनटाइम) क्योंकि यह फ्यूज्ड मीन/वेरिएंस को कंप्यूट करने के लिए दो डिफ्यूजन मॉडल्स को समानांतर में चलाता है, लेकिन यह मल्टी-ऑब्जेक्टिव RL के ट्रेनिंग ओवरहेड की तुलना में नगण्य लागत है।

5. महत्व (Significance)

यह शोध पत्र डिफ्यूजन मॉडल अलाइनमेंट में एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक प्रगति का प्रतिनिधित्व करता है:

सैद्धांतिक कठोरता (Theoretical Rigor): यह मल्टी-ऑब्जेक्टिव फ्यूजन के लिए पहला सटीक (exact) क्लोज्ड-फॉर्म समाधान प्रदान करके RL थ्योरी और व्यावहारिक डिनोइजिंग-टाइम अलाइनमेंट के बीच के अंतर को पाटता है, जिससे पिछली सन्निकटन-आधारित विधियों की "ब्लैक बॉक्स" प्रकृति समाप्त हो जाती है।
व्यावहारिक तैनाती (Practical Deployment): इन्फरेंस के दौरान रिवॉर्ड एक्सेस की आवश्यकता को समाप्त करके और रिट्रेनिंग से बचकर, MSDDA उन गतिशील वातावरणों में डिफ्यूजन मॉडल्स को तैनात करने के लिए एक अत्यधिक कुशल, प्लग-एंड-प्ले समाधान प्रदान करता है जहाँ उपयोगकर्ता की प्राथमिकताएं (वेट्स) बार-बार बदलती रहती हैं।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क केवल इमेज जनरेशन तक सीमित नहीं है; स्टेप-लेवल RL फॉर्मूलेशन और क्लोज्ड-फॉर्म फ्यूजन लॉजिक को संभावित रूप से मल्टी-ऑब्जेक्टिव बाधाओं वाले अन्य अनुक्रमिक जनरेशन कार्यों (sequential generation tasks) के लिए अनुकूलित किया जा सकता है।