🤖 machine learning

SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models

यह शोध पत्र SIPO को प्रस्तुत करता है, जो डिफ्यूजन मॉडल के लिए एक स्थिर और उन्नत प्राथमिकता अनुकूलन (preference optimization) ढांचा है, जो एक नवीन ग्रेडिएंट क्लिपिंग तंत्र और टाइमस्टेप-अवेयर इम्पॉर्टेंस रीवेटिंग के माध्यम से प्रशिक्षण अस्थिरता और ऑफ-पॉलिसी पूर्वाग्रह को संबोधित करता है, तथा इमेज और वीडियो जनरेशन कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली कलाकार (एक Diffusion Model) को ऐसे चित्र बनाना सिखा रहे हैं जो वास्तव में मनुष्यों को पसंद आएँ। वह कलाकार पहले से ही शून्य से चित्र बनाने में बहुत कुशल है, लेकिन उसे हमेशा यह नहीं पता होता कि आप बिल्कुल क्या चाहते हैं। आप उसे फीडबैक देना चाहते हैं: "मुझे यह चित्र उस दूसरे चित्र से अधिक पसंद है।"

यह शोध पत्र एक नई शिक्षण पद्धति पेश करता है जिसे SIPO (Stabilized and Improved Preference Optimization) कहा जाता है। यह उन दो प्रमुख समस्याओं को ठीक करता है जो तब आती थीं जब लोग पिछले तरीकों का उपयोग करके इन कलाकारों को सिखाने की कोशिश करते थे।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

समस्या: "शोर भरा क्लासरूम" (The "Noisy Classroom")

लेखकों ने पाया कि पिछले तरीके (जैसे Diffusion-DPO) एक अराजक क्लासरूम की तरह थे जहाँ शिक्षक बेतरतीब समय पर निर्देश चिल्लाता था, जिससे छात्र भ्रमित हो जाता था।

"गलत समय" की समस्या (The "Bad Timing" Problem):
- उपमा: कल्पना कीजिए कि कलाकार एक चित्र बना रहा है। वह एक खाली कैनवास (बहुत अधिक शोर/noise के साथ) से शुरू करता है और धीरे-धीरे विवरण जोड़ता है जब तक कि चित्र स्पष्ट न हो जाए।
- समस्या: पुराना तरीका पेंटिंग की प्रक्रिया के हर एक सेकंड पर फीडबैक देने की कोशिश करता था। लेकिन शुरुआत में (यानी "early timesteps" में), कैनवास केवल शोर का एक धुंधला सा हिस्सा होता है। यहाँ फीडबैक देना ऐसा है जैसे कैनवास पर सिर्फ एक धूसर धब्बे (gray smudge) होने पर चिल्लाना "नाक बनाओ!"। यह भ्रमित करने वाला है और इससे कलाकार निराश हो जाता है (training instability)।
- समाधान: SIPO एक स्मार्ट शिक्षक की तरह काम करता है जो कहता है, "जब तक कैनवास केवल एक धुंधलापन है, पहले 60 सेकंड को अनदेखा कर दें। आइए केवल तभी फीडबैक दें जब आकृतियाँ दिखाई देने लगें।" यह कलाकार को शोर से भ्रमित होने से रोकता है।
"गलत छात्र" की समस्या (The "Wrong Student" Problem):
- उपमा: कल्पना कीजिए कि आप एक छात्र को एक ऐसी पाठ्यपुस्तक से प्रशिक्षित कर रहे हैं जो एक दूसरे छात्र द्वारा लिखी गई है। पाठ्यपुस्तक में सही उत्तर तो हैं, लेकिन उसकी शैली आपके छात्र के सोचने के तरीके से थोड़ी अलग है।
- समस्या: पुराने तरीके "offline" डेटा (पहले से बने उदाहरण) का उपयोग करते थे जो वर्तमान कलाकार की क्षमता से सटीक रूप से मेल नहीं खाते थे। इससे एक अंतर पैदा हो गया जो कलाकार के सीखने और उसके वास्तविक कार्य के बीच था, जिससे वह बाद में अपना आत्मविश्वास खो देता या अजीब गलतियाँ करता (off-policy bias)।
- समाधान: SIPO एक "अनुवादक" (जिसे importance re-weighting कहा जाता है) का उपयोग करता है। यह प्रत्येक उदाहरण को देखता है और कहता है, "यह उदाहरण हमारे कलाकार के जो कर सकता है उससे बहुत मिलता-जुलता है, इसलिए हम इसे ध्यान से सुनेंगे। वह दूसरा उदाहरण बहुत अलग है, इसलिए हम उसकी आवाज़ धीमी कर देंगे।" यह सुनिश्चित करता है कि कलाकार बिना किसी असंगत उदाहरणों से अभिभूत हुए, सबसे प्रासंगिक उदाहरणों से सीख सके।

समाधान: SIPO

यह शोध पत्र SIPO को दो-चरणीय सुधार के रूप में प्रस्तावित करता है:

DPO-C&M (Clipping and Masking): यह "स्मार्ट टीचर" है। यह पेंटिंग प्रक्रिया के शुरुआती, शोर वाले हिस्सों को mask (अनदेखा) करता है जहाँ फीडबैक उपयोगी नहीं होता। यह फीडबैक को clip (सीमित) भी करता है ताकि वह बहुत अधिक चरम न हो जाए और कलाकार को डरा न दे।
Timestep-Aware Reweighting: यह "अनुवादक" है। यह कलाकार के वर्तमान कौशल स्तर के आधार पर फीडबैक के वॉल्यूम (आवाज़) को समायोजित करता है। यदि कोई उदाहरण एक सटीक मिलान है, तो यह ज़ोर से बोलता है। यदि कोई उदाहरण अजीब आउटलायर है, तो यह फुसफुसाता है।

परिणाम: एक शांत, बेहतर कलाकार

लेखकों ने इसे इमेज जनरेटर्स (जैसे Stable Diffusion) और वीडियो जनरेटर्स (जैसे CogVideoX) दोनों पर परखा।

स्थिरता (Stability): पिछले तरीके एक रोलरकोस्टर की तरह थे; कलाकार का प्रदर्शन ऊपर-नीचे होता रहता था, और प्रशिक्षण के कुछ दिनों के बाद कभी-कभी पूरी तरह से क्रैश हो जाता था। SIPO एक स्मूथ लिफ्ट की तरह है; कलाकार लगातार सुधार करता है और क्रैश नहीं होता।
संवेदनशीलता (Sensitivity): पुराने तरीके एक "तापमान" सेटिंग (एक नॉब जिसे $\beta$ कहा जाता है) के प्रति बहुत संवेदनशील थे। यदि आप नॉब को थोड़ा गलत घुमाते, तो कलाकार विफल हो जाता। SIPO मजबूत है; यह तब भी अच्छा काम करता है जब आप अपने नॉब को पूरी तरह से ट्यून नहीं करते।
गुणवत्ता (Quality): आमने-सामने के परीक्षणों में, SIPO ने ऐसे चित्र और वीडियो बनाए जिन्हें मनुष्य पुराने तरीकों की तुलना में अधिक पसंद करते हैं। इसने केवल "ठीक-ठाक" चित्र नहीं बनाए; इसने ऐसे चित्र बनाए जो अधिक सुसंगत, रंगीन और मानवीय पसंद के अनुरूप थे।

सारांश

संक्षेप में, SIPO AI कलाकारों को प्रशिक्षित करने का एक स्मार्ट तरीका है। उन्हें शोर के कारण भ्रमित होने के दौरान निर्देश चिल्लाने के बजाय, यह सही समय का इंतज़ार करता है और कलाकार के वर्तमान स्तर से मेल खाने के लिए अपनी आवाज़ को समायोजित करता है। इसका परिणाम एक ऐसी प्रशिक्षण प्रक्रिया है जिसके क्रैश होने की संभावना कम है और जो बेहतर, अधिक मानव-समान कला उत्पन्न करती है।

तकनीकी सारांश: SIPO (Stabilized and Improved Preference Optimization)

1. समस्या विवरण (Problem Statement)

यद्यपि डिफ्यूजन मॉडल्स ने इमेज और वीडियो जनरेशन में क्रांति ला दी है, लेकिन उन्हें मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करना चुनौतीपूर्ण बना हुआ है। मौजूदा एलाइनमेंट तकनीकें, विशेष रूप से Diffusion-DPO (Direct Preference Optimization), दो मौलिक समस्याओं से ग्रस्त हैं जो स्थिर और प्रभावी प्रशिक्षण में बाधा डालती हैं:

प्रशिक्षण अस्थिरता (Training Instability): डिफ्यूजन मॉडल्स में डिनोइजिंग प्रक्रिया (denoising process) विभिन्न टाइमस्टेप्स के साथ लंबे-क्षितिज वाले प्रक्षेप पथों (long-horizon trajectories) में शामिल होती है। पेपर यह पहचान करता है कि प्रशिक्षण अस्थिरता मुख्य रूप से शुरुआती टाइमस्टेप्स (early timesteps) के कारण आती है, जिनमें महत्व भार (importance weights) कम और ग्रेडिएंट वेरिएंस अधिक होता है। इसके परिणामस्वरूप नॉन-मोनोटोनिक लॉस डायनेमिक्स, पैरामीटर संवेदनशीलता (विशेष रूप से तापमान हाइपरपैरामीटर $\beta$ के प्रति), और संभावित प्रशिक्षण पतन (training collapse) होता है जहाँ प्रदर्शन समय के साथ घट जाता है।
ऑफ-पॉलिसी बायस (Off-Policy Bias): प्राथमिकता अनुकूलन डेटा आमतौर पर वर्तमान पॉलिसी मॉडल के बजाय एक निश्चित संदर्भ मॉडल या आउट-ऑफ-डिस्ट्रीब्यूशन स्रोतों से बनाया जाता है। यह एक वितरण अंतराल (distributional gap) पैदा करता है जहाँ प्रशिक्षण डेटा स्टेट-एक्शन स्पेस के एक संकीर्ण उपसमुच्चय को कैप्चर करता है, जबकि मॉडल को एक व्यापक स्थान में सामान्यीकरण (generalize) करना होता है। यह बेमेल (mismatch) गलत ऑफ-पॉलिसी स्कोर अनुमान, रिवॉर्ड हैकिंग (reward hacking), और खराब सामान्यीकरण की ओर ले जाता है, विशेष रूप से वीडियो जनरेशन में जहाँ टेम्पोरल कोहेरेंस (temporal coherence) महत्वपूर्ण है।

2. कार्यप्रणाली: SIPO फ्रेमवर्क (Methodology: SIPO Framework)

लेखक SIPO (Stabilized and Improved Preference Optimization) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे डिफ्यूजन प्रक्षेप पथों के व्यवस्थित विश्लेषण और इम्पोर्टेंस सैंपलिंग तंत्र के परिचय के माध्यम से उपरोक्त अस्थिरता और बायस को संबोधित करने के लिए डिज़ाइन किया गया है।

2.1. डिफ्यूजन प्रक्षेप पथों का विश्लेषण (Analysis of Diffusion Trajectories)

Stable Diffusion 1.5 पर व्यवस्थित विश्लेषण के माध्यम से, लेखकों ने देखा कि:

शुरुआती टाइमस्टेप्स (विशेष रूप से $t \in [0, 63]$ ) कम महत्व भार के अनुरूप होते हैं और ऐसे शोर वाले ग्रेडिएंट्स पेश करते हैं जो प्रशिक्षण को अस्थिर करते हैं।
मध्यम-से-देर के टाइमस्टेप्स (Mid-to-late timesteps) प्राथमिकता संरेखण के लिए सबसे अधिक सूचनात्मक संकेत प्रदान करते हैं।
यूनिफॉर्म टाइमस्टेप सैंपलिंग, मध्यवर्ती चरणों पर ध्यान केंद्रित करने की तुलना में कम प्रभावी है।

2.2. DPO-C&M (क्लिपिंग और मास्किंग)

अस्थिरता को संबोधित करने के लिए, लेखक DPO-C&M पेश करते हैं, जो मानक Diffusion-DPO ऑब्जेक्टिव को संशोधित करता है:

इम्पोर्टेंस वेटिंग (Importance Weighting): एक महत्व भार $w(t)$ की गणना सीखी गई रिवर्स ट्रांजिशन $p_\theta(x_{t-1}|x_t)$ की फॉरवर्ड पोस्टीरियर $q(x_{t-1}|x_t, x_0)$ के साथ तुलना करके की जाती है।
क्लिपिंग और मास्किंग (Clipping and Masking): कम महत्व भार वाले टाइमस्टेप्स (जो अविश्वसनीय या शोर वाले ग्रेडिएंट्स का संकेत देते हैं) को मास्क या क्लिप किया जाता है। विशेष रूप से, उच्च वेरिएंस को रोकने के लिए भार को $[1-\epsilon, 1+\epsilon]$ रेंज में क्लिप किया जाता है। यह एक सॉफ्ट मास्क के रूप में कार्य करता है ताकि उन क्षेत्रों से ग्रेडिएंट्स को दबाया जा सके जहाँ फॉरवर्ड और रिवर्स पाथ काफी भिन्न होते हैं।

2.3. टाइमस्टेप-अवेयर इम्पोर्टेंस रीवेटिंग (Timestep-Aware Importance Reweighting)

ऑफ-पॉलिसी बायस को कम करने के लिए, SIPO एक टाइमस्टेप-वाइज क्लिप्ड इम्पोर्टेंस रीवेटिंग स्कीम को शामिल करता है:

ऑफ-पॉलिसी सुधार (Off-Policy Correction): फ्रेमवर्क इम्पोर्टेंस सैंपलिंग का उपयोग करके प्राथमिकता अनुकूलन ऑब्जेक्टिव की पुनर्व्याख्या करता है। यह वर्तमान पॉलिसी $p_\theta$ और ऑफ-पॉलिसी सैंपलिंग डिस्ट्रीब्यूशन $q$ के बीच लाइकलीहुड रेशियो के आधार पर अपडेट को रीवेट करता है।
KL-रेगुलराइज्ड ऑब्जेक्टिव (KL-Regularized Objective): विधि वर्तमान मॉडल और एक "शेप्ड" टारगेट डिस्ट्रीब्यूशन $p^*$ के बीच KL डाइवर्जेंस को कम करने के रूप में अनुकूलन को फॉर्म्युलेट करती है, जो रिवॉर्ड फीडबैक और पूर्व प्राथमिकताओं के बीच संतुलन बनाता है।
अनुकूली स्टेप साइज (Adaptive Step Sizes): रीवेटेड लॉग-रेशियो टर्म अपडेट को एडेप्टिवली स्केल करता है। यह अंडरएस्टिमेटेड प्रिफर्ड सैंपल्स को सुदृढ़ करता है और ओवर-कॉन्फिडेंट सैंपल्स को कम महत्व देता है। यह रेफरेंस डिस्ट्रीब्यूशन के आसपास एक सॉफ्ट अपर बाउंड पेश करता है, जिससे रिवॉर्ड हैकिंग को रोका जा सकता है और $\beta$ हाइपरपैरामीटर के प्रति संवेदनशीलता कम होती है।

अंतिम SIPO लॉस फंक्शन प्रत्येक डिनोइजिंग स्टेप पर क्लिप्ड इम्पोर्टेंस वेट्स को पेयरवाइज प्रिफरेंस सिग्नल में एकीकृत करता है, जिससे फिक्स्ड, ऑफ-पॉलिसी डेटासेट पर प्रशिक्षण के दौरान भी स्थिर अपडेट सुनिश्चित होता है।

3. प्रमुख योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

व्यवस्थित विश्लेषण: डिफ्यूजन-आधारित प्राथमिकता अनुकूलन डायनेमिक्स की विस्तृत जांच, जो यह प्रकट करती है कि शुरुआती टाइमस्टेप्स DPO प्रशिक्षण को अस्थिर करते हैं जबकि मध्यम-से-देर के टाइमस्टेप्स प्रदर्शन लाभ को संचालित करते हैं।
SIPO फ्रेमवर्क: एक सिद्धांतगत, इम्पोर्टेंस-वेटेड ऑप्टिमाइज़ेशन फ्रेमवर्क का प्रस्ताव जो सैंपल लाइकलीहुड और टाइमस्टेप क्वालिटी के अनुसार ग्रेडिएंट्स को रीवेट करके प्रशिक्षण को स्थिर करता है और ऑफ-पॉलीसी मिसमैच को कम करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि SIPO इमेज और वीडियो जनरेशन दोनों कार्यों में मौजूदा विकल्पों (जैसे Diffusion-DPO, DPO-C&M) की तुलना में लगातार प्रशिक्षण को स्थिर करता है और बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Stable Diffusion 1.5, SDXL, CogVideoX-2B/5B, और Wan2.1-1.3B सहित विभिन्न बेसलाइन मॉडल्स पर SIPO का मूल्यांकन किया।

टेक्स्ट-टू-वीडियो (Text-to-Video): CogVideoX-2B पर, Diffusion-DPO 1000 स्टेप्स के बाद गंभीर गिरावट दिखाता है (कुल VBench स्कोर 80.91 से गिरकर 67.28 हो जाता है), जबकि SIPO स्थिर रहता है और सुधार करता है (81.68)। SIPO सभी परीक्षण किए गए वीडियो मॉडल्स पर Total, Quality, और Semantic स्कोर पर Diffusion-DPO और DPO-C&M की तुलना में लगातार बेहतर रहा।
टेक्स्ट-टू-इमेज (Text-to-Image): Pick-a-Pic डेटासेट का उपयोग करते हुए SD1.5 और SDXL पर, SIPO ने Diffusion-DPO और अन्य बेसलाइन्स जैसे Diffusion-KTO और SPO की तुलना में तीन में से चार मेट्रिक्स (PickScore, HPSv2, Aesthetics) पर उच्चतम स्कोर प्राप्त किया।
पैरामीटर संवेदनशीलता (Parameter Sensitivity): SIPO ने तापमान पैरामीटर $\beta$ के प्रति काफी उच्च मजबूती (robustness) प्रदर्शित की। जबकि Diffusion-DPO का प्रदर्शन अलग-अलग $\beta$ मानों के साथ बहुत उतार-चढ़ाव भरा था, SIFO ने $\beta$ की एक विस्तृत रेंज में निरंतर प्रदर्शन बनाए रखा।
मानवीय मूल्यांकन (Human Evaluation): 200 प्रॉम्प्ट्स और 12 एनोटेटर्स के अध्ययन में, SIPO ने 67% जीत दर (प्रथम स्थान रैंकिंग) हासिल की, जो Diffusion-DPO और बेस मॉडल्स से काफी बेहतर है।
ऑनलाइन/इटरेटिव लर्निंग (Online/Iterative Learning): इटरेटिव ट्रेनिंग परिदृश्यों में, SIPO ने स्थिर प्रदर्शन बनाए रखा, जबकि Diffusion-DPO ने रिवॉर्ड हैकिंग और डिस्ट्रीब्यूशनल ड्रिफ्ट के कारण गिरावट प्रदर्शित की।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SIPO टाइमस्टेप-अवेयर एलाइनमेंट के महत्व पर जोर देकर बेहतर प्राथमिकता अनुकूलन के लिए मूल्यवान दिशा-निर्देश प्रदान करता है। लेखक का कहना है कि उनकी विधि:

प्रशिक्षण को स्थिर करती है: अनफॉर्मेटिव शुरुआती टाइमस्टेप्स की पहचान करके और उन्हें मास्क करके, SIPO उस प्रशिक्षण पतन को रोकता है जो अक्सर Diffusion-DPO में देखा जाता है।
ऑफ-पॉलिसी बायस को कम करती है: इम्पोर्टेंस रीवेटिंग स्कीम जटिल ऑन-पॉलिसी एक्सप्लोरेशन की आवश्यकता के बिना फिक्स्ड, ऑफलाइन डेटासेट पर प्रभावी प्रशिक्षण की अनुमति देती है।
अच्छी तरह से सामान्यीकरण (Generalize) करती है: यह दृष्टिकोण विभिन्न मॉडल आर्किटेक्चर (WanX जैसे फ्लो-बेस्ड मॉडल्स सहित) और मोडैलिटीज (इमेज और वीडियो) में प्रभावी है।

लेखक निष्कर्ष निकालते हैं कि SIFO डिफ्यूजन-आधारित जनरेशन को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए एक स्केलेबल और सिद्धांतगत दृष्टिकोण प्रदान करता है, जिससे आउटपुट अधिक सुसंगत और नियंत्रणीय बनता है, बिना अंतर्निहित मॉडल्स की नई जेनेरेटिव क्षमताओं की आवश्यकता के। वे इस अनुकूलन को सावधानीपूर्वक डेटासेट क्यूरेशन और सेफ्टी फिल्टरिंग के साथ जोड़ने की सिफारिश करते हैं।