🤖 AI

Diffusion Blend: Inference-Time Multi-Preference Alignment for Diffusion Models

यह शोध पत्र डिफ्यूजन ब्लेंड (Diffusion Blend) को प्रस्तुत करता है, जो एक नवीन इन्फरेंस-टाइम फ्रेमवर्क है जो डिफ्यूजन मॉडल्स को फाइन-ट्यून्ड मॉडल्स की बैकवर्ड डिफ्यूजन प्रक्रियाओं को ब्लेंड करके, कई रिवॉर्ड फंक्शन्स और रेगुलराइजेशन कंस्ट्रेंट्स के किसी भी उपयोगकर्ता-निर्दिष्ट लीनियर कॉम्बिनेशन के साथ गतिशील रूप से संरेखित करने में सक्षम बनाता है, जिससे बार-बार फाइन-ट्यूनिंग करने की आवश्यकता समाप्त हो जाती है और मौजूदा बेसलाइन्स की तुलना में बेहतर प्रदर्शन होता है।

मूल लेखक: Min Cheng, Fatemeh Doudi, Dileep Kalathil, Mohammad Ghavamzadeh, Panganamala R. Kumar

प्रकाशित 2026-03-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Min Cheng, Fatemeh Doudi, Dileep Kalathil, Mohammad Ghavamzadeh, Panganamala R. Kumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (डिफ्यूजन मॉडल) है जो किसी भी व्यंजन को बनाने में अविश्वसनीय रूप से प्रतिभाशाली है, चाहे वह एक साधारण सैंडविच हो या एक जटिल सूफ़ले (soufflé)। इस शेफ को लाखों रेसिपी पर प्रशिक्षित किया गया है और वह सब कुछ सामान्य रूप से अच्छी तरह से बनाना जानता है।

हालाँकि, कभी-कभी आप कुछ विशिष्ट चाहते हैं:

"इस सैंडविच को कलात्मक और सुंदर दिखाओ।"
"सुनिश्चित करें कि यह सैंडविच बिल्कुल वैसी ही दिखे जैसा फोटो मैंने आपको भेजा है।"
"इसे स्वस्थ (कम कैलोरी वाला) बनाओ लेकिन फिर भी स्वादिष्ट होना चाहिए।"

समस्या यह है कि शेफ को आमतौर पर एक ही स्टाइल चुनना पड़ता है। यदि आप शेफ को "ब्यूटी एक्सपर्ट" (सौंदर्य विशेषज्ञ) बनाने के लिए प्रशिक्षित करते हैं, तो वे आपके फोटो निर्देशों का पालन करना भूल सकते हैं। यदि आप उन्हें "फोटो-फॉलोअर" (फोटो का अनुसरण करने वाला) बनाने के लिए प्रशिक्षित करते हैं, तो भोजन बदसूरत दिख सकता है।

पारंपरिक रूप से, यदि आप एक अलग मिश्रण चाहते थे (जैसे, 50% सुंदरता, 50% सटीकता), तो आपको शेफ को उस विशिष्ट संयोजन को सीखने के लिए हफ्तों तक वापस कुकरी स्कूल भेजना पड़ता था। यदि आप कल एक नया मिश्रण चाहते थे, तो आपको उन्हें फिर से स्कूल भेजना पड़ता था। यह धीमा, महंगा और अव्यवहारिक था।

समाधान: "डिफ्यूजन ब्लेंड" (Diffusion Blend)

यह पेपर एक चतुर नए तरीके को पेश करता है जिसे डिफ्यूजन ब्लेंड कहा जाता है। शेफ को वापस स्कूल भेजने के बजाय, वे आपके ऑर्डर के समय (इन्फरेंस टाइम पर) एक "मिक्सिंग स्टेशन" बनाते हैं।

यह कैसे काम करता है, यहाँ कुछ उपमाओं (analogies) का उपयोग किया गया है:

1. "विशेषज्ञ शेफ" (प्रशिक्षण चरण - The Training Phase)

इससे पहले कि आप कभी ऑर्डर दें, शोधकर्ता एक बार और हमेशा के लिए कुछ "विशेषज्ञ शेफ" को प्रशिक्षित करते हैं:

शेफ A भोजन को सुंदर (Aesthetics) दिखाने में विशेषज्ञ है।
शेफ B भोजन को बिल्कुल फोटो की तरह (Text-Image Alignment) दिखाने में विशेषज्ञ है।
शेफ C भोजन को स्वस्थ (Human Preference) बनाने में विशेषज्ञ है।

ये शेफ "फाइन-ट्यून" किए गए मॉडल हैं। वे तैयार हैं।

2. "मैजिक मिक्सर" (इन्फरेंस चरण - The Inference Phase)

अब, आप काउंटर पर जाते हैं और कहते हैं: "मुझे एक ऐसा सैंडविच चाहिए जो 70% सुंदर हो और 30% फोटो-सटीक हो।"

पुराने दिनों में, शेफ को रुकना पड़ता, फिर से सीखना पड़ता और फिर से शुरू करना पड़ता।
डिफ्यूजन ब्लेंड के साथ, सिस्टम तुरंत शेफ A और शेफ B की "विचार प्रक्रिया" (गणितीय रेसिपी) को लेता है और उन्हें वास्तविक समय में ब्लेंड (मिश्रित) कर देता है।

यह केवल उनके अंतिम चित्रों का औसत नहीं निकालता है।
यह भोजन बनते समय उनके चरण-दर-चरण खाना बनाने के निर्देशों को ब्लेंड करता है।
यह ऐसा है जैसे दो शेफ एक साथ एक-दूसरे को निर्देश फुसफुसा रहे हों, और सिस्टम आपके द्वारा मांगे गए सटीक अनुपात (70% शेफ A, 30% शेफ B) में उन्हें सुन रहा है।

परिणाम: आपको एक ऐसा सैंडविच मिलता है जो सुंदरता और सटीकता के बीच पूरी तरह संतुलित है, जिसे बिना शेफ को दोबारा स्कूल भेजे तुरंत बनाया गया है।

तीन "जादुई उपकरण" (The Three "Magic Tools")

यह पेपर इस मिक्सर का उपयोग करने के तीन विशिष्ट तरीके प्रस्तावित करता है:

DB-MPA (मल्टी-फ्लेवर मिक्सर):
यह मुख्य उपकरण है। यह आपको किसी भी संख्या में विशेषज्ञों को मिलाने की अनुमति देता है। क्या आपको 40% सुंदरता, 40% सटीकता और 20% स्वास्थ्य चाहिए? बस इसे सेट कर दें। सिस्टम तीनों शेफ की "फुसफुसाहट" को तुरंत ब्लेंड करता है।
DB-KLA ("स्ट्रिक्टनेस" डायल):
कभी-कभी, आप चाहते हैं कि शेफ रचनात्मक हो, लेकिन आप नहीं चाहते कि शेफ बहुत ज्यादा "जंगली" हो जाए और मूल रेसिपी को पूरी तरह से भूल जाए। यह टूल आपको यह नियंत्रित करने की अनुमति देता है कि शेफ अपने मूल प्रशिक्षण से कितना "विचलित" हो सकता है।

लो डायल (Low Dial): शेफ अपने मूल, सुरक्षित स्टाइल के बहुत करीब रहता है।
हाई डायल (High Dial): शेफ को बहुत रचनात्मक और साहसी होने की अनुमति है।
आप बिना पुन: प्रशिक्षण के तुरंत इस नॉब को ऊपर या नीचे घुमा सकते हैं।

DB-MPA-LS ("लाइटवेट" मिक्सर):
एक साथ तीन शेफ को ब्लेंड करना कम्प्यूटेशनल रूप से भारी हो सकता है (जैसे एक साथ तीन लोगों को बोलने के लिए कहना)। यह संस्करण एक स्मार्ट शॉर्टकट है। हर एक सेकंड में सभी शेफ को सुनने के बजाय, यह आपके प्रतिशत के आधार पर प्रत्येक चरण में एक शेफ को रैंडमली चुनता है।

उपमा: एक गायक समूह (choir) के एक साथ गाने के बजाय, यह एक कंडक्टर की तरह है जो हर एक को बारी-बारी से इशारा करता है ताकि आपका कान एक पूर्ण मिश्रण सुन सके।
लाभ: यह मूल शेफ जितना ही तेज़ चलता है, लेकिन फिर भी आपको मिश्रित परिणाम देता है।

यह एक बड़ी बात क्यों है?

अब और इंतज़ार नहीं: आपको अपने विशिष्ट स्वाद के लिए नया मॉडल प्रशिक्षित करने के लिए दिनों तक प्रतीक्षा करने की आवश्यकता नहीं है।
अनंत अनुकूलन (Infinite Customization): आप अपनी पसंद को तुरंत बदल सकते हैं। "इसे थोड़ा नीला बनाओ," "इसे कम यथार्थवादी बनाओ," "इसे अधिक कलात्मक बनाओ।"
संघर्षों का समाधान: यह उन स्थितियों को बेहतर ढंग से संभालता है जहाँ लक्ष्य आपस में टकराते हैं (जैसे, "इसे फोटो की तरह दिखाओ" बनाम "इसे एक पेंटिंग की तरह दिखाओ"), और एक आदर्श मध्य मार्ग खोजता है।

संक्षेप में: डिफ्यूजन ब्लेंड एक कठोर, "एक-आकार-सभी-के-लिए" वाले AI इमेज जनरेटर को एक लचीले, उपयोगकर्ता-नियंत्रित टूल में बदल देता है। यह आपको निर्देशक बनने की अनुमति देता है, जिससे आप अपनी कल्पना की सटीक छवि प्राप्त करने के लिए विभिन्न "विशेषज्ञ" शैलियों को तुरंत मिला और जोड़ सकते हैं।

यहाँ शोध पत्र "Diffusion Blend: Inference-Time Multi-Preference Alignment for Diffusion Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स को डाउनस्ट्रीम उद्देश्यों (जैसे सौंदर्य गुणवत्ता, टेक्स्ट-इमेज निरंतरता, मानव प्राथमिकता) के साथ संरेखित (align) करने के लिए वर्तमान विधियाँ आमतौर पर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) फाइन-ट्यूनिंग पर निर्भर करती हैं। हालाँकि, इन दृष्टिकोणों में महत्वपूर्ण सीमाएँ हैं:

स्थिर संरेखण (Static Alignment): मानक RL फाइन-ट्यूनिंग एक निश्चित रिवॉर्ड फंक्शन और एक निश्चित KL रेगुलराइजेशन वेट (जो प्री-ट्रेंड बेस मॉडल से विचलन को नियंत्रित करता है) के लिए मॉडल को अनुकूलित करती है।
अलचीलापन की कमी (Inflexibility): उपयोगकर्ता की प्राथमिकताएँ विभिन्न संदर्भों, व्यक्तियों और प्रॉम्प्ट्स के अनुसार बदलती रहती हैं। विभिन्न ट्रेड-ऑफ (जैसे, अधिक सौंदर्य बनाम अधिक प्रॉम्प्ट अनुपालन) या विभिन्न रेगुलराइजेशन स्ट्रेंथ को समायोजित करने के लिए, मौजूदा विधियों को प्रत्येक कॉन्फ़िगरेशन के लिए अलग मॉडल प्रशिक्षित करने या महंगे ग्रिड सर्च करने की आवश्यकता होती है।
गणना संबंधी लागत (Computational Cost): इन्फरेंस-टाइम संरेखण विधियाँ जो पुन: प्रशिक्षण की आवश्यकता नहीं रखती हैं (जैसे ग्रेडिएंट गाइडेंस), वे कई सैंपलिंग स्टेप्स के कारण उच्च गणना लागत वहन करती हैं या उन्हें डिफरेंशिएबल रिवॉर्ड्स की आवश्यकता होती है, जो हमेशा उपलब्ध नहीं होते हैं।

मुख्य प्रश्न: क्या हम एक ऐसा फाइन-ट्यूनिंग प्रक्रिया डिज़ाइन कर सकते हैं जो मॉडल को बिना किसी अतिरिक्त फाइन-ट्यूनिंग या अत्यधिक गणना के, इन्फरेंस के समय किसी भी उपयोगकर्ता-निर्दिष्ट बेस रिवॉर्ड्स के लीनियर कॉम्बिनेशन और किसी भी रेगुलराइजेशन स्ट्रेंथ के साथ इमेज जेनरेट करने की अनुमति दे?

2. कार्यप्रणाली: डिफ्यूजन ब्लेंड (Methodology: Diffusion Blend)

लेखक डिफ्यूजन ब्लेंड प्रस्तावित करते हैं, जो मौजूदा फाइन-ट्यून किए गए मॉडल्स को ब्लेंड करके नए बैकवर्ड डिफ्यूजन प्रोसेस को सिंथेसाइज करता है। यह दृष्टिकोण इस सैद्धांतिक अवलोकन पर आधारित है कि एक रिवॉर्ड-अलाइन्ड डिफ्यूजन मॉडल का स्कोर फंक्शन (ड्रिफ्ट टर्म) बेस मॉडल्स के स्कोर फंक्शन्स के लीनियर कॉम्बिनेशन के रूप में अनुमानित किया जा सकता है।

सैद्धांतिक आधार (Theoretical Foundation)

यह शोध पत्र एक प्री-ट्रेंड मॉडल ( $f^{pre}$ ) और रिवॉर्ड $r$ तथा KL वेट $\alpha$ के साथ एक फाइन-ट्यून किए गए मॉडल ( $f^{(r,\alpha)}$ ) के बैकवर्ड स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के बीच संबंध स्थापित करता है।

प्रपोजिशन 1: अलाइन्ड मॉडल का ड्रिफ्ट, प्री-ट्रेंड ड्रिफ्ट से एक कंट्रोल टर्म $u^{(r,\alpha)}$ को घटाकर प्राप्त होता है, जो रिवॉर्ड पर निर्भर करता है।
अनुमान (Approximation): जेन्सन गैप एप्रोक्सिमेशन का उपयोग करते हुए, जटिल कंट्रोल टर्म $u^{(r,\alpha)}$ को रिवॉर्ड के एक्सपेक्टेशन (expectation) द्वारा अनुमानित किया जाता है। एक्सपेक्टेशन की रैखिकता (linearity) के कारण, $r(w) = \sum w_i r_i$ जैसे लीनियर कॉम्बिनेशन के लिए कंट्रोल टर्म को व्यक्तिगत बेस रिवॉर्ड्स के कंट्रोल टर्म्स के वेटेड सम (weighted sum) के रूप में अनुमानित किया जा सकता है।

तीन मुख्य एल्गोरिदम (Three Core Algorithms)

इस सिद्धांत के आधार पर, लेखक तीन एल्गोरिदम को क्रियान्वित करते हैं:

DB-MPA (Diffusion Blend - Multi-Preference Alignment):
- लक्ष्य: कई रिवॉर्ड्स के लीनियर कॉम्बिनेशन $r(w) = \sum w_i r_i$ के साथ संरेखित होना।
- तंत्र (Mechanism): इन्फरेंस के दौरान, यह $m$ स्वतंत्र रूप से फाइन-ट्यून किए गए मॉडल्स (प्रत्येक एक एकल बेस रिवॉर्ड $r_i$ और निश्चित $\alpha$ पर प्रशिक्षित) के ड्रिफ्ट टर्म्स को लीनियरली कॉम्बाइन करके ब्लेंडेड ड्रिफ्ट टर्म की गणना करता है।
- फॉर्मूला: $f^{(r(w),\alpha)} \approx \sum w_i f^{(r_i, \alpha)}$ ।
DB-KLA (Diffusion Blend - KL Alignment):
- लक्ष्य: पुन: प्रशिक्षण के बिना KL रेगुलराइजेशन की शक्ति (बेस मॉडल से विचलन) को नियंत्रित करना।
- तंत्र: यह एक उपयोगकर्ता-निर्दिष्ट कारक $\lambda$ के आधार पर एक सिंगल रिवॉर्ड-अलाइन्ड मॉडल ( $f^{(r,\alpha)}$ ) के ड्रिफ्ट को प्री-ट्रेंड मॉडल ( $f^{pre}$ ) के साथ ब्लेंड करता है।
- फॉर्मूला: $f^{(r, \alpha/\lambda)} \approx (1-\lambda)f^{pre} + \lambda f^{(r,\alpha)}$ । यह बेस मॉडल और पूरी तरह से अलाइन्ड मॉडल के बीच स्मूथ इंटरपोलेशन की अनुमति देता है।
DB-MPA-LS (Diffusion Blend - Multi-Preference Alignment with LoRA Sampling):
- लक्ष्य: DB-MPA की इन्फरेंस लागत को कम करना।
- समस्या: DB-MPA को प्रत्येक डिनोइजिंग स्टेप पर $m$ मॉडल्स चलाने की आवश्यकता होती है, जिससे $m \times$ लेटेंसी होती है।
- समाधान: ड्रिफ्ट्स को जोड़ने के बजाय, यह प्रत्येक डिनोइजिंग स्टेप पर उपयोगकर्ता के वेट्स $w_i$ के आनुपातिक संभावना के साथ $m$ फाइन-ट्यून किए गए LoRA एडैप्टर्स में से एक को रैंडमली सैंपल करता है।
- सैद्धांतिक गारंटी: प्रपोजिशन 2 सिद्ध करता है कि लिप्सचिट्ज़ कंटीन्यूअस फंक्शन्स के लिए, ड्रिफ्ट्स के वेटेड सम द्वारा संचालित SDE का मार्जिनल प्रोबेबिलिटी डिस्ट्रीब्यूशन, रैंडमली सैंपल किए गए ड्रिफ्ट (Bernoulli/Categorical switching) द्वारा संचालित SDE के समान होता है। यह प्रदर्शन बनाए रखते हुए इन्फरेंस टाइम को एक सिंगल मॉडल के बराबर कर देता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation): सिद्ध किया कि मल्टी-रिवॉर्ड/रेगुलराइजेशन ऑब्जेक्टिव के लिए बैकवर्ड डिफ्यूजन प्रोसेस को बेस मॉडल्स की प्रक्रियाओं को ब्लेंड करके अनुमानित किया जा सकता है, जिससे इंट्रैक्टेबल नॉर्मलाइजेशन कांस्टेंट्स या स्पष्ट डेंसिटी इवैल्यूएशन की आवश्यकता समाप्त हो जाती है।
एल्गोरिद्मिक नवाचार: DB-MPA, DB-KLA, और कुशल DB-MPA-LS को पेश किया। DB-MPA-LS विशेष रूप से महत्वपूर्ण है क्योंकि यह इन्फरेंस-टाइम संरेखण विधियों की एक बड़ी बाधा, यानी प्रेफरेंस की संख्या के साथ इन्फरेंस टाइम के लीनियर स्केलिंग को समाप्त करता है।
व्यापक मूल्यांकन: विविध रिवॉर्ड मॉडल्स (ImageReward, VILA, PickScore, JPEG कंप्रेसिबिलिटी) और बेंचमार्क डेटासेट्स (DrawBench, GenEval) का उपयोग करके Stable Diffusion v1.5 और SDXL पर दृष्टिकोण को मान्य किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई बेसलाइन्स के विरुद्ध Diffusion Blend की तुलना की: Rewarded Soup (RS) (पैरामीटर इंटरपोलेशन), CoDe (ग्रेडिएंट-फ्री लुक-अहेड), RGG (रिवॉर्ड ग्रेडिएंट गाइडेंस), और MORL (मल्टी-ऑब्जेक्टिव RL, जिसे ऑरेकल अपर बाउंड माना गया है)।

प्रदर्शन (Pareto Front): DB-MPA ने विभिन्न प्रेफरेंस वेट्स ( $w$ ) के लिए सभी बेसलाइन्स (RS, CoDe, RGG) को लगातार पछाड़ दिया। इसका प्रदर्शन MORL ऑरेकल के करीब रहा, जो प्रत्येक विशिष्ट वेट कॉन्फ़िगरेशन के लिए अलग मॉडल प्रशिक्षित करने से प्राप्त होने वाला सैद्धांतिक इष्टतम (optimum) है।
दक्षता (Efficiency):
- DB-MPA: बेहतर संरेखण प्राप्त किया लेकिन बेस मॉडल की तुलना में $\approx 2\times$ अधिक इन्फरेंस टाइम लगा (2 रिवॉर्ड्स के लिए)।
- DB-MPA-LS: DB-MPA के लगभग समान प्रदर्शन (Pareto front overlap) प्राप्त किया, लेकिन बेस Stable Diffusion मॉडल के समान इन्फरेंस लेटेंसी के साथ (कोई मल्टीप्लिकेटिव ओवरहेड नहीं)।
स्केलेबिलिटी: यह विधि 3 और 4 रिवॉर्ड्स के लिए अच्छी तरह से स्केल हुई। जबकि RS का प्रदर्शन रिवॉर्ड्स की संख्या बढ़ने पर काफी गिर गया, DB-MPA और DB-MPA-LS ने स्थिर सुधार बनाए रखा।
विरोधाधी रिवॉर्ड्स (Conflicting Rewards): प्रतिकूल सेटिंग्स में (जैसे, JPEG कंप्रेसिबिलिटी बनाम सौंदर्य गुणवत्ता के लिए ऑप्टिमाइज़ करना), DB-MPA ने ट्रेड-ऑफ को सफलतापूर्वक संतुलित किया, जबकि ग्रेडिएंट-आधारित विधियाँ विफल रहीं या उन्हें नॉन-डिफरेंशिएबल एप्रोक्सिमेशन की आवश्यकता पड़ी।
KL नियंत्रण: DB-KLA ने संरेखण की शक्ति पर स्मूथ, निरंतर नियंत्रण प्रदर्शित किया, जिससे ऐसी इमेज जेनरेट हुईं जो बिना पुन: प्रशिक्षण के विशिष्ट $\lambda$ -ट्यून्ड RL मॉडल्स से मेल खाती हैं।

5. महत्व (Significance)

उपयोगकर्ता-केंद्रित AI: जनरेटिव मॉडल्स के लिए वास्तविक समय में, उपयोगकर्ता-संचालित अनुकूलन (customization) को सक्षम बनाता है। उपयोगकर्ता मॉडल की "पर्सनैलिटी" को गतिशील रूप से समायोजित कर सकते हैं (जैसे, "इसे अधिक कलात्मक बनाएं" या "प्रॉम्प्ट के करीब रहें") बिना पुन: प्रशिक्षण की प्रतीक्षा किए।
संसाधन दक्षता: इन्फरेंस प्रक्रिया से कई फाइन-ट्यून किए गए मॉडल्स की आवश्यकता को अलग करके, Diffusion Blend मल्टी-ऑब्जेक्टिव संरेखण को संसाधन-बाधित वातावरण और रियल-टाइम अनुप्रयोगों के लिए व्यवहार्य बनाता है।
सामान्यीकरण (Generalization): यह फ्रेमवर्क विशिष्ट रिवॉर्ड फंक्शन्स के संबंध में मॉडल-अग्नोस्टिक है (जब तक कि बेस मॉडल्स उपलब्ध हों) और विभिन्न डिफ्यूजन बैकबोन (SD 1.5 और SDXL) पर काम करता है।
सैद्धांतिक अंतर्दृष्टि: यह डिफ्यूजन ट्राजेक्टरीज को "ब्लेंड" करने के लिए एक व्यवस्थित गणितीय औचित्य प्रदान करता है, जो हीयुरिस्टिक पैरामीटर एवरेजिंग (जैसे Rewarded Soup) से आगे बढ़कर एक प्रोसेस-लेवल सिंथेसिस की ओर ले जाता है जो अंतर्निहित स्टोकेस्टिक डायनेमिक्स को सुरक्षित रखता है।

संक्षेप में, Diffusion Blend इन्फरेंस के समय डिफ्यूजन मॉडल्स के मल्टी-ऑब्जेक्टिव प्रेफरेंस स्पेस को नेविगेट करने के लिए एक सैद्धांतिक रूप से ठोस और गणनात्मक रूप से कुशल तरीका प्रदान करके वर्तमान RL-आधारित संरेखण की कठोरता को हल करता है।