💬 NLP

ILRR: Inference-Time Steering Method for Masked Diffusion Language Models

यह शोध पत्र ILRR को प्रस्तुत करता है, जो मास्कड डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक लर्निंग-फ्री इन्फरेंस-टाइम स्टीयरिंग फ्रेमवर्क है जो लचीले एट्रिब्यूट कंट्रोल और न्यूनतम कंप्यूटेशनल ओवरहेड के साथ काफी बेहतर स्टीयरिंग सटीकता प्राप्त करने के लिए आंतरिक एक्टिवेशन्स को एक रेफरेंस सीक्वेंस के साथ गतिशील रूप से संरेखित करता है।

मूल लेखक: Eden Avrahami, Eliya Nachmani

प्रकाशित 2026-01-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eden Avrahami, Eliya Nachmani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक मार्गदर्शक के साथ पेंटिंग करना

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार (AI मॉडल) है जो सुंदर चित्र बना सकता है (टेक्स्ट लिख सकता है)। हालाँकि, कभी-कभी आप चाहते हैं कि कलाकार एक विशिष्ट प्रकार की पेंटिंग बनाए, जैसे कि "तूफानी रात" के बजाय "खुशनुमा सूर्यास्त," बिना किसी नए कलाकार को काम पर रखे या वर्तमान वाले को महीनों तक फिर से प्रशिक्षित किए।

AI की दुनिया में, इसे कंट्रोलेबल जनरेशन (controllable generation) कहा जाता है। यह पेपर एक नई विधि पेश करता है जिसे ILRR (इटरेटिव लेटेंट रिप्रेजेंटेशन रिफाइनमेंट) कहा जाता है, जो एक एकल उदाहरण चित्र (रेफरेंस) का उपयोग करके, वास्तविक समय में कलाकार के ब्रश स्ट्रोक्स को निर्देशित करने वाले एक "भूतिया हाथ" (ghost hand) की तरह कार्य करता है।

समस्या: "अनुमान लगाने का खेल"

वर्तमान AI टेक्स्ट जेनरेटर जो "डिफ्यूजन" (शोर को धीरे-धीरे हटाकर टेक्स्ट बनाना, जैसे परिदृश्य देखने के लिए धुंध को साफ करना) की तरह काम करते हैं, वे लिखने में तो बेहतरीन हैं, लेकिन उन्हें नियंत्रित करना कठिन है।

पुराने तरीके: AI को कुछ विशिष्ट लिखने (जैसे कि कोई जहरीली टिप्पणी या बहुत खुशहाल कहानी) के लिए प्रेरित करने के लिए, शोधकर्ताओं को अक्सर AI को समानांतर में कई बार चलाना पड़ता था, सबसे अच्छे परिणाम को चुनना पड़ता था, या AI को थोड़ा बदलने के लिए जटिल गणित का उपयोग करना पड़ता था। यह कलाकार को 10 अलग-अलग सूर्यास्त पेंट करने के लिए कहने और फिर सबसे अच्छे को रखने के लिए 9 को फेंक देने जैसा है। यह धीमा और महंगा है।

समाधान: ILRR (द "घोस्ट हैंड")

लेखक एक स्मार्ट तरीका प्रस्तावित करते हैं। कलाकार को बार-बार प्रयास करने के लिए कहने के बजाय, वे कलाकार को एक रेफरेंस फोटो (एक छोटा टेक्स्ट उदाहरण) और एक गाइड देते हैं जो पेंटिंग की प्रक्रिया के दौरान कलाकार के कान में फुसफुसाता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "डिनोइजिंग" (Denoising) की प्रक्रिया

कल्पना कीजिए कि AI एक वाक्य लिखने की कोशिश कर रहा है, लेकिन यह स्टैटिक (शोर) के एक बादल के रूप में शुरू होता है। यह धीरे-धीरे स्टैटिक को साफ करता है, शब्द दर शब्द, ताकि अंतिम वाक्य दिखाई दे सके। यह कई छोटे चरणों में होता है।

2. दो-ट्रैक प्रणाली (Two-Track System)

स्टैटिक को साफ करने के हर एक चरण में, ILRR दो चीजें एक साथ करता है:

ट्रैक A: यह नया वाक्य उत्पन्न करने के लिए AI को चलाता है।
ट्रैक B: यह रेफरेंस टेक्स्ट (आपके द्वारा दिए गए उदाहरण) पर AI को चलाता है, लेकिन यह उस रेफरेंस टेक्स्ट को नए वाक्य के समान ही मात्रा में स्टैटिक के साथ "करप्ट" (खराब) कर देता है।

3. "अलाइनमेंट" (जादुई क्षण)

यही मुख्य नवाचार है। टेक्स्ट की एक लेयर को प्रोसेस करने के बाद, ILRR दोनों ट्रैक्स के "ब्रेन एक्टिविटी" (आंतरिक गणितीय नंबरों) को देखता है।

यह पूछता है: "इस चरण पर रेफरेंस टेक्स्ट कैसा दिखता है?"
इसके बाद यह नए वाक्य की "ब्रेन एक्टिविटी" को रेफरेंस के अनुरूप होने के लिए धीरे से नज (nudge/धक्का) देता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक धुंधले जंगल (टेक्स्ट जनरेशन) से गुजर रहे हैं। आपका एक दोस्त (रेफरेंस टेक्स्ट) उसी धुंध में आपके बगल में चल रहा है। हर कुछ कदमों के बाद, आप अपने दोस्त की दिशा देखते हैं। यदि वे एक "खुशहाल" रास्ते की ओर चल रहे हैं, तो आप अपने पैरों को भी उसी दिशा में चलने के लिए धीरे से मोड़ते हैं। आप उनके कदमों की नकल नहीं करते (आप उनके शब्द नहीं चुराते), बल्कि आप अपने इरादे को उनके साथ संरेखित (align) करते हैं।

विशेष विशेषताएं

1. ट्यूनेबल स्ट्रेंथ (वॉल्यूम नॉब)

इस विधि में एक "स्टीयरिंग स्केल" (एक संख्या जिसे आप बदल सकते हैं) होता है।

लो सेटिंग: AI रेफरेंस को सुनता है लेकिन अपना व्यक्तित्व बनाए रखता है।
हाई सेटिंग: AI रेफरेंस का बहुत बारीकी से पालन करता है।
परिणाम: आप टेक्स्ट को खराब किए बिना "खुशहाल" या "जहरीले" वाइब को नियंत्रित कर सकते हैं।

2. "छोटा रेफरेंस, लंबी कहानी" वाला ट्रिक

क्या होगा यदि आप एक पूरा उपन्यास (लंबा टेक्स्ट) लिखना चाहते हैं लेकिन आपके पास केवल एक वाक्य का उदाहरण (छोटा रेफरेंस) है?

समस्या: यदि आप एक वाक्य के वाइब को 500 पन्नों तक खींचने की कोशिश करते हैं, तो यह आमतौर पर अजीब या दोहराव वाला हो जाता है।
ILRR का समाधान: उन्होंने स्पेशियली मॉड्यूलेटेड स्टीयरिंग (Spatially Modulated Steering) का आविष्कार किया। कल्पना कीजिए कि छोटा रेफरेंस एक ब्लूप्रिंट है। ILRR इस ब्लूप्रिंट को पूरी लंबी कहानी पर एक लहर की तरह सुचारू रूप से फैला देता है। यह सुनिश्चित करता है कि पूरी कहानी में "वाइब" महसूस की जाए, लेकिन यह स्वाभाविक रूप से घटता-बढ़ता रहे ताकि कहानी एक टूटे हुए रिकॉर्ड की तरह न लगे।

परिणाम: तेज़ और सटीक

पेपर ने दो अलग-अलग AI मॉडल्स (LLaDA और MDLM) पर दो कार्यों के साथ इसका परीक्षण किया:

टॉक्सिसिटी (Toxicity): AI को अपमानजनक/हानिकारक चीजें लिखने के लिए प्रेरित करना (एक कठिन कार्य क्योंकि AI आमतौर पर दयालु रहने की कोशिश करता है)।
सेंटिमेंट (Sentiment): AI को खुशहाल चीजें लिखने के लिए प्रेरित करना।

निष्कर्ष:

बेहतर नियंत्रण: ILRR मौजूदा सर्वोत्तम तरीकों की तुलना में लक्षित वाइब को हिट करने में 10% से 60% अधिक सटीक था।
सस्ता: इसके लिए प्रति चरण केवल एक अतिरिक्त गणना की आवश्यकता थी। इसे AI को कई बार चलाने या खराब प्रयासों को फेंकने की आवश्यकता नहीं थी।
कॉपी नहीं करना: AI ने केवल रेफरेंस टेक्स्ट को कॉपी-पेस्ट नहीं किया। इसने भावना या शैली को सीखा और उसे नए शब्दों पर लागू किया।

सारांश

ILRR को AI टेक्स्ट जनरेशन के लिए एक रियल-टाइम GPS के रूप में समझें। AI को बिना किसी दिशा के गाड़ी चलाने देने और उम्मीद करने के बजाय कि वह सही मंजिल तक पहुँच जाएगा, या उसे सही रास्ता खोजने के लिए लाखों अलग-अलग रास्ते खोजने के लिए मजबूर करने के बजाय, ILRR उसे एक लाइव मैप (रेफरेंस) देता है और हर मोड़ पर स्टीयरिंग व्हील को धीरे से घुमाता है ताकि वह बिल्कुल वहीं पहुँचे जहाँ आप चाहते हैं, और इसमें बहुत कम अतिरिक्त ईंधन खर्च होता है।

तकनीकी सारांश: ILRR – मास्कड डिफ्यूजन लैंग्वेज मॉडल्स के लिए इन्फरेंस-टाइम स्टीयरिंग

1. समस्या विवरण

डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) पारंपरिक ऑटोरिग्रेसिव मॉडल्स के एक शक्तिशाली नॉन-ऑटोरिग्रेसिव विकल्प के रूप में उभरे हैं, जो गणितीय तर्क और कोड संश्लेषण जैसे जटिल कार्यों में अपनी क्षमता प्रदर्शित करते हैं। हालांकि, DLMs के लिए नियंत्रित जनरेशन (controllable generation) का क्षेत्र ऑटोरिग्रेसिव मॉडल्स की तुलना में कम खोजा गया है।

DLMs के लिए मौजूदा इन्फरेंस-टाइम स्टीयरिंग विधियां अक्सर सैंपलिंग-लेवल गाइडेंस (जैसे, क्लासिफायर-गाइडेड या क्लासिफायर-फ्री मैकेनिज्म) या ट्रजेक्टरी ऑप्टिमाइजेशन पर निर्भर करती हैं। ये दृष्टिकोण अक्सर पर्याप्त कम्प्यूटेशनल ओवरहेड का कारण बनते हैं, जिसमें प्रभावी नियंत्रण प्राप्त करने के लिए कई समानांतर कैंडिडेट सीक्वेंस या पुनरावृत्त रीसैंपलिंग की आवश्यकता होती है। एक लो-ओवरहेड, डायनेमिक स्टीयरिंग मैकेनिज्म की स्पष्ट आवश्यकता है जो व्यापक पैरामीटर फाइन-ट्यूनिंग के बिना, एडैप्टिव रूप से जनरेशन को निर्देशित करने के लिए सीधे मॉडल के लेटेंट एक्टिवेशन स्पेस के भीतर कार्य कर सके।

2. कार्यप्रणाली: इटरेटिव लेटेंट रिप्रेजेंटेशन रिफाइनमेंट (ILRR)

लेखक इटरेटिव लेटेंट रिप्रेजेंटेशन रिफाइनमेंट (ILRR) का प्रस्ताव करते हैं, जो एक सिंगल रेफरेंस सीक्वेंस का उपयोग करके DLMs को स्टीयर करने वाला एक लर्निंग-फ्री फ्रेमवर्क है। कंटीन्यूअस इमेज डिफ्यूजन में उपयोग की जाने वाली इटरेटिव लेटेंट वेरिएबल रिफाइनमेंट (ILVR) तकनीक से प्रेरित होकर, ILRR, DLM के कंटीन्यूअस एक्टिवेशन स्पेस में कार्य करता है।

मुख्य तंत्र

लक्षित स्टेप्स के एक सबसेट $T_s$ के भीतर प्रत्येक डिनोइजिंग स्टेप $t$ पर, ILRR निम्नलिखित कार्य करता है:

पैरेलल फॉरवर्ड पासेस: मॉडल दो समानांतर फॉरवर्ड पासेस निष्पादित करता है:
- वर्तमान नॉइजी जनरेशन स्टेट $x_t$ पर।
- रेफरेंस सीक्वेंस के एक नॉइज़-करप्टेड वर्जन $y_t$ पर (जो $x_t$ के समान स्तर तक करप्ट किया गया है)।
एक्टिवेशन इंटरवेंशन: लक्षित लेयर्स के एक सबसेट $L_s$ के लिए, विधि रेफरेंस एक्टिवेशन्स से सिमेंटिक सिग्नल निकालती है और उन्हें जनरेशन एक्टिवेशन्स में इंजेक्ट करती है।
अपडेट रूल: लेयर $k$ $k$ पर हिडन स्टेट $h^{(k)}_{x_t}$ $h_{x_{t}}^{(k)}$ को इस प्रकार अपडेट किया जाता है:
$h^{(k)}_{x_t} \leftarrow h^{(k)}_{x_t} + \alpha \left( \mathcal{A}(h^{(k)}_{y_t}) - \mathcal{A}(h^{(k)}_{x_t}) \right)$
जहाँ:
- $\alpha$ एक ट्यूनेबल स्टीयरिंग स्केल है जो गाइडेंस की तीव्रता को नियंत्रित करता है।
- $\mathcal{A}(\cdot)$ एक सिमेंटिक-एक्सट्रैक्टर ऑपरेशन (विशेष रूप से, 1D एवरेज पूलिंग) है जो उच्च-स्तरीय सिमेंटिक दिशाओं को कैप्चर करने के लिए आस-पास के टोकन एक्टिवेशन्स को एग्रीगेट करता है और सूक्ष्म लेक्सिकल विविधताओं को फ़िल्टर करता है।

यह प्रक्रिया जनरेशन ट्रजेक्टरी को संदर्भ के उच्च-स्तरीय सिमेंटिक्स की ओर गतिशील रूप से धकेलती है, जबकि मॉडल को विशिष्ट सिंटैक्स और विवरण निर्धारित करने की अनुमति देती है।

विस्तार: स्पेशियली मॉड्यूलेटेड स्टीयरिंग

उन परिदृश्यों को संबोधित करने के लिए जहाँ रेफरेंस सीक्वेंस टारगेट आउटपुट की तुलना में काफी छोटा है ( $N_{x_0} > N_{y_0}$ ), लेखक स्पेशियली मॉड्यूलेटेड स्टीयरिंग पेश करते हैं:

डायमेंशनलिटी अलाइनमेंट: जनरेशन के पूल्ड एक्टिवेशन्स को रेफरेंस लंबाई से मेल खाने के लिए अडैप्टिव एवरेज पूलिंग के माध्यम से डाउनसैंपल किया जाता है। इसके बाद अंतर वेक्टर (difference vector) को मूल जनरेशन लंबाई तक लीनियर इंटरपोलेशन के माध्यम से अपसैंपल किया जाता है, जो प्रभावी रूप से रेफरेंस के सिमेंटिक सिग्नल को लंबे सीक्वेंस में फैला देता है।
मॉड्यूलेटेड इंटेंसिटी: स्टीयरिंग स्ट्रेंथ पर एक वेव-शेप्ड मॉड्यूलेशन वेक्टर (जैसे, कोसाइन वेव) लागू किया जाता है। यह पूरे सीक्वेंस में रेफरेंस सिग्नल्स के सघन इंजेक्शन को रोकता है, जिससे अत्यधिक दोहराव या विरूपण (distortion) से बचने के लिए कवरेज और स्ट्रेंथ के बीच संतुलन बना रहता है।

3. प्रमुख योगदान

ILRR फ्रेमवर्क: डिस्क्रीट डिफ्यूजन के लिए ILVR का एक अनुकूलन, जो स्टीयरिंग इंटेंसिटी के लिए ट्यूनेबल पैरामीटर्स के साथ रिप्रेजेंटेशन रिफाइनमेंट के माध्यम से प्रभावी टेक्स्ट स्टीयरिंग को सक्षम बनाता है।
स्पेशियली मॉड्यूलेटेड स्टीयरिंग: एक विस्तार जो लंबे टेक्स्ट जनरेशन को स्टीयर करने के लिए छोटे रेफरेंस का उपयोग करने पर प्रभावी मार्गदर्शन की अनुमति देता है।
दक्षता और प्रदर्शन: यह प्रदर्शन करना कि ILRR न्यूनतम कम्प्यूटेशनल ओवरहेड (प्रति डिनोइजिंग स्टेप केवल एक अतिरिक्त समानांतर फॉरवर्ड पास की आवश्यकता) के साथ मजबूत नियंत्रण प्राप्त करता है, जो तुलनीय बेसलाइन्स से काफी बेहतर है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन LLaDA और MDLM आर्किटेक्चर पर टॉक्सिसिटी (toxicity) और सेंटिमेंट (sentiment) स्टीयरिंग के लिए मानक बेंचमार्क का उपयोग करके किया गया।

लघु सीक्वेंस जनरेशन (लंबाई 50):
- LLaDA पर, ILRR ने 71.2% टॉक्सिसिटी एक्यूरेसी और 100.0% सेंटिमेंट एक्यूरेसी ( $\alpha=1.0$ पर) प्राप्त की, जो best-of-n (अधिकतम 9.0% टॉक्सिसिटी, 69.4% सेंटिमेंट) और FK-Steering जैसे बेसलाइन्स से काफी बेहतर है।
- MDLM पर, ILRR ने 15.7% टॉक्सिसिटी एक्यूरेसी और 69.5% सेंटिमेंट एक्यूरेसी प्राप्त की, जबकि सर्वश्रेष्ठ बेसलाइन क्रमशः 3.8% और 37.4% था।
लंबे सीक्वेंस जनरेशन (लंबाई 512):
- MDLM पर स्पेशियली मॉड्यूलेटेड स्टीयरिंग का उपयोग करते हुए, ILRR ने टॉक्सिसिटी एक्यूरेसी में ~10 प्रतिशत अंक (13.1% बनाम 3.0% बेसलाइन) और सेंटिमेंट एक्यूरेसी में ~35 प्रतिशत अंक (61.7% बनाम 26.0% बेसलाइन) का सुधार किया।
कम्प्यूटेशनल लागत: एक नॉर्मलाइज्ड कंप्यूट बजट (NFE = 4) के तहत, ILRR ने लगातार सैंपलिंग-आधारित और ट्रजेक्टरी-ऑप्टिमाइजेशन बेसलाइन्स को पछाड़ दिया।

एब्लेशन स्टडीज (Ablation Studies)

स्टीयरिंग स्केल ( $\alpha$ ): उच्च $\alpha$ मानों ने वर्बेटिम कॉपी करने (4-gram ओवरलैप कम रहा) को महत्वपूर्ण रूप से बढ़ाए बिना एक्यूरेसी में सुधार किया, जो सिमेंटिक के बजाय लेक्सिकल अलाइनमेंट का संकेत देता है।
स्टीयरिंग स्टेप्स ( $T_s$ ): यह पाया गया कि उच्च-स्तरीय सिमेंटिक्स को आकार देने के लिए शुरुआती डिनोइजिंग स्टेप्स, देर के स्टेप्स की तुलना में अधिक प्रभावी थे।
स्टीयरिंग लेयर्स ( $L_s$ ): मिड-टू-लेट लेयर्स में हस्तक्षेप ने सर्वोत्तम परिणाम दिए, जो सुझाव देते हैं कि सेंटिमेंट-संबंधित रिप्रेजेंटेशन इन गहराइयों पर अधिक सुलभ होते हैं।
कर्नेल साइज ( $k$ ): एक मिड-रेंज पूलिंग कर्नेल साइज ने सबसे अच्छा संतुलन प्रदान किया, जो उच्च वेरिएंस और कॉपी करने वाले व्यवहार (जो छोटे कर्नेल से जुड़ा है) से बचते हुए मजबूत स्टीयरिंग बनाए रखता है।

5. महत्व और दावे

पेपर का दावा है कि ILRR लेटेंट एक्टिवेशन इंटरवेंशन को नॉन-ऑटोरिग्रेसिव लैंग्वेज जनरेशन को अलाइन करने के लिए एक कुशल प्रतिमान (paradically) के रूप में स्थापित करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

पहुंच (Accessibility): एक नियंत्रणीय जनरेशन मैकेनिज्म प्रदान करना जिसके लिए न्यूनतम कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, जिससे यह सीमित हार्डवेयर बजट वाले शोधकर्ताओं के लिए सुलभ हो जाता है।
AI सुरक्षा (AI Safety): पैरामीटर फाइन-ट्यूनिंग के लिए आवश्यक भारी संसाधनों के बिना मॉडल व्यवहार को स्टीयर करने (जैसे, टॉक्सिसिटी को कम करना) के लिए एक लर्निंग-फ्री विधि प्रदान करना।
लचीलापन (Flexibility): स्पेशियल मॉड्यूलेशन के माध्यम से छोटे रेफरेंस का उपयोग करके लंबे टेक्स्ट को स्टीयर करने की क्षमता, विधि की व्यावहारिक उपयोगिता को विस्तृत करती है।

लेखक तकनीक की दोहरी प्रकृति (dual-use nature) को स्वीकार करते हैं, यह नोट करते हुए कि वही मैकेनिज्म सैद्धांतिक रूप से दुर्भावनापूर्ण रेफरेंस प्रदान किए जाने पर अवांछित गुणों को बढ़ा सकता है, जिसके लिए तैनाती (deployment) में सावधानीपूर्वक विचार करने की आवश्यकता है।