Discrete Diffusion Inference-Time Control with Nested Sequential Monte Carlo

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें जिस तरह से चित्र बनाती हैं और जिस तरह से वे शब्द बनाती हैं, उनके बीच एक बढ़ता हुआ अंतर है। वर्षों से, टेक्स्ट उत्पन्न करने वाली सबसे उन्नत प्रणालियाँ एक व्यक्ति की तरह वाक्य लिखने के तरीके पर काम करती रही हैं, जो सख्ती से बाएं से दाएं एक-एक शब्द करके आगे बढ़ती हैं। यह विधि शक्तिशाली है, लेकिन यह कठोर हो सकती है, क्योंकि यह अक्सर पूरी तस्वीर देखने से पहले ही सिस्टम को एक एकल पथ में बांध देती है। हाल ही में, टेक्स्ट के लिए एक अलग दृष्टिकोण उभरा है, जिसने लंबे समय से चित्र बनाने के लिए उपयोग की जाने वाली एक तकनीक को अपनाया है। शब्द दर शब्द लिखने के बजाय, ये नए मॉडल प्रतीकों के एक उलझे हुए, अर्थहीन ढेर से शुरुआत करते हैं और धीरे-धीरे इसे चरण दर चरण साफ करते हैं, जब तक कि एक सुसंगत वाक्य प्रकट नहीं हो जाता। यह प्रक्रिया मॉडल को एक साथ पूरे वाक्य को देखने की अनुमति देती है, जिससे वह अंतिम परिणाम को सुसंगत और तार्किक बनाने के लिए सभी कोणों से उसे परिष्कृत कर सके।

हालाँकि, केवल इसलिए कि एक मशीन एक ऐसा वाक्य लिख सकती है जिसका अर्थ निकलता है, इसका मतलब यह नहीं है कि वह उस तरह का वाक्य लिखेगी जैसा कि एक मनुष्य चाहता है। यदि कहानी लिखने के लिए कहा जाए, तो एक मानक मॉडल गलती से हानिकारक भाषा शामिल कर सकता है या ऐसा टेक्स्ट बना सकता है जो अजीब और अप्राकृतिक महसूस हो। इसे ठीक करने के लिए, शोधकर्ता आमतौर पर नए नियमों के साथ मॉडल को फिर से प्रशिक्षित (retrain) करने की कोशिश करते हैं, लेकिन यह महंगा है और सिस्टम को व्यवहार करने के एक ही तरीके में बांध देता है। एक अधिक लचीला समाधान मॉडल को काम करते समय निर्देशित करना है, यानी उसके मूल मस्तिष्क को बदले बिना उसे वांछित परिणाम की ओर मोड़ना। चुनौती यह है कि संभावित वाक्यों का स्थान विशाल और जटिल है। मार्गदर्शन करने की सरल विधियाँ अक्सर विफल हो जाती हैं क्योंकि वे उन रास्तों को खोजने में समय बर्बाद करती हैं जिनका कोई अंत नहीं है, या वे एक ही विचार को दोहराने में फंस जाती हैं। ICLR 2026 सम्मेलन के एक कार्यशाला में प्रस्तुत एक नया अध्ययन इस परिदृश्य में नेविगेट करने का एक परिष्कृत तरीका तलाशता है, जो यह दिखाता है कि इन टेक्स्ट-जनरेटिंग मॉडलों को पहले की तुलना में अधिक प्रभावी ढंग से कैसे निर्देशित किया जा सकता है।

शोधकर्ताओं ने एक विशिष्ट समस्या पर ध्यान केंद्रित किया: शोर (noise) को साफ करके टेक्स्ट उत्पन्न करने वाले मॉडल को कैसे निर्देशित किया जाए ताकि वह ऐसे परिणाम दे सके जो या तो विषाक्त भाषा से मुक्त हों या असाधारण रूप से प्रवाहपूर्ण हों, और वह भी बिना मॉडल को फिर से प्रशिक्षित किए। उन्होंने अपने द्वारा विकसित एक पद्धति की तुलना, जो 'नेस्टेड सीक्वेंशियल मोंटे कार्लो' नामक एक सांख्यिकीय तकनीक पर आधारित है, कई मौजूदा विधियों से की। अंतर को समझने के लिए, कल्पना करें कि आप एक घने जंगल के माध्यम से सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं। एक बुनियादी विधि कुछ खोजकर्ताओं को भेज सकती है, उन्हें थोड़ी दूरी तक चलने दे सकती है, और फिर उनमें से उस एक को चुन सकती है जो सही दिशा में जाता हुआ प्रतीत होता है, और बाकी को हटाकर उस अकेले व्यक्ति को आगे भेज सकती है। यह सरल है, लेकिन यदि शुरुआती कुछ कदम भ्रामक थे, तो पूरा समूह गलत दिशा में चला जाएगा। दूसरी विधि कई खोजकर्ताओं को भेजती है, लेकिन वे सभी एक ही पथ पर चलते हैं, और अंत में, समूह को यात्राओं के एक छोटे से सेट में से सबसे अच्छे परिणाम को चुनने के लिए मजबूर किया जाता है। यह अक्सर उच्च-गुणवत्ता वाले दुर्लभ पथों को खोजने में विफल रहता है क्योंकि खोजकर्ताओं को प्रभावी ढंग से शाखाएं बनाने का अवसर नहीं मिलता।

पेपर में प्रस्तावित नई विधि अलग तरह से काम करती है। एक एकल पथ पर खोजकर्ताओं को भेजने और बेहतर की उम्मीद करने के बजाय, यह एक दो-स्तरीय प्रणाली का उपयोग करती है। जंगल के माध्यम से बढ़ने वाले प्रत्येक मुख्य खोजकर्ता के लिए, सिस्टम तत्काल परिवेश का पता लगाने के लिए उप-खोजकर्ताओं (sub-explorers) की एक छोटी टीम भेजता है। ये उप-खोजकर्ता विभिन्न अल्पकालिक दिशाओं का परीक्षण करते हैं और रिपोर्ट करते हैं कि लक्ष्य के आधार पर कौन सी दिशा सबसे आशाजनक दिखती है। मुख्य खोजकर्ता फिर अंधे होकर अनुमान लगाने के बजाय इस सामूहिक बुद्धिमत्ता का उपयोग करके अगला सबसे अच्छा कदम चुनता है। यह प्रणाली को आगे की अधिक देख पाने और पीढ़ी की प्रक्रिया के हर चरण में बेहतर निर्णय लेने की अनुमति देता है। शोधकर्ताओं ने इस पद्धति का एक पूरी तरह से अनुकूलित संस्करण भी विकसित किया है, जो न केवल अगले कदम को चुनने के लिए स्काउट्स का उपयोग करता है, बल्कि यह भी पुनर्मूल्यांकन करता है कि किन मुख्य खोजकर्ताओं को आगे बढ़ने से पहले रखना सार्थक है। यह सुनिश्चित करता है कि समूह विविध बना रहे और एक ही दोहराव वाले पथ में न सिमट जाए।

जब टीम ने टेक्स्ट उत्पन्न करने के लिए प्रशिक्षित एक मॉडल पर इन विधियों का परीक्षण किया, तो उन्होंने यह मापा कि सिस्टम आउटपुट को दो विशिष्ट लक्ष्यों की ओर कितनी अच्छी तरह मोड़ सकता है: विषाक्त भाषा को कम करना और लेखन के प्रवाह (fluency) को बेहतर बनाना। उन्होंने पाया कि नए नेस्टेड तरीके पुराने, सरल तरीकों की तुलना में लगातार बेहतर प्रदर्शन करते हैं। संरेखण (alignment) का परीक्षण करने के लिए डिज़ाइन किए गए परीक्षणों में, जहाँ विषाक्त सामग्री उत्पन्न करने के लिए प्रेरित किया गया था, आधार मॉडल शायद ही कभी विषाक्त निरंतरता उत्पन्न करता था, जो सामान्य परिस्थितियों में ऐसी सामग्री की दुर्लभता को दर्शाता है। नए तरीके मानक दृष्टिकोणों की तुलना में इस दुर्लभ, उच्च-पुरस्कार वाले लक्ष्य की ओर मॉडल को मोड़ने में कहीं अधिक सफल थे, जो अक्सर सुरक्षित और स्वच्छ रहने की मॉडल की स्वाभाविक प्रवृत्ति से आगे बढ़ने में संघर्ष करते हैं। इसी तरह, प्रवाहपूर्ण टेक्स्ट बनाने के लिए कहे जाने पर, नेस्टेड तरीकों ने काफी सहज और सुसंगत परिणाम उत्पन्न किए। अध्ययन ने दिखाया कि सफलता की कुंजी केवल अधिक खोजकर्ताओं को भेजना नहीं था, बल्कि सही प्रकार के स्काउट्स को भेजना था जो किसी पथ पर प्रतिबद्ध होने से पहले उसके भविष्य की क्षमता का मूल्यांकन कर सकें।

शोधकर्ताओं ने यह भी जांचा कि समूह का आकार और स्काउट्स की संख्या परिणामों को कैसे प्रभावित करती है। उन्होंने पाया कि सफलता के लिए अधिक मुख्य खोजकर्ताओं का होना सबसे महत्वपूर्ण कारक था, क्योंकि इससे किसी अच्छे पथ को पूरी तरह से चूक जाने की संभावना कम हो जाती है। प्रत्येक खोजकर्ता के लिए स्काउट्स की संख्या बढ़ाने से अतिरिक्त लाभ मिलते हैं, लेकिन एक सीमा तक ही; एक निश्चित संख्या के बाद, अधिक स्काउट्स जोड़ने से मिलने वाला लाभ घटता जाता है। दिलचस्प बात यह है कि नए तरीके कठिन कार्य होने पर अधिक मजबूत साबित हुए। जब शोधकर्ताओं ने मॉडलों को लंबे टेक्स्ट उत्पन्न करने के लिए कहा, तो पुराने तरीके गुणवत्ता बनाए रखने में संघर्ष करते रहे, और अक्सर लक्ष्य से भटक गए। नेस्टेड तरीके, विशेष रूप से पूरी तरह से अनुकूलित संस्करण, अपना स्थान बहुत बेहतर बनाए रखते हैं, जिससे पता चलता है कि आंतरिक स्काउट्स की मदद से आगे की अधिक देख पाना प्रणाली को लंबी दूरी तक भी सही रास्ते पर बनाए रखने में मदद करता है।

अध्ययन के सबसे महत्वपूर्ण निष्कर्षों में से एक हाल ही में अन्य शोधकर्ताओं द्वारा प्रस्तावित एक एल्गोरिदम का सुधार था। वह पिछला तरीका, जिसे नेस्टेड दृष्टिकोण के रूप में भी लेबल किया गया था, विभिन्न पथों के मूल्य की गणना करने के तरीके में एक सूक्ष्म दोष के कारण विफल पाया गया। इस त्रुटि के कारण, वह परिणामों के सही वितरण को लक्षित करने में विफल रहा, जिससे पक्षपाती परिणाम मिले जो वांछित लक्ष्य को वास्तव में प्रतिबिंबित नहीं करते थे। नए अध्ययन ने इस गणितीय त्रुटि की पहचान की और इसे ठीक किया, यह सुनिश्चित करते हुए कि उनके एल्गोरिदम का संस्करण उचित रूप से भारित (weighted) और निष्पक्ष है। यह सुधार महत्वपूर्ण था, क्योंकि इसका अर्थ था कि उनके प्रयोगों में देखे गए सुधार वास्तविक थे और त्रुटिपूर्ण गणना का परिणाम नहीं थे। शोधकर्ताओं ने पुष्टि की कि उनके सुधारा गया तरीका सैद्धांतिक लक्ष्यों के साथ पूरी तरह से मेल खाता है, जबकि अनकलेक्टेड संस्करण नहीं।

अध्ययन एक विशिष्ट प्रकार के टेक्स्ट मॉडल का उपयोग करके किया गया था जिसे वेब टेक्स्ट के बड़े डेटासेट पर प्रशिक्षित किया गया था, और निष्पक्ष तुलना सुनिश्चित करने के लिए प्रयोगों को प्रॉम्प्ट के एक मानक सेट पर चलाया गया था। टीम ने अपनी सफलता को विषाक्तता के स्थापित मेट्रिक्स और प्रवाह के एक माप जिसे 'परप्लेक्सिटी' (perplexity) कहा जाता है, का उपयोग करके मापा, जो यह दर्शाता है कि एक भाषा मॉडल उसके द्वारा उत्पन्न टेक्स्ट से कितना आश्चर्यचकित है। कम परप्लेक्सिटी का अर्थ है कि टेक्स्ट अधिक स्वाभाविक रूप से बहता है। परिणामों ने स्पष्ट सुधार दिखाया, जिसमें नेस्टेड तरीकों ने लक्ष्य होने पर उच्च विषाक्तता दर और प्रवाह का लक्ष्य होने पर कम परप्लेक्सिटी प्राप्त की। शोधकर्ताओं ने नोट किया कि हालांकि उनके दृष्टिकोण को सबसे सरल तरीकों की तुलना में अधिक कम्प्यूटेशनल शक्ति की आवश्यकता थी, लेकिन यह अन्य जटिल तकनीकों की तुलना में बहुत अधिक कुशल था, जो पीढ़ी की लागत और परिणाम की गुणवत्ता के बीच एक बेहतर संतुलन प्रदान करता है।

इन सफलताओं के बावजूद, लेखक उनके कार्य की सीमाओं को नोट करने में सावधानी बरतते हैं। उन्होंने केवल दो विशिष्ट प्रकार के लक्ष्यों—विषाक्तता से बचना और प्रवाह में सुधार करना—और एक एकल मॉडल आर्किटेक्चर पर अपने तरीकों का परीक्षण किया। वे यह दावा नहीं करते हैं कि यह समाधान हर संभव कार्य या हर प्रकार के भाषा मॉडल के लिए काम करता है। मॉडल को निर्देशित करने के लिए उनके द्वारा उपयोग किए गए मध्यवर्ती चरणों में अनुमान (approximations) शामिल थे, जो इस प्रक्रिया में कुछ शोर (noise) पेश कर सकते हैं। इसके अलावा, अध्ययन टेक्स्ट जनरेशन तक सीमित था, और यह देखना बाकी है कि ये तकनीकें इमेज जनरेशन या जटिल तर्क कार्यों जैसे अन्य डोमेन में कितनी अच्छी तरह अनुवादित होती हैं। शोधकर्ता सुझाव देते हैं कि भविष्य के कार्य को व्यापक बेंचमार्क पर परीक्षण किया जाना चाहिए, जिसमें निष्पक्षता, सत्यता और जटिल निर्देशों का पालन करने की क्षमता को मापने वाले बेंचमार्क शामिल हों।

अंततः, यह पेपर नियंत्रित टेक्स्ट जनरेशन के क्षेत्र में एक व्यावहारिक प्रगति प्रदान करता है। यह प्रदर्शित करता है कि नमूनाकरण (sampling) के स्मार्ट, दो-स्तरीय दृष्टिकोण का उपयोग करके, हम एआई मॉडलों को फिर से प्रशिक्षित करने की भारी लागत के बिना बेहतर, अधिक संरेखित टेक्स्ट उत्पन्न करने के लिए निर्देशित कर सकते हैं। निष्कर्ष बताते हैं कि जिस तरह से हम संभावित वाक्यों के विशाल स्थान में नेविगेट करते हैं, वह मॉडल के खुद के जितना ही महत्वपूर्ण है। उस स्थान को खोजने के लिए उपयोग किए जाने वाले उपकरणों को परिष्कृत करके, हम मशीनों के हमारे साथ संवाद करने के तरीके में नियंत्रण और गुणवत्ता के नए स्तरों को अनलॉक कर सकते हैं। यह कार्य एक याद दिलाता है कि आर्टिफिशियल इंटेलिजेंस की जटिल दुनिया में, कभी-कभी सबसे प्रभावी समाधान एक बड़ा इंजन बनाना नहीं होता, बल्कि हमारे पास पहले से मौजूद इंजन को चलाने का एक बेहतर तरीका खोजना होता है।