🤖 AI

Diffusion Large Language Models for Black-Box Optimization

यह शोध पत्र dLLM प्रस्तुत करता है, जो ऑफलाइन ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के लिए एक नवीन दृष्टिकोण है, जो डिज़ाइनों को पुनरावृत्त रूप से परिष्कृत करने और फ्यू-शॉट परिदृश्यों में अत्याधुनिक प्रदर्शन प्राप्त करने के लिए इन-कॉन्टेक्स्ट डिनोइजिंग मॉड्यूल और मास्कड डिफ्यूजन ट्री सर्च के साथ डिफ्यूजन लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है।

मूल लेखक: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

प्रकाशित 2026-01-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक नया, उत्तम नुस्खा (recipe) बनाने की कोशिश कर रहे हैं। हालाँकि, आपके पास एक बड़ी समस्या है: आपके पास केवल 10 पुराने नुस्खों और उनकी रेटिंग वाली एक छोटी सी नोटबुक है। आपके पास नए विचारों का परीक्षण करने के लिए कोई रसोई नहीं है क्योंकि परीक्षण करना बहुत महंगा या खतरनाक है। आपको केवल उस छोटी सी नोटबुक को देखकर सबसे अच्छा नया नुस्खा पता लगाना है।

यह Offline Black-Box Optimization की चुनौती है। "ब्लैक बॉक्स" वह अज्ञात नियम है जो तय करता है कि कोई डिज़ाइन (जैसे कि DNA अनुक्रम या रोबोट का आकार) अच्छा है या बुरा। "ऑफलाइन" का अर्थ है कि आप लाइव नए विचारों का परीक्षण नहीं कर सकते; आपके पास केवल पिछला डेटा है।

यहाँ शोध पत्र की नई विधि, dLLM, इस समस्या को कैसे हल करती है, इसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

पुराने तरीकों के साथ समस्या

पिछले प्रयासों ने इसे हल करने के लिए Autoregressive Models का उपयोग किया। इन्हें ऐसे लेखक के रूप में सोचें जो एक कहानी को एक बार में एक शब्द करके, बाएं से दाएं लिखता है।

खामी: यदि आप एक वाक्य लिख रहे हैं, तो वाक्य का अंत अक्सर यह बदल देता है कि आपको शुरुआत कैसे लिखी जानी चाहिए थी। लेकिन एक बाएं-से-दाएं लिखने वाला लेखक शुरुआत करते समय अंत को नहीं देख सकता। वे "बड़ी तस्वीर" (big picture) के कनेक्शन को मिस कर देते हैं। जटिल डिज़ाइनों (जैसे DNA) में, हर हिस्सा दूसरे हिस्से पर निर्भर करता है, इसलिए केवल बाएं-से-दाएं लिखने से अक्सर अव्यवस्थित और औसत दर्जे के परिणाम मिलते हैं।

नया समाधान: "डिफ्यूजन" शेफ

लेखक Diffusion Large Language Models (dLLMs) पेश करते हैं। एक-एक करके शब्द लिखने के बजाय, एक ऐसे शेफ की कल्पना करें जो खाली, मास्क किए गए सामग्रियों (जिसे [M] द्वारा दर्शाया गया है) के कटोरे से शुरू करता है और धीरे-धीरे चरण-दर-चरण नुस्खे को प्रकट करता है, जैसे-जैसे वे इसे परिष्कृत (refine) करते जाते हैं।

इस दृष्टिकोण के पास दो महाशक्तियाँ हैं:

द्विदिश दृष्टि (Bidirectional Vision): शेफ एक बार में पूरे कटोरे को देख सकता है। वे देख सकते हैं कि नुस्खे का "अंत" "शुरुआत" को कैसे प्रभावित करता है, जिससे उन्हें केवल स्थानीय स्तर पर ही नहीं बल्कि वैश्विक स्तर पर गलतियों को सुधारने की अनुमति मिलती है।
पुनरावृत्ति परिशोधन (Iterative Refinement): वे केवल अंतिम व्यंजन का अनुमान नहीं लगाते। वे एक रफ स्केच से शुरू करते हैं, फिर धीरे-धीरे खाली जगहों को भरते हैं, और प्रत्येक चरण के साथ बेहतर होते जाते हैं।

यह कैसे काम करता है: दो-चरणीय नृत्य

यह पेपर इस शेफ को और भी बेहतर बनाने के लिए दो चतुर तरकीबों को जोड़ता है:

1. इन-कॉन्टेक्स्ट डिनोइजिंग (In-Context Denoising - "स्मार्ट प्रॉम्प्ट")

इससे पहले कि शेफ खाना बनाना शुरू करे, आप उन्हें एक विशेष निर्देश कार्ड देते हैं। इस कार्ड में शामिल है:

लक्ष्य: "एक ऐसा DNA अनुक्रम बनाएं जो इस विशिष्ट प्रोटीन से सबसे अच्छी तरह चिपक सके।"
नोटबुक: आपके ऑफलाइन डेटासेट से 10 उदाहरण।
आदेश: "कृपया एक नया, बेहतर अनुक्रम प्रस्तावित करें।"

मॉडल इस कार्ड को पढ़ता है और अपने विशाल पूर्व-प्रशिक्षित ज्ञान (जैसे एक शेफ जिसने लाखों कुकबुक पढ़ी हैं) का उपयोग करके मास्क की गई सामग्रियों को "डिनोइज" (denoising) करना शुरू करता है। यह खाली [M] को वास्तविक अक्षरों (A, C, G, T) में बदल देता है, धीरे-धीरे एक संभावित डिज़ाइन को प्रकट करता है।

2. मास्कड डिफ्यूजन ट्री सर्च (Masked Diffusion Tree Search - "ब्रांचिंग एक्सप्लोरर")

केवल एक नुस्खा अनुमान लगाना पर्याप्त नहीं है। क्या होगा यदि शेफ एक खराब रास्ते पर फंस जाता है? लेखकों ने एक Tree Search तंत्र जोड़ा है। कल्पना करें कि शेफ केवल एक व्यंजन नहीं बनाता; वे संभावनाओं का एक शाखाओं वाला पथ (branching path) सेट करता है:

चयन (Selection): शेफ सभी वर्तमान आंशिक नुस्खों को देखता है और अगले काम के लिए सबसे आशाजनक वाले को चुनता है (एक स्कोर का उपयोग करके जो नई चीजें आज़माने बनाम जो काम करता है उस पर टिके रहने के बीच संतुलन बनाता है)।
विस्तार (Expansion): वे उस आशाजनक आंशिक नुस्खे को लेते हैं और कई अलग-अलग तरीकों से अगली कुछ खाली जगहों को भरने के लिए उत्पन्न करते हैं। अब, एक पथ के बजाय, आपके पास कई संभावनाओं का एक पेड़ (tree) है।
मूल्यांकन (Evaluation): प्रत्येक नई शाखा के लिए, वे एक "प्रेडिक्टर" का उपयोग करते हैं (एक Gaussian Process, जो आपके 10 उदाहरणों पर प्रशिक्षित एक स्मार्ट कैलकुलेटर की तरह है) यह अनुमान लगाने के लिए कि यदि वे इस व्यंजन को पूरा करते हैं तो यह कितना अच्छा होगा।
बैकप्रोपैगेशन (Backpropagation): यदि कोई शाखा स्वादिष्ट दिखती है, तो शेफ उस पथ को याद रखता है और उसका और अधिक अन्वेषण करता है। यदि किसी शाखा का स्वाद खराब लगता है, तो वे उसे काट (prune) देते हैं और समय बर्बाद करना बंद कर देते हैं।

यह प्रक्रिया Monte Carlo Tree Search (एक रणनीति जिसका उपयोग AI द्वारा Go जैसे खेल खेलने के लिए किया जाता है) की तरह है, लेकिन शतरंज खेलने के बजाय, AI "खाली स्थान भरने" का खेल खेल रहा है ताकि एक आदर्श डिज़ाइन खोजा जा सके।

परिणाम

पेपर ने इस पद्धति का परीक्षण चार अलग-अलग चुनौतियों पर किया:

Ant Morphology: एक रोबोट चींटी डिजाइन करना जो तेज़ी से रेंग सके।
D'Kitty Morphology: एक रोबोट बिल्ली डिजाइन करना जो तेज़ी से रेंग सके।
TF Bind 8 & 10: विशिष्ट प्रोटीनों से चिपकने के लिए छोटे DNA अनुक्रम डिजाइन करना।

इन सभी परीक्षणों में, dLLM पद्धति ने हर मौजूदा पद्धति को पीछे छोड़ दिया, जिसमें ग्रेडिएंट्स, जेनेरेटिव मॉडल, या मानक भाषा मॉडल शामिल हैं। यह विशेष रूप से सर्वश्रेष्ठ डिज़ाइनों (शीर्ष 1%) को खोजने में सक्षम था, भले ही इसके पास सीखने के लिए केवल 10 उदाहरण थे।

सारांश

पुराने तरीकों को एक ऐसे लेखक के रूप में समझें जो केवल बाएं-से-दाएं लिख सकता है और आसानी से फंस जाता है। नया dLLM तरीका एक मास्टर शेफ की तरह है जो:

आपकी सीमित नोटबुक और निर्देशों को पढ़ता है।
एक खाली कैनवास से शुरू करता है।
पूरी तस्वीर को देखते हुए डिज़ाइन को धीरे-धीरे प्रकट करता है।
यह सुनिश्चित करने के लिए कि वे पूर्ण समाधान को मिस न करें, एक ट्री-सर्च रणनीति का उपयोग करके एक साथ कई "क्या-होता-यदि" (what-if) परिदृश्यों का अन्वेषण करता है।

यह उन्हें सबसे अच्छा संभव डिज़ाइन खोजने की अनुमति देता है, भले ही डेटा कम हो और खेल के नियम छिपे हुए हों।

तकनीकी सारांश: ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के लिए डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLM)

समस्या विवरण (Problem Statement)

ऑफलाइन ब्लैक-बॉक्स ऑप्टिमाइज़ेशन (BBO) का लक्ष्य उन इष्टतम डिज़ाइनों ( $x^*$ ) की पहचान करना है जो एक अज्ञात ऑब्जेक्टिव फंक्शन $f(\cdot)$ को अधिकतम करते हैं, और यह केवल डिज़ाइन-लेबल युग्मों के एक सीमित ऑफलाइन डेटासेट का उपयोग करके किया जाता है। यह परिदृश्य डीएनए (DNA) अनुक्रम डिज़ाइन और रोबोटिक्स जैसे डोमेन में प्रचलित है, जहाँ गुणों को क्वेरी करना महंगा है और लेबल किया गया डेटा दुर्लभ है (फ्यू-शॉट रिजीम)।

पारंपरिक दृष्टिकोण आमतौर पर दो श्रेणियों में आते हैं:

प्रॉक्सी-आधारित विधियाँ (Proxy-based methods): $f(\cdot)$ का अनुमान लगाने के लिए एक सरोगेट मॉडल (जैसे गॉसियन प्रोसेस या डीप न्यूरल नेटवर्क) को प्रशिक्षित करना और इसके ग्रेडिएंट्स का उपयोग करके अनुकूलन (optimization) को निर्देशित करना।
जेनेरेटिव विधियाँ (Generative methods): उच्च-स्कोर वाले डिज़ाइन सीधे उत्पन्न करने के लिए कंडीशनल जेनेरेटिव मॉडल को प्रशिक्षित करना।

हालाँकि, डेटा-सीमित सेटिंग्स में ये विधियाँ अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन (out-of-distribution generalization) की समस्याओं से जूझती हैं। इसके अलावा, ऑटोरेग्रेसिव लार्ज लैंग्वेज मॉडल्स (LLMs) के हालिया रूपांतरण, जो कार्यों को नेचुरल लैंग्वेज प्रॉम्प्ट के रूप में फ्रेम करते हैं, एक महत्वपूर्ण सीमा का सामना करते हैं: वे अनुक्रमों (sequences) को बाएं-से-दाएं (left-to-right) उत्पन्न करते हैं। यह यूनिडायरेक्शनल (unidirectional) दृष्टिकोण कई डिज़ाइन कार्यों में अंतर्निहित द्विदिश निर्भरताओं (bidirectional dependencies) को पकड़ने में संघर्ष करता है (उदाहरण के लिए, एक डीएनए यूनिट का कार्य उसके प्रीफिक्स और सफिक्स दोनों पर निर्भर करता है)।

कार्यप्रणाली: dLLM

लेखक dLLM का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो ऑफलाइन BBO के लिए डिफ्यूजन लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है। यह विधि दो मुख्य मॉड्यूल को जोड़ती है: इन-कॉन्टेक्स्ट डीनॉइज़िंग (In-Context Denoising) और मास्क्ड डिफ्यूजन ट्री सर्च (Masked Diffusion Tree Search)।

1. इन-कॉन्टेक्स्ट डीनॉइज़िंग (In-Context Denoising)

फाइन-ट्यूनिंग के बजाय, यह विधि प्री-ट्रेंड डिफ्यूजन LLMs की इन-कॉन्टेक्स्ट लर्निंग क्षमताओं का उपयोग करती है।

प्रॉम्प्ट कंस्ट्रक्शन (Prompt Construction): डिफ्यूजन LLM के लिए इनपुट एक संरचित नेचुरल लैंग्वेज प्रॉम्प्ट से बना होता है जिसमें शामिल है:
- टास्क डिस्क्रिप्शन (Task Description): डिज़ाइन फॉर्मेट (जैसे डीएनए अल्फाबेट), उद्देश्य और बाधाओं को परिभाषित करता है।
- ऑफलाइन डेटासेट (Offline Dataset): डिज़ाइन-लेबल युग्मों (जैसे डीएनए अनुक्रम और बाइंडिंग एफिनिटी) का एक फ्यू-शॉट सेट।
- इंस्ट्रक्शन (Instruction): बेहतर उम्मीदवारों को उत्पन्न करने का निर्देश।
डीनॉइज़िंग प्रक्रिया (Denoising Process): मॉडल एक पूरी तरह से मास्क किए गए डिज़ाइन ( $x_{t=1}$ ) से शुरू होता है। यह पूर्ण उम्मीदवार ( $\hat{x}_0$ ) बनाने के लिए मास्क किए गए टोकन का पुनरावृत्ति (iteratively) के साथ अनुमान लगाता है। कम आत्मविश्वास वाले टोकन को अगले चरण के लिए एक नए आंशिक रूप से मास्क किए गए स्टेट ( $x_s$ ) के रूप में फिर से मास्क किया जाता है, जो पुनरावृत्मक डीनॉइज़िंग के माध्यम से डिज़ाइन को परिष्कृत (refine) करता है।

2. मास्क्ड डिफ्यूजन ट्री सर्च (Masked Diffusion Tree Search - MDTS)

जेनरेशन को उच्च-प्रदर्शन वाले क्षेत्रों की ओर निर्देशित करने और एक्सप्लोरेशन (exploration) तथा एक्सप्लोइटेशन (exploitation) के बीच संतुलन बनाने के लिए, डीनॉइज़िंग प्रक्रिया को एक स्टेप-वाइज मोंटे कार्लो ट्री सर्च (MCTS) के रूप में प्रस्तुत किया गया है।

ट्री स्ट्रक्चर (Tree Structure): प्रत्येक नोड एक आंशिक रूप से मास्क किए गए डिज़ाइन ( $x_t$ ) का प्रतिनिधित्व करता है।
सिलेक्शन (Selection): एल्गोरिदम अपर कॉन्फिडेंस बाउंड (UCT) स्कोर का उपयोग करके रूट (पूरी तरह से मास्क किया गया) से ट्री का भ्रमण करता है। यह उच्च-मूल्य वाले नोड्स का फायदा उठाने (exploit) और कम-विज़िट किए गए शाखाओं की खोज (explore) करने के बीच संतुलन बनाता है। UCT स्कोर नोड के वैल्यू एस्टीमेट और अनमास्किंग स्टेप की मॉडल की संभावना (likelihood) को शामिल करता है।
एक्सपेंशन (Expansion): चयनित नोड्स को विविध पूर्णताओं (completions) को उत्पन्न करने के लिए डिफ्यूजन LLM लागू करके विस्तारित किया जाता है, जिन्हें फिर चाइल्ड नोड्स बनाने के लिए पुन: मास्क किया जाता है।
इवैल्यूएशन (Evaluation): चाइल्ड नोड्स को पूरी तरह से डीनोज़्ड डिज़ाइनों में अनरोल किया जाता है। उनके रिवॉर्ड्स का अनुमान ऑफलाइन डेटासेट पर प्रशिक्षित एक गॉसियन प्रोसेस (GP) से प्राप्त एक्स्पेक्टेड इम्प्रूवमेंट (EI) का उपयोग करके लगाया जाता है। GP फ्यू-शॉट सेटिंग्स में सिद्धांतिक अनिश्चितता अनुमान प्रदान करता है।
बैकप्रोपैगेशन (Backpropagation): रिवॉर्ड सिग्नल को ट्री में ऊपर की ओर प्रसारित किया जाता है ताकि पूर्वज नोड्स (ancestor nodes) के वैल्यू एस्टीमेट और विज़िट काउंट को अपडेट किया जा सके, जिससे भविष्य के चयन निर्णयों को सूचित किया जा सके।

मुख्य योगदान (Key Contributions)

BBO के लिए डिफ्यूजन LLMs का पहला अनुप्रयोग: यह पेपर ऑफलाइन ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के लिए डिफ्यूजन LLMs का उपयोग करने वाले पहले फ्रेमवर्क को पेश करता है, जो जटिल डिज़ाइन निर्भरताओं को संभालने के लिए उनकी द्विदिश मॉडलिंग और पुनरावृत्मक परिशोधन क्षमताओं का लाभ उठाता है।
इन-कॉन्टेक्स्ट डीनॉइज़िंग मॉड्यूल: एक नवीन कंडीशनिंग मैकेनिज्म जो डिफ्यूजन LLMs को बिना पैरामीटर अपडेट के नेचुरल लैंग्वेज टास्क विवरणों और फ्यू-शॉट ऑफलाइन डेटासेट के आधार पर मास्क किए गए डिज़ाइनों को परिष्कृत करने की अनुमति देता है।
मास्क्ड डिफ्यूजन ट्री सर्च: एक सर्च एल्गोरिदम जो डिफ्यूजन डीनॉइज़िंग को एक अनुक्रमिक निर्णय लेने वाली प्रक्रिया (sequential decision-making process) के रूप में मानता है, जो MCTS और GP-आधारित एक्सपेक्टेड इम्प्रूवमेंट के माध्यम से एक्सप्लोरेशन और एक्सप्लोइटेशन को गतिशील रूप से संतुलित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने निरंतर (Ant Morphology, D'Kitty Morphology) और असतत (TF Bind 8, TF Bind 10) दोनों कार्यों (फ्यू-शॉट सेटिंग में 10 लेबल किए गए उदाहरणों के साथ) को कवर करने वाले डिज़ाइन-बेंच (Design-Bench) बेंचमार्क पर dLLM का मूल्यांकन किया।

प्रदर्शन (Performance): dLLM ने सभी चार कार्यों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जो 15 बेसलाइन्स में मीन (mean) और मीडियन (median) रैंक दोनों में प्रथम स्थान पर रहा। इसने निरंतर और असतत डिज़ाइन स्पेस दोनों में सुसंगत लाभ प्रदर्शित किया।
तुलना (Comparison):
- शुद्ध ग्रेडिएंट-आधारित प्रॉक्सी विधियों (जैसे Grad-mean, Grad-EI) से बेहतर प्रदर्शन किया, जो दर्शाता है कि जेनेरेटिव मॉडल सर्च के साथ मिलकर एक्सप्लोरेशन के लिए बेहतर हैं।
- अन्य जेनेरेटिव बेसलाइन्स, जिनमें ऑटोरेग्रेसिव LLMs (OPRO) और अन्य डिफ्यूजन मॉडल (DDOM, GTG) शामिल हैं, को पीछे छोड़ दिया। लेखक इसका श्रेय डिफ्यूजन LLMs की द्विदिश मॉडलिंग और उनके द्वारा उपयोग किए जाने वाले व्यापक प्री-ट्रेंड ज्ञान को देते हैं।
- मजबूत ऑटोरेग्रेसिव बेसलाइन UniSO-T से बेहतर प्रदर्शन किया, जो सुझाव देता है कि जटिल निर्भरताओं वाले कार्यों के लिए द्विदिश संदर्भ (bidirectional context) महत्वपूर्ण है।
एब्लेशन स्टडीज (Ablation Studies):
- ट्री सर्च को हटाने (w/o MDTS) से प्रदर्शन में भारी गिरावट आई, जो गाइडेड एक्सप्लोरेशन की आवश्यकता को रेखांकित करता है।
- डिफ्यूजन LLM को केवल फ्यू-शॉट डेटा पर प्रशिक्षित साधारण डिफ्यूजन मॉडल से बदलने से महत्वपूर्ण गिरावट आई, जो प्री-ट्रेंड ज्ञान के महत्व की पुष्टि करता है।
- प्रॉम्प्ट में स्पष्ट टास्क डिस्क्रिप्शन को हटाने से प्रदर्शन कम हो गया, जो सिमेंटिक फ्रेमिंग की भूमिका को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि dLLM डेटा-कुशल डिज़ाइन जनरेशन के लिए जनरल-पर्पस ऑप्टिमाइज़र के रूप में डिफ्यूजन LLMs की क्षमता को प्रदर्शित करता है। द्विदिश निर्भरताओं को कैप्चर करने के लिए ऑटोरेग्रेसिव मॉडल्स की सीमाओं को संबोधित करके और उन्हें एक मजबूत सर्च रणनीति के साथ एकीकृत करके, यह विधि उन वैज्ञानिक और इंजीनियरिंग डोमेन के लिए एक बहुमुखी विकल्प प्रदान करती है जहाँ लेबल किया गया डेटा दुर्लभ है। लेखक इस कार्य को ऑफलाइन ब्लैक-बॉक्स ऑप्टिमाइज़ेशन में प्री-ट्रेंड फाउंडेशन मॉडल्स का लाभ उठाने के लिए नए दिशा-निर्देश खोलने के रूप में देखते हैं।