Training Diffusion Language Models for Black-Box Optimization
यह शोध पत्र एक दो-चरणीय पोस्ट-ट्रेनिंग फ्रेमवर्क प्रस्तावित करता है जो डेलिमिटर टोकन और सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के साथ डिफ्यूजन लैंग्वेज मॉडल्स को अनुकूलित करता है ताकि प्राकृतिक भाषा और विषम ब्लैक-बॉक्स ऑप्टिमाइज़ेशन सिग्नल्स के बीच के डोमेन अंतराल को प्रभावी ढंग से पाटा जा सके, जिससे सीमित डेटा के साथ ऑफलाइन डिज़ाइन डिस्कवरी में अत्याधुनिक परिणाम प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक नई, उत्तम रेसिपी बनाने की कोशिश कर रहे हैं। आपके पास एक नोटबुक है (आपका ऑफलाइन डेटासेट) जिसमें 500 पुरानी रेसिपी और उनके स्वाद का स्कोर दर्ज है। लेकिन आप असल जिंदगी में नई रेसिपी का टेस्ट नहीं कर सकते क्योंकि सामग्री बहुत महंगी है या खाना बनाने में बहुत समय लगता है। आपको केवल अपनी नोटबुक को देखकर ही एक परफेक्ट रेसिपी का पता लगाना है।
यह ब्लैक-बॉक्स ऑप्टिमाइज़ेशन (Black-Box Optimization) की समस्या है। वैज्ञानिक आज भी डीएनए (DNA) अनुक्रमों, रोबोटिक संरचनाओं या नई सामग्रियों को डिजाइन करने के लिए इसका सामना करते हैं। उनके पास डेटा तो है, लेकिन वे हर नए विचार का परीक्षण करने के लिए आसानी से प्रयोग नहीं कर सकते।
पुराना तरीका: "एकतरफा रास्ता" वाला शेफ
पहले, शोधकर्ता इन समस्याओं को हल करने के लिए एआई (AI) मॉडल (जैसे मानक लार्ज लैंग्वेज मॉडल्स) का उपयोग करते थे। इन मॉडल्स को ऐसे शेफ के रूप में सोचें जो रेसिपी को एक-एक शब्द करके, बाएं से दाएं लिखते हैं।
- वे "नमक" से शुरू करते हैं, फिर "काली मिर्च", फिर "मैदा"।
- समस्या: जटिल डिजाइनों (जैसे डीएनए) में, सामग्रियां सभी दिशाओं में एक-दूसरे से जुड़ी होती हैं। शुरुआत में लिखा गया "नमक" अंत में लिखी गई "काली मिर्च" के साथ मेल खाना चाहिए। बाएँ-से-दाएँ लिखने वाला शेफ रेसिपी का अंत लिखे बिना शुरुआत नहीं देख सकता, इसलिए वह इन महत्वपूर्ण संबंधों को मिस कर देता है।
नया समाधान: "सब-कुछ देखने वाला" डिफ्यूजन शेफ
लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं जो डिफ्यूजन लैंग्वेज मॉडल्स (Diffusion Language Models) का उपयोग करता है। कल्पना कीजिए कि एक शेफ है जो रेसिपी को शून्य से शुरू नहीं करता। इसके बजाय, वे एक खाली पन्ने से शुरू करते हैं जो बिखरे हुए निशानों (शोर/noise) से भरा होता है और धीरे-धीरे, चरण-दर-चरण, उन निशानों को मिटाकर एक उत्तम रेसिपी को प्रकट करते हैं।
क्योंकि वे पूरे पन्ने को एक साथ "मिटा" और "परिष्कृत" कर रहे हैं, वे पूरी रेसिपी (शुरुआत, मध्य और अंत) को एक साथ देख सकते हैं। यह उन्हें यह समझने की अनुमति देता है कि शुरुआत का "नमक" अंत की "काली मिर्च" से कैसे जुड़ता है। इसे द्विदिश मॉडलिंग (bidirectional modeling) कहा जाता है।
चुनौती: दो भाषाएं बोलना
एक पेच है। ये "डिफ्यूजन शेफ" मूल रूप से केवल सामान्य टेक्स्ट (जैसे कहानियाँ या ईमेल लिखना) पर प्रशिक्षित किए गए थे। लेकिन हमारी समस्या में, नोटबुक में शामिल है:
- निर्देश (प्राकृतिक भाषा: "एक डीएनए अनुक्रम बनाएं...")
- डिजाइन (रेसिपी:
['A', 'C', 'G', 'T'...]) - स्कोर (लेबल:
+0.027)
यदि आप इसे सीधे शेफ के सामने डाल देंगे, तो वे भ्रमित हो जाएंगे। उन्हें लग सकता है कि डीएनए के अक्षर किसी कहानी के रैंडम शब्द हैं।
समाधान: "ट्रैफिक लाइट" सिस्टम (डिलिमिटर्स)
इसे ठीक करने के लिए, लेखकों ने डिलिमिटर टोकन (delimiter tokens) का आविष्कार किया। इन्हें विशेष ट्रैफिक लाइट या ब्रैकेट के रूप में सोचें जो एआई के लिए संकेतकों का काम करते हैं।
|design-start|...|design-end|(लाल बत्ती: "रुकिए! यह रेसिपी है।")|label-start|...|label-end|(हरी बत्ती: "चलिए! यह स्कोर है।")
इन संकेतों को जोड़कर, एआई ठीक-ठीक सीख जाता है कि निर्देश कहाँ समाप्त होते हैं, रेसिपी कहाँ शुरू होती है, और स्कोर कहाँ है। यह "कहानी पढ़ने" और "इंजीनियरिंग की समस्या हल करने" के बीच के अंतर को पाट देता है।
प्रशिक्षण: पूर्णता के दो चरण
लेखकों ने केवल एआई को नोटबुक नहीं दी; उन्होंने इसे दो विशिष्ट चरणों में प्रशिक्षित किया:
सुपरवाइज्ड फाइन-ट्यूनिंग (द "कॉपीकैट" चरण):
एआई को एक प्रॉम्प्ट दिखाया जाता है जिसमें कुछ पुरानी रेसिपी होती हैं और उससे एक नई रेसिपी बनाने के लिए कहा जाता है जो गारंटी के साथ प्रॉम्प्ट में दी गई रेसिपी से बेहतर हो। यह "अच्छे" डिजाइनों के पैटर्न की नकल करना सीखता है। यह एक छात्र की तरह है जो शैली सीखने के लिए पाठ्यपुस्तक से सबसे अच्छे उत्तरों की नकल करता है।रीइन्फोर्समेंट लर्निंग (द "टेस्ट-टेस्ट" चरण):
अब, एआई अपने आप डिजाइन बनाने की कोशिश करता है। यदि नया डिजाइन प्रॉम्प्ट से अधिक स्कोर प्राप्त करता है, तो उसे एक रिवॉर्ड (इनाम) मिलता है (एक वर्चुअल हाई-फाइव)। यदि उसे कम स्कोर मिलता है, तो उसे पेनल्टी (दंड) मिलती है। एआई इन रिवार्ड्स को अधिकतम करना सीखता है, जिससे उसकी केवल "अच्छे" डिजाइन बनाने की नहीं, बल्कि "सर्वश्रेष्ठ" डिजाइन खोजने की क्षमता और भी सटीक हो जाती है।
परिणाम: एक उत्कृष्ट कृति
जब वास्तविक दुनिया की चुनौतियों जैसे प्रोटीन से जुड़ने वाले डीएनए डिजाइन करने या तेजी से चलने वाले रोबोटिक आकार बनाने पर इसका परीक्षण किया गया, तो इस नए तरीके (DiBO) ने लगभग हर अन्य मौजूदा पद्धति को पछाड़ दिया।
संक्षेप में:
यह पेपर एक "सुपर-सीइंग" एआई (डिफ्यूजन मॉडल) को विशेष संकेतों (डिलिमिटर्स) के माध्यम से एक वैज्ञानिक नोटबुक पढ़ना सिखाता है और पहले अच्छे उदाहरणों की नकल करने, फिर उच्चतम स्कोर के लिए प्रतिस्पर्धा करने के लिए प्रशिक्षित करता है। यह वैज्ञानिकों को हजारों महंगे भौतिक प्रयोगों की आवश्यकता के बिना रोबोट और दवाओं के लिए बेहतर डिजाइन खोजने में सक्षम बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।