DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas
DreamOn एक नवीन डिफ्यूजन फ्रेमवर्क है जो डायनेमिक लेंथ कंट्रोल स्टेट्स पेश करके मौजूदा डिफ्यूजन लैंग्वेज मॉडल्स की निश्चित-लंबाई वाली जनरेशन की सीमा को दूर करता है, जिससे लचीला, परिवर्तनीय-लंबाई वाला कोड इनफिलिंग सक्षम होता है जो बिना किसी आर्किटेक्चरल बदलाव के अत्याधुनिक ऑटोरेग्रेसिव मॉडल्स के तुलनीय प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी कहानी या कोड के टुकड़े में एक खाली जगह को भरने की कोशिश कर रहे हैं। आपके पास शुरुआत (प्रिफिक्स/prefix) और अंत (सफिक्स/suffix) है, और आपको बीच का हिस्सा लिखना है।
लंबे समय से, सबसे स्मार्ट कंप्यूटर प्रोग्राम (जिन्हें ऑटोरेग्रेसिव मॉडल्स/Autoregressive Models कहा जाता है) इसे एक बार में एक शब्द करके, बाएं से दाएं लिखते रहे हैं, जैसे कोई व्यक्ति वाक्य टाइप करता है। वे इसमें बहुत अच्छे हैं।
फिर, एक नए प्रकार का प्रोग्राम आया जिसे डिफ्यूजन लैंग्वेज मॉडल (DLM) कहा जाता है। इन्हें एक मूर्तिकार की तरह समझें। शब्द-दर-शब्द लिखने के बजाय, वे मिट्टी के एक ऐसे ब्लॉक से शुरुआत करते हैं जहाँ बीच का हिस्सा पूरी तरह से छिपा हुआ (मास्क्ड/masked) होता है। वे छिपे हुए हिस्सों को तराशते हैं, आकार को तब तक निखारते हैं जब तक कि सटीक शब्द सामने न आ जाएं। यह इसलिए अच्छा है क्योंकि वे किसी भी क्रम में गलतियों को सुधार सकते हैं, न कि केवल बाएं-से-दाएं।
समस्या: "फिक्स्ड-साइज़ कैनवस" का जाल (The "Fixed-Size Canvas" Trap)
हालाँकि, इन मूर्तिकारों में एक बड़ी खामी थी। वे केवल उसी आकार के मिट्टी के ब्लॉक पर काम कर सकते थे जो आपने उन्हें दिया था।
- यदि आपने उन्हें एक छोटा ब्लॉक दिया (मान लीजिए 4 छिपे हुए शब्द) लेकिन उत्तर के लिए 20 शब्दों की आवश्यकता थी, तो उनके पास जगह खत्म हो जाएगी और वे एक टूटा हुआ, अधूरा उत्तर देंगे।
- यदि आपने उन्हें एक बहुत बड़ा ब्लॉक दिया (मान लीजिए 64 छिपे हुए शब्द) लेकिन उत्तर के लिए केवल 4 शब्दों की आवश्यकता थी, तो वे भ्रमित हो जाएंगे और अतिरिक्त स्थान को बकवास या दोहराव वाले कचरे से भर देंगे।
पेपर इसे "फिक्स्ड-साइज़ कैनवस" समस्या कहता है। मॉडल इस बात के लिए मजबूर है कि आप छेद का सही आकार पहले से ही अनुमान लगा लें, इससे पहले कि वह काम शुरू कर सके। यदि आपका अनुमान गलत निकला, तो परिणाम खराब होगा।
समाधान: ड्रीमोन (DREAMON)
लेखक DREAMON पेश करते हैं, जो इन मूर्तिकारों को काम करते समय अपने मिट्टी के ब्लॉक का आकार बदलने का तरीका सिखाने का एक नया तरीका है।
उन्होंने मॉडल की शब्दावली में दो विशेष "जादुई कमांड" जोड़े:
[expand]: "मुझे और जगह चाहिए! इस एक छिपे हुए स्थान को दो छिपे हुए स्थानों में बदल दो।"[delete]: "मेरे पास बहुत अधिक जगह है! इस छिपे हुए स्थान को पूरी तरह से हटा दो।"
यह कैसे काम करता है (उपमा)
कल्पना कीजिए कि मॉडल एक फ्रेम के अंदर एक चित्र बना रहा है।
- पुराना तरीका: आप मॉडल को बताते हैं, "इस 10x10 के वर्ग के अंदर चित्र बनाओ।" यदि चित्र को 20x20 की आवश्यकता है, तो मॉडल दब जाएगा। यदि इसे 2x2 की आवश्यकता है, तो मॉडल की जगह बर्बाद हो जाएगी।
- DREAMON तरीका: आप मॉडल को एक फ्रेम देते हैं, लेकिन आप उसे एक रिमोट कंट्रोल भी देते हैं। जैसे ही वह चित्र बनाता है, यदि उसे एहसास होता है कि चित्र फ्रेम के लिए बहुत बड़ा हो रहा है, तो वह
[expand]दबाता है और फ्रेम जादुई रूप से बढ़ जाता है। यदि उसे लगता है कि चित्र बहुत छोटा है और फ्रेम बहुत बड़ा है, तो वह[delete]दबाता है और फ्रेम सिकुड़ जाता है।
मॉडल यह सब अपने आप करता है, इस आधार पर कि उत्तर कैसा दिखना चाहिए। इसे पहले से यह बताने की आवश्यकता नहीं है कि लंबाई कितनी होगी।
परिणाम
शोधकर्ताओं ने कोडिंग कार्यों (कंप्यूटर प्रोग्राम के छूटे हुए हिस्सों को भरने) पर इसका परीक्षण किया।
- DREAMON से पहले: डिफ्यूजन मॉडल्स इस कार्य में बहुत खराब थे यदि "छेद" का आकार उत्तर से मेल नहीं खाता था। यदि आकार थोड़ा भी गलत होता, तो उनका प्रदर्शन लगभग 38% गिर जाता था।
- DREAMON के बाद: मॉडल "शब्द-दर-शब्द" लिखने वाले बेहतरीन मॉडल्स (ऑटोरेग्रेसिव मॉडल्स) जितने अच्छे हो गए। वे किसी भी आकार के छेद को संभाल सकते थे, उत्तर को सही होने तक उसे बड़ा या छोटा करते रहे।
- दक्षता (Efficiency): उन्होंने "डिलीशन ब्रॉडकास्टिंग" (Deletion Broadcasting) नामक एक ट्रिक भी जोड़ी। यदि मॉडल फ्रेम के एक बड़े हिस्से को हटाने का निर्णय लेता है, तो वह इसे एक-एक छोटे टुकड़े के रूप में नहीं करता है; वह पूरे हिस्से को तुरंत हटा देता है, जिससे प्रक्रिया बहुत तेज़ हो जाती है।
सारांश में
DREAMON एक शक्तिशाली लेकिन कठोर उपकरण (डिफ्यूजन मॉडल्स) को उसका आउटपुट फैलाने और सिकोड़ने की लचीलापन प्रदान करता है। यह मनुष्यों को सटीक उत्तर की लंबाई का अनुमान लगाने की आवश्यकता को समाप्त करता है, जिससे ये मॉडल अंततः आज के सर्वश्रेष्ठ कोड-लिखने वाले AI के साथ प्रतिस्पर्धा करने में सक्षम होते हैं, और साथ ही किसी भी क्रम में चीजों को ठीक करने का लाभ भी मिलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।