Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
यह शोध पत्र "स्टिचिंग नॉइजी डिफ्यूजन थॉट्स" (Stitching Noisy Diffusion Thoughts) प्रस्तावित करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो एक मास्क्ड डिफ्यूजन मॉडल के माध्यम से विविध मध्यवर्ती चरणों को नमूना बनाकर, एक प्रोसेस रिवॉर्ड मॉडल के माध्यम से उन्हें स्कोर करके, और उच्चतम गुणवत्ता वाले चरणों को एक समग्र तर्क में पुनर्संयोजित करके एक ऑटोरेग्रेसिव सॉल्वर को निर्देशित करने के लिए जटिल गणित और कोडिंग कार्यों पर तर्क क्षमता को बढ़ाता है, जिससे मौजूदा विधियों की तुलना में महत्वपूर्ण सटीकता लाभ और विलंबता में कमी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणितीय समस्या या कोड का एक हिस्सा लिखना।
पुराना तरीका: "सब-कुछ-या-कुछ-नहीं" वाली दौड़
पारंपरिक रूप से, AI मॉडल इन समस्याओं को एक मैराथन में दौड़ने वाले एक अकेले धावक की तरह हल करने की कोशिश करते हैं। वे शुरुआत से शुरू करते हैं और सीधे फिनिश लाइन तक दौड़ते हैं।
- समस्या: यदि धावक पहले ही कदम पर लड़खड़ा जाता है (शुरुआत में एक छोटी सी गलती करता है), तो पूरी दौड़ बर्बाद हो जाती है। उन्हें शून्य से फिर से शुरुआत करनी पड़ती है।
- लागत: सुरक्षित रहने के लिए, धावक को बहुत धीरे और सावधानी से दौड़ना पड़ता है, जिसमें बहुत समय लगता है। यदि वे समय बचाने के लिए तेज़ दौड़ने की कोशिश करते हैं, तो उनके लड़खड़ाने की संभावना अधिक होती है।
नया तरीका: "निर्माण दल" (स्टिचिंग नॉइज़ी डिफ्यूजन थॉट्स)
यह पेपर सोचने के एक स्मार्ट और तेज़ तरीके का प्रस्ताव देता है। एक अकेले धावक के बजाय, कल्पना कीजिए कि आपने एक पुल बनाने के लिए निर्माण श्रमिकों (डिफ्यूजन मॉडल) की एक पूरी टीम को काम पर रखा है।
यहाँ बताया गया है कि उनका नया तरीका चरण-दर-चरण कैसे काम करता है:
1. "अव्यवस्थित" अन्वेषण (डिफ्यूजन मॉडल)
एक सावधानीपूर्वक दौड़ने वाले धावक के बजाय, AI एक साथ कई अलग-अलग टीमों को पुल का खाका (स्केच) तैयार करने के लिए भेजता है।
- क्योंकि वे समानांतर (parallel) में तेज़ी से काम कर रहे हैं, वे थोड़े "नॉइज़ी" (अव्यवस्थित) हो सकते हैं। कुछ टीमें शानदार प्रगति करती हैं, लेकिन फिर लड़खड़ा जाती हैं। अन्य बीच में ही फंस जाती हैं।
- जादू: पुराने तरीके के विपरीत, हम उन टीमों को फेंक नहीं देते जो लड़खड़ा गईं। हम उनके ब्लूप्रिंट को देखते हैं और महसूस करते हैं: "अरे, टीम A ने नींव को एकदम सही बना दिया! टीम B ने बीच का हिस्सा समझ लिया! टीम C ने अंतिम मेहराब को बखूबी बनाया!"
2. "निरीक्षक" (प्रोसेस रिवॉर्ड मॉडल - PRM)
अब, हम एक सख्त निरीक्षक (PRM) को लाते हैं। निरीक्षक पूरे पुल को नहीं देखता; वह हर टीम द्वारा लगाई गई हर एक ईंट को देखता है।
- वे हर एक कदम को स्कोर देते हैं।
- "यह ईंट यहाँ? 99% एकदम सही।"
- "वह ईंट वहाँ? 40% डगमगाती हुई, शायद गलत है।"
- यह हमें एक असफल प्रयास के अच्छे हिस्सों को रखने और बुरे हिस्सों को अनदेखा करने की अनुमति देता है।
3. "स्टिचिंग" (असेंबली/जोड़ना)
यही मुख्य नवाचार है। एक ही "सर्वश्रेष्ठ" टीम को चुनने और बाकी को अनदेखा करने के बजाय, हम बेहतरीन ईंटों को आपस में स्टिच (जोड़ते) हैं।
- हम टीम A से एकदम सही नींव लेते हैं।
- हम टीम B से एकदम सही मध्य भाग लेते हैं।
- हम टीम C से एकदम सही ऊपरी हिस्सा लेते हैं।
- हम उन्हें एक सुपर-ब्लूप्रिंट में जोड़ देते हैं। यह सभी के काम के सबसे अच्छे हिस्सों से बना एक "फ्रेंकेंस्टीन" पुल है।
4. "अंतिम वास्तुकार" (ऑटोरिग्रेसिव सॉल्वर)
अंत में, हम यह सुपर-ब्लूप्रिंट एक अंतिम वास्तुकार (एक मानक, सावधान AI मॉडल) को सौंप देते हैं।
- वास्तुकार को अनुमान लगाने या शून्य से निर्माण करने की आवश्यकता नहीं है। उन्हें बस उच्च-गुणवत्ता वाले, स्टिच्ड ब्लूप्रिंट को देखना है और कहना है, "ठीक है, मैं योजना देख रहा हूँ। मैं बस अंतिम उत्तर लिख दूँगा।"
- क्योंकि भारी काम "अन्वेषण" करने वाले तेज़, अव्यवस्थित टीमों द्वारा किया गया था, वास्तुकार को केवल काम पूरा करने के लिए बहुत कम काम करना पड़ता है।
यह एक बड़ी बात क्यों है?
- गति: यह ऐसे है जैसे तेज़, अव्यवस्थित स्केचरों की एक टीम समानांतर में कठिन सोच का काम करती है, जबकि एक धीमा, सावधान विशेषज्ञ अंत में केवल साइन-ऑफ करता है। यह एक अकेले धीमे विशेषज्ञ के पहली बार में सही होने की कोशिश करने की तुलना में बहुत तेज़ है।
- सटीकता: भले ही स्केचर गलतियाँ करें, "स्टिचिंग" प्रक्रिया अच्छे हिस्सों को बचा लेती है। यदि एक टीम बीच में गलती करती है, तो आप पूरा पुल नहीं खोते।
- दक्षता: यह पेपर दिखाता है कि यह तरीका मानक तेज़ तरीकों की तुलना में 30% अधिक सटीक है और मानक धीमे, सावधान तरीकों की तुलना में बहुत तेज़ है।
संक्षेप में:
एक ही पूर्ण पथ पर सब कुछ दांव पर लगाने के बजाय, यह विधि कई अपूर्ण पथों को इकट्ठा करती है, प्रत्येक से सर्वोत्तम हिस्सों को काटती है, उन्हें आपस में जोड़ती है, और परिणाम को पॉलिश करने के लिए एक अंतिम विशेषज्ञ का उपयोग करती है। यह "शोर" (noise) को एक "पुन: प्रयोज्य अच्छे विचारों के पूल" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।