Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms
यह शोध पत्र तर्क देता है कि ऑटोरेग्रेसिव (autoregressive) और डिफ्यूजन (diffusion) मॉडलों के बीच का पारंपरिक द्वैत भ्रामक है, और इसके बजाय यह प्रस्तावित करता है कि जनरेटिव प्री-ट्रेनिंग को मौलिक एल्गोरिद्मिक सीमाओं को दूर करने के लिए प्रशिक्षण उद्देश्यों का चयन करने से पहले अनुक्रम विस्तार (sequence expansion) और अवस्था परिष्करण (state refinement) के लिए कुशल अनुमान प्रक्रियाओं को डिजाइन करने को प्राथमिकता देनी चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि AI इमेज और टेक्स्ट जनरेशन की दुनिया एक विशाल निर्माण स्थल (construction site) है। वर्षों से, उद्योग दो विशिष्ट प्रकार के निर्माण दलों (crews) के बीच बहस में फंसा हुआ है, यह सोचकर कि वे पूरी तरह से अलग प्रजातियां हैं:
- "एक-एक-ईंट-एक-समय-पर" दल (Autoregressive Models): ये कार्यकर्ता एक ईंट रखते हैं, फिर दूसरी, फिर तीसरी, और बाईं से दाईं ओर एक दीवार बनाते हैं। वे लंबी दीवारें बनाने में माहिर हैं (जैसे लंबी कहानियाँ लिखना), लेकिन वे बीच में कोई गलती ठीक नहीं कर सकते जब तक कि वे पूरी दीवार को फिर से न गिरा दें।
- "मूर्तिकार" दल (Diffusion Models): ये कार्यकर्ता शोर (noise) से भरे संगमरमर के एक विशाल ब्लॉक से शुरुआत करते हैं और बार-बार उसे तराशते हैं, एक आकृति को निखारते हैं जब तक कि एक मूर्ति उभर न आए। वे उच्च गुणवत्ता वाली आकृतियाँ बनाने में माहिर हैं, लेकिन वे आमतौर पर पूरी मूर्ति पर एक साथ काम करते हैं बजाय इसके कि नए हिस्से जोड़ें।
पेपर का बड़ा विचार:
लेखक कहते हैं, "इस बात पर लड़ना बंद करें कि कौन सा दल बेहतर है। यह एक झूठी बहस है।"
उनका तर्क है कि असली अंतर यह नहीं है कि कौन निर्माण कर रहा है (मॉडल का प्रकार), बल्कि यह है कि वे कैसे निर्माण कर रहे हैं (इन्फरेंस प्रक्रिया/inference procedure)। वे प्रस्तावित करते हैं कि हमें AI दक्षता को बढ़ाने के दो अलग-अलग तरीकों को देखना चाहिए:
- एक्सिस 1: सीक्वेंस एक्सपेंशन (चीजें जोड़ना): दीवार को लंबा बनाना या कहानी को बड़ा करना।
- एक्सिस 2: स्टेट रिफाइनमेंट (मौजूदा चीजों को बेहतर बनाना): मूर्ति को पॉलिश करना या दीवार के बीच में किसी गलती को ठीक करना।
पेपर का दावा है कि भविष्य का सर्वश्रेष्ठ AI केवल एक दल को नहीं चुनेगा; बल्कि उसे श्रमिकों को काम पर रखने (ट्रेनिंग) से पहले निर्माण योजना (इन्फरेंस) डिजाइन करनी चाहिए। यदि आपकी योजना दोषपूर्ण है, तो कितनी भी ट्रेनिंग उस पर काम नहीं करेगी।
यहाँ पेपर के तीन मुख्य सबक दिए गए हैं, जिन्हें रोजमर्रा के उदाहरणों के साथ समझाया गया है:
1. "निर्देश की कमी" की समस्या (The DDIM Fix)
परिदृश्य: कल्पना कीजिए कि आप एक GPS ऐप हैं। आप GPS को बताते हैं, "मुझे बिंदु A से बिंदु B तक ले चलो।" लेकिन GPS केवल यह जानता है कि अभी आप कहाँ हैं (बिंदु A) और वर्तमान समय क्या है। उसे यह नहीं पता कि आप कहाँ पहुँचना चाहते हैं (बिंदु B) या आप वहाँ कब पहुँचना चाहते हैं। वह केवल इस आधार पर दिशा का अनुमान लगाता है कि वह अभी कहाँ है।
पेपर का दावा:
वर्तमान AI मॉडल (विशेष रूप से "DDIM" सैंपलर) अक्सर एक शोर वाली छवि से एक स्पष्ट छवि तक एक बड़े कदम में कूदने की कोशिश करते हैं। लेकिन गणित जो वे उपयोग करते हैं वह उस GPS की तरह है: उसे "लक्ष्य समय" (destination time) का पता नहीं होता। वह बिना यह जाने कि उसे कहाँ उतरना है, छलांग लगाने का अनुमान लगाने की कोशिश करता है।
समाधान: पेपर कहता है, "बस GPS को मंजिल बता दें!" केवल AI के मस्तिष्क में "लक्ष्य समय" को एक इनपुट के रूप में जोड़ने से, मॉडल के पास अचानक अंतिम छवि तक एक सटीक, एक-कदम की छलांग लगाने की क्षमता आ जाती है। यह निर्देशों में एक छोटा सा बदलाव है जो पूरी प्रक्रिया को काम करने लायक बनाता है।
2. "पोकर हैंड" की समस्या (Multi-Token Prediction)
परिदृश्य: कल्पना कीजिए कि आप एक वाक्य में अगले दो शब्दों का अनुमान लगाने की कोशिश कर रहे हैं: "द पोकर हैंड इज अ..." (The poker hand is a...)
यदि आप पहले शब्द और दूसरे शब्द का पूरी तरह से स्वतंत्र रूप से अनुमान लगाते हैं, तो आप "हाई" (High) और "हाउस" (House) का अनुमान लगा सकते हैं। व्यक्तिगत रूप से, वे शब्द समझ में आते हैं। लेकिन एक साथ, "हाई हाउस" एक वास्तविक पोकर हैंड नहीं है। आपको समझने की आवश्यकता है कि "हाई" और "हाउस" आपस में जुड़े हुए हैं।
पेपर का दावा:
कई आधुनिक AI मॉडल चीजों को तेज करने के लिए एक साथ कई शब्दों का अनुमान लगाने की कोशिश करते हैं। लेकिन वे अक्सर उन्हें स्वतंत्र रूप से अनुमानित करते हैं, जैसे दो पासे (dice) को अलग-अलग फेंकना। यह शब्दों के बीच के संबंध को तोड़ देता है।
समाधान: पेपर का तर्क है कि यदि आप एक साथ कई शब्दों का अनुमान लगाना चाहते हैं, तो आपके AI को उनके बीच के संबंध (joint distribution) को समझने के लिए प्रशिक्षित किया जाना चाहिए। यदि आप उस संबंध को अनुमान लगाने की प्रक्रिया में शामिल नहीं करते हैं, तो AI अजीब संयोजन बनाता रहेगा, और कोई भी ट्रेनिंग डेटा उस मौलिक दोष को ठीक नहीं कर पाएगा।
3. "लंबी छलांग" बनाम "छोटे कदम" (Flow Maps)
परिदृश्य: कल्पना कीजिए कि आपको एक पहाड़ी के नीचे से ऊपर तक पहुँचना है।
- पुराना तरीका: आप छोटे-छोटे कदम उठाते हैं, और हर कदम के बाद अपना संतुलन चेक करते हैं। यह धीमा है और इसमें कई कदम उठाने पड़ते हैं।
- नया तरीका: आप सीधे ऊपर की ओर एक लंबी, आत्मविश्वासी छलांग लगाना सीखते हैं।
पेपर का दावा:
अधिकांश वर्तमान AI मॉडल छोटे-छोटे कदम (local updates) लेने के लिए प्रशिक्षित होते हैं। वे सीखते हैं कि थोड़ा-थोड़ा कैसे आगे बढ़ना है, फिर थोड़ा और। पेपर का तर्क है कि AI के तेज़ होने के लिए, उसे फ्लो मैप्स (Flow Maps) सीखने की आवश्यकता है।
एक फ्लो मैप को एक "टेलीपोर्टेशन गाइड" के रूप में सोचें। एक छोटा कदम सीखने के बजाय, AI सीधे पथ (मैप) सीखता है ताकि वह एक अव्यवस्थित अवस्था से एक साफ अवस्था तक एक या दो बड़ी छलांग लगाकर पहुँच सके। हाल के तरीके ऐसा करना शुरू कर रहे हैं, और वे बहुत तेज़ हैं क्योंकि वे छोटे कदम लेना बंद कर देते हैं और लंबी दूरी की छलांग लगाना शुरू कर देते हैं।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि हमें इस बात पर ध्यान केंद्रित करना बंद करना होगा कि कोई मॉडल "ऑटोरिग्रेसिव" (Autoregressive) है या "डिफ्यूजन" (Diffusion)। इसके बजाय, हमें पूछना चाहिए:
- क्या योजना AI को कुशलतापूर्वक अधिक सामग्री जोड़ने की अनुमति देती है? (सीक्वेंस एक्सपेंशन)
- क्या योजना AI को अपने काम को कुशलतापूर्वक निखारने की अनुमति देती है? (स्टेट रिफाइनमेंट)
यदि AI की "निर्माण योजना" (इन्फरेंस) में महत्वपूर्ण चर (variables) गायब हैं (जैसे लक्ष्य समय) या वह ऐसी धारणाओं पर आधारित है जो सच नहीं हैं (जैसे शब्दों का स्वतंत्र होना), तो ट्रेनिंग कभी भी पूरी तरह से काम नहीं करेगी। पहले चाल (move) को डिजाइन करें, फिर खिलाड़ी को प्रशिक्षित करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।