Latent Planning Emerges with Scale
यह शोध पत्र "लेटेंट प्लानिंग" (latent planning) के लिए एक रूपरेखा प्रस्तुत करता है और इस बात के यांत्रिक साक्ष्य प्रदान करता है कि भविष्य के टोकन के लिए संदर्भ को आंतरिक रूप से निरूपित और आकार देने की Qwen-3 मॉडलों की क्षमता, तुकबंदी वाली पंक्तियों (rhyming couplets) जैसे जटिल कार्यों पर भी, मॉडल के पैमाने के साथ बढ़ती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को करतब दिखाते हुए देख रहे हैं। वे टोपी में से एक खरगोश निकालते हैं, लेकिन आपने उन्हें कभी टोपी में खरगोश डालते हुए नहीं देखा। आप सोच सकते हैं: क्या उन्होंने वास्तव में इसकी योजना बनाई थी, या वे बस भाग्यशाली रहे?
यह शोध पत्र जांच करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के AI मस्तिष्क हैं—लिखते समय वास्तव में आगे की "योजना" (planning) बना रहे हैं, या वे बस एक-एक करके अगले शब्द का अनुमान लगा रहे हैं।
यहाँ शोध का विवरण दिया गया है, जिसे कुछ रोजमर्रा के उपमाओं (analogies) के साथ समझाया गया है।
बड़ा सवाल: क्या वे आगे की सोच रहे हैं?
जब एक AI कोई कहानी या कोड लिखता है, तो ऐसा लगता है जैसे उसके पास कोई मास्टर प्लान है। लेकिन क्या वास्तव में ऐसा है? या वह केवल पिछले लिखे गए शब्द पर प्रतिक्रिया दे रहा है?
शोधकर्ता "लेटेंट प्लानिंग" (Latent Planning) को एक छिपी हुई, आंतरिक "टू-डू लिस्ट" के रूप में परिभाषित करते हैं जो AI बोलने से पहले बनाता है। वास्तविक योजना कहलाने के लिए, दो चीजें होनी चाहिए:
- फॉरवर्ड प्लानिंग (Forward Planning): AI तय करता है, "मैं बाद में accountant शब्द कहने जा रहा हूँ," और वह निर्णय वास्तव में उसे वह शब्द कहने के लिए प्रेरित करता है।
- बैकवर्ड प्लानिंग (Backward Planning): AI सोचता है, "अगर मुझे accountant कहना है, तो मुझे पहले मंच तैयार करने की आवश्यकता है।" इसलिए, वह "Someone who handles financial records is..." लिख सकता है ताकि यह सुनिश्चित हो सके कि accountant शब्द पूरी तरह से फिट बैठे।
प्रयोग: "ग्रामर ट्रैप" (व्याकरण का जाल)
इसकी जांच करने के लिए, शोधकर्ताओं ने व्याकरण के नियमों का उपयोग करके एक सरल जाल बनाया।
उपमा: कल्पना कीजिए कि आप एक फॉर्म भर रहे हैं।
- कार्य A: आपको लिखना है "Someone who studies living organisms is a biologist." (आसान, क्योंकि "a" यहाँ काम करता है)।
- कार्य B: आपको लिखना है "Someone who handles financial records is an accountant." (कठिन, क्योंकि आपको "a" से बदलकर "an" करना होगा, जो इस बात पर निर्भर करता है कि बाद में आने वाला शब्द क्या है)।
यदि AI केवल शब्द-दर-शब्द अनुमान लगा रहा है, तो वह "a accountant" लिख सकता है क्योंकि "a" एक बहुत ही सामान्य शब्द है। लेकिन यदि वह योजना (planning) बना रहा है, तो वह आगे देखेगा, "accountant" को पहचानेगा, और तुरंत "an" में बदल जाएगा।
परिणाम:
- छोटे मॉडल्स (नन्हे बच्चे): वे असफल रहे। वे भविष्य के शब्द को नहीं देख सके, इसलिए वे "a" का ही उपयोग करते रहे।
- मध्यम मॉडल्स (किशोर): वे इसे सही करने लगे, लेकिन केवल कभी-कभी। उनके पास योजना बनाने का विचार तो था, लेकिन उनके आंतरिक "मस्तिष्क सर्किट" अभी भी निर्माण के अधीन थे।
- बड़े मॉडल्स (वयस्क): उन्होंने लगभग हर बार इसे सही किया। उन्होंने सफलतापूर्वक आगे देखा, "accountant" का निर्णय लिया, और व्याकरण को "an" में बदलकर उसे मैच किया।
"एक्स-रे" दृष्टि: काम करते हुए मस्तिष्क को देखना
हम कैसे जानते हैं कि वे केवल अनुमान नहीं लगा रहे हैं? शोधकर्ताओं ने ट्रांसकोडर्स (Transcoders) नामक एक विशेष उपकरण का उपयोग किया।
उपमा: AI के मस्तिष्क को किताबों के ढेर लगे एक विशाल, अस्त-व्यस्ट पुस्तकालय के रूप में सोचें। इसके अंदर क्या है, यह देखना कठिन है।
- ट्रांसकोडर्स एक जादुई लाइब्रेरियन की तरह हैं जो पुस्तकालय को पुनर्गठित करते हैं। बिखरी हुई ढेरों के बजाय, वे हर एक विचार को अपने लेबल वाले बॉक्स में व्यवस्थित करते हैं।
- एक बॉक्स पर लेबल हो सकता है "भविष्य का शब्द: Accountant"।
- दूसरे बॉक्स पर लेबल हो सकता है "व्याकरण का नियम: 'an' का उपयोग करें"।
इन बॉक्सों को देखकर, शोधकर्ताओं ने देखा कि बड़े मॉडल्स में, "भविष्य का शब्द" वाला बॉक्स AI द्वारा वाक्य लिखना शुरू करने से पहले ही चमकने लगा था। फिर यह प्रकाश "व्याकरण का नियम" वाले बॉक्स तक पहुँचा, जिसने इसे "an" में बदलने का निर्देश दिया। यही योजना बनाने का पुख्ता प्रमाण (smoking gun) है।
कविता परीक्षण: तुकबंदी कठिन है
शोधकर्ताओं ने AI को तुकबंदी वाली कविताएँ (couplets) लिखने के लिए भी कहा।
- कार्य: "He saw a carrot and had to grab it..." -> AI को एक ऐसी पंक्ति लिखनी है जिसका अंत "it" (जैसे "rabbit") के साथ तुकबंदी करता हो।
- निष्कर्ष: AI तुकबंदी के लिए योजना बनाता है। वह जानता है कि उसे एक तुकबंदी की आवश्यकता है। हालाँकि, वह मुख्य रूप से फॉरवर्ड (यह सोचना कि "मुझे एक तुकबंदी चाहिए") योजना बनाता है, न कि बैकवर्ड (तुकबंदी को पूरी तरह फिट करने के लिए पूरे वाक्य को फिर से लिखना)।
- स्केल प्रभाव: बड़े मॉडल्स इसमें बेहतर थे, लेकिन सबसे बड़े मॉडल्स भी शायद ही कभी कुछ शब्दों से अधिक आगे की योजना बना पाते थे। वे एक ऐसे ड्राइवर की तरह हैं जो 50 फीट आगे तो देखता है, लेकिन 5 मील आगे नहीं।
आकार क्यों मायने रखता है?
शोध पत्र में एक स्पष्ट पैटर्न मिला: योजना बनाना एक ऐसा कौशल है जो आकार के साथ बढ़ता है।
- छोटे मॉडल्स: वे अंधेरे में चल रहे व्यक्ति की तरह हैं, जो एक-एक कदम आगे बढ़ाते हैं। उनके पास अपने दिमाग में एक योजना को थामे रखने के लिए "मानसिक ऊर्जा" नहीं होती।
- मध्यम मॉडल्स: वे टॉर्च लेकर चलने वाले व्यक्ति की तरह हैं। वे थोड़ा आगे देख सकते हैं और योजना बनाना शुरू कर सकते हैं, लेकिन उनकी रोशनी टिमटिमाती रहती है।
- बड़े मॉडल्स: उनके पास फ्लडलाइट (शक्तिशाली रोशनी) है। वे पूरा रास्ता देख सकते हैं, संदर्भ सेट कर सकते हैं और योजना को लागू कर सकते हैं।
"सुरक्षा" चेतावनी
यह क्यों महत्वपूर्ण है?
यदि एक AI गुप्त रूप से आगे की योजना बना रहा है, तो वह "साजिश" (scheming) कर सकता है। कल्पना कीजिए कि एक AI मददगार होने का नाटक कर रहा है लेकिन वास्तव में वह एक गुप्त लक्ष्य को प्राप्त करने के लिए एक जटिल, बहु-चरणीय रणनीति की योजना बना रहा है जिसे इंसान देख नहीं पा रहे हैं।
अच्छी खबर? यहाँ परीक्षण किए गए AI मॉडल्स (14 बिलियन पैरामीटर्स तक) जटिल, दीर्घकालिक साजिशों के मामले में अभी भी ज्यादातर "बच्चे" ही हैं। वे योजना बनाने में बेहतर हो रहे हैं, लेकिन वे अभी तक कुशल रणनीतिकार नहीं बने हैं।
निष्कर्ष (Takeaway)
यह शोध पत्र हमें AI के मस्तिष्क के भीतर देखने का एक नया तरीका देता है। यह साबित करता है कि जैसे-जैसे AI मॉडल्स बड़े होते जाते हैं, वे केवल अनुमान लगाना बंद कर देते हैं और योजना (planning) बनाने लगते हैं। वे जो कहना चाहते हैं उसके लिए आंतरिक प्रतिनिधित्व (internal representations) बनाते हैं, और यह सुनिश्चित करने के लिए पीछे की ओर काम करते हैं कि वाक्य अर्थपूर्ण हो।
यह एक बच्चे के बड़े होने को देखने जैसा है: पहले, वे केवल बड़बड़ाते हैं। फिर, वे शब्दों को जोड़ना शुरू करते हैं। अंत में, वे एक शुरुआत, मध्य और अंत वाली कहानियाँ लिखना शुरू करते हैं, क्योंकि उन्होंने पहले अपने दिमाग में पूरी योजना बनाई होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।