What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
यह शोध पत्र सरल, स्केलेबल तकनीकों को प्रस्तुत करता है जो यह प्रदर्शित करती हैं कि इम्पलिसिट प्लानिंग (implicit planning)—एक ऐसी प्रक्रिया जहाँ भाषा मॉडल तुकबंदी या उत्तर जैसे भविष्य के लक्ष्यों की ओर मध्यवर्ती टोकन को निर्देशित करते हैं—एक सार्वभौमिक क्षमता है जो 1B पैरामीटर्स जितने छोटे मॉडलों में भी मौजूद है, जो एआई सुरक्षा और नियंत्रण के लिए नई अंतर्दृष्टि प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को टोपी से खरगोश निकालते हुए देख रहे हैं। आप सोच सकते हैं: क्या जादूगर ने वास्तव में टोपी से खरगोश निकालने की योजना पहले ही बना ली थी, या उन्होंने बस टोपी में हाथ डालते ही अचानक खरगोश निकालने का फैसला कर लिया?
लंबे समय तक, वैज्ञानिक सोचते थे कि लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स जैसे टूल्स के पीछे का AI दिमाग हैं—ठीक वैसे ही थे जैसे वे जादूगर जो पहले से योजना नहीं बनाते। उनका मानना था कि AI केवल पिछले शब्द के आधार पर अगले शब्द की भविष्यवाणी करता है, जैसे कोई तोता ध्वनियों को दोहरा रहा हो, बिना यह जाने कि वाक्य कहाँ जा रहा है।
यह शोध पत्र, जिसका शीर्षक "What's the Plan?" है, तर्क देता है कि AI वास्तव में एक रणनीतिक वास्तुकार (strategic architect) है, न कि केवल एक तोता। यह दिखाता है कि ये मॉडल बोलते समय भी गुप्त रूप से अपने भविष्य के कदमों की योजना बना रहे होते हैं।
यहाँ बताया गया है कि लेखकों ने इसे कैसे सिद्ध किया, सरल उपमाओं का उपयोग करके:
1. योजना के दो प्रकार
लेखक योजना को दो भागों में परिभाषित करते हैं, जैसे एक लेखक कविता रचता है:
- फॉरवर्ड प्लानिंग (ब्लूप्रिंट/खाका): वाक्य का दूसरा आधा हिस्सा लिखने से पहले, AI अपने मस्तिष्क में एक छिपा हुआ "ब्लूप्रिंट" बनाता है। वह जानता है, "मुझे इस पंक्ति को ऐसे शब्द के साथ समाप्त करना है जो 'cat' के साथ तुकबंदी (rhyme) करता हो।"
- बैकवर्ड प्लानिंग (निर्माण): जैसे-जैसे वह वाक्य के बीच के शब्द लिखता है, वह उन्हें सूक्ष्म रूप से इस तरह आकार देता है ताकि वह "cat" वाले अंत तक सुचारू रूप से पहुँच सके। यह एक ड्राइवर की तरह है जो 100 मीटर दूर आने वाले मोड़ को देखकर अभी से धीमा होना और लेन बदलना शुरू कर देता है, भले ही वह अभी तक मोड़ पर नहीं पहुँचा हो।
2. प्रयोग: तुकबंदी और प्रश्न
इसे सिद्ध करने के लिए, शोधकर्ताओं ने AI को जटिल निबंध लिखने के लिए नहीं कहा। उन्होंने इसे दो सरल कार्य दिए:
- तुकबंदी (Rhyming): उन्होंने AI को कविता की पहली पंक्ति दी और उसे दूसरी पंक्ति को एक विशिष्ट तुकबंदी के साथ पूरा करने के लिए कहा (उदाहरण के लिए, यदि पहली पंक्ति "brick" पर समाप्त होती है, तो दूसरी को "stick," "trick," या "sick" पर समाप्त होना चाहिए)।
- प्रश्न उत्तर (Question Answering): उन्होंने AI से ऐसे प्रश्न पूछे जहाँ उत्तर के लिए एक विशिष्ट व्याकरण नियम की आवश्यकता थी, जैसे "a" और "an" के बीच चयन करना (जैसे, "a whale" बनाम "an eye")।
3. "रिमोट कंट्रोल" का कमाल
यह इस शोध पत्र का सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने केवल AI को देखा ही नहीं; उन्होंने वाक्य के बीच में ही इसके दिमाग को हैक किया।
कल्पना कीजिए कि AI एक कविता लिख रहा है। जैसे ही वह पहली पंक्ति पूरी करता है, शोधकर्ताओं ने एक "रिमोट कंट्रोल" (एक गणितीय वेक्टर) का उपयोग करके AI के दिमाग को थोड़ा सा धकेला (nudge किया)।
- धक्का (The Nudge): उन्होंने AI के दिमाग को बताया, "उस तुकबंदी को भूल जाओ जो तुम सोच रहे थे। अब, '-ight' (जैसे light या night) वाली तुकबंदी की योजना बनाओ।"
- परिणाम: AI ने केवल अंतिम शब्द को नहीं बदला। उसने वाक्य के बीच के हिस्से को फिर से लिखा।
- बिना धक्के के: "Soaring above where true joy will sing."
- धक्के के साथ: "Soaring above bathed in a golden light."
AI ने "where true joy will" जैसे शब्दों को "bathed in a golden" में बदल दिया क्योंकि उसे नए गंतव्य ("light") तक पहुँचने के लिए एक पुल बनाना था। यह साबित करता है कि AI अपने दिमाग में एक योजना रख रहा था और उसने नए प्लान के अनुसार अपना रास्ता बदल लिया।
4. "छोटे दिमागों" की खोज
इस शोध पत्र में एक बड़ा आश्चर्य यह है कि छोटे AI मॉडल भी ऐसा करते हैं।
पहले, वैज्ञानिक सोचते थे कि केवल विशाल, अत्यंत जटिल मॉडल ही आगे की योजना बना सकते हैं। लेखकों ने पाया कि यहाँ तक कि 1 बिलियन पैरामीटर्स वाले मॉडल (जो AI की दुनिया में अपेक्षाकृत छोटे हैं) भी यह योजना बना रहे हैं। यह केवल "सुपर-स्मार्ट" मॉडल्स की विशेषता नहीं है; यह इन मॉडल्स के काम करने का एक बुनियादी तरीका है।
5. "आर्टिकल" टेस्ट
उन्होंने "आप देखने के लिए क्या उपयोग करते हैं?" (उत्तर: an eye) जैसे प्रश्नों के साथ भी इसका परीक्षण किया।
जब शोधकर्ताओं ने AI को "heart" (जिसके लिए "a" की आवश्यकता होती है) के बारे में सोचने के लिए प्रेरित किया, तो AI ने "heart" शब्द लिखने से पहले ही "an" के बजाय "a" का उपयोग करना शुरू कर दिया।
यह एक व्यक्ति की तरह है जो कहता है, "मैं a... खरीदना चाहता हूँ" और फिर एक व्यंजन (consonant) से शुरू होने वाले शब्द के बारे में सोचने के लिए रुक जाता है, बजाय इसके कि वह कहे "मैं an... खरीदना चाहता हूँ" और फिर महसूस करे कि उसने गलती कर दी। AI ने यात्रा शुरू करने से पहले ही गंतव्य को जान लिया था।
सारांश
यह शोध पत्र दावा करता है कि:
- AI आगे की योजना बनाता है: यह वहाँ पहुँचने से पहले एक छिपा हुआ नक्शा बनाता है कि उसे कहाँ जाना है।
- यह रास्ता बदल देता है: यदि आप यात्रा के बीच में गंतव्य बदल देते हैं, तो AI वहां तक पहुँचने के लिए उठाए जाने वाले कदमों को बदल देता है, न कि केवल अंतिम कदम को।
- यह हर जगह है: यह छोटे और बड़े दोनों मॉडल्स में होता है, कविता और सरल प्रश्नों में भी।
लेखकों ने इस शोध का उपयोग इस विशिष्ट पेपर में नए ऐप्स बनाने या सुरक्षा संबंधी समस्याओं को ठीक करने के लिए नहीं किया; वे केवल यह सिद्ध करना चाहते थे कि AI का "जादू" केवल रैंडम अनुमान नहीं है—यह छिपी हुई, अंतर्निहित योजना (implicit planning) का एक रूप है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।