What We Talk About When We Talk About LLM Planning: Evidence for Two Distinct Planning Abilities
यह शोधपत्र तर्क देता है कि LLM नियोजन प्रदर्शन एक एकल क्षमता स्पेक्ट्रम के बजाय दो विशिष्ट अंतर्निहित दक्षताओं—परिचालनात्मक तर्क (operational reasoning) और संरचनात्मक गणना (structural enumeration)—द्वारा संचालित होता है, जो यह प्रकट करता है कि जहाँ परिचालन तर्क स्केलिंग और लंबे तर्क पथों (reasoning traces) के साथ सुधारता है, वहीं संरचनात्मक गणना इन कारकों के प्रति तुलनात्मक रूप से असंवेदनशील बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप रोबोट्स के एक समूह (लार्ज लैंग्वेज मॉडल्स, या LLMs) को एक विशाल, बहु-चरणीय पहेली सुलझाने की कोशिश करते हुए देख रहे हैं। आप देखते हैं कि कुछ अजीब सा है: कभी वे जीनियस होते हैं, और कभी वे अपने ही पैरों में उलझकर गिर जाते हैं। सामान्य स्पष्टीकरण यह है, "खैर, कुछ पहेलियाँ बस दूसरों की तुलना में कठिन होती हैं।"
लेकिन यह शोध पत्र कहता है, "ठहरो! यह पूरी कहानी नहीं है।"
शोधकर्ता, जो मोनास यूनिवर्सिटी (Monash University) की एक टीम है, तर्क देते हैं कि ये रोबोट केवल इसलिए विफल नहीं हो रहे हैं क्योंकि पहेलियाँ कठिन हैं। इसके बजाय, उनके पास योजना बनाने के लिए दो पूरी तरह से अलग मस्तिष्क कौशल (brain skills) हैं, और ये कौशल बिल्कुल अलग गति से बढ़ते हैं।
मशीन के भीतर दो मस्तिष्क
योजना बनाना (planning) एक घर बनाने जैसा है। शोध पत्र सुझाव देता है कि LLMs के पास उनके टूलबॉक्स में दो अलग-अलग उपकरण हैं:
- "ईंट लगाने वाला" (ऑपरेशनल रीजनिंग - Operational Reasoning): यह एक विशिष्ट ईंट को देखने और पूछने की क्षमता है, "क्या यह यहाँ ठीक से फिट बैठती है? यदि मैं इसे यहाँ रखता हूँ, तो आगे क्या होगा?" यह स्थानीय, चरण-दर-चरण तर्क के बारे में है।
- "वास्तुकार" (स्ट्रक्चरल एन्यूमरेशन - Structural Enumeration): यह पूरे ब्लूप्रिंट को देखने और पूछने की क्षमता है, "क्या हम वास्तव में छत तक पहुँच सकते हैं? वे कौन से आवश्यक मील के पत्थर (landmarks) हैं जिनसे हमें वहाँ पहुँचने के लिए गुजरना ही होगा?" यह बड़ी तस्वीर और लक्ष्य तक के मार्ग को देखने के बारे में है।
शोध पत्र का मुख्य निष्कर्ष यह है कि ये दोनों कौशल एक समान नहीं हैं। आप "ईंट लगाने वाले" कौशल का थोड़ा सा हिस्सा देकर "वास्तुकार" कौशल की कमी को पूरा नहीं कर सकते। यदि रोबोट बड़ी तस्वीर देखने में खराब है, तो व्यक्तिगत ईंटें रखने में बहुत अच्छा होना भी उसे बचा नहीं पाएगा। शोधकर्ता इसे एक "नॉन-कंपेंसेटरी" (non-compensatory) संबंध कहते हैं—जिसका अर्थ है कि एक ताकत दूसरी कमजोरी को ठीक नहीं कर सकती।
महान प्रयोग: आकार बनाम बुद्धिमत्ता
यह साबित करने के लिए, टीम ने केवल रोबोट्स को पहेलियाँ हल करने के लिए नहीं कहा; बल्कि उन्होंने उन्हें एक कठोर "रिपोर्ट कार्ड" प्रणाली के माध्यम से परखा जिसे आइटम रिस्पॉन्स थ्योरी (Item Response Theory) कहा जाता है (यह एक शानदार तरीका है जिससे यह मैप किया जाता है कि एक छात्र क्या जानता है और क्या नहीं)। उन्होंने तीन अलग-अलग परिवारों के रोबोट्स (Qwen, Gemma, और Granite) को तीन अलग-अलग स्थितियों के तहत परखा:
- डायरेक्ट (Direct): बस उत्तर दे दो।
- चेन-ऑफ-थॉट (CoT): "सोचो और बोलकर बताओ" चरण-दर-चरण।
- स्क्रैचपैड (Scratchpad): एक विशेष उपकरण जो रोबोट को नोट्स लिखने और यदि वह किसी डेड एंड (dead end) पर पहुँच जाए तो पीछे हटने (backtrack) की अनुमति देता है।
यहाँ एक मोड़ है:
जब उन्होंने रोबोट्स को बड़ा बनाया (अधिक पैरामीटर्स) या उन्हें सोचने के लिए अधिक समय दिया (लंबे रीजनिंग ट्रेसेस), तो "ईंट लगाने वाला" (Bricklayer) कौशल काफी बेहतर हो गया। रोबट ईंटें रखने और तत्काल चरणों की जाँच करने में बहुत तेज़ हो गए।
लेकिन "वास्तुकार" (Architect) कौशल का क्या हुआ? वह बिल्कुल वैसा ही रहा। रोबोट चाहे कितना भी बड़ा क्यों न हो जाए या उसे कितनी भी देर तक "सोचते रहने" (think out loud) की अनुमति दी जाए, वह बड़ी तस्वीर देखने या लक्ष्य तक पहुँचने के सही रास्ते को खोजने में उतना ही खराब बना रहा।
शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि "बड़े मॉडल = हर चीज़ में बेहतर"। उन्होंने पाया कि केवल मॉडल के आकार को बढ़ाना या अधिक रीजनिंग स्टेप्स जोड़ना "वास्तुकार" की समस्या को ठीक नहीं करता है। यह एक चित्रकार को एक बड़ा कैनवास और बेहतर ब्रश देने जैसा है; वे फूलों (ईंटों) को बेहतर तरीके से पेंट कर सकते हैं, लेकिन वे अभी भी यह नहीं समझ पाएंगे कि घर कैसे बनाया जाता है (संरचना)।
"जादू" का रहस्य: बहुविकल्पीय बनाम मुक्त लेखन
इस अध्ययन का सबसे चंचल और खुलासा करने वाला हिस्सा यह है कि रोबोट्स से उत्तर कैसे माँगा गया।
जब शोधकर्ताओं ने रोबोट्स को एक बहुविकल्पीय प्रश्न दिया (जैसे, "क्या उत्तर A, B या C है?"), तो रोबोट "वास्तुकार" कार्यों में जीनियस की तरह दिखे। लेकिन जब उन्हें शून्य से उत्तर जेनरेट करना था (खुद से लिखना था), तो उन्हीं कार्यों पर उनका प्रदर्शन लगभग शून्य हो गया।
शोध पत्र सुझाव देता है कि "वास्तुकार" कार्यों के लिए, रोबोट वास्तव में गहराई में उत्तर जानता है, लेकिन वह उस ज्ञान को लिखित वाक्य में बदलने में बहुत खराब है। यह एक ऐसे छात्र की तरह है जो परीक्षा में सही उत्तर की ओर इशारा तो कर सकता है लेकिन निबंध लिखने के लिए कहा जाने पर जम जाता है। शोध पत्र ने इस अंतर को मापा और पाया कि यह बहुत बड़ा था: सबसे कठिन "वास्तुकार" कार्यों के लिए, बहुविकल्पीय और मुक्त-लेखन के बीच का अंतर बहुत अधिक था (उनके स्केल पर 0.82 अंक तक)।
इसका क्या अर्थ है (और क्या नहीं)
यह शोध पत्र बहुत सावधानी से कहता है कि "हमने AI प्लानिंग को हल कर दिया!" या "रोबोट्स खराब हैं।" इसके बजाय, वे सुझाव देते हैं कि हम गलत चीज़ को देख रहे थे।
- उन्होंने क्या साबित किया: उन्होंने तीन रोबोट परिवारों से 1,040 अलग-अलग प्लानिंग पहेलियों के डेटा को मापा और एक स्पष्ट, द्वि-आयामी संरचना पाई। उन्होंने दिखाया कि "ईंट लगाने वाला" कौशल आकार के साथ सुधरता है, लेकिन "वास्तुकार" कौशल नहीं।
- उन्होंने क्या खारिज किया: उन्होंने इस विचार के खिलाफ तर्क दिया कि प्लानिंग केवल एक एकल कौशल है जो मॉडल बड़े होने पर बेहतर होता है। उन्होंने यह भी दिखाया कि केवल रोबोट को "स्क्रैचपैड" (नोट्स लिखने की जगह) देना "वास्तुकार" की समस्या को जादुई रूप से ठीक नहीं करता है, भले ही यह "ईंट लगाने वाले" कार्यों में मदद करता हो।
- "शायद": शोध पत्र नोट करता है कि उन्होंने केवल ओपन-सोर्स मॉडल का परीक्षण किया है। वे 100% निश्चित नहीं हो सकते कि किसी अन्य कंपनी के एक गुप्त, सुपर-पावरफुल मॉडल में एक अलग प्रकार का "वास्तुकार" मस्तिष्क नहीं होगा। लेकिन उनके द्वारा परीक्षण किए गए तीन परिवारों के आधार पर, पैटर्न सुसंगत है।
एक जिज्ञासु किशोर के लिए सीख
कल्पना कीजिए कि आप एक वीडियो गेम कैरेक्टर को प्रशिक्षित कर रहे हैं। आप उसे लेवल्स पार करने और बेहतर कवच (armor) देने (मॉडल को स्केल अप करने) के लिए मेहनत कर रहे हैं, और वे व्यक्तिगत प्रहारों (punches) से बचने में बहुत अच्छे हो रहे हैं (ऑपरेशनल रीजनिंग)। लेकिन वे अभी भी यह नहीं समझ पा रहे हैं कि अंतिम बॉस को कैसे हराया जाए क्योंकि वे बॉस के हमले के पैटर्न को नहीं समझ पा रहे हैं (स्ट्रक्चरल एन्यूमरेशन)।
यह शोध पत्र हमें कह रहा है: "वही पुराना कवच पहनना बंद करो! आपको बॉस से लड़ने के कौशल को ठीक करने के लिए एक पूरी तरह से अलग प्रकार के प्रशिक्षण की आवश्यकता है।"
लेखक सुझाव देते हैं कि यदि हम चाहते हैं कि AI प्लानिंग में बेहतर हो, तो हम केवल बड़े मॉडल या लंबे सोचने के समय का इंतज़ार नहीं कर सकते। हमें उन्हें विशेष रूप से "वास्तुकार" कौशल सिखाने का तरीका खोजना होगा, क्योंकि वर्तमान में, उनका मस्तिष्क एक ऐसी दीवार से टकरा रहा है जिसे आकार और समय नहीं तोड़ सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।