Lomekwi: Resource-Bounded Tool Discovery in LLM Agents
यह शोधपत्र एक संज्ञानात्मक विज्ञान से प्रेरित ढांचे का प्रस्ताव करता है जो टूल डिस्कवरी (उपकरण खोज) को जिज्ञासा, पहचान और दक्षता में विभाजित करता है, जो कॉम्बिनेटोरियल गेम्स और वास्तविक दुनिया के कार्य परिवेशों के विश्लेषण के माध्यम से यह प्रकट करता है कि पहचान क्षमताएं मॉडल के आकार के साथ व्युत्क्रमानुपाती रूप से घटती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक नई दुनिया में जीवित रहने के लिए सीखते हुए देख रहे हैं। लंबे समय से, वैज्ञानिक इन रोबोटों को एक टूलबॉक्स थमाकर यह परीक्षण कर रहे हैं कि, "क्या आप इस दीवार को ठीक करने के लिए इस हथौड़े का उपयोग कर सकते हैं?" या "क्या आप उस बोल्ट को कसने के लिए इस रिंच का उपयोग कर सकते हैं?" यदि रोबोट दीवार को ठीक कर देता है, तो हम कहते हैं कि वह स्मार्ट है। लेकिन यह एक शेफ का परीक्षण करने जैसा है जिसमें केवल उससे उस चाकू का उपयोग करने के लिए पूछा जाता है जो उसे अभी दिया गया है, यह कभी नहीं देखा जाता कि क्या वह खुद कभी चाकू उठाने के बारे में सोचेगा भी। वास्तविक दुनिया में, और जंगल में, स्मार्ट होने का मतलब केवल उन औजारों का उपयोग करना नहीं है जिन्हें आप पहले से जानते हैं; बल्कि यह देखना है कि "अरे, अगर मैं इन दो चीजों को एक साथ जोड़ दूँ, तो मैं एक उपकरण बना सकता हूँ!" यह शोध पत्र इसी लापता कड़ी की गहराई में उतरता है: खोज का क्षण। यह एक सरल लेकिन पेचीदा सवाल पूछता है: जैसे-जैसे रोबट (विशेष रूप से, AI भाषा मॉडल) बड़े और अधिक स्मार्ट होते जा रहे हैं, क्या वे वास्तव में अपने स्वयं के उपकरण आविष्कृत करने में बेहतर हो रहे हैं, या वे केवल उन उपकरणों का उपयोग करने में बेहतर हो रहे हैं जिनके बारे में उन्हें बताया गया है?
इस अध्ययन के पीछे के शोधकर्ताओं ने, येल और Sea12 टेक्नोलॉजीज की एक टीम के साथ मिलकर, केवल यह मापने के बजाय कि क्या रोबोट खेल जीतता है, निर्णय लिया कि वे खेल को आविष्कार की एक रेसिपी की तरह तीन अलग-अलग चरणों में तोड़ देंगे। सबसे पहले, जिज्ञासा (Curiosity): क्या रोबोट वास्तव में उन हिस्सों की तलाश करता है जिनकी उसे आवश्यकता है? दूसरा, पहचान (Recognition): एक बार जब उसके पास हिस्से आ जाते हैं, तो क्या उसे एहसास होता है कि, "ओह, मैं इन्हें एक मशीन बनाने के लिए जोड़ सकता हूँ"? और तीसरा, दक्षता (Efficiency): एक बार जब वह मशीन बना लेता है, तो क्या वह वास्तव में जीतने के लिए उसका उपयोग कर सकता है? उन्होंने इस खेल का परीक्षण करने के लिए "लोमेक्वी" (Lomekwi) नामक एक विशेष डिजिटल प्लेग्राउंड बनाया (जिसका नाम एक वास्तविक स्थान के नाम पर रखा गया है जहाँ प्राचीन मनुष्यों ने पहली बार पत्थर के औजारों का उपयोग किया था)। इस खेल में, रोबोट को बंद दरवाजे खोलने होते हैं। वह या तो हर एक दरवाजे को तब तक ज़बरदस्ती खोलने (brute-force) की कोशिश कर सकता है जब तक कि उसे चाबियाँ न मिल जाएं (एक धीमा, उबाऊ काम), या वह विशिष्ट टुकड़ों को खोज सकता है, उन्हें एक मशीन में जोड़ सकता है, और दरवाजों को तुरंत खोलने के लिए उस मशीन का उपयोग कर सकता है।
यहीं पर चीजें अजीब और विरोधाभासी हो जाती हैं। आप उम्मीद कर सकते हैं कि बड़े, अधिक शक्तिशाली AI मॉडल हर चीज़ में सर्वश्रेष्ठ होंगे: पुर्जों को खोजना, मशीन बनाने के तरीके को समझना और उसका उपयोग करना। लेकिन यह शोध पत्र कुछ आश्चर्यजनक सुझाव देता है। जबकि सबसे बड़े मॉडल "ग्राइंड" (हाथों से समस्याओं को हल करना) में बहुत अच्छे हैं और एक बार उपकरण मिलने पर बहुत कुशल होते हैं, वे अपनी पहचान (Recognition) खोते हुए प्रतीत होते हैं। ऐसा लगता है जैसे सबसे स्मार्ट मॉडल अपनी स्वयं की क्षमता पर इतना आत्मविश्वासी हो जाता है कि वह शॉर्टकट खोजने के बजाय समस्याओं को ज़बरदस्ती हल करने में लगा रहता है। वे उस चमकदार नई मशीन को अनदेखा कर देते हैं जिसे वे बना सकते थे क्योंकि वे सोचते हैं, "मैं इसे खुद ही कर सकता हूँ।"
वास्तव में, शोधकर्ताओं ने पाया कि जैसे-जैसे मॉडल बड़े होते गए, वे वास्तव में उपकरण बनाने के अवसर को पहचानने में और भी बुरे होते गए। एक प्रयोग में, एक छोटा मॉडल एक विशाल, सुपर-स्मार्ट मॉडल की तुलना में उपकरण बनाने की विधि खोजने में बहुत अधिक सक्षम था। बड़े मॉडल अपनी खुद की "शक्ति" से पहेली को सुलझाने में इतने व्यस्त थे कि उन्होंने "दिमाग" वाले समाधान को मिस कर दिया। हालाँकि, शोध पत्र यह भी सुझाव देता है कि यह एक बड़े पैटर्न का हिस्सा हो सकता है। जब शोधकर्ताओं ने बड़े मॉडलों को एक छोटा सा संकेत दिया कि एक उपकरण हो सकता है मौजूद हो, तो बड़े मॉडल अचानक जाग गए और फिर से खोजने लगे, जिससे पता चला कि वे अक्षम नहीं थे, बल्कि केवल अति-आत्मविश्वासी थे।
तो, इसका क्या अर्थ है? यह पता चला है कि एक "उपकरण उपयोगकर्ता" होना और एक "उपकरण आविष्कारक" होना दो बहुत अलग कौशल हैं। एक मॉडल एक जीनियस हो सकता है यदि उसे कोई उपकरण सौंपा जाए, लेकिन वह यह समझने में पूरी तरह विफल हो सकता है कि उसे इसकी आवश्यकता है। शोध पत्र सुझाव देता है कि जैसे-जैसे AI बड़ा होता जा रहा है, हम इस रचनात्मक खोज की चमक में गिरावट देख रहे हैं, इसलिए नहीं कि AI कम बुद्धिमान हो रहा है, बल्कि इसलिए क्योंकि वह बिना किसी मदद के समस्याओं से जूझने की अपनी क्षमता पर बहुत अधिक भरोसा करने लगा है। यह एक याद दिलाता है कि कभी-कभी सबसे समझदारी भरा काम यह होता है कि आप सब कुछ खुद करने की कोशिश करना छोड़ दें और मदद के लिए एक उपकरण की तलाश करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।