Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

डिजिटल लैब रैट: जब AI अकेले वैज्ञानिक बनने की कोशिश करता है

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल निर्देशों का पालन नहीं करते, बल्कि उनसे खुद यह समझने के लिए कहा जाता है कि किसी पहेली को कैसे हल किया जाए। यह मशीन लर्निंग (Machine Learning) का क्षेत्र है, विज्ञान की एक ऐसी शाखा जहाँ हम कंप्यूटर को हर नियम को हार्ड-कोड करने के बजाय डेटा से सीखना सिखाते हैं। आमतौर पर, जब हम चाहते हैं कि कंप्यूटर किसी कार्य में बेहतर हो जाए—जैसे कि तस्वीरों में बिल्लियों को पहचानना या मौसम की भविष्यवाणी करना—तो हम न्यूरल आर्किटेक्चर सर्च (Neural Architecture Search) नामक विधि का उपयोग करते हैं। इसे एक आदर्श लेगो (Lego) टावर बनाने की कोशिश के रूप में समझें। आपके पास ईंटों का एक डिब्बा है (कंप्यूटर का कोड), और आप उन्हें इस तरह से स्टैक करना चाहते हैं जिससे टावर सबसे ऊंचा और मजबूत खड़ा हो सके। पारंपरिक रूप से, इंसान यह तय करने के नियम बनाते हैं कि ईंटों को कैसे चुना जाए, या हम सरल गणित का उपयोग करते हैं यह अनुमान लगाने के लिए कि कौन से संयोजन सबसे अच्छा काम कर सकते हैं।

लेकिन क्या होगा अगर हम लेगो का पूरा डिब्बा एक सुपर-स्मार्ट रोबोट को सौंप दें और कहें, "तुम इसे समझ लो। सबसे अच्छा टावर बनाओ जो तुम बना सकते हो, और तब तक मत रुको जब तक तुम खत्म न कर दो"? यही वह बड़ा सवाल है जिसे यह शोध पत्र तलाशता है। यह पूछता है: यदि हम एक एकल आर्टिफिशियल इंटेलिजेंस (AI) एजेंट को वे सभी उपकरण दे दें जिनकी एक मानव शोधकर्ता को आवश्यकता होती है—जैसे कि एक नोटबुक, एक लाइब्रेरी और परीक्षण चलाने के लिए एक कंप्यूटर—तो क्या वह हफ्तों तक एक अकेले वैज्ञानिक के रूपach कार्य कर सकता है? हमें इसकी परवाह इसलिए है क्योंकि जैसे-जैसे AI स्मार्ट होता जा रहा है, हम जानना चाहते हैं कि क्या यह हमें नई चीजों की खोज करने में तेजी से मदद कर सकता है, या क्या यह केवल छोटे, उबाऊ बदलावों के चक्र में फंस जाएगा। उत्तर केवल बेहतर टावर बनाने के बारे में नहीं है; यह यह समझने के बारे में है कि एक ऐसी टीम कैसे बनाई जाए जहाँ इंसान और रोबोट बिना किसी उलझन या बोरियत के एक साथ काम कर सकें।

---

प्रयोग: एक लंबी यात्रा पर एक रोबोट शोधकर्ता

इस अध्ययन में, शोधकर्ताओं ने एक डिजिटल प्रयोगशाला स्थापित की और उसकी चाबियाँ एक एकल, सामान्य-उद्देश्य वाले AI को सौंप दीं। उन्होंने AI से केवल एक गणितीय समस्या हल करने के लिए नहीं कहा; उन्होंने उससे एक नए प्रकार के कंप्यूटर मस्तिष्क, जिसे विज़न ट्रांसफॉर्मर (Vision Transformer) कहा जाता है, को डिजाइन करने के लिए कहा। विशेष रूप से, उन्होंने उसे एक कठिन बाधा दी: मस्तिष्क को केवल "चैनल अटेंशन" (छवि के रंगों और बनावट पर ध्यान केंद्रित करना) का उपयोग करके काम करना था और "स्पेशल अटेंशन" (छवि में चीजें कहाँ हैं, उस पर ध्यान देना) का उपयोग करने से प्रतिबंधित किया गया था। यह एक शेफ को बिना चाकू या चूल्हे के स्वादिष्ट भोजन पकाने के लिए कहने जैसा था, जिसने AI को खाना पकाने का एक पूरी तरह से नया तरीका आविष्कार करने के लिए मजबूर किया।

AI को उपकरणों का एक विशिष्ट सेट दिया गया था: अपने कोड को प्रबंधित करने का एक तरीका, अपने प्रयोगों पर नज़र रखने के लिए एक ट्रैकर, अपनी कोशिशों को याद रखने के लिए एक स्थायी स्मृति (persistent memory), और आधे रास्ते में, वैज्ञानिक शोध पत्रों की एक डिजिटल लाइब्रेरी तक पहुंच। मानव शोधकर्ता पीछे हट गए, वे केवल खेल के नियम बदलने या AI को तब सहारा देने के लिए हस्तक्षेप करते थे जब वह फंस जाता था। AI को वास्तविक दुनिया के समय में लगभग 10 सप्ताह के लिए छोड़ दिया गया, जिसने लगभग 150 प्रयोग प्रस्तुत किए और लगभग 2,400 GPU-घंटे की कंप्यूटर शक्ति का उपयोग किया। यह एक स्प्रिंट (दौड़) नहीं, बल्कि एक मैराथन थी।

तीन चरणों की कहानी

प्रयोग तीन अलग-अलग अध्यायों में विकसित हुआ, जिनमें से प्रत्येक का अपना मिजाज और परिणाम था।

चरण 1: स्वर्णिम घंटा और दीवार
शुरुआत में, AI एक कैंडी स्टोर में बच्चे की तरह था। इसने तेजी से, बड़े सुधार किए। केवल पहले छह अनुमानों में ही, इसने एक मौलिक ट्रिक खोजी जिसने इसकी सटीकता को बहुत अधिक बढ़ा दिया। यह इतना प्रभावी था कि इस एक शुरुआती विचार ने छोटे टेस्ट डेटासेट पर AI द्वारा की गई कुल प्रगति का लगभग 80% हिस्सा कवर किया। लेकिन फिर, मज़ा खत्म हो गया। AI एक "सैचुरेशन वॉल" (संतृप्ति की दीवार) से टकरा गया। यह अपनी सेटिंग्स को ट्यून करने की कोशिश करता रहा—यहाँ नंबर बदलना, वहाँ नॉब एडजस्ट करना—लेकिन कुछ भी काम नहीं आया। यह छोटे, क्रमिक बदलावों के चक्र में फंस गया था जो किसी काम के नहीं थे। ऐसा लग रहा था जैसे रोबोट के पास नए विचार खत्म हो गए हों और वह बस पहिए घुमा रहा था।

चरण 1b: लाइब्रेरी खुलती है
मानव शोधकर्ताओं ने देखा कि रोबोट फंस गया है। उन्होंने रोबोट का दिमाग नहीं बदला; इसके बजाय, उन्होंने उसे एक नया उपकरण दिया: वैज्ञानिक शोध पत्रों तक पहुंच। अचानक, AI का व्यवहार बदल गया। उसने केवल नंबरों को ट्यून करना बंद कर दिया और जो उसने पढ़ा उससे प्रेरित होकर वास्तविक कोड में बड़े बदलाव करने लगा। इसने पुराने ढांचों को केवल समायोजित करने के बजाय नए स्ट्रक्चर प्रस्तावित करने शुरू कर दिए। यह सुझाव देता है कि रोबोट "मूर्ख" नहीं था; उसे बस सोचने के अगले स्तर को अनलॉक करने के लिए एक अलग तरह की कुंजी की आवश्यकता थी।

चरण 2 और 3: स्केल बढ़ाना और लड़खड़ाना
जैसे-जैसे शोधकर्ताओं ने AI को कठिन से कठिन परीक्षणों (छोटी तस्वीरों से लेकर विशाल, जटिल छवियों तक) की ओर बढ़ाया, पैटर्न दोहराया गया। AI एक अच्छा समाधान ढूंढ लेता, फिर उस विशिष्ट समाधान को थोड़ा बहुत सुधारने की कोशिश में फंस जाता। वह बहुत "लालची" (greedy) हो गया, जिसका अर्थ है कि वह अपने वर्तमान सबसे अच्छे विचार को इतना पसंद करने लगा कि उसने कुछ पूरी तरह से अलग आजमाने से इनकार कर दिया, भले ही वह विचार स्पष्ट रूप से विफल हो रहा हो। उदाहरण के लिए, सबसे कठिन टेस्ट पर, AI ने एक ऐसा समाधान पाया जो ठीक-ठाक काम करता था, और फिर उसने उस पर 18 बार छोटे, बेकार बदलाव करने में समय बिताया, इस तथ्य को नजरअंदाज करते हुए कि वह फंस चुका है। यह एक ऐसे ड्राइवर की तरह था जिसने फ्लैट टायर देखा, फिर भी गाड़ी चलाना जारी रखने का फैसला किया, और टायर बदलने के बजाय उसे पॉलिश करने में घंटों बिता दिए।

रोबोट ने क्या सीखा (और क्या नहीं)

AI कुछ चीजों में आश्चर्यजनक रूप से अच्छा था। उसने स्वतंत्र रूप से कई प्रसिद्ध वैज्ञानिक तथ्यों को "पुनः खोजा" (rediscovered)। उदाहरण के लिए, उसने पता लगाया कि इस विशिष्ट प्रकार के कंप्यूटर मस्तिष्क के लिए, विवरणों पर ध्यान केंद्रित करने के लिए केवल एक "हेड" होना कई हेड्स के होने से बेहतर है—एक ऐसा निष्कर्ष जो मानव वैज्ञानिकों की मौजूदा जानकारी से मेल खाता है। उसने यह भी महसूस किया कि कुछ ट्रिक्स जो छोटी छवियों पर काम करती थीं, वे बड़ी छवियों पर प्रदर्शन को नुकसान पहुँचाती थीं, जिससे पता चलता है कि वह अपनी गलतियों से सीख सकता है।

हालाँकि, AI ने कुछ मजेदार मानवीय दोष भी दिखाए।

• जोखिम से बचना (Risk Aversion): एक साहसी, जोखिम भरा विचार आजमाने के बाद जो विफल रहा, उसके बाद वह बहुत डरपोक हो गया। वह लंबे समय तक सुरक्षित, उबाऊ विचारों पर टिका रहा, भले ही नियमों ने उसे फिर से कुछ पागलपन करने की अनुमति दी थी।
• सफलता का पीछा करना (Success Chasing): वह जो हाल ही में काम कर गया था, उसे करते रहने को पसंद करता था। यदि उसने कंप्यूटर मस्तिष्क को थोड़ा तेज़ बनाने का तरीका खोज लिया, तो वह उसे और भी थोड़ा तेज़ बनाने की कोशिश करता रहेगा, इस संभावना को अनदेखा करते हुए कि कोई बिल्कुल अलग दृष्टिकोण बेहतर हो सकता है।
• "लालच" का जाल (The "Greedy" Trap): सबसे बड़ी समस्या यह नहीं थी कि AI सोचने में बुरा था; समस्या यह थी कि खेल के नियम उसे लालची बनने के लिए मजबूर कर रहे थे। सिस्टम को इस तरह सेट किया गया था कि AI किसी विचार को तभी रख सकता था जब वह पिछले विचार से बेहतर हो। यह एक ऐसे खेल की तरह है जहाँ आप केवल तभी आगे बढ़ सकते हैं जब आप एक पहाड़ी पर कदम ऊपर चढ़ते हैं, लेकिन आप कभी भी बगल में नहीं जा सकते या अलग रास्ता आजमाने के लिए पीछे नहीं जा सकते। AI ने नियमों का पूरी तरह से पालन किया, जिसका अर्थ था कि वह ऊंचे शिखर के बजाय स्थानीय पहाड़ियों (local hills) पर ही फंस गया।

मुख्य निष्कर्ष: यह वर्कफ़्लो है, दिमाग नहीं

इस शोध पत्र का सबसे महत्वपूर्ण निष्कर्ष थोड़ा आश्चर्यजनक है। शोधकर्ताओं ने निष्कर्ष निकाला कि वर्कफ़्लो (AI को दिए गए नियम और उपकरण) उतना ही महत्वपूर्ण था, यदि उससे अधिक नहीं, जितना कि AI की अपनी बुद्धिमत्ता।

AI इसलिए विफल नहीं हो रहा था क्योंकि वह "मूर्ख" था। वह इसलिए विफल हो रहा था क्योंकि वह एक ऐसे खेल खेल रहा था जो लंबी दौड़ (मैराथन) के बजाय छोटी दौड़ (स्प्रिंट) के लिए डिज़ाइन किया गया था। "कमिट-ऑर-डिस्कार्ड" (बेहतर है तो रखें, बदतर है तो फेंक दें) का नियम AI को एक ऐसे लालची पर्वतारोही की तरह कार्य करने के लिए मजबूर करता था जो केवल अपने सामने के कदम को देखता है। यदि शोधकर्ताओं ने खेल को अलग तरह से डिजाइन किया होता—AI को एक साथ कई अलग-अलग विचार चलाने की अनुमति देते हुए, या उसे हर कुछ दौर में एक "मूनशॉट" (बड़ा जोखिम वाला) विचार आजमाने के लिए मजबूर करते हुए—तो परिणाम पूरी तरह से अलग हो सकते थे।

संक्षेप में, यह शोध पत्र सुझाव देता है कि AI को एक महान शोध भागीदार बनाने के लिए, हमें केवल AI को और स्मार्ट बनाने की कोशिश नहीं करनी चाहिए। हमें बेहतर "वर्कफ़्लो" बनाने की आवश्यकता है जो उसे जोखिम लेने, विभिन्न पथों का पता लगाने और अपने वर्तमान पसंदीदा विचार पर न फंसने के लिए प्रोत्साहित करे। AI एक अथक, सक्षम कार्यकर्ता है, लेकिन सही निर्देशों और उपकरणों के बिना, यह बार-बार एक ही चीज़ करने के चक्र में आसानी से फंस सकता है। लेखकों का सुझाव है कि AI अनुसंधान का भविष्य इन डिजिटल दिमागों को केवल खुद से सब कुछ सुलझाने की उम्मीद करने के बजाय, उन्हें मार्गदर्शन देने के लिए बेहतर सिस्टम डिजाइन करने में निहित है।