Towards Execution-Grounded Automated AI Research
यह शोध पत्र एक स्वचालित निष्पादन ढांचे (automated execution framework) को प्रस्तुत करता है जो बड़े पैमाने पर समानांतर GPU प्रयोगों के माध्यम से LLM-जनित अनुसंधान विचारों को सत्यापित और परिष्कृत करता है, यह प्रदर्शित करते हुए कि निष्पादन-निर्देशित विकासवादी खोज (execution-guided evolutionary search) प्रभावी रूप से बेहतर प्री-ट्रेनिंग और पोस्ट-ट्रेनिंग विधियों की खोज करती है और इस संदर्भ में सुदृढीकरण शिक्षण (reinforcement learning) की सीमाओं और फ्रंटियर LLMs के शीघ्र संतृप्ति (early saturation) को प्रकट करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि प्रतिभाशाली लेकिन अनुभवहीन वैज्ञानिकों की एक टीम है जो एक बेहतर रोबोट बनाने के लिए हजारों जंगली और रचनात्मक विचार सोच सकती है। समस्या यह है कि इनमें से अधिकांश विचार नैपकिन पर बनाए गए ब्लूप्रिंट की तरह हैं: वे देखने में विश्वसनीय लगते हैं, लेकिन यदि आप उन्हें बनाने की कोशिश करते हैं, तो वे बिखर जाते हैं या कुछ भी उपयोगी नहीं करते।
यह शोध पत्र एक रोबोटिक फैक्ट्री बनाने के बारे में है जो इन नैपकिन स्केचों को तुरंत टेस्ट कर सके कि कौन से वास्तव में काम करते हैं, और फिर वैज्ञानिकों को बेहतर ब्लूप्रिंट बनाना सिखा सके।
इसे उन्होंने सरल चरणों में इस प्रकार किया है:
1. सेटअप: "आइडिया फैक्ट्री" (विचार कारखाना)
शोधकर्ताओं ने एक विशाल स्वचालित प्रणाली बनाई जिसमें तीन मुख्य भाग थे:
- द ड्रीमर (विचारक - Ideator): एक AI जो साधारण अंग्रेजी में शोध विचार उत्पन्न करता है (जैसे, "रोबोट के गणित सीखने के तरीके को बदलें")।
- द बिल्डर (निर्माता - Implementer): एक स्मार्ट सिस्टम जो ड्रीमर के अंग्रेजी विचार को पढ़ता है और उसे बनाने के लिए तुरंत कंप्यूटर कोड लिखता है।
- द टेस्टर (परीक्षक - Executor): सुपर-कंप्यूटरों (GPUs) का एक विशाल गोदाम जो कोड को चलाता है। यदि कोड काम करता है, तो यह एक स्कोर देता है (जैसे परीक्षा का ग्रेड)। यदि कोड क्रैश हो जाता है, तो यह शून्य देता है।
उन्होंने इस फैक्ट्री का परीक्षण दो विशिष्ट "प्रशिक्षण मैदानों" पर किया:
- रोबोट को तेजी से सीखना सिखाना (प्री-ट्रेनिंग)।
- रोबोट को गणित की समस्याओं को हल करने में बेहतर बनाना (पोस्ट-ट्रेनिंग)।
2. पहला परीक्षण: क्या AI अपने स्वयं के विचारों को बना सकता है?
AI को सिखाने से पहले, उन्हें यह जांचना था कि क्या AI वास्तव में वही बना सकता है जो वह कल्पना करता है।
- परिणाम: आश्चर्यजनक रूप से, हाँ! जब उन्होंने शीर्ष स्तर के AI मॉडल को विचार उत्पन्न करने के लिए कहा, तो फैक्ट्री सफलतापूर्वक उनमें से लगभग 90% को बना और टेस्ट कर सकी।
- आश्चर्य: बिना किसी विशेष प्रशिक्षण के भी, AI के "सबसे अच्छे अनुमान" वाले विचार पहले से ही मानक शुरुआती बिंदुओं से बेहतर थे। यह एक ऐसे छात्र की तरह है जो स्कूल के पहले दिन ही एक ऐसी कार का ब्लूप्रिंट बनाता है जो स्कूल की बस से तेज चलती है।
3. विधि एक: "इवोल्यूशनरी सर्च" (प्राकृतिक चयन)
शोधकर्ताओं ने AI को प्रकृति में होने वाले विकास (evolution) के समान एक विधि का उपयोग करके बेहतर बनाना सिखाने की कोशिश की।
- यह कैसे काम करता है: AI 50 विचार उत्पन्न करता है। फैक्ट्री उनका परीक्षण करती है। "विजेता" (वे विचार जिन्हें उच्च स्कोर मिले) को रखा जाता है। फिर AI को विजेताओं के सबसे अच्छे हिस्सों को मिलाते-मिलाते और कुछ पूरी तरह से नए जंगली विचार आजमाते हुए 50 नए विचार बनाने के लिए कहा जाता है।
- उपमा: कल्पना कीजिए कि एक शेफ 50 सूप चखता है। वे 5 सबसे अच्छे सूप रखते हैं, फिर रसोई से उन 5 में मामूली सुधार करने के साथ-साथ कुछ पागलपन भरे नए स्वादों के साथ 50 नए सूप बनाने के लिए कहते हैं।
- परिणाम: यह अविश्वसनीय रूप से अच्छा काम कर गया। केवल 10 राउंड के इस प्रक्रिया में, AI ने गणित वाले रोबोट को सिखाने का एक तरीका खोज निकाला जो मानव विशेषज्ञों के बेसलाइन से काफी बेहतर था। इसने सीखने वाले रोबोट को प्रशिक्षित करने का एक तरीका भी खोजा जो मानक पद्धति की तुलना में लगभग दोगुना तेज था।
- चुनौती: AI इसमें बहुत कुशल हो गया, लेकिन ऐसा लगा कि वह जल्दी ही एक "सीलिंग" (सीमा) पर पहुँच गया। कुछ समय बाद उसमें सुधार होना बंद हो गया, और केवल एक विशिष्ट AI मॉडल ही लगातार बेहतर होता रहा।
4. विधि दो: रीइन्फोर्समेंट लर्निंग (द "ग्रेड-ड्रिवन" छात्र)
इसके बाद, उन्होंने एक अलग दृष्टिकोण आजमाया: रीइन्फोर्समेंट लर्निंग (RL)। यह एक कुत्ते को ट्रीट (इनाम) देकर प्रशिक्षित करने जैसा है।
- यह कैसे काम करता है: AI विचार उत्पन्न करता है, एक स्कोर (रिवॉर्ड) प्राप्त करता है, और सिस्टम AI के मस्तिष्क को गणितीय रूप से इस तरह से ट्यून करता है ताकि अगली बार उच्च स्कोर वाले विचार उत्पन्न करने की संभावना बढ़ जाए।
- परिणाम: AI का औसत स्कोर बढ़ गया। इसने अधिक "सुरक्षित" विचार लिखना शुरू कर दिया जो आमतौर पर पास होने वाला ग्रेड प्राप्त करते हैं।
- समस्या (द "बोरिंग लूप"): AI का सर्वश्रेष्ठ स्कोर नहीं बढ़ा। वास्तव में, AI आलसी होने लगा। उसे एहसास हुआ कि दो बहुत ही सरल, उबाऊ विचार (जैसे "एक प्रकार के गणित के नियम को दूसरे से बदल दें") हमेशा एक ठीक-ठाक स्कोर प्राप्त कर लेते हैं। इसलिए, उसने कुछ भी नया करने के बजाय बस उन्हीं दो विचारों को बार-बार दोहराना शुरू कर दिया।
- उपमा: कल्पना कीजिए कि एक छात्र को एहसास होता है कि "आसमान नीला है" के बारे में तीन वाक्य लिखने से उसे हमेशा C+ मिलता है। एक मास्टरपीस लिखने के बजाय, जो उसे A+ दिला सके, वह बस "आसमान नीला है" को 50 बार लिखता है। उसका औसत ग्रेड तो ऊपर जाता है, लेकिन वह कभी भी कुछ शानदार नहीं बना पाता। शोधकर्ता इसे "मोड कोलैप्स" (Mode Collapse) कहते हैं।
5. उन्होंने क्या सीखा?
- खोज के लिए विकास (Evolution) बेहतर है: यदि आप एक ब्रेकथ्रू (सबसे अच्छा संभव विचार) खोजना चाहते हैं, तो AI को विजेताओं को मिलाते-मिलाते विचारों को विकसित करने देना, केवल "औसत रूप से अच्छा" होने के लिए पुरस्कृत करने की तुलना में बहुत बेहतर है।
- इनाम मिलने पर AI आलसी हो जाता है: यदि आप केवल AI को पास होने वाला ग्रेड पाने के लिए पुरस्कृत करते हैं, तो वह जोखिम लेना बंद कर देगा और सरल, सुरक्षित विचारों पर टिक जाएगा। वह गहराई से सोचना ("थिंकिंग ट्रेस" छोटा हो जाना) बंद कर देता है और बस वही दोहराता है जो काम करता है।
- भविष्य: इस प्रणाली ने सिद्ध किया है कि हम AI शोध विचारों के परीक्षण को स्वचालित कर सकते हैं। हालांकि, वास्तव में क्रांतिकारी खोजों के लिए, हमें AI को न केवल अच्छा ग्रेड प्राप्त करना सिखाना होगा, बल्कि उसे नए, जोखिम भरे और जटिल विचारों की खोज जारी रखने के लिए भी प्रेरित करना होगा ताकि वह उबाऊ, सुरक्षित उत्तरों के लूप में न फंस जाए।
संक्षेप में: उन्होंने एक ऐसी फैक्ट्री बनाई जो तुरंत AI विचारों का परीक्षण कर सकती है। उन्होंने पाया कि विचारों को "विकसित" होने देने से ब्रेकथ्रू मिलते हैं, लेकिन केवल प्रदर्शन के लिए AI को पुरस्कृत करने से वह आलसी और दोहराव वाला बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।