Scaling Automatic Research Agents via World Models
यह शोध पत्र वर्ल्ड मॉडल आरएल (WMRL) प्रस्तुत करता है, जो एक सीखे हुए वर्ल्ड मॉडल के साथ महंगे एनवायरनमेंट निष्पादन को प्रतिस्थापित करता है और स्केलिंग बाधाओं को दूर करने के लिए ऑनलाइन डिबायसिंग और इनवर्स-वेरिएंस डीनोइजिंग का उपयोग करता है, जिससे प्रशिक्षण में तेजी आती है और छोटे एजेंटों को स्वचालित अनुसंधान और एम्बॉडीड कार्यों में काफी बड़े बेसलाइन से बेहतर प्रदर्शन करने में सक्षम बनाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल चैट या कविताएँ ही नहीं लिखते, बल्कि वास्तव में विज्ञान भी करते हैं। वे किसी समस्या को देख सकते हैं, समाधान का सपना बुन सकते हैं, एक डिजिटल प्रयोग बना सकते हैं, उसे चला सकते हैं, और देख सकते हैं कि क्या होता है। यह "ऑटोमैटिक रिसर्च" (स्वचालित अनुसंधान) का रोमांचक मोर्चा है, जहाँ AI एजेंट छोटे, अथक वैज्ञानिकों की तरह कार्य करते हैं। इन एजेंटों को उनके काम में वास्तव में कुशल बनाने के लिए, शोधकर्ता 'रीइन्फोर्समेंट लर्निंग' (RL) नामक तकनीक का उपयोग करते हैं। RL को एक कुत्ते को प्रशिक्षित करने की तरह समझें: एजेंट कुछ प्रयास करता है, यदि वह अच्छा करता है तो उसे एक "ट्रीट" (इनाम) मिलता है, और वह इसे फिर से करना सीख जाता है। लेकिन यहाँ एक पेंच है: विज्ञान की वास्तविक दुनिया में, वह "ट्रीट" प्राप्त करना बहुत महंगा है। यह एक कुत्ते से हर बार नया करतब सीखने के लिए एक असली स्टेडियम में मैराथन दौड़ने के लिए कहने जैसा है। स्टेडियम बनाने में समय लगता है, ट्रैक दौड़ने में समय लगता है, और इसमें ऊर्जा की भारी लागत आती है।
यह शोध पत्र इन AI वैज्ञानिकों को प्रशिक्षित करने में आने वाली एक विशिष्ट समस्या पर प्रहार करता है: प्रयोग चलाने की लागत। शोधकर्ताओं ने पाया कि जबकि AI बहुत तेज़ी से हज़ारों विचार सोच सकता है (क्योंकि कंप्यूटर एक साथ कई विचारों को प्रोसेस कर सकते हैं), उन विचारों को एक वास्तविक डिजिटल लैब में चलाना धीमा और महंगा है। यह एक ऐसे शेफ की तरह है जो एक मिनट में लाखों रेसिपी लिख सकता है, लेकिन हर बार जब वे कुछ पकाने की कोशिश करते हैं, तो उन्हें एक नया किचन किराए पर लेना पड़ता है, ताज़ा सामग्री खरीदनी पड़ती है, और ओवन को गर्म होने के लिए एक घंटा इंतज़ार करना पड़ता है। यदि आप शेफ को एक उस्ताद बनाना चाहते हैं, तो आप लाखों भोजन पकाने का खर्च नहीं उठा सकते। सवाल यह बनता है: आप सामग्री पर लाखों डॉलर जलाए बिना शेफ को कैसे प्रशिक्षित करेंगे?
इस पेपर के लेखक, जो इलिनोइस विश्वविद्यालय और अमेज़न की टीमों के साथ मिलकर काम कर रहे हैं, एक चतुर समाधान प्रस्तावित करते हैं जिसे "वर्ल्ड मॉडल आरएल" (WMRL) कहा जाता है। AI को हर एक भोजन एक असली किचन में पकाने के बजाय, वे उसे एक "सिम्युलेटेड किचन" (अनुकरणित रसोई) का उपयोग करना सिखाते हैं—जो कि इस बात का एक तेज़, डिजिटल अनुमान है कि भोजन का स्वाद कैसा होगा। यह सिम्युलेटेड किचन तात्कालिक और सस्ता है। हालाँकि, एक जोखिम है: सिमुलेशन गलत हो सकता है। यह सोच सकता है कि जला हुआ केक स्वादिष्ट है, या कच्चा कुकी बेहतरीन है। यदि AI केवल सिमुलेशन की बात सुनता है, तो वह बुरी आदतें सीख सकता है।
इसे ठीक करने के लिए, टीम ने दो विशेष "सेफ्टी नेट" (सुरक्षा जाल) जोड़े। पहले, वे "ऑनलाइन डिबायसिंग" (Online Debiasing) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि एक टेस्ट-टेस्टर है जो समय-समय पर सिमुलेशन के अनुमानों की जांच एक असली पके हुए केक से करता है। यदि सिमुलेशन लगातार सोचता है कि जले हुए केक अच्छे होते हैं, तो टेस्ट-टेस्टर सिमुलेशन के स्कोर को वास्तविक समय में सुधारता है, जिससे AI को उस विशिष्ट गलती को अनदेखा करना सिखाया जाता है। दूसरा, वे "इनवर्स-वैरिएंस डीनॉइज़िंग" (Inverse-Variance Denoising) का उपयोग करते हैं। यह निर्णायकों के एक समूह की तरह है। कुछ जज तेज़ लेकिन थोड़े अस्थिर (सिमुलेशन) हैं, जबकि अन्य धीमे लेकिन बहुत सटीक (असली किचन) हैं। AI यह सीखता है कि जब तेज़ वाले जज डगमगा रहे हों तो सटीक जजों की बात अधिक सुननी है, और जब सटीक जज शांत हों तो तेज़ वालों की बात अधिक सुननी है। इस प्रकार, AI को सिमुलेशन की गति और वास्तविक दुनिया की सटीकता दोनों प्राप्त होती है।
इसके परिणाम काफी प्रभावशाली हैं। इस विधि का उपयोग करके, शोधकर्ता अपने AI एजेंटों को पारंपरिक तरीके (हर प्रयोग को वास्तविक डिजिटल लैब में चलाने) की तुलना में 3 से 4 गुना तेज़ी से प्रशिक्षित करने में सक्षम रहे। इससे भी बेहतर यह है कि "सिम्युलेटेड किचन" पद्धति से प्रशिक्षित AI एजेंट न केवल तेज़ी से सीखे; बल्कि वे वास्तव में बेहतर वैज्ञानिक भी बन गए। परीक्षणों में, एक छोटा AI मॉडल (जिसमें 4 बिलियन या 9 बिलियन "मस्तिष्क कोशिकाएं" थीं) जिसने इस विधि से प्रशिक्षण लिया था, बड़े, पूर्व-निर्मित AI मॉडलों (जिनमें 48 बिलियन या 120 बिलियन "मस्तिष्क कोशिकाएं" थीं) से बेहतर प्रदर्शन किया, जिन्हें इस तरह से प्रशिक्षित नहीं किया गया था। टीम ने यह भी दिखाया कि यह ट्रिक न केवल कोडिंग और डेटा साइंस के लिए, बल्कि रोबोट को वास्तविक दुनिया में अपने हाथ चलाने के लिए सिखाने के लिए भी काम करती है।
संक्षेप में, यह पेपर सिद्ध करता है कि आपको एक प्रतिभाशाली AI वैज्ञानिक को प्रशिक्षित करने के लिए वास्तविक प्रयोगों पर लाखों डॉलर जलाने की आवश्यकता नहीं है। एक स्मार्ट, स्व-सुधार करने वाले सिमुलेशन का उपयोग करके, आप उन्हें तेज़ी से प्रशिक्षित कर सकते हैं और उन्हें अधिक स्मार्ट बना सकते हैं, जिससे "महंगे खाना पकाने" की बाधा एक सुचारू, तेज़-तर्रार सीखने के अनुभव में बदल जाती है। लेखक दिखाते हैं कि हालांकि सिमुलेशन पूर्ण नहीं हैं, लेकिन सही सुधारों के साथ, वे अगली पीढ़ी के AI शोधकर्ताओं के लिए परम प्रशिक्षण मैदान बन सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।