Probabilistic Tiny Recursive Model
यह शोध पत्र प्रोबेबिलिस्टिक टिनी रिकर्सिव मॉडल्स (PTRM) का परिचय देता है, जो एक कार्य-अज्ञेय (task-agnostic) ढांचा है जो पुनरावृत्ति के दौरान गॉसियन शोर (Gaussian noise) को इंजेक्ट करके छोटे मॉडलों की तर्क क्षमताओं को बढ़ाता है ताकि स्टोकेस्टिक अन्वेषण संभव हो सके, जिससे बिना किसी रिट्रेनिंग और काफी कम मापदंडों का उपयोग करते हुए जटिल पहेलियों पर फ्रंटियर LLMs की तुलना में सटीकता लगभग दोगुनी हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, छोटा रोबोट है जिसे सुडोकू या लॉजिक ग्रिड जैसी जटिल पहेलियों को हल करने के लिए डिज़ाइन किया गया है। इस रोबोट को टाइनी रिकर्सिव मॉडल (TRM) कहा जाता है, जो अविश्वसनीय रूप से कुशल है। इसे विशाल AI मॉडलों (जैसे कि आपने समाचारों में सुना होगा) की भारी दिमागी शक्ति की आवश्यकता नहीं है; यह कंप्यूटर मेमोरी के एक बहुत छोटे हिस्से का उपयोग करता है।
हालाँकि, इस नन्हे रोबोट में एक दोष है: यह अपने पहले अनुमान पर बहुत अधिक आत्मविश्वासी हो जाता है। एक बार जब यह किसी पहेली के बारे में सोचना शुरू करता है, तो यह एक ही, सीधे रास्ते का अनुसरण करता है। यदि यह गलती से किसी "डेड एंड" (एक गलत समाधान) में कदम रख देता है, तो यह उस डेड एंड में तब तक चलता रहता है जब तक कि यह फंस न जाए, क्योंकि इसके पास पीछे मुड़ने या दूसरा रास्ता आज़माने का कोई तरीका नहीं है। यह एक ऐसे यात्री की तरह है जो, रास्ता देखते ही, सीधे उस रास्ते पर चल पड़ता है भले ही वह रास्ता किसी खाई की ओर ले जाता हो, क्योंकि उसके पास यह कहने का तंत्र नहीं है कि, "रुको, शायद मुझे दूसरा रास्ता आज़माना चाहिए।"
नया विचार: "प्रोबेबिलिस्टिक" (संभाव्यता आधारित) रोबोट
लेखकों ने PTRM (प्रोबेबिलिस्टिक टाइनी रिकर्सिव मॉडल) नामक एक अपग्रेड पेश किया है। उन्होंने रोबोट को कुछ भी नया नहीं सिखाया; उन्होंने इसे फिर से प्रशिक्षित (retrain) भी नहीं किया। इसके बजाय, उन्होंने परीक्षण के दौरान इसके सोचने के तरीके को बदल दिया।
यहाँ उपमा (analogy) दी गई है:
पुराना तरीका (डिटरमिनिस्टिक):
कल्पना कीजिए कि आप एक विशाल, अंधेरी भूलभुलैया में बाहर निकलने का रास्ता खोजने की कोशिश कर रहे हैं। आप एक खोजकर्ता को भेजते हैं। वह आगे बढ़ता है, बाएं मुड़ता है, दाएं मुड़ता है, और चलता रहता है। यदि वह दीवार से टकरा जाता है, तो वह रुक जाता है। यदि वह एक लूप में फंस जाता है, तो वह वहीं हमेशा के लिए रह जाता है। उसे केवल एक ही मौका मिलता है।
नया तरीका (PTRM):
अब, कल्पना कीजिए कि आप एक साथ 100 खोजकर्ताओं को भेजते हैं। लेकिन यहाँ एक ट्रिक है: हर बार जब वे एक कदम उठाते हैं, तो आप उन्हें एक छोटा सा, यादृच्छिक (random) "धक्का" देते हैं (जैसे हवा का एक हल्का सा झोंका)।
- क्योंकि इन यादृच्छिक धक्कों के कारण, 100 खोजकर्ता बिल्कुल एक ही रास्ते पर नहीं चलते हैं।
- उनमें से अधिकांश अभी भी उसी डेड एंड में फंस सकते हैं जहाँ मूल खोजकर्ता फंस गया था।
- लेकिन, उनमें से कुछ को सही तरह से धकेला जा सकता है जिससे वे एक छिपे हुए दरवाजे या एक अलग रास्ते पर stumbled (ठोकर खाकर पहुँच) हो सकते हैं जो बाहर निकलने के रास्ते तक ले जाता है।
एक बार जब सभी 100 खोजकर्ता अपना काम पूरा कर लेते हैं, तो आप केवल सबसे आम उत्तर नहीं चुनते। इसके बजाय, रोबोट के पास एक अंतर्निर्मित "जज" (जिसे Q head कहा जाता है) होता है जो सभी 100 उत्तरों को देखता है और कहता है, "यह वाला सबसे सही लग रहा है।" वह उस विजेता को चुनता है।
यह क्यों महत्वपूर्ण है
पेपर दिखाता है कि "धक्के" दिए गए खोजकर्ताओं को भेजने की यह सरल ट्रिक अविश्वसनीय रूप से अच्छा काम करती है:
- यह डेड एंड से बाहर निकालता है: यादृच्छिक धक्के रोबोट को उन "बुरे बेसिनों" (डेड एंड्स) से बाहर निकलने की अनुमति देते हैं जहाँ मूल रोबोट हमेशा के लिए फंस जाता।
- यह सस्ता है: रोबोट बहुत छोटा है (केवल 7 मिलियन पैरामीटर्स)। यह पहेलियों को दुनिया के सबसे बड़े, सबसे महंगे AI मॉडलों की तुलना में लगभग दोगुना बेहतर तरीके से हल करता है, लेकिन इसे चलाने की लागत 0.0001% से भी कम है।
- यह कठिन पहेलियों पर काम करता है:
- सुडोकू-एक्सट्रीम (Sudoku-Extreme) पर, रोबोट पहेलियों को हल करने की दर 87.4% से बढ़ाकर 98.75% कर देता है।
- लॉजिक पहेलियों के एक संग्रह PPBench पर, इसकी सटीकता 62.6% से बढ़कर 91.2% हो गई। यह आज उपलब्ध सर्वश्रेष्ठ एकल AI मॉडल की सटीकता से लगभग दोगुना है, और इसने शीर्ष 7 AI मॉडलों की पूरी "टीम" को भी हरा दिया।
मुख्य निष्कर्ष
लेखकों ने खोजा कि रोबोट वास्तव में जानता है कि वह सही रास्ते पर है या नहीं (इसके अंतर्निर्मित "जज" की मदद से), लेकिन मूल विधि ने इसे सही रास्ते पर मिलने का मौका ही नहीं दिया यदि इसने गलत रास्ते से शुरुआत की थी। थोड़े से रैंडमनेस (यादृच्छिकता) को जोड़कर और पहेली को समानांतर (parallel) में कई बार चलाकर, उन्होंने बिना कुछ नया सिखाए रोबोट की पूरी क्षमता को अनलॉक कर दिया।
संक्षेप में: केवल खजाना खोजने के लिए एक व्यक्ति को न भेजें; सौ लोगों को थोड़े से अराजक (chaos) के साथ भेजें, और सबसे स्मार्ट वाले को विजेता चुनने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।