Test-Time Deep Thinking to Explore Implicit Rules
यह शोध पत्र TTExplore प्रस्तुत करता है, जो एक विशेष 7B "Exp-Thinker" मॉडल का उपयोग करने वाला एक ढांचा है जिसे एक नवीन स्थिर सुदृढीकरण शिक्षण (reinforcement learning) पाइपलाइन के माध्यम से प्रशिक्षित किया गया है ताकि छिपे हुए अंतर्निहित नियमों का अनुमान लगाया जा सके और जटिल टेक्स्ट-आधारित एम्बोडीड कार्यों में इंटेलिजेंट एजेंट के प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: एक नए घर में "अंधा" रोबोट
कल्पना कीजिए कि आपने एक बहुत ही स्मार्ट रोबोट को एक ऐसे घर की सफाई करने के लिए काम पर रखा है जिसमें आप पहले कभी नहीं गए। आप उसे एक सरल निर्देश देते हैं: "साफ प्लेट को काउंटरटॉप पर रख दो।"
रोबोट प्लेट उठाने की कोशिश करता है, लेकिन कुछ नहीं होता। वह फिर से कोशिश करता है। फिर भी कुछ नहीं होता। वह निराश होता है, एक अलग कोण (angle) से कोशिश करता है, और फिर भी विफल रहता है। वह बार-बार एक ही गलती दोहराता रहता है, जैसे कोई हैम्स्टर पहिये पर दौड़ रहा हो, जब तक कि वह हार मान न ले।
ऐसा क्यों होता है?
रोबोट जानता है कि कैसे हिलना है और चीजों को कैसे पकड़ना है (उसके पास सामान्य ज्ञान है)। लेकिन वह इस विशिष्ट घर के छिपे हुए नियमों को नहीं जानता।
- शायद नियम यह है: "किसी वस्तु को छूने से पहले आपको उसके ठीक सामने खड़ा होना होगा।"
- शायद नियम यह है: "आप एक समय में केवल एक ही चीज़ पकड़ सकते हैं।"
- शायद नियम यह है: "आप लैंप चालू किए बिना लैंप के नीचे फूलदान नहीं रख सकते।"
ये नियम दीवारों पर नहीं लिखे हैं। रोबोट को चीजें आजमाकर और यह देखकर कि क्या होता है, इन्हें समझना पड़ता है। वर्तमान AI एजेंट इसमें खराब हैं; वे ट्रायल-एंड-एरर (प्रयास और त्रुटि) के लूप में फंस जाते हैं क्योंकि उन्हें पता नहीं होता कि वे क्यों विफल हो रहे हैं।
समाधान: "सोचने वाला" (The Thinker) और "करने वाला" (The Actor)
इस पेपर के लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे TTExplore (टेस्ट-टाइम एक्सप्लोरेशन) कहा जाता है। वे AI को दो अलग-अलग भूमिकाओं में विभाजित करते हैं, जैसे कि दो लोगों की एक टीम मिलकर काम कर रही हो:
- द एक्टर (The Actor): यह "हाथ" है। यह वह हिस्सा है जो वास्तव में इधर-उधर घूमता है, वस्तुओं को उठाता है, और कार्य करने का प्रयास करता है। यह जो कुछ भी देखता है उसके आधार पर तेजी से कार्य करता है।
- द थिंकर (The Thinker): यह "मस्तिष्क" या "जासूस" है। यह इधर-उधर नहीं घूमता। इसके बजाय, यह एक्टर को देखता है। जब एक्टर विफल होने लगता है या फंस जाता है, तो थिंकर हस्तक्षेप करता है।
थिंकर कैसे काम करता है:
थिंकर उस इतिहास को देखता है कि क्या हुआ: "मैंने प्लेट पकड़ने की कोशिश की, लेकिन कंप्यूटर ने कहा 'कुछ नहीं हुआ।' मैंने फिर से कोशिश की, वही परिणाम। रुको... मैं काउंटर के पीछे खड़ा था। शायद नियम यह है कि मुझे पहले काउंटर के सामने खड़ा होना चाहिए?"
थिंकर फिर एक नोट (एक "गहरा विचार") लिखता है और एक्टर को बताता है: "रुको! पहले काउंटर के सामने खड़े होने की कोशिश करो।" यह एक्टर को लूप से बाहर निकलने और पहेली को सुलझाने में मदद करता है।
कठिन हिस्सा: थिंकर को सिखाना
आप सोच सकते हैं, "बस थिंकर को और स्मार्ट बना दो!" लेकिन एक पेच है। आप एक कंप्यूटर को अच्छा जासूस बनना कैसे सिखा सकते हैं?
स्कूल में, आपको टेस्ट के अंत में ग्रेड मिलता है। लेकिन इस AI की दुनिया में, "ग्रेड" (सफलता या विफलता) एक लंबे, उलझे हुए सफर के बिल्कुल अंत में आता है। यदि थिंकर सफर के बीच में एक बेहतरीन अनुमान लगाता है, लेकिन बाद में एक्टर गलती कर देता है, तो पूरी प्रक्रिया विफल हो जाती है। यह जानना बहुत कठिन है कि थिंकर वास्तव में सहायक था या नहीं। यह थिंकर के प्रशिक्षण को बहुत अस्थिर बनाता है, जैसे किसी को केवल यह बताकर सिखाना कि "अच्छा काम किया" या "बुरा काम किया" जब वह सारे बॉल्स गिरा देता है।
पेपर का समाधान: "वन शॉट" रणनीति
इसे हल करने के लिए, शोधकर्ताओं ने एक विशेष प्रशिक्षण पद्धति बनाई:
- मुख्य क्षण पर ध्यान दें: थिंकर को एक लंबे कार्य के दौरान कई बार बोलने देने के बजाय, वे इसे प्रत्येक प्रयास में केवल एक बार बोलने के लिए मजबूर करते हैं।
- पुरस्कार (Reward): वे उस एकल प्रयास के परिणाम को देखते हैं। यदि थिंकर की सलाह ने एक्टर को लक्ष्य के करीब पहुँचने में मदद की, तो थिंकर को "थम्स अप" (सफलता का संकेत) मिलता है। यदि इसने मदद नहीं की, तो उसे "थम्स डाउन" मिलता है।
- परिणाम: यह प्रशिक्षण को बहुत अधिक स्थिर बनाता है। उन्होंने इस पद्धति का उपयोग करके एक विशेष 7-बिलियन पैरामीटर वाले मॉडल को प्रशिक्षित किया जिसे वे Exp-Thinker कहते हैं।
परिणाम: एक स्मार्ट टीम
शोधकर्ताओं ने इस प्रणाली का परीक्षण पांच अलग-अलग "टेक्स्ट-आधारित वीडियो गेम्स" (सिमुलेटेड वातावरण जहाँ आप वस्तुओं को हिलाने के लिए कमांड टाइप करते हैं) पर किया।
- पहले: थिंकर के बिना, AI एजेंट (बड़े और स्मार्ट होने के बावजूद) लूप में फंस जाते थे और अक्सर विफल होते थे।
- बाद में: जब उन्होंने Exp-Thinker को जोड़ा, तो एजेंट छिपे हुए नियमों को समझने में बहुत बेहतर हो गए।
- औसतन, सफलता दर में 14 से 19 अंक की वृद्धि हुई।
- एजेंट एक ही गलती को दोहराना बंद कर दिए।
- वे दीवार से सिर टकराने के बजाय नए विचारों की खोज करने लगे।
मुख्य निष्कर्ष
यह पेपर दिखाता है कि AI को एक समर्पित "जासूस" की भूमिका देना, जो यह विश्लेषण करने के लिए रुकता है कि वह क्यों विफल हो रहा है, उसे एक नए वातावरण के छिपे हुए नियमों को बहुत तेज़ी से सीखने में सक्षम बनाता है।
केवल चीजें आज़माने के बजाय, अब AI के पास एक साथी है जो कहता है, "रुको, चलो सोचते हैं कि यहाँ वास्तव में क्या हो रहा है," और फिर वह कार्य का मार्गदर्शन करता है। यह सरल बदलाव एक भ्रमित रोबोट को एक बहुत अधिक सक्षम खोजकर्ता (explorer) में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।