DecoupleSearch: Decouple Planning and Search via Hierarchical Reward Modeling
यह शोध पत्र DecoupleSearch का प्रस्ताव करता है, जो एक नवीन ढांचा है जो स्टेप सुपरविजन और कैंडिडेट स्पेस कॉम्प्लेक्सिटी की चुनौतियों को संबोधित करने के लिए ड्यूल वैल्यू मॉडल्स और हायरार्किकल बीम सर्च के माध्यम से प्लानिंग और सर्च प्रक्रियाओं को अलग करके एजेंटिक RAG को उन्नत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही पेचीदा पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि "गुलगिचेक हातून के ससुर कौन हैं?" आपके पास एक बहुत ही समझदार सहायक (AI) है जो बहुत कुछ जानता है, लेकिन कभी-कभी वह मनगढ़ंत बातें बना लेता है या अटक जाता है। इसकी मदद करने के लिए, आप सहायक को एक लाइब्रेरी कार्ड देते हैं ताकि वह तथ्यों को खोज सके। इसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है।
हालाँकि, केवल लाइब्रेरी कार्ड होना ही काफी नहीं है। सहायक को यह भी पता होना चाहिए कि इसका उपयोग कैसे करना है। यहीं से एजेंटिक RAG आता है: सहायक एक जासूस की तरह काम करता है, अपनी जांच की योजना बनाता है और चरण-दर-चरण सुरागों की तलाश करता है।
समस्या यह है कि यह जासूस अक्सर रास्ता भटक जाता है। वह या तो एक खराब जांच पथ (investigation path) बना सकता है, या गलत सुरागों की तलाश कर सकता है। यह पेपर, DecoupleSearch, इस जासूस को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करता है ताकि वह रास्ता न भटके।
यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "सब-या-कुछ-नहीं" वाला जासूस
पुराने सिस्टमों में, जासूस एक योजना बनाता था, एक बार खोज करता था और अच्छे की उम्मीद करता था। यदि योजना थोड़ी सी भी गलत होती या खोज से कोई उबाऊ किताब मिलती, तो पूरा उत्तर गलत हो जाता। यह केवल एक ही जगह देखकर घास के ढेर में सुई खोजने की कोशिश करने जैसा था।
2. समाधान: "डबल-कोच" सिस्टम
लेखकों ने एक सिस्टम बनाया जिसे DecoupleSearch कहा जाता है। अपने जासूस के लिए दो विशेषज्ञ कोच रखने के बारे में सोचें:
- प्लानिंग कोच (योजना कोच): यह कोच केवल योजना को देखता है। "क्या यह पहेली को सुलझाने के लिए एक अच्छी रणनीति है?"
- सर्च कोच (खोज कोच): यह कोच केवल सुरागों को देखता है। "क्या यह किताब वास्तव में हमारी वर्तमान योजना के लिए उपयोगी है?"
इन दोनों कामों को अलग करके, सिस्टम एक खराब योजना को बिना खोज की चिंता किए ठीक कर सकता है, और इसके विपरीत भी।
3. प्रशिक्षण: "प्रैक्टिस टूर्नामेंट" (MCTS)
आप इन कोचों को कैसे सिखाते हैं? आप उन्हें केवल उत्तर कुंजी (answer key) नहीं दिखा सकते क्योंकि बीच के चरण बहुत पेचीदा होते हैं।
इसके बजाय, यह पेपर मोंटे कार्लो ट्री सर्च (Monte Carlo Tree Search - MCTS) नामक एक विधि का उपयोग करता है। एक वीडियो गेम की कल्पना करें जहाँ AI एक ही लेवल को हजारों बार खेलता है।
- यह अलग-अलग रास्तों (योजनाओं) और खोजों को आजमाता है।
- कभी-कभी यह जीतता है (सही उत्तर पाता है), कभी-कभी हार जाता है।
- हर गेम के अंत में, यह अपने द्वारा किए गए हर कदम को पीछे मुड़कर देखता है। "उस कदम ने मुझे जीत दिलाई, इसलिए वह अच्छा था। उस कदम ने मुझे बंद रास्ते पर पहुँचा दिया, इसलिए वह बुरा था।"
- यह हर एक कदम को एक "स्कोर" देता है। इससे एक विशाल मानचित्र तैयार होता है कि क्या काम करता है और क्या नहीं।
4. इन्फरेंस (Inference): "ट्री-प्रूनिंग" (पेड़ की छंटाई) प्रक्रिया
जब AI वास्तव में किसी वास्तविक उपयोगकर्ता के प्रश्न का उत्तर देता है, तो वह केवल अनुमान नहीं लगाता। यह Hierarchical Beam Search नामक तकनीक का उपयोग करता है।
एक पेड़ पर चढ़कर एक विशिष्ट फल खोजने की कल्पना करें।
- शाखाओं का विस्तार: हर शाखा पर, AI केवल एक रास्ता नहीं चुनता। वह कई नई शाखाएँ (योजनाएँ) उगाता है और कई अलग-अलग सुरागों की खोज करता है।
- प्रूनिंग (छंटाई): यहीं पर प्लानिंग कोच और सर्च कोच काम आते हैं। वे सभी नई शाखाओं को देखते हैं।
- प्लानिंग कोच कहता है, "यह शाखा आशाजनक लग रही है, लेकिन वह एक बंद रास्ता है। बंद रास्ते को काट दो।"
- सर्च कोच कहता है, "यह किताब जो हमें मिली है, वह बेकार है। इसे फेंक दो। इसे रखो।"
- परिणाम: AI केवल सबसे अच्छी शाखाओं को रखता है और बाकी को काट देता है। यह तब तक दोहराता रहता है जब तक कि वह पेड़ के शीर्ष (अंतिम उत्तर) तक नहीं पहुँच जाता।
यह क्यों काम करता है
इस पेपर ने कई कठिन प्रश्नों (जैसे बहु-चरणीय इतिहास की पहेलियाँ) पर इसका परीक्षण किया। उन्होंने पाया कि:
- बेहतर योजना ही कुंजी है: यदि जासूस के पास एक खराब योजना है, तो कितनी भी खोज क्यों न की जाए, वह काम नहीं आएगी। "प्लानिंग कोच" अत्यंत महत्वपूर्ण है।
- छोटे मॉडल भी स्मार्ट हो सकते हैं: यहाँ तक कि एक छोटा AI मॉडल (जैसे 7-बिलियन पैरामीटर वाला मॉडल) भी इस "प्रूनिंग" तकनीक का उपयोग करके एक बहुत बड़े, अधिक महंगे मॉडल के समान प्रदर्शन कर सकता है। यह एक छोटे, अच्छी तरह से प्रशिक्षित टीम के एक विशाल, बिना प्रशिक्षित टीम को हराने जैसा है।
- यह प्रतिस्पर्धा को पछाड़ देता है: इस सिस्टम ने उन तरीकों को पछाड़ दिया जिन्होंने योजना को खोज से अलग नहीं किया था या जिन्होंने इस "प्रैक्टिस टूर्नामेंट" प्रशिक्षण का उपयोग नहीं किया था।
सारांश
DecoupleSearch आपके AI जासूस को दो विशेषज्ञ कोच और एक प्रैक्टिस सिम्युलेटर देने जैसा है। अंधे होकर अनुमान लगाने के बजाय, AI कई रास्तों को आजमाता है, सिम्युलेटर में अपनी गलतियों से सीखता है, और फिर, वास्तविक समस्या को हल करते समय, वह बुरे विचारों को आक्रामक रूप से काट देता है और केवल सबसे अच्छे को रखता है। यह अधिक सटीक उत्तरों की ओर ले जाता है, विशेष रूप से उन जटिल प्रश्नों के लिए जिनमें गहराई तक जाने की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।