COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search
यह शोध पत्र CoSearch का प्रस्ताव करता है, जो एक फ्रेमवर्क है जो सिमेंटिक ग्रुपिंग और कंपोजिट रिवार्ड्स के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के माध्यम से एक मल्टी-स्टेप रीजनिंग एजेंट और एक जनरेटिव डॉक्यूमेंट रैंकिंग मॉडल को संयुक्त रूप से प्रशिक्षित करता है, और यह प्रदर्शित करता है कि दोनों घटकों को एक साथ अनुकूलित करना उन मौजूदा दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करता है जो रिट्रीवल को एक फिक्स्ड टूल के रूप में मानते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही पेचीदा रहस्य सुलझाने की कोशिश कर रहे हैं, जैसे कि "वह पहला व्यक्ति कौन था जिसने माउंट एवरेस्ट पर चढ़ाई की और फिर इंग्लिश चैनल में तैराकी की?" आपके पास एक शानदार जासूस (AI Agent) है जो सोचने, कड़ियों को जोड़ने और सिद्धांत बनाने में माहिर है। हालाँकि, जासूस सब कुछ नहीं जानता; उसे किताबें खोजने के लिए एक लाइब्रेरियन (Search Engine) को बुलाने की आवश्यकता होती है।
समस्या: जासूस बुद्धिमान है, लेकिन लाइब्रेरियन अनभिज्ञ है
अधिकांश वर्तमान AI सिस्टम में, जासूस को बेहतर सवाल पूछने और पहेलियाँ सुलझाने में माहिर बनाया जाता है। लेकिन लाइब्रेरियन एक ही ढर्रे पर अटका हुआ है—वह एक "फिक्स्ड टूल" है—वे हमेशा पुराने, कठोर तरीके से किताबें खोजने का काम करते हैं।
लेखकों ने महसूस किया कि एक महत्वपूर्ण बात: जासूस अक्सर बहुत अच्छा काम कर रहा होता है, लेकिन लाइब्रेरियन उन्हें गलत किताबें थमा देता है।
- उपमा (Analogy): कल्पना कीजिए कि जासूस पूछता है, "मुझे 19वीं सदी के पर्वतारोहियों के बारे में किताबें दिखाओ।" लाइब्रेरियन, जो थोड़ा सुस्त है, उन्हें आधुनिक पर्वतारोहियों के बारे में या तैराकी के बारे में एक किताब थमा देता है। इसके बाद जासूस को गलत जानकारी के आधार पर उत्तर का अनुमान लगाना पड़ता है, या उसे बार-बार पूछना पड़ता है, जिससे समय बर्बाद होता है।
- प्रयोग: शोधकर्ताओं ने परीक्षण किया कि क्या होता यदि वे जासूस को जादुई रूप से सही किताबें (द "ओरेकल") दे देते। जासूस का प्रदर्शन लगभग 27% बढ़ गया। इससे यह सिद्ध हुआ कि बाधा जासूस का दिमाग नहीं था; बल्कि सही चीज़ खोजने की लाइब्रेरियन की क्षमता थी।
समाधान: COSEARCH (टीम को सह-प्रशिक्षित करना)
यह पेपर COSEARCH नामक एक नया तरीका पेश करता है जिससे AI को प्रशिक्षित किया जाता है। केवल जासूस को प्रशिक्षित करने और लाइब्रेरियन को अकेला छोड़ने के बजाय, वे दोनों को एक साथ प्रशिक्षित करते हैं।
इसे एक डांस पार्टनरशिप की तरह समझें।
- पुराना तरीका: आप डांसर (AI) को पूरी तरह से डांस करना सिखाते हैं, लेकिन आप संगीत (सर्च रिजल्ट्स) को स्थिर और अपरिवतनीय रखते हैं। यदि संगीत ताल से बाहर है, तो डांसर खराब दिखता है।
- COSEARCH तरीका: आप डांसर और डीजे (लाइब्रेरियन/रैंकर) को एक साथ अभ्यास करने के लिए सिखाते हैं। जैसे-जैसे डांसर बेहतर होता जाता है, डीजे उस विशिष्ट स्टेप के लिए एकदम सही गाना बजाना सीख जाता है। जैसे-जैसे डीजे बेहतर गाने चुनने में सक्षम होता है, डांसर और भी जटिल रूटीन परफॉर्म कर सकता है।
उन्होंने यह कैसे किया (जादुई तरकीबें)
उन्हें एक साथ प्रशिक्षित करना कठिन है क्योंकि जासूस अभ्यास के दौरान हर कदम पर अलग-अलग सवाल पूछता है। आप डीजे को यह कैसे सिखाएंगे कि कौन सा गाना "अच्छा" था यदि जासूस ने बीच में ही अनुरोध बदल दिया हो?
लेखकों ने दो चतुर तरकीबों का उपयोग किया:
"सिमिलैरिटी क्लस्टरिंग" ट्रिक (सिमेंटिक ग्रुपिंग):
कल्पना कीजिए कि जासूस अभ्यास के दौरान 100 अलग-अलग सवाल पूछता है। कुछ हैं "एवरेस्ट किसने फतह किया?" और अन्य हैं "एवरेस्ट पर चढ़ने वाला पहला व्यक्ति कौन था?" इनका अर्थ एक ही है लेकिन इन्हें अलग तरह से कहा गया है।
हर सवाल को अद्वितीय मानने के बजाय, COSEARCH समान प्रश्नों को एक साथ समूहबद्ध करता है। यह कहता है, "ठीक है, ये 10 प्रश्न मूल रूप से एक ही विषय के हैं। चलिए देखते हैं कि लाइब्रेरियन ने इस समूह के प्रश्नों पर कैसा प्रदर्शन किया।" यह उन्हें लाखों अतिरिक्त अभ्यास दौरों की आवश्यकता के बिना कुशलतापूर्वक लाइब्रेरियन को प्रशिक्षित करने की अनुमति देता है।"डबल-फीडबैक" स्कोरकार्ड (कंपोजिट रिवॉर्ड):
आप लाइब्रेरियन को कैसे बताते हैं कि उन्होंने अच्छा काम किया?
- अल्पकालिक फीडबैक: "क्या आपने सबसे प्रासंगिक किताब को सबसे ऊपर वाली शेल्फ पर रखा?" (यह Relevance Reward है)।
- दीर्घकालिक फीडबैक: "क्या जासूस ने आपके द्वारा दी गई किताबों का उपयोग करके रहस्य सुलझा लिया?" (यह Trajectory Reward है)।
COSEARCH इन दोनों को जोड़ता है। यदि लाइब्रेरियन शेल्फ पर सही किताब रखता है, तो उसे एक अंक मिलता है। यदि वह किताब जासूस को मामला सुलझाने में मदद करती है, तो उसे बोनस अंक मिलता है। यह लाइब्रेरियन को न केवल कोई भी प्रासंगिक किताब खोजने के लिए, बल्कि वह किताब खोजने के लिए सिखाता है जो वास्तव में समस्या को हल करने में मदद करती है।
परिणाम
जब उन्होंने इस नई टीम-अप का परीक्षण किया:
- AI ने पहले की तुलना में काफी अधिक प्रश्नों को सही ढंग से हल किया।
- "जासूस" को उत्तर खोजने के लिए लाइब्रेरी के चक्कर कम लगाने पड़े (यह अधिक कुशल था)।
- यहाँ तक कि एक छोटे, कम शक्तिशाली जासूस (एक 3-बिलियन पैरामीटर मॉडल) के साथ भी, नया सिस्टम अद्भुत रूप से अच्छा प्रदर्शन करता रहा क्योंकि लाइब्रेरियन बहुत अच्छा मददगार था।
मुख्य निष्कर्ष (The Big Takeaway)
लंबे समय से, AI शोधकर्ता सोचते थे, "यदि हम बस AI को स्मार्ट बना दें, तो यह सब कुछ हल कर देगा।" यह पेपर कहता है, "नहीं! आपको उन उपकरणों को भी स्मार्ट बनाना होगा जिनका AI उपयोग करता है।"
तर्क करने वाले मस्तिष्क (reasoning brain) और खोज उपकरण (search tool) को एक-दूसरे से सीखने के लिए एक साथ प्रशिक्षित करके, हमें एक ऐसा सिस्टम मिलता है जो सत्य खोजने, जटिल समस्याओं को हल करने और एक वास्तविक "एजेंट" के रूप में कार्य करने में बहुत बेहतर है, न कि केवल एक सर्च बार वाले चैटबॉट के रूप में। यह एक बिखरी हुई, अव्यवस्थित लाइब्रेरी वाले जासूस और एक सुपर-इंटेलिजेंट, अडैप्टिव रिसर्च असिस्टेंट वाले जासूस के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।