GTA-RAG: Graph-Trajectory-Augmented Reinforcement Learning for Multi-Turn Retrieval-Augmented Reasoning

मानव ज्ञान के विशाल डिजिटल पुस्तकालय में, बड़े भाषा मॉडल (large language models) उत्तर खोजने के लिए शक्तिशाली उपकरण बन गए हैं। ये प्रणालियाँ, विशाल मात्रा में टेक्स्ट पर प्रशिक्षित, लगभग किसी भी प्रश्न के लिए सुसंगत प्रतिक्रियाएँ उत्पन्न कर सकती हैं। हालाँकि, वे कभी-कभी तब संघर्ष करती हैं जब किसी प्रश्न के लिए विभिन्न स्थानों से तथ्यों को जोड़ने की आवश्यकता होती है, जैसे कि किसी व्यक्ति के जीवन परिचय को एक विशिष्ट स्थान से जोड़ने के लिए मध्यवर्ती विवरणों की एक श्रृंखला के माध्यम से। इसे हल करने के लिए, शोधकर्ताओं ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक विधि विकसित की। यह दृष्टिकोण मॉडल को अपनी सोच रोकने, प्रासंगिक दस्तावेजों के लिए एक डेटाबेस खोजने और उन ताज़ा तथ्यों का उपयोग करके अपना उत्तर बनाने की अनुमति देता है। यह एक छात्र को परीक्षा देते समय केवल स्मृति पर निर्भर रहने के बजाय, परामर्श के लिए पाठ्यपुस्तक देने जैसा है।

चुनौती तब उत्पन्न होती है जब उत्तर के लिए कई चरणों की आवश्यकता होती है। एक साधारण खोज एक ऐसा दस्तावेज़ ढूंढ सकती है जिसमें किसी नाम का उल्लेख हो, लेकिन उस विशिष्ट तथ्य का नहीं जिसकी पहेली को सुलझाने के लिए आवश्यकता है। मॉडल को फिर एक अनुवर्ती प्रश्न पूछना होगा, एक और दस्तावेज़ खोजना होगा, और उन दोनों को आपस में जोड़ना होगा। कंप्यूटर को इस तरह से बहु-चरणीय (multi-step) खोज करने के लिए सिखाने के हालिया प्रयासों ने एक प्रशिक्षण पद्धति पर भरोसा किया है जहाँ कंप्यूटर को केवल अंतिम उत्तर सही होने पर ही पुरस्कृत किया जाता है। यह एक छिपी हुई समस्या पैदा करता है: कंप्यूटर भाग्य से या उन तथ्यों का उपयोग करके सही उत्तर का अनुमान लगा सकता है जो वह पहले से जानता था, बिना वास्तव में उन विशिष्ट दस्तावेजों को खोजे जो उसके उत्तर को सच साबित करते हैं। यह वास्तविक सामग्री सीखने के बजाय इच्छित प्रक्रिया को दरकिनार करना सीख जाता है।

एक टीम ने इस समस्या को ठीक करने के लिए GTA-RAG नामक एक नया ढांचा पेश किया है। केवल यह देखने के बजाय कि अंतिम उत्तर सही है या नहीं, उन्होंने एक ऐसी प्रणाली डिजाइन की जो कंप्यूटर को रास्ते में सही साक्ष्य खोजने के लिए पुरस्कृत करती है। उन्होंने अपने ज्ञान आधार (knowledge base) का एक मानचित्र बनाया, जो उनके भीतर वर्णित लोगों, स्थानों और चीजों को दस्तावेजों से जोड़ता है। इस मानचित्र से, उन्होंने हजारों अभ्यास प्रश्न बनाए जहाँ उत्तर तक पहुँचने का मार्ग स्पष्ट रूप से परिभाषित था। फिर उन्होंने कंप्यूटर को इन मार्गों का अनुसरण करने के लिए प्रशिक्षित किया, और हर बार जब वह पहेली के एक नए हिस्से को सफलतापूर्वक प्राप्त करता था, तो उसे पुरस्कृत किया। यह तरीका सुनिश्चित करता है कि कंप्यूटर उन विशिष्ट दस्तावेजों की तलाश करना सीखे जिनकी उसे आवश्यकता है, न कि केवल अंतिम परिणाम का अनुमान लगाए।

शोधकर्ताओं ने विभिन्न कठिन प्रश्नों पर इस दृष्टिकोण का परीक्षण किया जिनमें कई तथ्यों को जोड़ने के लिए कई चरणों की आवश्यकता थी। उन्होंने अपने नए सिस्टम की तुलना अन्य उन्नत तरीकों से की जिन्हें पुराने "केवल-उत्तर" (answer-only) पुरस्कार प्रणाली का उपयोग करके प्रशिक्षित किया गया था। परिणामों ने एक स्पष्ट अंतर दिखाया। नए तरीके का उपयोग करते समय, कंप्यूटर आवश्यक साक्ष्य के पूर्ण क्रम को खोजने में काफी बेहतर था। जटिल, बहु-चरणीय प्रश्नों वाले परीक्षणों में, सिस्टम ने आवश्यक साक्ष्य के लिए सही दस्तावेजों को खोजने की अपनी क्षमता में उल्लेखनीय सुधार किया, और आवश्यक साक्ष्य के लिए 82 प्रतिशत से अधिक की कवरेज दर प्राप्त की, जबकि पुराने तरीकों के लिए यह लगभग 68 प्रतिशत थी।

महत्वपूर्ण रूप से, अध्ययन में पाया गया कि यह सुधार इसलिए नहीं आया क्योंकि कंप्यूटर ने अधिक खोज प्रयास किए या गलत रास्तों पर समय बर्बाद किया। वास्तव में, नया सिस्टम अक्सर कम खोजों के साथ सही जानकारी पा लेता है। इसने अधिक सटीक होना सीखा, यह जानते हुए कि प्रत्येक चरण पर किस दस्तावेज़ को खोजना है। शोधकर्ताओं ने सत्यापित किया कि कंप्यूटर केवल अभ्यास प्रश्नों को रट नहीं रहा है। नए, अनदेखे प्रश्नों पर परीक्षण करते समय, इसने बेहतर प्रदर्शन करना जारी रखा, जिससे यह सिद्ध हुआ कि इसने साक्ष्य एकत्र करने के कौशल को वास्तव में सीख लिया है। यह प्रणाली तब भी अच्छी तरह से काम करती थी जब कंप्यूटर छोटा था, जो यह सुझाव देता है कि प्रशिक्षण की विधि इसके पीछे के 'मस्तिष्क' के आकार से अधिक महत्वपूर्ण है।

सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि सिस्टम ने शॉर्टकट लेना बंद कर दिया। पिछले प्रशिक्षण तरीकों में, एक कंप्यूटर कभी-कभी सही उत्तर तक पहुँच सकता था भले ही उसने सबसे महत्वपूर्ण दस्तावेजों को अनदेखा कर दिया हो, केवल इसलिए क्योंकि उसने सही अनुमान लगाया था। नया प्रशिक्षण तरीका बिना पूर्ण साक्ष्य श्रृंखला प्राप्त किए उच्च स्कोर प्राप्त करना असंभव बना देता है। शोधकर्ताओं ने देखा कि कंप्यूटर तथ्यों के प्रति बहुत अधिक निष्ठावान हो गया, यह सुनिश्चित करते हुए कि प्रत्येक उत्तर उन दस्तावेजों द्वारा समर्थित है जिन्हें उसने वास्तव में पाया है। अनुमान लगाने से साक्ष्य-आधारित तर्क की ओर यह बदलाव एक ऐसे कृत्रिम बुद्धिमत्ता के लिए एक महत्वपूर्ण कदम है जिसे विश्वसनीय और सटीक होने की आवश्यकता है।

इस दृष्टिकोण की सफलता एक विशिष्ट प्रकार के मानचित्र पर निर्भर करती है जो दस्तावेजों को उनमें मौजूद संस्थाओं (entities) से जोड़ता है। शोधकर्ताओं ने अपने संग्रह के ग्रंथों को पढ़कर और तथ्य निकालकर (जैसे, "थॉमस जेफरसन मोंटेसेलो में रहते थे") इस मानचित्र का निर्माण किया। फिर उन्होंने इस मानचित्र का उपयोग ऐसे अभ्यास प्रश्न उत्पन्न करने के लिए किया जहाँ उत्तर दस्तावेजों के माध्यम से एक विशिष्ट पथ का अनुसरण करने पर निर्भर था। कंप्यूटर को इन अभ्यास प्रश्नों का उपयोग करने से पहले, उन्होंने एक जाँच की ताकि यह सुनिश्चित हो सके कि कंप्यूटर वास्तव में उन दस्तावेजों को खोज सकता है जिन्हें उसे खोजना चाहिए। इस सत्यापन चरण ने सुनिश्चित किया कि प्रशिक्षण वास्तविक और प्राप्त करने योग्य कार्यों पर आधारित था।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण पाँच अलग-अलग प्रश्न सेटों पर किया, जो सरल तथ्यात्मक प्रश्नों से लेकर तर्क के तीन या अधिक चरणों की आवश्यकता वाले जटिल पहेलियों तक विस्तृत थे। सरल प्रश्नों पर, नया सिस्टम मौजूदा सर्वोत्तम विधियों के समान प्रदर्शन करता है। हालाँकि, जटिल, बहु-चरणीय प्रश्नों पर, इसने अन्यों को काफी पीछे छोड़ दिया। उदाहरण के लिए, HotpotQA नामक एक डेटासेट पर, जो कठिन मल्टी-हॉप प्रश्नों के लिए जाना जाता है, नए सिस्टम ने 52.9 का स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ RL-आधारित पद्धति को स्पष्ट अंतर से पीछे छोड़ देता है। यह अंतर अन्य जटिल डेटासेट्स पर परीक्षण के दौरान और बढ़ गया, जो साबित करता है कि सुधार विभिन्न प्रकार की कठिन समस्याओं में सुसंगत था।

अध्ययन में यह भी देखा गया कि क्या होता है जब उन्होंने अपने नए सिस्टम के विशिष्ट भागों को हटा दिया। जब उन्होंने कंप्यूटर को रास्ते में साक्ष्य खोजने के लिए पुरस्कृत करना बंद कर दिया और केवल अंतिम उत्तर के लिए पुरस्कृत किया, तो पूर्ण दस्तावेजों की श्रृंखला खोजने की उसकी क्षमता तेजी से गिर गई। इसने पुष्टि की कि नया पुरस्कार तंत्र ही सुधार का मुख्य चालक था। इसी तरह, जब उन्होंने यह जाँच करने वाले चरण को हटा दिया कि क्या दस्तावेज़ वास्तव में प्राप्त करने योग्य हैं, तो सिस्टम के प्रदर्शन में गिरावट आई, जिससे पता चला कि प्रशिक्षण डेटा की उच्च गुणवत्ता बनाने के लिए सत्यापन प्रक्रिया आवश्यक थी। इन परीक्षणों ने सिद्ध किया कि पूरा ढांचा एक प्रभावी शिक्षार्थी बनाने के लिए मिलकर काम करता है।

यह कार्य सुझाव देता है कि हम कंप्यूटर को जानकारी खोजने के लिए कैसे सिखाते है, यह उस जानकारी के समान ही महत्वपूर्ण है। केवल अंतिम परिणाम का निर्णय लेने के बजाय, साक्ष्य खोजने के लिए स्पष्ट, चरण-दर-चरण मार्गदर्शन प्रदान करके, शोधकर्ता मॉडलों को अधिक विश्वसनीय और सटीक बनाने के लिए प्रशिक्षित कर सकते हैं। यह प्रणाली कंप्यूटर के पास विशाल आंतरिक ज्ञान होने पर निर्भर नहीं करती है; इसके बजाय, यह कंप्यूटर को बाहरी उपकरणों का प्रभावी ढंग से उपयोग करना सिखाती है। यह विशेष रूप से उन अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ सटीकता महत्वपूर्ण है, जैसे कि चिकित्सा निदान या कानूनी अनुसंधान, जहाँ एक गलत अनुमान के गंभीर परिणाम हो सकते हैं।

शोधकर्ता स्वीकार करते हैं कि उनकी विधि उस मानचित्र की गुणवत्ता पर निर्भर करती है जो उन्होंने बनाया है। यदि मानचित्र अधूरा है या उसमें त्रुटियां हैं, तो कंप्यूटर सही पथों को नहीं सीख पाएगा। उन्होंने यह भी नोट किया कि उनके प्रयोग ओपन-डोमेन प्रश्नों पर केंद्रित थे, और यह देखना बाकी है कि यह दृष्टिकोण अधिक विशिष्ट क्षेत्रों या विभिन्न प्रकार के डेटा में कितनी अच्छी तरह काम करता है। हालाँकि, अब तक के परिणाम उत्साहजनक हैं, जो दिखाते हैं कि एक संरचित दृष्टिकोण जटिल तर्क कार्यों को संभालने के तरीके में महत्वपूर्ण सुधार ला सकता है।

अंत में, यह अध्ययन प्रदर्शित करता है कि कंप्यूटर को एक शोधकर्ता की तरह सोचना सिखाना संभव है। साक्ष्य एकत्र करने की प्रक्रिया को पुरस्कृत करके, न कि केवल अंतिम निष्कर्ष को, सिस्टम गहराई से जांच करना और सटीक होना सीखता है। यह अनुमान लगाना बंद करता है और सत्यापन करना शुरू करता है। यह बदलाव एक अधिक भरोसेमंद कृत्रिम बुद्धिमत्ता की ओर बढ़ने का प्रतिनिधित्व करता है, जो केवल संभावना के बजाय तथ्यों की एक ठोस नींव पर अपने उत्तर बनाता है। शोधकर्ताओं ने अपना कोड उपलब्ध कराया है, जिससे अन्य लोग इस कार्य को आगे बढ़ा सकें और मशीनें दुनिया के ज्ञान के साथ कैसे बातचीत करती हैं, इसे और अधिक परिष्कृत कर सकें।