Search-on-Graph-R1: Training Large Language Models to Search Knowledge Graphs with Reinforcement Learning
यह शोध पत्र Search-on-Graph-R1 को प्रस्तुत करता है, जो एक 8B-पैरामीटर वाला मॉडल है जो सुपरवाइज्ड फाइन-ट्यूनिंग और सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से ग्राफ नेविगेशन को आंतरिक रूप से आत्मसात करके नॉलेज ग्राफ क्वेश्चन आंसरिंग में अत्याधुनिक प्रदर्शन प्राप्त करता है, और बिना किसी सहायक मॉड्यूल या इन्फरेंस के दौरान LLM जज की आवश्यकता के बड़े फ्रंटियर LLMs से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहु-चरणीय रहस्य को सुलझाने की कोशिश कर रहे हैं, जैसे कि यह पता लगाना कि किसी शहर का मेयर कौन है, लेकिन केवल तभी यदि उस शहर में एक विशिष्ट प्रकार का दुर्लभ पेड़ उगता हो। इसे हल करने के लिए, आप केवल अपनी याददाश्त पर भरोसा नहीं कर सकते; आपका मस्तिष्क पेड़ का नाम या शहर का नाम भूल सकता है, या यह पुराने फिल्मों के तथ्यों को आपस में मिला सकता है। इसके बजाय, आपको एक मानचित्र की आवश्यकता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस मानचित्र को नॉलेज ग्राफ (Knowledge Graph) कहा जाता है। यह एक विशाल, डिजिटल जाल है जहाँ प्रत्येक तथ्य एक बिंदु (एंटिटी) है जो रेखाओं (संबंधों) द्वारा जुड़ा हुआ है। यदि आप उत्तर खोजना चाहते हैं, तो आपको सही बिंदु तक पहुँचने के लिए रेखाओं का अनुसरण करते हुए एक बिंदु से दूसरे बिंदु पर "कूदना" (hop) होगा।
लंबे समय तक, सबसे बुद्धिमान कंप्यूटर दिमाग (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) उन प्रतिभाशाली जासूसों की तरह थे जिन्होंने पुस्तकालय की हर किताब पढ़ ली थी लेकिन वे मानचित्र पढ़ना नहीं जानते थे। उन्हें उत्तर का अनुमान लगाने के लिए अपनी याददाश्त के आधार पर अनुमान लगाना पड़ता था, जिससे अक्सर गलतियाँ होती थीं। नए तरीकों ने इन मॉडल्स को अनुमान लगाने के बजाय एक "सर्च टूल" का उपयोग करके मानचित्र पर कूदना सिखाया, लेकिन खोज करने वाले मॉडल्स एक महंगे, अत्यंत शक्तिशाली रोबोट की तरह थे जिन्हें चलाना बहुत खर्चीला था और जो वास्तविक दुनिया के उपयोग के लिए बहुत धीमे थे। वैज्ञानिकों के सामने बड़ा सवाल यह था: क्या हम एक छोटे, सस्ते और तेज़ रोबोट को बिना किसी महंगे रोबोट की मदद के, इस मानचित्र पर कूदने वाले जासूसी काम को उतनी ही अच्छी तरह से करने के लिए सिखा सकते हैं?
यही वह चीज़ है जिसे शोध पत्र सर्च-ऑन-ग्राफ-आर1 (SOG-R1) करने का प्रयास करता है। शोधकर्ताओं ने एक चतुर प्रशिक्षण प्रणाली बनाई है ताकि एक कॉम्पैक्ट, 8-बिलियन-पैरामीटर वाले AI मॉडल (एक "छात्र") को इन ज्ञान मानचित्रों को अपने आप नेविगेट करना सिखाया जा सके। केवल छात्र को अनुमान लगाने देने के बजाय, उन्होंने एक "शिक्षक" रोबोट बनाया जो पहले से ही उत्तर के गुप्त रास्ते को जानता था। लेकिन यहाँ एक चाल थी: शिक्षक को मानचित्र का ब्लूप्रिंट (एक विशेष क्वेरी जिसे SPARQL कहा जाता है) दिया गया था और उसे उसी सर्च टूल का उपयोग करके चरण-दर-चरण रास्ता तय करने के लिए कहा गया था जिसका छात्र उपयोग करेगा। जैसे-जैसे शिक्षक चलता था, वह अपनी हर हरकत, हर बंद रास्ते (dead end) जिसे उसने टाला, और लाइव डेटाबेस से मिले हर तथ्य को रिकॉर्ड करता था।
छात्र ने इन रिकॉर्ड किए गए सफरों से दो चरणों में सीखा। पहले, उसने शिक्षक के कदमों की नकल करके अभ्यास किया (सुपरवाइज्ड फाइन-ट्यूनिंग), यह सीखते हुए कि सही प्रश्न कैसे पूछे जाएँ और मानचित्र को कैसे पढ़ा जाए। दूसरे, उसने एक खेल खेला जहाँ उसने अपने आप उत्तर खोजने की कोशिश की, और सही होने पर अंक प्राप्त किए और तेज़ होने पर अतिरिक्त अंक मिले (रीइन्फोर्समेंट लर्निंग)। परिणाम क्या रहा? यह छोटा, 8-बिलियन-पैरामीटर वाला छात्र एक मास्टर डिटेक्टिव बन गया। तीन प्रमुख परीक्षण क्षेत्रों (WebQSP, CWQ, और GrailQA) पर, इसने उन सभी "फ्रोजन" सुपर-रोबोट सिस्टम्स को पछाड़ दिया जिनसे शोधकर्ताओं ने इसकी तुलना की थी, जिनमें सबसे उन्नत, महंगे मॉडल्स भी शामिल थे।
जो इसे और भी अधिक प्रभावशाली बनाता है वह यह है कि छात्र केवल उत्तर खोजने में ही बेहतर नहीं हुआ; वह यह खोजने में भी स्मार्ट हो गया कि कैसे खोज की जाए। जबकि शिक्षक का रास्ता एकदम सटीक था, छात्र ने शॉर्टकट लेना सीख लिया। उसने यह पता लगा लिया कि कैसे शिक्षक की नकल करने की तुलना में कम सर्च कॉल्स का उपयोग करके समान उत्तर तक पहुँचा जाए। शोधकर्ताओं ने पाया कि यह तरीका तब भी काम करता है जब आप छात्र को किसी अन्य प्रकार के मॉडल से बदल देते हैं, जो यह सिद्ध करता है कि प्रशिक्षण तकनीक ही असली 'सीक्रेट सॉस' है। महत्वपूर्ण रूप से, यह शोध पत्र इस विचार को खारिज करता है कि मॉडल को पूरे मानचित्र को याद करने की आवश्यकता है या प्रशिक्षण के दौरान अपने काम को ग्रेड करने के लिए दूसरे "जज" रोबोट पर निर्भर रहने की आवश्यकता है। इसके बजाय, मॉडल ने लाइव सर्च टूल और पथ के तर्क पर भरोसा करना सीख लिया। अंत तक, यह छोटा, कुशल AI अपने बहुत बड़े, अधिक महंगे समकक्षों की तुलना में अधिक तेज़ी से और अधिक सटीकता से जटिल ज्ञान जाल को नेविगेट कर सकता था, और वह भी बिना किसी अतिरिक्त सहायक या महंगे हार्डवेयर के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।