Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
यह शोध पत्र सेल्फ-असेसमेंट रीइन्फोर्समेंट लर्निंग (SARL) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो रिट्रीवल-ऑगमेंटेड लार्ज लैंग्वेज मॉडल्स को उनकी खोज अवस्थाओं (search states) को स्वायत्त रूप से पहचानने और एक दोहरे रिवॉर्ड मैकेनिज्म के माध्यम से खोज प्रक्षेपवक्र (search trajectories) को अनुकूलित करने में सक्षम बनाता है, जिससे बिना किसी अतिरिक्त इन्फरेंस-टाइम स्कैफोल्डिंग की आवश्यकता के जटिल तर्क कार्यों पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल युग में, आर्टिफिशियल इंटेलिजेंस (AI) सवालों के जवाब देने के लिए एक शक्तिशाली उपकरण बन गया है, लेकिन इसे एक मौलिक सीमा का सामना करना पड़ता है: यह अपने प्रशिक्षण के दौरान सीखे गए तथ्यों की एक स्थिर स्मृति पर निर्भर करता है, जो जल्दी ही पुराना या अधूरा हो सकता है। इसे हल करने के लिए, शोधकर्ताओं ने ऐसी प्रणालियाँ विकसित की हैं जो इन AI मॉडलों को ताज़ा जानकारी खोजने के लिए इंटरनेट तक पहुँचने की अनुमति देती हैं, जिसे 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) कहा जाता है। ये प्रणालियाँ एक ऐसे छात्र की तरह काम करती हैं जो परीक्षा देते समय अपनी पाठ्यपुस्तक खोल सकता है, और एक बेहतर उत्तर बनाने के लिए कई स्रोतों से साक्ष्य एकत्र करता है। हालाँकि, इन खोज-सक्षम एजेंटों के साथ एक महत्वपूर्ण समस्या उभर कर आई है: उनमें अक्सर अपनी प्रगति का बोध नहीं होता। उन्हें हमेशा यह पता नहीं होता कि उन्होंने कौन सी जानकारी सफलतापूर्वक प्राप्त कर ली है और कौन से महत्वपूर्ण हिस्से अभी भी गायब हैं। यह भ्रम दो सामान्य विफलताओं की ओर ले जाता है। पहला, एजेंट आत्मविश्वास के साथ गलत उत्तर दे सकता है क्योंकि वह मान लेता है कि उसके पास पर्याप्त साक्ष्य हैं जबकि वास्तव में नहीं होते, जिसे 'हैलुसिनेशन' (hallucination) नामक घटना कहा जाता है। दूसरा, वह बहुत जल्दी खोज करना बंद कर सकता है, जिससे वह एक जटिल समस्या को हल करने के लिए आवश्यक तथ्य एकत्र करने से पहले ही हार मान लेता है।
शोधकर्ताओं की एक टीम ने 'सेल्फ-असेसमेंट रीइन्फोर्समेंट लर्निंग' (Self-Assessment Reinforcement Learning) या SARL नामक एक नई प्रशिक्षण विधि पेश की है, जिसे इस कमी को दूर करने के लिए डिज़ाइन किया गया है। केवल AI को सही अंतिम उत्तर देने के लिए पुरस्कृत करने के बजाय, यह दृष्टिकोण मॉडल को सीखने के दौरान अपने स्वयं के खोज प्रक्रिया का मूल्यांकन करने और रुकने के लिए सिखाता है। प्रशिक्षण के दौरान, मॉडल द्वारा एक उत्तर का प्रयास करने के बाद, उससे अपने खोज और तर्क के इतिहास की समीक्षा करने के लिए कहा जाता है। उसे यह तय करना होता है कि क्या उसने पर्याप्त जानकारी जुटा ली है जिससे वह आश्वस्त हो सके, या क्या कुछ छूट गया है। यदि मॉडल निर्णय लेता है कि जानकारी अधूरी है, तो उसे फिर से खोजने के लिए प्रेरित किया जाता है; यदि वह निर्णय लेता है कि जानकारी पूरी है, तो वह अपना उत्तर अंतिम रूप देता है। शोधकर्ताओं ने पाया कि मॉडल को इन आत्म-सुधारों के लिए पुरस्कृत करके, जब वे बेहतर उत्तरों की ओर ले जाते हैं, और इस आत्म-जांच वाले चरण पर बहुत अधिक निर्भर रहने के लिए दंडित करके, AI अंततः इस जागरूकता को आत्मसात करना सीख जाता है। वह स्पष्ट रूप से रुकने और खुद से यह पूछने की आवश्यकता को समाप्त कर देता है कि क्या वह समाप्त हो गया है; इसके बजाय, वह स्वाभाविक रूप से यह पहचानने की क्षमता विकसित कर लेता है कि उसने सही जानकारी पा ली है और उसे कब और अधिक खोजने की आवश्यकता है।
इस दृष्टिकोण के परिणामों का परीक्षण विभिन्न कठिन कार्यों पर किया गया, जिनमें एक एकल तथ्य की आवश्यकता वाले सरल प्रश्नों से लेकर कई अलग-अलग स्रोतों में गहराई तक जाने की मांग करने वाली जटिल अनुसंधान समस्याओं तक शामिल थे। इन परीक्षणों में, SARL-प्रशिक्षित मॉडलों ने पिछले तरीकों की तुलना में महत्वपूर्ण सुधार दिखाया। औसतन, वे सबसे मजबूत मौजूदा खोज एजेंटों से 24.3% बेहतर प्रदर्शन करते हैं। कठिन कार्यों के लिए यह सुधार और भी नाटकीय था: मल्टी-स्टेप रीजनिंग चुनौतियों पर, जहाँ एक उत्तर कई अलग-अलग सूचनाओं को जोड़ने पर निर्भर करता है, इस नई विधि ने प्रदर्शन में 35.9% का सुधार किया। लंबे, निरंतर खोज की मांग करने वाले गहन अनुसंधान कार्यों के लिए, सुधार 27.9% था। महत्वपूर्ण रूप से, शोधकर्ताओं ने देखा कि पुराने तरीके अक्सर तब विफल हो जाते थे जब खोज प्रक्रिया को लंबे समय तक चलने दिया जाता था, जिससे वे अस्थिर हो जाते थे और अंततः खराब प्रदर्शन में गिर जाते थे। इसके विपरीत, SARL मॉडल स्थिर रहे और जैसे-जैसे कार्य अधिक जटिल होते गए, उनमें सुधार होता गया, जिससे वे बिना भटके या हार माने लंबी खोज पथों को सफलतापूर्वक पार कर सके।
अध्ययन ने यह भी खुलासा किया कि यह सुधार AI के खोज करने के तरीके में एक वास्तविक बदलाव से आया था। SARL के साथ प्रशिक्षित मॉडलों ने केवल अनुमान नहीं लगाया; उन्होंने अधिक विविध और लक्षित प्रश्न पूछे। उन्होंने अपने ज्ञान के विशिष्ट अंतराल को पहचानने और उन अंतरालों को भरने के लिए सटीक खोज प्रश्न जारी करने के बारे में सीखा, न कि बार-बार एक ही खोज दोहराने या समय से पहले रुकने के बारे में। इस व्यवहार को मॉडलों द्वारा उत्पन्न अद्वितीय खोज प्रश्नों की संख्या और इस बात को ट्रैक करके मापा गया कि वे कितनी बार आवश्यक दस्तावेज़ सफलतापूर्वक खोज पाए। SARL मॉडल पुराने मॉडलों की तुलना में लगातार अधिक प्रासंगिक जानकारी प्राप्त करते थे और संभावनाओं की एक विस्तृत श्रृंखला का अन्वेषण करते थे। शोधकर्ताओं ने पुष्टि की कि यह सफलता केवल AI को अधिक समय देने या अतिरिक्त निर्देश देने के कारण नहीं थी, बल्कि विशेष रूप से इसलिए थी क्योंकि मॉडल ने अपने ज्ञान की स्थिति को पहचानना सीख लिया था। जब शोधकर्ताओं ने मॉडल के आत्म-मूल्यांकन को यादृच्छिक फीडबैक (random feedback) से बदल दिया, तो सिस्टम बेहतर होने में विफल रहा, जिससे यह सिद्ध हुआ कि अपनी प्रगति का आकलन करने की क्षमता ही इसकी सफलता की कुंजी थी।
यह कार्य अधिक विश्वसनीय और सक्षम AI सहायकों की ओर एक मार्ग सुझाता है जो निरंतर मानवीय पर्यवेक्षण के बिना जटिल सूचना-खोज कार्यों को संभाल सकते हैं। इन प्रणालियों को यह समझने के लिए कि वे क्या जानते हैं और वे क्या नहीं जानते, सिखाकर, शोधकर्ताओं ने ऐसे एजेंट बनाए हैं जिनके तथ्य गढ़ने की संभावना कम है और सत्य खोजने तक डटे रहने की संभावना अधिक है। यह विधि वास्तविक उपयोग के दौरान अतिरिक्त मानव शिक्षकों या जटिल सेटअपों की आवश्यकता के बिना काम करती है, जो अनुसंधान और निर्णय लेने में वास्तव में सहायता करने के लिए AI बनाने की दिशा में एक व्यावहारिक कदम है। निष्कर्ष बताते हैं कि जब एक AI अपनी खोज प्रक्रिया की निगरानी करना सीखता है, तो वह न केवल एक तेज़ खोजकर्ता बनता है, बल्कि एक स्मार्ट खोजकर्ता भी बनता है, जो ऑनलाइन उपलब्ध सूचनाओं के विशाल भंडार में जागरूकता के एक ऐसे स्तर के साथ नेविगेट करने में सक्षम होता है जो पहले अनुपस्थित था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।