Corrective Retrieval-Augmented Generation Adaptation in Closed Domains for Development of Intelligent Human Resource Management Systems
यह शोध पत्र लघु एवं मध्यम उद्यमों (SMEs) के लिए एक क्लोज्ड-डोमेन स्मार्ट एचआर (Smart HR) सिस्टम पर एक डिज़ाइन साइंस रिसर्च अध्ययन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि समान-अध्याय हार्ड-नेगेटिव ट्रेनिंग (same-chapter hard-negative training) के साथ एक करेक्टिव आरएजी (Corrective RAG) अनुकूलन, मानक आरएजी (standard RAG) की तुलना में समग्र सटीकता में कमी के बावजूद, उत्तर की सत्यनिष्ठा (answer faithfulness) में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कार्यस्थल में, लोगों के बारे में सही निर्णय लेने की क्षमता एक फलते-फूलते व्यवसाय और संघर्ष करने वाले व्यवसाय के बीच का अंतर होती है। लघु और मध्यम आकार के व्यवसायों के लिए, जो कई अर्थव्यवस्थाओं की रीढ़ हैं, यह कार्य अक्सर औपचारिक प्रणालियों की कमी के कारण कठिन हो जाता है। प्रबंधक भर्ती करने, प्रदर्शन का मूल्यांकन करने या करियर की योजना बनाने के लिए किसी विश्वसनीय, लिखित मार्गदर्शिका के बजाय अक्सर स्मृति या अनौपचारिक सलाह पर निर्भर रहते हैं। मदद के लिए, शोधकर्ताओं ने एक प्रकार के आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) की ओर रुख किया है जो बड़ी मात्रा में टेक्स्ट को पढ़ सकता है और जो उसे मिलता है उसके आधार पर प्रश्नों के उत्तर दे सकता है। यह तकनीक, जिसे 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) कहा जाता है, एक लाइब्रेरी के दस्तावेजों को खोजने और प्रतिक्रिया लिखने से पहले प्रासंगिक जानकारी खोजने के सिद्धांत पर काम करती है। यह दृष्टिकोण एआई को मनगढ़ंत बातें बनाने से रोकने के लिए बनाया गया है, जो एक सामान्य समस्या है जहाँ कंप्यूटर आत्मविश्वास से भरी बातें करता है लेकिन वास्तव में तथ्य गढ़ रहा होता है। हालाँकि, इस तकनीक के मानक संस्करणों में एक दोष है: वे अक्सर ऐसे दस्तावेज उठाते हैं जो संबंधित तो दिखते हैं लेकिन वास्तव में विशिष्ट प्रश्न का उत्तर नहीं देते, जिससे उत्तर अस्पष्ट या भ्रामक हो जाते हैं।
इंडोनेशिया और मलेशिया के शोधकर्ताओं की एक टीम ने मानव संसाधन प्रबंधन की विशिष्ट आवश्यकताओं के लिए इस समस्या को हल करने का लक्ष्य रखा। उन्होंने एक स्मार्ट सिस्टम बनाया जिसे छोटे व्यवसायों को अपने कर्मचारियों के प्रबंधन में मदद करने के लिए डिज़ाइन किया गया था, जो केवल एक आधिकारिक पुस्तक: आर्मस्ट्रांग्स हैंडबुक ऑफ ह्यूमन रिसोर्स मैनेजमेंट प्रैक्टिस (16वें संस्करण) से ही प्रश्नों के उत्तर देता है। यह पुस्तक क्षेत्र के लिए एक मानक संदर्भ है, जिसमें स्थापित नियम और सर्वोत्तम अभ्यास शामिल हैं। शोधकर्ता यह जानना चाहते थे कि क्या वे दो विशिष्ट सुधारों को जोड़कर एआई को अधिक स्मार्ट बना सकते हैं। पहला एक "सुधार" (correction) चरण था जो यह जाँचता है कि मिली हुई जानकारी वास्तव में उपयोगी है या नहीं। दूसरा, पुस्तक के पृष्ठों को अतिरिक्त लेबल, जैसे टैग या श्रेणियां, के साथ व्यवस्थित करने का एक तरीका था ताकि खोज को आसानी से सही पृष्ठ खोजने में मदद मिल सके। उन्होंने इन विचारों का परीक्षण करने के लिए एक प्रणाली बनाई जो मानव संसाधनों के तीन महत्वपूर्ण क्षेत्रों को संभाल सकती थी: नए कर्मचारियों की भर्ती करना, कर्मचारी प्रदर्शन का प्रबंधन करना और करियर विकास की योजना बनाना।
शोधकर्ताओं ने हैंडबुक से एक डिजिटल लाइब्रेरी बनाई, जिसे छोटे, प्रबंधनीय खंडों में विभाजित किया गया। फिर उन्होंने प्रश्नों को संसाधित करने के लिए एक बहु-स्तरीय प्रणाली बनाई। सिस्टम के एक स्तर को टेक्स्ट में वर्णनात्मक टैग जोड़ने के लिए डिज़ाइन किया गया था, जैसे कि यह पहचानना कि कोई खंड प्रक्रिया (procedure), अवधारणा (concept) या तुलना (comparison) के बारे में है। एक अन्य स्तर ने एक सख्त द्वारपाल (gatekeeper) के रूप में कार्य किया। जब सिस्टम ने प्रश्न का उत्तर देने के लिए टेक्स्ट का एक हिस्सा निकाला, तो इस द्वारपाल ने मूल्यांकन किया कि क्या वह टेक्स्ट वास्तव में प्रश्न का उत्तर देता है या वह केवल अस्पष्ट रूप से संबंधित है। यदि टेक्स्ट को गलत या अस्पष्ट माना गया, तो सिस्टम ने केवल अनुमान नहीं लगाया; बल्कि, वह लाइब्रेरी में वापस गया, प्रश्न को फिर से लिखा और उसी विश्वसनीय पुस्तक के भीतर फिर से खोज की। इसने सुनिश्चित किया कि प्रत्येक उत्तर आधिकारिक स्रोत पर आधारित रहे, और कभी भी अनवेरिफाइड इंटरनेट खोजों की ओर न भटके।
यह देखने के लिए कि क्या ये बदलाव वास्तव में काम करते हैं, टीम ने कठोर परीक्षण किए। उन्होंने तीन मानव संसाधन डोमेन को कवर करने वाले 270 विशिष्ट प्रश्न तैयार किए, जो जॉब इंटरव्यू को कैसे संरचित किया जाए से लेकर पदोन्नति के लिए किन मानदंडों का उपयोग किया जाना चाहिए, तक विस्तृत थे। इसके बाद उन्होंने सिस्टम के तीन अलग-अलग संस्करणों की तुलना की। पहला एक बुनियादी संस्करण था जो बिना किसी जाँच के केवल खोजता और उत्तर देता था। दूसरा संस्करण था जिसने खोज को व्यवस्थित करने के लिए अतिरिक्त टैग का उपयोग किया लेकिन उसमें द्वारपाल (gatekeeper) की कमी थी। तीसरा संस्करण था जिसने सुधार तंत्र (correction mechanism) और द्वारपाल दोनों का उपयोग किया। परिणामों ने एक स्पष्ट विजेता दिखाया। सुधार तंत्र और द्वारपाल वाले सिस्टम ने स्रोत सामग्री के प्रति काफी अधिक निष्ठावान उत्तर दिए। दूसरे शब्दों में, इसके द्वारा दिए गए उत्तरों को सीधे पुस्तक के उन विशिष्ट वाक्यों से जोड़ा जा सकता था जो उनका समर्थन करते थे। सिस्टम ने अपनी गलतियों को लगभग 28 प्रतिशत बार सुधारा, और सही जानकारी खोजने के लिए फिर से खोजा और अपने मार्ग को परिष्कृत किया।
हालाँकि, अध्ययन ने एक आश्चर्यजनक सीमा भी प्रकट की। वह संस्करण जिसने केवल खोज को व्यवस्थित करने के लिए अतिरिक्त टैग का उपयोग किया था, बिना सुधार द्वारपाल के, उसने उत्तरों की गुणवत्ता में सुधार नहीं किया। वास्तव में, यह बुनियादी सिस्टम से बेहतर प्रदर्शन नहीं कर सका और कुछ मामलों में उससे थोड़ा खराब भी था। यह निष्कर्ष बताता है कि केवल जानकारी को बेहतर ढंग से व्यवस्थित करना पर्याप्त नहीं है यदि सिस्टम यह सत्यापित नहीं कर सकता कि प्राप्त जानकारी वास्तव में सही उत्तर है या नहीं। शोधकर्ताओं ने एक ट्रेड-ऑफ (समझौता) भी देखा। जबकि सुधारा गया सिस्टम स्रोत के प्रति अधिक निष्ठावान था, यह कभी-कभी एक सामान्य माप पर कि उत्तर कितना "पूर्ण" प्रतीत होता है, थोड़ा कम स्कोर करता था। ऐसा इसलिए हुआ क्योंकि सिस्टम केवल उस चीज़ पर टिके रहने के लिए बहुत सावधान था जो पुस्तक में स्पष्ट रूप से मौजूद थी, जिसके कारण इसने कभी-कभी उस संदर्भ को छोड़ दिया जो एक मानव सामान्य ज्ञान से जोड़ सकता था। हालाँकि, एक छोटे व्यवसाय के लिए, शोधकर्ताओं का तर्क है कि जो जानकारी गलत हो सकती है, उसे जोड़ने के बजाय सत्यापित स्रोत पर सख्ती से टिके रहना अधिक महत्वपूर्ण है।
अध्ययन इस निष्कर्ष पर पहुँचता है कि मानव संसाधन जैसे विशिष्ट क्षेत्रों के लिए, जहाँ सटीकता महत्वपूर्ण है, खोज परिणामों की जाँच करने और उन्हें सुधारने की क्षमता, डेटा को केवल बेहतर ढंग से व्यवस्थित करने से कहीं अधिक मूल्यवान है। शोधकर्ताओं ने प्रदर्शित किया कि एक ऐसा सिस्टम बनाकर जो अनुमान लगाने से इनकार करता है और इसके बजाय अपने निष्कर्षों का पुनर्मूल्यांकन करता है, वे एक ऐसा उपकरण बना सकते हैं जिस पर छोटे व्यवसाय भर्ती और पदोन्नति के बारे में निर्णय लेने के लिए भरोसा कर सकें। यह कार्य सिद्ध करता है कि किसी विशिष्ट डोमेन के लिए विश्वसनीय एआई सहायक बनाने का सबसे प्रभावी तरीका केवल उसे अधिक डेटा खिलाना नहीं है, बल्कि उसे अपने स्वयं के स्रोतों पर सवाल उठाने की एक प्रणाली देना है। यह दृष्टिकोण सुनिश्चित करता है कि व्यवसाय के मालिक को दी जाने वाली सलाह केवल एक आत्मविश्वास से भरी अनुमानित बात नहीं, बल्कि एक विश्वसनीय मार्गदर्शिका से लिया गया सत्यापित तथ्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।