ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation
यह शोध पत्र ShopEase प्रस्तुत करता है, जो स्थानीय LLaMA 3.2 और हाइब्रिड रिट्रीवल का लाभ उठाने वाला एंटरप्राइज कस्टमर सपोर्ट के लिए एक मल्टी-एजेंट जनरेटिव एआई फ्रेमवर्क है, जो 2,632 प्रश्नों पर मूल्यांकन के माध्यम से यह प्रदर्शित करता है कि डेंस FAISS रिट्रीवल, क्रॉस-एनकोडर रीरैंकिंग से जुड़ी लेटेंसी पेनल्टी से बचते हुए सटीकता में स्पार्स और रीरैंक्ड हाइब्रिड दृष्टिकोणों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
व्यापार की आधुनिक दुनिया में, ग्राहक को खुश रखने का अर्थ अक्सर उनके सवालों के त्वरित और सटीक उत्तर देना होता है। जब कोई व्यक्ति ऑनलाइन कुछ खरीदता है और फिर उसे रिफंड, शिपिंग में देरी या क्षतिग्रस्त वस्तु के बारे में जानना होता है, तो वह तत्काल उत्तर की अपेक्षा करता है। दशकों से, कंपनियों ने चैटबॉट्स के माध्यम से इसे स्वचालित करने की कोशिश की है, जो इंसानों की तरह बात करने के लिए डिज़ाइन किए गए कंप्यूटर प्रोग्राम हैं। ये प्रोग्राम सरल, बार-बार पूछे जाने वाले सवालों के लिए अच्छी तरह काम करते हैं, लेकिन जब स्थिति जटिल हो जाती है, तो वे अक्सर लड़खड़ा जाते हैं। यदि कोई ग्राहक किसी विशिष्ट नीति के बारे में पूछते समय पिछले ऑर्डर या किसी अनोखी समस्या का उल्लेख करता है, तो एक बुनियादी प्रोग्राम भटक सकता है क्योंकि वह बातचीत को याद नहीं रख पाता या सही नियम पुस्तिका नहीं ढूंढ पाता। इस समस्या को हल करने के लिए, शोधकर्ता अब ऐसे सिस्टम बना रहे हैं जो एक अकेले रोबोट के बजाय विशेषज्ञों की एक टीम की तरह कार्य करते हैं। ये नए सिस्टम 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक विधि का उपयोग करते हैं, जो एक फैंसी तरीका है यह कहने का कि कंप्यूटर बोलने से पहले एक डेटाबेस में तथ्यों की खोज करता है, जिससे यह सुनिश्चित होता है कि उसका उत्तर केवल अनुमान लगाने के बजाय वास्तविक कंपनी नियमों पर आधारित है। वे कई "एजेंटों" या छोटे प्रोग्रामों का भी उपयोग करते हैं जो विभिन्न कार्यों को संभालते हैं, जैसे कि एक जो यह याद रखता है कि ग्राहक कौन है, दूसरा जो सही नीति ढूंढता है, और तीसरा जो यह तय करता है कि क्या किसी इंसान की आवश्यकता है।
भारतीय प्रौद्योगिकी संस्थान खड़गपुर के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए 'शॉपईज़' (ShopEase) नामक एक नया सिस्टम बनाया है कि यह टीम दृष्टिकोण उद्यम ग्राहक सहायता (enterprise customer support) के लिए कितनी अच्छी तरह काम करता है। उनका लक्ष्य एक ऐसा ढांचा बनाना था जो ग्राहक के प्रश्न पूछने के क्षण से लेकर अंतिम उत्तर तक, ग्राहक की पूरी यात्रा को संभाल सके, साथ ही यह भी जान सके कि कब कमान एक मानव कार्यकर्ता को सौंपनी है। यह सिस्टम छह विशिष्ट भागों के साथ डिज़ाइन किया गया है जो एक साथ मिलकर काम करते हैं। सबसे पहले, एक 'गार्ड' आने वाले प्रश्न की जांच करता है ताकि यह सुनिश्चित हो सके कि वह सुरक्षित और स्पष्ट है। फिर, एक एजेंट पहचान करता है कि ग्राहक वास्तव में क्या चाहता है। अन्य एजेंट डेटाबेस से ग्राहक का व्यक्तिगत इतिहास निकालते हैं और पिछली बातचीत से विवरण याद करते हैं। एक केंद्रीय रिट्रीवल टीम फिर हजारों नीति दस्तावेजों में से खोज करती है ताकि स्थिति पर लागू होने वाले विशिष्ट नियमों को पाया जा सके। यदि सिस्टम को लगता है कि समस्या बहुत जटिल या जोखिम भरी है, तो एक 'एस्केलेशन एजेंट' मामला मानव को सौंप देता है। अंत में, एक सुपरवाइजर इन सभी चरणों का समन्वय करता है और यह सुनिश्चित करता है कि अंतिम प्रतिक्रिया को ग्राहक को वापस भेजने से पहले उसकी समीक्षा की जाए।
यह देखने के लिए कि क्या यह डिज़ाइन वास्तव में काम करता है, शोधकर्ताओं ने इसे 2,632 वास्तविक ग्राहक प्रश्नों के एक बड़े सेट पर परखा, जिन्हें विशेष रूप से इस प्रयोग के लिए अलग रखा गया था। इन प्रश्नों में छह सामान्य श्रेणियां शामिल थीं: रिफंड, रिटर्न, शिपिंग संबंधी समस्याएं, रद्दीकरण (cancellations), क्षतिग्रस्त उत्पाद, और एक समूह जो किसी स्पष्ट श्रेणी में फिट नहीं बैठता था। टीम यह देखना चाहती थी कि सही नीति दस्तावेज़ खोजने का कौन सा तरीका सबसे अच्छा काम करता है। उन्होंने छह अलग-अलग खोज रणनीतियों का परीक्षण किया। कुछ केवल सटीक शब्दों के मिलान पर निर्भर थे, जबकि अन्य एक ऐसी विधि का उपयोग करते थे जो शब्दों के पीछे के अर्थ को समझती है, भले ही शब्दावली अलग क्यों न हो। उन्होंने इन विधियों के संयोजन का भी परीक्षण किया और एक चरण जोड़ा जहाँ शीर्ष परिणामों की अधिक सावधानीपूर्वक जांच की गई ताकि देखा जा सके कि क्या इससे अंतिम उत्तर में सुधार होता है।
परिणामों ने दिखाया कि शब्दों के सटीक मिलान की तुलना में प्रश्न के अर्थ को समझना कहीं अधिक महत्वपूर्ण था। वह सिस्टम जो केवल समान अर्थ वाले दस्तावेज़ खोजने पर निर्भर था, ने उच्चतम सफलता दर हासिल की, जिसने 85.37 प्रतिशत प्रश्नों के लिए सही नीति श्रेणी की पहचान की। यह उस सिस्टम की तुलना में काफी बेहतर था जो केवल मिलान वाले शब्दों को देखता था, जिसने केवल 55.74 प्रतिशत मामलों में सही उत्तर दिया। दिलचस्प बात यह है कि उस अतिरिक्त, सावधानीपूर्वक जांच वाले चरण को जोड़ने से कोई मदद नहीं मिली। वास्तव में, इसने सिस्टम को धीमा कर दिया बिना सटीकता बढ़ाए। शोधकर्ताओं ने पाया कि जब उन्होंने इस अतिरिक्त प्रोसेसिंग लेयर को जोड़ा तो उत्तर प्राप्त करने में लगने वाला समय काफी बढ़ गया, फिर भी सही उत्तरों की संख्या में वृद्धि नहीं हुई। यह सुझाव देता है कि इस प्रकार के कार्य के लिए, एक तेज़, अर्थ-आधारित खोज, एक धीमी, बहु-चरणीय प्रक्रिया की तुलना में अधिक प्रभावी है।
जब शोधकर्ताओं ने गहराई से देखा कि सिस्टम कहाँ सफल हुआ और कहाँ विफल हुआ, तो एक स्पष्ट पैटर्न उभर कर आया। सिस्टम शिपिंग, रद्दीकरण और रिटर्न से संबंधित प्रश्नों को संभालने में बहुत अच्छा था, जो अक्सर 90 प्रतिशत से अधिक बार सही उत्तर देता था। हालांकि, यह उन प्रश्नों के साथ संघर्ष करता था जो किसी ज्ञात श्रेणी में स्पष्ट रूप से फिट नहीं होते थे। जब किसी ग्राहक ने एक अस्पष्ट प्रश्न पूछा जो किसी विशिष्ट नीति से मेल नहीं खाता था, तो सिस्टम अक्सर अनुमान लगाता था और उसे किसी ज्ञात श्रेणी में डाल देता था, बजाय इसके कि वह स्वीकार करता कि वह नहीं जानता। यही त्रुटियों का मुख्य स्रोत था। सिस्टम को रिफंड और रिटर्न के बीच अंतर करने में भी कठिनाई हुई, क्योंकि इन दोनों अवधारणाओं में अक्सर समान भाषा का उपयोग होता है, जिससे कुछ भ्रम पैदा होता है। इन छोटी बाधाओं के बावजूद, अध्ययन ने सिद्ध किया कि एक मल्टी-एजेंट सिस्टम ग्राहक इतिहास, बातचीत की स्मृति और नीति प्राप्ति को एक एकल, समन्वित वर्कफ़्लो में सफलतापूर्वक जोड़ सकता है।
शोधकर्ताओं ने यह भी परीक्षण किया कि यह देखने के लिए सिस्टम के कुछ हिस्सों को हटाने से क्या होता है कि प्रत्येक हिस्सा कितना महत्वपूर्ण है। उन्होंने पाया कि ग्राहक के व्यक्तिगत विवरणों को याद रखने वाले भाग को हटाने से उत्तरों के व्यक्तिगत (personalized) महसूस होने में सबसे बड़ी गिरावट आई। इसने पुष्टि की कि यह जानना कि ग्राहक कौन है, नियमों को जानने जितना ही महत्वपूर्ण है। बातचीत के इतिहास को संभालने वाले भाग को हटाने से भी उत्तरों की गुणवत्ता प्रभावित हुई, हालांकि यह ग्राहक डेटा खोने जितना गंभीर नहीं था। मानव को मामले सौंपने वाले भाग का गुणवत्ता पर कम प्रभाव पड़ा, जो तर्कसंगnt है क्योंकि इसका मुख्य कार्य तब हस्तक्षेप करना है जब मशीन समस्या हल नहीं कर पाती, न कि मशीन के अपने प्रदर्शन को सुधारना।
अंत में, शॉपईज़ सिस्टम ने प्रदर्शित किया कि एक टीम-आधारित दृष्टिकोण उद्यम सहायता के लिए अच्छी तरह काम करता है, बशर्ते सही उपकरणों का उपयोग किया जाए। अध्ययन ने दिखाया कि 'डेंस रिट्रीवल' (dense retrieval), जो शब्दों के अर्थ को समझता है, इस प्रकार के काम के लिए सरल कीवर्ड मिलान की तुलना में श्रेष्ठ है। इसने यह भी खुलासा किया कि जटिल पुन: जाँच चरणों को जोड़ने से चीजें धीमी हो सकती हैं बिना किसी मूल्य वृद्धि के। हालांकि सिस्टम पूर्ण नहीं है, विशेष रूप से अस्पष्ट या आउट-ऑफ-स्कोप प्रश्नों के मामले में, यह ग्राहक सेवा के भविष्य के लिए एक ठोस आधार प्रदान करता है। शोधकर्ताओं का सुझाव है कि भविष्य के सुधारों को इस बात पर ध्यान केंद्रित करना चाहिए कि यह कैसे पता लगाया जाए कि प्रश्न उनके ज्ञान के दायरे से बाहर है और अधिक विविध परिदृश्यों को कवर करने के लिए नीतियों के पुस्तकालय का विस्तार कैसे किया जाए। फिलहाल, यह कार्य एक बुद्धिमान सहायता प्रणाली बनाने के लिए एक स्पष्ट रोडमैप प्रदान करता है जो तेज़, सटीक है और जब स्थिति की मांग हो तो मानव को सौंपने के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।