Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows
यह शोध पत्र एक तैनात प्रणाली प्रस्तुत करता है जो एंटरप्राइज कस्टमर सपोर्ट वर्कफ़्लो को ऑटोमेट करने के लिए एक चयनात्मक (selective) LLM एजेंट को प्रशिक्षित करने हेतु कोपायलट फीडबैक और UI इंटरेक्शन ट्रेसेस का लाभ उठाती है, जिससे गुणवत्ता को कॉन्फिडेंस-आधारित एब्स्टेंशन मैकेनिज्म के माध्यम से बनाए रखते हुए 45% ऑटोमेशन दर और हैंडलिंग समय में 39% की कमी हासिल की गई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक व्यस्त कस्टमर सपोर्ट सेंटर की कल्पना करें जो एक विशाल, जटिल कंट्रोल रूम की तरह है। इसके अंदर, मानव ऑपरेटर ग्राहकों की समस्याओं को हल करने के लिए कंप्यूटरों को संभाल रहे हैं, बटन क्लिक कर रहे हैं, फॉर्म भर रहे हैं और संदेश टाइप कर रहे हैं। यह एक उच्च-दांव वाला काम है जहाँ एक गलत क्लिक भी ग्राहक के लिए सिरदर्द का कारण बन सकता है।
यह शोध पत्र इस कंट्रोल रूम के लिए बनाए गए एक नए "स्मार्ट असिस्टेंट" सिस्टम का वर्णन करता है। इंसानों को पूरी तरह से बदलने के बजाय, यह सिस्टम एक अति-सतर्क सह-पायलट (co-pilot) की तरह काम करता है जो कार चलाना सीखता है, लेकिन केवल तभी स्टीयरिंग थामता है जब उसे 100% यकीन हो कि वह दुर्घटना नहीं करेगा।
यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:
1. "शैडो" चरण (देखकर सीखना)
सबसे पहले, सिस्टम कुछ नहीं करता। वह बस देखता है। यह हजारों ग्राहक मामलों को हल करते समय मानव ऑपरेटरों द्वारा किए गए हर एक क्लिक, कीस्ट्रोक और स्क्रीन परिवर्तन को रिकॉर्ड करता है। इसे एक नए ड्राइवर की तरह समझें जो पैसेंजर सीट पर बैठा है, एक प्रो ड्राइवर को शहर में नेविगेट करते हुए देख रहा है, और हर मोड़ और स्टॉप साइन को याद कर रहा है।
2. "को-पायलट" चरण (सुझाव देना, निर्णय नहीं लेना)
इसके बाद, सिस्टम सुझाव देना शुरू करता है। यह कहता है, "हे, जो मैंने देखा उसके आधार पर, आपको शायद अगला बटन क्लिक करना चाहिए।"
- मानव की भूमिका: ऑपरेटर या तो कह सकता है, "हाँ, अच्छा विचार है," और सिस्टम को यह करने दे सकता है, या वह कह सकता है, "नहीं, इसे इस तरह से करो।"
- सीखना: हर बार जब मानव सिस्टम को सुधारता है, तो सिस्टम सीखता है। यह एक छात्र की तरह है जिसे होमवर्क असाइनमेंट पर लाल पेन से सुधार मिलता है। केवल दो सप्ताह में, सिस्टम सही अगला कदम उठाने का अनुमान लगाने में बहुत कुशल हो जाता है।
3. "सिलेक्टिव ऑटोपायलट" चरण (सुरक्षित रूप से नियंत्रण संभालना)
यह सबसे महत्वपूर्ण हिस्सा है। सिस्टम केवल अंधाधुंध नियंत्रण नहीं लेता। इसमें एक अंतर्निहित "सेफ्टी जज" (Safety Judge) है (जिसे क्रिटिक कहा जाता है)।
- उच्च आत्मविश्वास (High Confidence): यदि सिस्टम बहुत आश्वस्त है (जैसे, "अगला बटन दबाएं"), तो वह बैकग्राउंड में स्वचालित रूप से इसे करता है।
- कम आत्मविश्वास (Low Confidence): यदि सिस्टम अनिश्चित है (जैसे, "क्या मुझे ग्राहक को यह विशिष्ट संदेश भेजना चाहिए?"), तो वह रुक जाता है और मदद के लिए मानव से पूछता है।
- परिणाम: मानव ऑपरेटर अब एक साथ कई बातचीत देख सकता है। उन्हें केवल तभी हस्तक्षेप करना होता है जब सिस्टम रुककर सवाल पूछता है। वे अब टाइपिंग नहीं कर रहे हैं; वे केवल एक सुरक्षा जाल (safety net) के रूप में काम कर रहे हैं।
यह गलतियों को कैसे संभालता है
शोध पत्र में उल्लेख किया गया है कि सिस्टम को सावधान बनाया गया है।
- "स्टॉप" साइन: यदि कंप्यूटर स्क्रीन किसी ऐसे अजीब तरीके से बदलती है जिसे सिस्टम ने पहले नहीं देखा है, या यदि सिस्टम किसी निर्णय को लेकर घबराया हुआ महसूस करता है, तो यह तुरंत नियंत्रण वापस मानव को सौंप देता है।
- "रीसेट" बटन: यदि सिस्टम कोई गलती करता है, तो यह नियंत्रण से बाहर नहीं होता। यह रुक जाता है, इंसान को स्क्रीन ठीक करने देता है, और फिर ठीक वहीं से शुरू करता है जहाँ उसने छोड़ा था।
वास्तविक दुनिया के परिणाम
टीम ने इसे लगभग 15,000 ग्राहकों के साथ एक वास्तविक व्यावसायिक वातावरण में परखा।
- गति: सिस्टम ने बिना मानवीय सहायता के पूरी बातचीत को शुरू से अंत तक 45% तक संभाला।
- बचा हुआ समय: एक एकल ग्राहक पर सक्रिय रूप से काम करने में ऑपरेटर द्वारा बिताए जाने वाले समय में 39% की कमी आई।
- गुणवत्ता: सहायता की गुणवत्ता कम नहीं हुई। ग्राहक पहले की तरह ही खुश थे।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि आपको उपयोगी होने के लिए ऐसे रोबोट की आवश्यकता नहीं है जो सब कुछ पूरी तरह से करने की कोशिश करे। इसके बजाय, आपको एक ऐसे रोबोट की आवश्यकता है जो चयनात्मक रूप से साहसी (selectively brave) हो। यह उबाऊ, दोहराव वाले, कम जोखिम वाले कार्यों (जैसे बटन क्लिक करना या फॉर्म भरना) को स्वचालित रूप से करता है, लेकिन इसे ठीक से पता होता है कि कब कहना है, "मुझे यकीन नहीं है, आप इसे संभाल लें।"
यह दृष्टिकोण पारंपरिक कंप्यूटर प्रोग्रामों (जिनके लिए मनुष्यों को हर संभावित परिदृश्य के लिए कठोर नियम लिखने की आवश्यकता होती है) की तुलना में तेजी से बनाया जा सकता है, और उस "जंगली" AI की तुलना में अधिक विश्वसनीय है जो अकेले सब कुछ करने की कोशिश करता है। यह मानव ऑपरेटर को एक "ड्राइवर" से बदलकर एक "फ्लीट मैनेजर" बना देता है, जो बहुत कम तनाव के साथ कई बातचीत की निगरानी करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।