Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned
यह शोध पत्र मेट्रो नैशविले के साथ साझेदारी में आपातकालीन कॉल लेने वालों के लिए एक जनरेटिव एआई-संचालित प्रशिक्षण प्रणाली के डिजाइन, परिनियोजन और मूल्यांकन को प्रस्तुत करता है, जो गंभीर स्टाफिंग और स्केलेबिलिटी चुनौतियों का सामना कर रहे सुरक्षा-महत्वपूर्ण सार्वजनिक क्षेत्र के वातावरण में एआई-संचालित समाधानों के कार्यान्वयन के मार्गदर्शन हेतु वास्तविक दुनिया के उपयोग डेटा से चार प्रमुख सबक निकालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक 9-1-1 कॉल-टेकर बनने के लिए प्रशिक्षण ले रहे हैं। यह एक उच्च-दांव वाला काम है जहाँ आपको शांत रहना होता है, सही सवाल पूछने होते हैं, और लोगों की जान बचानी होती है, और वह भी तब जब आप उन लोगों से बात कर रहे हों जो डरे हुए, क्रोधित या भ्रमित हैं। वास्तविक दुनिया में, इसके लिए प्रशिक्षण लेना एक बुरा सपना है। अनुभवी शिक्षकों की कमी है, और एक नए कर्मचारी को तैयार करने के लिए 720 घंटों के वन-ऑन-वन निर्देश की आवश्यकता होती है। यह वैसा ही है जैसे किसी को तीन महीने तक गाड़ी चलाना सिखाना बिना कभी असली कार छुए, बस एक क्लासरूम में बैठे रहना। इसके अलावा, कई केंद्रों में स्टाफ की कमी 25% से अधिक है, इसलिए जो कुछ विशेषज्ञ वहाँ हैं, वे इतने व्यस्त हैं कि वे सभी को सिखा नहीं सकते।
इसे ठीक करने के लिए, वेंडरबिल्ट यूनिवर्सिटी के शोधकर्ताओं ने मेट्रो नैशविले डिपार्टमेंट ऑफ इमरजेंसी कम्युनिकेशन (MNDEC) के साथ मिलकर जेनरेटिव एआई (Generative AI) द्वारा संचालित एक "डिजिटल कोच" बनाया। उन्होंने केवल एक कंप्यूटर प्रोग्राम नहीं बनाया और उम्मीद नहीं की कि सब ठीक हो जाएगा; उन्होंने वास्तव में इसे 190 वास्तविक प्रशिक्षुओं के साथ 1,120 प्रशिक्षण सत्रों में उपयोग करने में छह महीने बिताए। उन्होंने लगभग 1,00,000 इंटरैक्शन का विश्लेषण किया यह देखने के लिए कि वास्तविक दुनिया की उथल-पुथल में वास्तव में क्या काम करता है।
यहाँ वह कहानी है जो उन्होंने सीखी, जिसे चार बड़े पाठों के माध्यम से बताया गया है।
पाठ 1: सिर्फ बात न करें, एक छोटा प्रोटोटाइप बनाएं
मिथक: आप एक मीटिंग रूम में बैठ सकते हैं, विशेषज्ञों का साक्षात्कार ले सकते हैं, और कोडिंग शुरू करने से पहले आवश्यकताओं की एक आदर्श सूची लिख सकते हैं।
वास्तविकता: यहाँ यह काम नहीं करता। शोधकर्ताओं ने पाया कि एआई टीम को यह नहीं पता था कि एक वास्तविक आपातकालीन कॉल कैसी महसूस होती है, और कॉल-टेकर नहीं जानते थे कि एआई वास्तवв क्या कर सकता है। वे अलग-अलग भाषाएं बोल रहे थे।
समाधान: एक पूर्ण प्रणाली बनाने का इंतजार करने के बजाय, उन्होंने केवल एक महीने में एक "छोटा, अनाड़ी" संस्करण बनाया। उन्होंने विशेषज्ञों को इसे इस्तेमाल करने दिया। अचानक, विशेषज्ञों ने यह कहना बंद कर दिया, "हमें और अधिक यथार्थवादी परिदृश्य चाहिए," और इसके बजाय कहने लगे, "वाह, क्या आप इस कॉलर को घबराया हुआ गैर-देशी अंग्रेजी बोलने वाला बना सकते हैं? हमें इसकी आवश्यकता है!"
इस खिलौने के साथ खेलकर, विशेषज्ञों को एहसास हुआ कि कॉलर की विविधता (उनकी उम्र, भाषा और घबराहट का स्तर) केवल आपात स्थिति के प्रकार (जैसे आग या दिल का दौरा) से अधिक महत्वपूर्ण थी। विशेषज्ञ केवल "ऑडिटर" (जो केवल 'ना' कहते थे) से बदलकर "सह-वास्तुकार" बन गए जिन्होंने सिस्टम को डिजाइन करने में मदद की। शोधकर्ताओं ने सीखा कि आप केवल एक मैनुअल नहीं पढ़ सकते; आपको कुछ छोटा बनाना होगा, लोगों को उसे तोड़ने देना होगा, और फिर मिलकर उसे ठीक करना होगा।
पाठ 2: एआई को नियमों का "अनुमान" न लगाने दें
मिथक: आप बस एक सुपर-स्मार्ट एआई को कह सकते हैं, "चेक करें कि क्या प्रशिक्षु ने नियमों का पालन किया," और वह हर बार सही होगा।
वास्तविकता: जब एआई ने लंबे, जटिल कॉल ट्रांसक्रिप्ट को पढ़ने और सैकड़ों नियमों की जांच करने की कोशिश की, तो वह भ्रमित होने लगा। प्रारंभिक प्रयोगों में, एक शुद्ध एआई मॉडल (Llama 3.2) की सटीकता लंबी और अव्यवस्थपूर्ण बातचीत होने पर 78% से गिरकर 42% रह गई। यह एक छात्र को एक उपन्यास पढ़ते समय गणित की समस्या हल करने के लिए कहने जैसा था; वे बस खो जाते थे।
समाधान: टीम ने एक "हाइब्रिड" सिस्टम बनाया। उन्होंने काम के सख्त, अपरिवर्तनीय नियमों (जैसे "पहले 3 टर्न में पता पूछें") को एक कठोर, गणितीय चेकलिस्ट में बदल दिया जिसे कंप्यूटर गलत नहीं कर सकता। उन्होंने एआई को "धुंधले" हिस्सों को संभालने दिया, जैसे यह समझना कि क्या कॉलर डरा हुआ लग रहा है या बैकग्राउंड शोर अराजक है।
इसे एक फुटबॉल मैच में रेफरी की तरह समझें। एआई एक्शन को कैप्चर करने वाला कैमरा क्रू है, लेकिन "औपचारिक नियम" रेफरी की सीटी हैं। रेफरी (गणित) सटीक रेखाओं के आधार पर कहता है, "गोल!" या "नो गोल!", जबकि कैमरा (एआई) ड्रामा का वर्णन करता है। इस मिश्रण ने अंतिम सिस्टम को 94.3% से 95.9% सटीक बनाया, जो अकेले एआई के अनुमान लगाने से बहुत बेहतर है।
पाठ 3: हर "त्रुटि" बग नहीं होती
मिथक: यदि एक प्रशिक्षु कहता है, "कंप्यूटर ने गलती की!", तो कंप्यूटर टूटा हुआ होना चाहिए।
वास्तविकता: उच्च-तनाव वाले प्रशिक्षण में, लोग अक्सर मशीन को दोष देते हैं जब वे खुद को मूर्ख महसूस करते हैं। शोधकर्ताओं ने पाया कि 28.24% समय, प्रशिक्षुओं ने "सिस्टम त्रुटियां" रिपोर्ट कीं जो वास्तव में उनकी अपनी गलती थी।
उदाहरण के लिए, एक प्रशिक्षु पता पूछ सकता है, "123 मेन स्ट्रीट" सुन सकता है, और फिर आगे बढ़ सकता है। वे सोचते हैं, "मुझे पता मिल गया, सिस्टम को मुझे अंक देने चाहिए!" लेकिन नियम कहता है कि आपको पते को सत्यापित (स्पेलिंग या क्रॉस-स्ट्रीट्स की जांच) करना होगा। प्रशिक्षु को लगा कि सिस्टम अनुचित था, लेकिन सिस्टम वास्तव में अपना काम पूरी तरह से कर रहा था।
समाधान: टीम ने एक "ट्राइएंगुलेटेड" फीडबैक लूप बनाया। जब कोई प्रशिक्षु शिकायत करता था, तो एक मानव विशेषज्ञ (एक गुणवत्ता आश्वासन अधिकारी) डेवलपर्स द्वारा कुछ भी बदलने से पहले रिकॉर्डिंग और लॉग्स को देखता था। इसने टीम को अनजाने में सिस्टम को "ठीक" करने से रोका जिससे प्रशिक्षण आसान हो जाता, जो प्रशिक्षण को बर्बाद कर देता। इसने टीम को सिखाया कि कभी-कभी, "त्रुटि" वास्तव में सबक होती है।
पाठ 4: निराशा अच्छी है (यदि आप इसे समझाते हैं)
मिथक: एक अच्छा प्रशिक्षण गेम आसान और मजेदार होना चाहिए ताकि लोग निराश न हों।
वास्तविकता: यदि प्रशिक्षण बहुत आसान है, तो प्रशिक्षु आपात स्थिति की वास्तविक अराजकता के लिए तैयार नहीं होंगे। लेकिन यदि यह बहुत कठिन है, तो वे छोड़ देंगे। शोधकर्ताओं ने कठिनाई का एक "स्वीट स्पॉट" पाया। जब परिदृश्य कठिन होते गए, तो प्रशिक्षुओं के स्कोर कम हो गए, लेकिन वे एआई को अधिक दोष देने लगे।
हालाँकि, एआई द्वारा फीडबैक देने के तरीके ने सब कुछ बदल दिया। शुरुआत में, एआई केवल गलतियों की सूची देता था: "आप यहाँ विफल रहे, आप वहाँ विफल रहे।" इससे प्रशिक्षुओं का मन हार मानने का करने लगा।
समाधान: टीम ने फीडबैक को "रचनात्मक" में बदल दिया। अब, जब कोई प्रशिक्षु गलती करता है, तो एआई यह भी बताता है कि उन्होंने क्या सही किया। "आपने पता जांचने में चूक की, लेकिन आपने कॉलर को शांत करने में बहुत अच्छा काम किया।" इसने कठिनाई को उच्च रखा (ताकि वे सीख सकें) लेकिन संघर्ष को निराशाजनक के बजाय उत्पादक महसूस कराया। इस बदलाव के बाद, उच्च-कठिनाई वाले सत्रों को पूरा करने वालों की संख्या 76% से बढ़कर 89% हो गई।
निष्कर्ष
यह पेपर सुझाव देता है कि सरकारी नौकरियों में एआई को शामिल करना केवल एक स्मार्ट एल्गोरिदम होने के बारे में नहीं है। यह इस बारे में है कि आप इसे कैसे बनाते हैं, आप इसकी जांच कैसे करते हैं, और आप इसका उपयोग करने वाले मनुष्यों के साथ कैसा व्यवहार करते हैं।
- इंतजार न करें कि पूर्णता आए; छोटा बनाएं और साथ मिलकर सीखें।
- एआई को सख्त नियमों का अनुमान न लगाने दें; इसे डबल-चेक करने के लिए गणित का उपयोग करें।
- यह मान न लें कि हर शिकायत एक बग है; जांचें कि क्या यह केवल मानवीय तनाव है।
- इसे बहुत आसान न बनाएं; लोगों को चुनौती दें, लेकिन उन्हें बताएं कि उन्होंने क्या अच्छा किया।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह एक विशिष्ट शहर (नैशविले) और एक विशिष्ट प्रकार के प्रशिक्षण पर आधारित है। वे यह दावा नहीं करते कि यह सब कुछ हल कर देता है, लेकिन वे सुझाव देते हैं कि यदि अन्य शहर प्रशिक्षण के लिए एआई का उपयोग करना चाहते हैं, तो उन्हें उन खामियों से बचने के लिए इन मानव-केंद्रित चरणों का पालन करना चाहिए जो उन्होंने पाई हैं। यह एक याद दिलाता है कि उच्च-दांव वाली नौकरियों में, तकनीक केवल एक उपकरण है; असली जादू इस बात में है कि मनुष्य और मशीनें एक-दूसरे पर विश्वास करना कैसे सीखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।