Evaluating the Safety Tolerances of Speech Recognition AI for Look-Alike/Sound-Alike (LASA) Clinical Nomenclature under Acoustic Stress
यह अध्ययन प्रदर्शित करता है कि मानक वर्ड एरर रेट (Word Error Rate) मेट्रिक्स नैदानिक परिवेशों में ओपन-सोर्स स्पीच रिकग्निशन मॉडल्स के महत्वपूर्ण सुरक्षा जोखिमों को पकड़ने में विफल रहते हैं, क्योंकि ये मॉडल्स ध्वनिक तनाव (acoustic stress) के तहत गैर-रेखीय प्रदर्शन पतन (non-linear performance collapses) और खतरनाक लुक-अलाइक/साउंड-अलाइक (Look-Alike/Sound-Alike) दवा ट्रांसक्रिप्शन त्रुटियां प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक आधुनिक अस्पताल के व्यस्त गलियारों में, एक शांत क्रांति चल रही है। डॉक्टर और नर्स अपनी बातचीत को सुनने और मरीजों के नोट्स स्वतः लिखने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (AI) की ओर मुड़ रहे हैं। ये डिजिटल लेखक चिकित्सा कर्मियों से भारी प्रशासनिक बोझ को कम करने का वादा करते हैं, जिससे वे देखभाल पर अधिक ध्यान केंद्रित कर सकें और टाइपिंग पर कम। हालांकि, इस तकनीक को सुरक्षित होने के लिए, इसे चिकित्सा की सटीक भाषा को समझना होगा, जहाँ एक गलत शब्द उपचार को जीवन रक्षक से जीवन के लिए खतरा बना सकता है। यह विशेष रूप से उन दवाओं के लिए सच है जो दिखने या सुनने में लगभग एक जैसी होती हैं, जिन्हें 'लुक-अलाइक' या 'साउंड-अलाइक' दवाएं कहा जाता है। यदि कंप्यूटर एक डॉक्टर को एक दवा का नाम कहते हुए सुनता है लेकिन दूसरा लिख देता है, तो वह त्रुटि मरीज के स्थायी रिकॉर्ड में विनाशकारी परिणामों के साथ शामिल हो सकती है। डेवलपर्स के सामने मुख्य प्रश्न यह है कि क्या ये सुनने वाली मशीनें शोर-शराबे वाले, अराजक और उस शांत स्टूडियो से दूर के वातावरण में भी सटीक बनी रह सकती हैं जहाँ उन्हें प्रशिक्षित किया गया था।
ग्रामर स्कूल के एक शोधकर्ता लोकेश चक्रवर्ती द्वारा किए गए एक हालिया अध्ययन ने यह परीक्षण करने का प्रयास किया कि एक विशिष्ट प्रकार का ओपन-सोर्स स्पीच रिकग्निशन सॉफ्टवेयर इन खतरनाक परिदृश्यों को कितनी अच्छी तरह संभालता है। शोधकर्ता ने 'विस्पर-टाइनी' (Whisper-Tiny) नामक एक मॉडल पर ध्यान केंद्रित किया, जो एक छोटा लेकिन शक्तिशाली टूल है जिसका उपयोग कई डेवलपर्स अपने स्वयं के एप्लिकेशन बनाने के लिए शुरुआती बिंदु के रूप में करते हैं। लक्ष्य यह देखना नहीं था कि क्या सॉफ्टवेयर सामान्य बातचीत को समझ सकता है, बल्कि यह देखना था कि क्या यह एक वास्तविक अस्पताल वार्ड के ध्वनिक तनाव (acoustic stress) में जीवित रह सकता है। ऐसा करने के लिए, शोधकर्ता ने एक कंप्यूटर प्रोग्राम का उपयोग करके एक नियंत्रित सिमुलेशन बनाया। चार महत्वपूर्ण चिकित्सा शब्दों को चुना गया, जो मधुमेह उपचार, कीमोथेरेपी, रक्तचाप प्रबंधन और इलेक्ट्रोलाइट संतुलन जैसे उच्च-जोखिम वाले क्षेत्रों का प्रतिनिधित्व करते हैं। इन शब्दों को कंप्यूटर-जनित ऑडियो फाइलों में परिवर्तित किया गया जो ब्रिटिश लहजे (accent) की नकल करते थे, जिससे प्रयोग के लिए एक सुसंगत आधार प्राप्त हुआ।
प्रयोग ने एक ऐसा चर (variable) पेश किया जो अस्पतालों में तो आम है लेकिन परीक्षण प्रयोगशालाओं में दुर्लभ है: बैकग्राउंड नॉइज़ यानी पृष्ठभूमि का शोर। शोधकर्ता ने ऑडियो फाइलों पर तीन अलग-अलग स्तरों का स्टैटिक शोर डाला। पहला स्तर सन्नाटा था, जो एक नियंत्रण (control) के रूप में कार्य करता था। दूसरे स्तर ने एक व्यस्त वार्ड की गुनगुनाहट का अनुकरण किया, जबकि तीसरे स्तर ने एक आपातकालीन पुनर्जीवन कक्ष (emergency resuscitation room) के शोर का प्रतिनिधित्व किया। इन शोर वाले फाइलों को फिर स्पीच रिकग्निशन मॉडल में डाला गया ताकि यह देखा जा सके कि वे क्या ट्रांसक्राइब (लिखना) करते हैं। अध्ययन ने केवल शब्दों के सही होने के समग्र प्रतिशत को नहीं देखा, जिसे 'वर्ड एरर रेट' (Word Error Rate) नामक एक मानक मीट्रिक कहा जाता है। इसके बजाय, इसने इस बात पर बारीकी से ध्यान दिया कि क्या विशिष्ट दवा के नामों को संरक्षित किया गया है या वे दूषित हो गए हैं, और किसी भी दवा के नाम के प्रतिस्थापन (substitution) को एक गंभीर सुरक्षा विफलता के रूप में चिह्नित किया।
परिणामों ने एक ऐसा पैटर्न प्रकट किया जिसे मानक परीक्षण विधियां संभवतः मिस कर देंगी। शांत नियंत्रण वातावरण में, मॉडल का प्रदर्शन काफी अच्छा था, हालांकि इसने कभी-कभी एक दवा के नाम में एक अक्षर छोड़ दिया या स्वर ध्वनि बदल दी। उदाहरण के लिए, इसने रक्तचाप की एक दवा को उसके थोड़े गलत वर्तनी वाले संस्करण के रूप में ट्रांसक्राइब किया। जबकि एक इंसान इस टाइपो को पकड़ सकता है, एक स्वचालित अस्पताल प्रणाली ऐसा नहीं कर सकती है, जिससे सही दवा का ऑर्डर देना बाधित हो सकता है। जैसे ही शोर का स्तर एक व्यस्त वार्ड का अनुकरण करने के लिए बढ़ा, मॉडल का व्यवहार नाटकीय रूप से बदल गया। इसने चिकित्सा शब्द का अनुमान लगाने के बजाय, उसे एक पूरी तरह से अलग, रोजमर्रा के शब्द से बदल दिया जो सुनने में समान था। एक चौंकाने वाले उदाहरण में, एक शक्तिशाली रक्तचाप की दवा को "कंडोलेंस" (condolences - संवेदना) शब्द के रूप में ट्रांसक्राइब किया गया। इस त्रुटि ने प्रभावी रूप से दवा को रिकॉर्ड से मिटा दिया, एक चिकित्सा निर्देश को सहानुभूति के वाक्यांश से बदल दिया।
जब शोर उच्चतम स्तर पर पहुँच गया, जो एक आपातकालीन कक्ष के अराजक माहौल का अनुकरण करता है, तो सिस्टम केवल गलतियाँ ही नहीं करता; बल्कि पूरी तरह से टूट जाता है। मॉडल 'ऑटोरिग्रेसिव लूप्स' (autoregressive loops) में प्रवेश कर गया, जो एक तकनीकी विफलता है जहाँ सॉफ्टवेयर एक ही वाक्यांश को बार-बार दोहराने में फंस जाता है, और नए ऑडियो इनपुट को प्रोसेस करने में असमर्थ होता है। कुछ मामलों में, कंप्यूटर ने स्टैटिक शोर को विदेशी भाषा के रूप में सुना और रूसी भाषा में वाक्यों को दोहराना शुरू कर दिया। अन्य मामलों में, इसने घर में फंसे होने या ईसा मसीह के बारे में वाक्यांश दोहराए, मूल चिकित्सा आदेश को पूरी तरह से अनदेखा कर दिया। अध्ययन ने इन विफलताओं को एक ऐसे मीट्रिक के साथ मापा जो सामान्य त्रुटि दरों से कहीं आगे जाता है, यह दिखाते हुए कि अत्यधिक तनाव के तहत, सिस्टम का आउटपुट साधारण गलती से हजारों प्रतिशत बदतर हो सकता है, जिससे वह प्रभावी रूप से बेकार हो जाता है।
शोधकर्ता ने निष्कर्ष निकाला कि इन AI टूल्स को आंकने का मानक तरीका चिकित्सा उपयोग के लिए अपर्याप्त है। एक सामान्य परीक्षण पर उच्च समग्र स्कोर इस तथ्य को छिपा सकता है कि सिस्टम तब विफल हो जाता है जब यह सबसे महत्वपूर्ण होता है। अध्ययन बताता है कि औसत सटीकता नंबरों पर भरोसा करना खतरनाक है क्योंकि यह एक ऐसी प्रणाली को पास होने की अनुमति देता है जो एक जीवन रक्षक दवा को एक सामान्य संज्ञा से बदलने या निरर्थक बातों के लूप में फंसने में सक्षम है। निष्कर्ष बताते हैं कि अस्पतालों में एआई को सुरक्षित रूप से तैनात करने के लिए, डेवलपर्स को सरल औसत से आगे बढ़ना चाहिए और विशेष सुरक्षा जांच बनानी चाहिए जो सामान्य प्रवाह के बजाय महत्वपूर्ण चिकित्सा शब्दों की सही पहचान को प्राथमिकता देती हो। जब तक ऐसे सुरक्षा उपाय लागू नहीं होते, तब तक स्वचालित चिकित्सा लेखकों का वादा उन्हीं वातावरणों में जोखिम भरा बना हुआ है जहाँ उनकी सबसे अधिक आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।