Medication Names Are a Safety-Critical Failure Mode in Clinical Speech Recognition: An Open Benchmark of On-Device and Cloud Systems

डॉक्टर अपने कार्यदिवस का आधे से अधिक समय अपने रोगियों के बारे में नोट्स लिखने में बिताते हैं। यह भारी प्रशासनिक बोझ बर्नआउट (थकान) का एक प्रमुख कारण है, जो कई चिकित्सकों को अत्यधिक थकावट की कगार पर धकेल देता है। हाल के वर्षों में, इस समस्या में मदद करने के लिए एक नई तकनीक उभरी है: एम्बिएंट आर्टिफिशियल इंटेलिजेंस (ambient AI)। ये सिस्टम डॉक्टर और रोगी के बीच होने वाली बातचीत को सुनते हैं और बोले गए शब्दों को स्वचालित रूप से लिखित पाठ में बदल देते हैं, इस उम्मीद में कि इससे चिकित्सक का समय बच सके। हालाँकि, इस तकनीक के सुरक्षित होने के लिए, कंप्यूटर को ठीक से समझना होगा कि क्या कहा गया था। यदि सॉफ्टवेयर किसी दवा के नाम को गलत सुन लेता है, तो इसके परिणाम गंभीर हो सकते हैं। मुख्य चुनौती यह है कि इन सिस्टमों को कैसे बनाया जाता है। अधिकांश वर्तमान सेवाएँ ऑडियो रिकॉर्डिंग को इंटरनेट के माध्यम से क्लाउड में स्थित एक विशाल सर्वर फार्म पर भेजती हैं ताकि उसे प्रोसेस किया जा सके। यह रोगी की गोपनीयता और डेटा को इधर-उधर भेजने की लागत के बारे में चिंताएँ पैदा करता है। एक वैकल्पिक दृष्टिकोण यह है कि सॉफ्टवेयर को सीधे डॉक्टर के डिवाइस, जैसे लैपटॉप या फोन पर चलाया जाए, जिससे ऑडियो स्थानीय रहे और उसे कभी बाहर न भेजा जाए। लेकिन अब तक, किसी के पास यह तुलना करने का कोई स्पष्ट, खुला तरीका नहीं था कि ये स्थानीय उपकरण शक्तिशाली क्लाउड दिग्गजों के मुकाबले कैसा प्रदर्शन करते हैं, विशेष रूप से एक चिकित्सा बातचीत के सबसे महत्वपूर्ण शब्दों के मामले में।

एमोरी यूनिवर्सिटी स्कूल ऑफ मेडिसिन के एक शोधकर्ता ने उस लापता तुलना उपकरण को बनाने का लक्ष्य रखा। उन्होंने 400 सिम्युलेटेड (नकली) बातचीत का उपयोग करके एक मानकीकृत परीक्षण बनाया, जिसमें तीन अलग-अलग चिकित्सा विशेषज्ञताएँ शामिल थीं: श्वसन संबंधी समस्याएं, प्राथमिक चिकित्सा (प्राइमरी केयर), और मनोरोग मूल्यांकन। ये बातचीत वास्तविक रोगी विज़िट नहीं थीं, बल्कि सावधानीपूर्वक रिकॉर्ड किए गए परिदृश्य थे जिन्हें एक वास्तविक परीक्षा के प्रवाह की नकल करने के लिए डिज़ाइन किया गया था। फिर शोधकर्ता ने इन रिकॉर्डिंग्स को बारह अलग-अलग स्पीच रिकग्निशन मॉडलों के माध्यम से चलाया जो एक स्थानीय डिवाइस पर चल सकते हैं, और पांच अलग-अलग कमर्शियल क्लाउड सेवाओं के माध्यम से चलाया जो इंटरनेट पर ऑडियो प्रोसेस करती हैं। लक्ष्य यह देखना था कि कौन सा सिस्टम सबसे महत्वपूर्ण चिकित्सा शब्दों, जैसे कि दवाओं के नाम, लक्षणों और प्रक्रियाओं को कितनी सटीकता से पकड़ सकता है, बिना कोई खतरनाक गलती किए।

परिणामों ने एक स्पष्ट और चिंताजनक पैटर्न का खुलासा किया। जबकि स्थानीय उपकरण सामान्य भाषण पर आश्चर्यजनक रूप से अच्छा प्रदर्शन करते थे, वे दवाओं के नामों के साथ काफी संघर्ष करते थे। सिम्युलेटेड बातचीत में, स्थानीय मॉडलों ने दवाओं के विशिष्ट नामों को उच्च प्रतिशत में गलत सुना, जो दवा और डेटासेट के आधार पर 85% से 93% तक था। उदाहरण के लिए, जब प्राइमरी केयर डेटासेट में "लिसिनोप्रिल" (lisinopril) शब्द बोला गया, तो स्थानीय सॉफ्टवेयर ने 92 प्रतिशत मामलों में इसे गलत समझा, और "अमोक्सिसिलिन" (amoxicillin) के मामले में 93 प्रतिशत। क्लाउड सेवाएँ इसमें बहुत बेहतर थीं, जिन्होंने उन समान नामों को केवल 3 से 30 प्रतिशत बार ही गलत पकड़ा। यह अंतर बताता है कि जबकि स्थानीय कंप्यूटर सामान्य बातचीत को समझने में अच्छे हैं, उनमें दवाओं के कठिन, सुनने में एक जैसे लगने वाले नामों को पहचानने के लिए विशिष्ट प्रशिक्षण की कमी है, जो रोगी की सुरक्षा के लिए महत्वपूर्ण हैं। अध्ययन में पाया गया कि यहाँ तक कि सर्वश्रेष्ठ स्थानीय मॉडल भी अभी तक चिकित्सा नोट्स को अंतिम रूप देने से पहले दवा के नामों की मानवीय जांच के बिना भरोसेमंद नहीं थे।

शोधकर्ता ने यह भी परीक्षण किया कि क्या कई स्थानीय मॉडलों के आउटपुट को संयोजित करने से इस समस्या को हल किया जा सकता है। विचार यह था कि यदि एक मॉडल एक शब्द को छोड़ देता है, तो दूसरा उसे पकड़ सकता है, और एक वोटिंग सिस्टम सही उत्तर चुन सकता है। हालाँकि, इस दृष्टिकोण से बहुत कम मदद मिली। विभिन्न मॉडलों के परिणामों को मिलाने से सटीकता में एक प्रतिशत से भी कम का सुधार हुआ, एक ऐसा अंतर जो वास्तविक दुनिया के परिदृश्य में परिणाम को नहीं बदलेगा। अध्ययन ने दिखाया कि केवल अधिक मॉडल जोड़ने से मूल समस्या हल नहीं होती है; मौलिक सीमा स्वयं मॉडलों में है, न कि उन्हें कैसे संयोजित किया जाता है उसमें। शोधकर्ता ने यह भी नोट किया कि एक विशिष्ट मॉडल, जिसे मेडिकल डिक्टेशन के लिए डिज़ाइन किया गया था, अन्य की तुलना में दवाओं के नामों पर बहुत बेहतर प्रदर्शन करता था, जो यह सुझाव देता है कि यदि सॉफ्टवेयर को सामान्य बातचीत के बजाय विशेष रूप से चिकित्सा उपयोग के लिए प्रशिक्षित किया जाता है, तो इस समस्या को हल किया जा सकता है।

सटीकता के अलावा, अध्ययन ने लागत और गोपनीयता के निहितार्थों को भी देखा। ऑडियो को क्लाउड पर भेजने की लागत प्रति रोगी विज़िट कुछ सेंट से लेकर एक डॉलर से अधिक तक होती है, जो सेवा पर निर्भर करती है। एक डॉक्टर जो साल में हजारों रोगियों को देखता है, उसके लिए यह हजारों डॉलर के बराबर होता है। इसके विपरीत, स्थानीय डिवाइस पर सॉफ्टवेयर चलाने की प्रारंभिक सेटअप के बाद प्रति विज़िट कोई लागत नहीं आती है, क्योंकि यह डॉक्टर के पास पहले से मौजूद कंप्यूटर का उपयोग करता है। यह छोटे क्लीनिकों या सीमित इंटरनेट एक्सेस वाले क्षेत्रों के लिए स्थानीय प्रसंस्करण को बहुत अधिक किफायती विकल्प बनाता है। इसके अलावा, ऑडियो को डिवाइस पर रखने का मतलब है कि रोगी की निजी स्वास्थ्य जानकारी कमरे से बाहर कभी नहीं जाती है, जिससे उन गोपनीयता चिंताओं का समाधान होता है जो डेटा को तीसरे पक्ष के सर्वर पर भेजने से उत्पन्न होती हैं।

अध्ययन निष्कर्ष निकालता है कि हालांकि स्थानीय स्पीच रिकग्निशन क्लाउड सेवाओं का एक व्यवहार्य और लागत प्रभावी विकल्प है, लेकिन यह अभी भी पूर्ण नहीं है। यह तकनीक उपयोगी होने के लिए पर्याप्त करीब है, लेकिन यह दवाओं के नामों को अकेले संभालने के लिए भरोसेमंद नहीं है। शोधकर्ता इस बात पर जोर देते हैं कि इस तकनीक का उपयोग करने वाला कोई भी सिस्टम, चाहे वह स्थानीय डिवाइस पर चले या क्लाउड पर, इसमें एक अनिवार्य चरण होना चाहिए जहाँ मानव चिकित्सा रिकॉर्ड को सहेजने से पहले दवाओं के नामों की समीक्षा और पुष्टि करे। जब तक सॉफ्टवेयर विशेष रूप से इन महत्वपूर्ण शब्दों पर सुधार नहीं करता, तब तक रोगी की सुरक्षा अंतिम मानवीय जांच पर निर्भर करती है। यह कार्य एक स्पष्ट रोडमैप प्रदान करता है: कई अपूर्ण मॉडलों को संयमाने के बजाय, ध्यान एकल मॉडलों को विशेष रूप से चिकित्सा भाषा पर प्रशिक्षित करने की ओर स्थानांतरित किया जाना चाहिए ताकि सटीकता के शेष अंतर को भरा जा सके।