Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

जब कोई रोगी अस्पताल से छुट्टी लेकर जाता है, तो उन्हें मिलने वाले डिस्चार्ज निर्देश केवल कार्यों की एक सूची मात्र नहीं होते; वे पेशेवर देखभाल और दैनिक जीवन के बीच एक महत्वपूर्ण सेतु होते हैं। यदि ये निर्देश समझे नहीं गए, तो दवा संबंधी त्रुटियों, फॉलो-अप नियुक्तियों के छूट जाने और स्वास्थ्य स्थितियों के बिगड़ने का जोखिम तेजी से बढ़ जाता है। उन रोगियों के लिए जिनकी प्राथमिक भाषा स्पेनिश है, यह सेतु उनकी मातृभाषा में निर्मित होना चाहिए। दशकों से, अस्पताल इन दस्तावेजों की सटीकता सुनिश्चित करने के लिए मानव अनुवादकों पर भरोसा करते आए हैं, लेकिन आर्टिफिशियल इंटेलिजेंस (AI) के तीव्र उदय ने इन अनुवादों को उत्पन्न करने का एक नया और तेज़ तरीका प्रदान किया है। लार्ज लैंग्वेज मॉडल्स, वही तकनीक जो निबंध लिख सकती है या जटिल प्रश्नों के उत्तर दे सकती है, अब इस परीक्षण के दौर से गुजर रही हैं कि क्या वे एक मानव विशेषज्ञ की तरह देखभाल और सटीकता के साथ चिकित्सा दस्तावेजों का अनुवाद कर सकती हैं। केंद्रीय प्रश्न केवल यह नहीं है कि क्या मशीन शब्दों का अनुवाद कर सकती है, बल्कि यह है कि क्या वह अर्थ का अनुवाद कर सकती है, विशेष रूप से तब जब एक गलत शब्द भी रोगी की अपने स्वास्थ्य के प्रति समझ को बदल सकता है।

कोलोराडो स्कूल ऑफ मेडिसिन के शोधकर्ताओं की एक टीम ने यह पता लगाने के लिए एक प्रयोग किया कि आर्टिफिशियल इंटेलिजेंस अस्पताल के डिस्चार्ज निर्देशों का अंग्रेजी से स्पेनिश में कितनी अच्छी तरह अनुवाद करता है। उन्होंने केवल कंप्यूटर को अनुवाद करने के लिए नहीं कहा; बल्कि उन्होंने एक कठोर प्रयोग बनाया ताकि यह देखा जा सके कि कंप्यूटर को काम करने के लिए अलग-अलग तरीके से निर्देश देने से परिणामों में क्या बदलाव आता है। उन्होंने एक बड़े मेडिकल डेटाबेस से दो सौ वास्तविक, अज्ञात (de-identified) डिस्चार्ज निर्देश लिए और उन्हें तीन अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स में डाला। यह देखने के लिए कि मशीन से बात करने का तरीका मायने रखता है या नहीं, उन्होंने प्रॉम्प्टिंग (prompting) के दो अलग-अलग तरीकों का उपयोग किया। एक विधि में, उन्होंने कंप्यूटर को एक गहन देखभाल इकाई (ICU) के विशेषज्ञ चिकित्सक के रूप में कार्य करने के लिए कहा, जो पाठ का अनुवाद करने के लिए जिम्मेदार हो। दूसरी विधि में, उन्होंने बिना किसी भूमिका या संदर्भ के, केवल शब्दों का अनुवाद करने का एक बहुत ही सरल और शाब्दिक निर्देश दिया। लक्ष्य यह देखना था कि क्या मशीन को एक डॉक्टर के रूप में प्रस्तुत करने से साधारण शब्द बदलने वाले उपकरण की तुलना में बेहतर चिकित्सा अनुवाद प्राप्त होते हैं।

इन अनुवादों की गुणवत्ता का आकलन करने के लिए, शोधकर्ताओं ने तीन अलग-अलग दृष्टिकोणों का उपयोग किया, जिनमें से प्रत्येक ने पाठ को एक अलग कोण से देखा। सबसे पहले, उन्होंने स्वचालित कंप्यूटर मेट्रिक्स (automated computer metrics) का उपयोग किया, जो भाषा प्रौद्योगिकी के क्षेत्र में मानक उपकरण हैं और यह गिनती करते हैं कि अनुवाद में कितने शब्द और वाक्यांश मूल पाठ से मेल खाते हैं। ये उपकरण तेज़ हैं और हजारों दस्तावेजों को प्रोसेस कर सकते हैं, लेकिन वे मुख्य रूप से सतही समानताओं को देखते हैं। दूसरा, उन्होंने 'मल्टीडायमेंशनल क्वालिटी मेट्रिक' (MQM) नामक एक संरचित ढांचे का उपयोग किया। यह विधि अनुवाद को विशिष्ट श्रेणियों में विभाजित करती है, जैसे कि क्या चिकित्सा शब्द सही हैं, क्या लहजा रोगी के लिए उपयुक्त है, और क्या व्याकरण स्वाभाविक रूप से प्रवाहित होता है। उन्होंने एक आर्टिफिशियल इंटेलिजेंस सिस्टम को इन श्रेणियों के आधार पर अनुवादों को स्कोर करने के लिए एक निर्णायक के रूप में इस्तेमाल किया। अंत में, और सबसे महत्वपूर्ण रूप से, वे मानव विशेषज्ञों को लेकर आए। दोनों भाषाओं (अंग्रेजी और स्पेनिश) में कुशल दो द्विभाषी डॉक्टरों ने अनुवादों के एक यादृच्छिक चयन की समीक्षा की। उन्होंने उन्हीं संरचित श्रेणियों का उपयोग करके दस्तावेजों को स्कोर किया, जो एक उच्च-गुणवत्ता वाले, सुरक्षित अनुवाद के मानक (gold standard) के रूप में कार्य करते हैं।

परिणामों ने एक आश्चर्यजनक अंतर को प्रकट किया कि कंप्यूटर क्या अच्छा समझता था और मानव डॉक्टर क्या अच्छा समझते थे। स्वचालित मेट्रिक्स, जो शब्दों के ओवरलैप को गिनते हैं, लगातार उन अनुवादों को प्राथमिकता देते थे जो सरल, शाब्दिक प्रॉम्प्ट द्वारा उत्पन्न किए गए थे। जब कंप्यूटर को केवल शब्द-दर-शब्द अनुवाद करने के लिए कहा गया, तो स्वचालित स्कोर उच्च थे, जिससे पता चलता कि आउटपुट मूल अंग्रेजी पाठ के अधिक करीब था। हालांकि, जब शोधकर्ताओं ने संरचित गुणवत्ता स्कोर और मानव समीक्षाओं को देखा, तो एक अलग तस्वीर सामने आई। "क्लिनिशियन" प्रॉम्प्ट द्वारा उत्पन्न अनुवादों ने, जहाँ कंप्यूटर को एक चिकित्सा विशेषज्ञ के रूप में कार्य करने के लिए कहा गया था, शैली और लहजे के मामले में अक्सर बेहतर प्रदर्शन किया, भले ही स्वचालित शब्द-गिनती उपकरणों ने उन्हें कम रेटिंग दी हो। यह सुझाव देता है कि अतीत में अनुवाद की सफलता को मापने के लिए उपयोग किए जाने वाले उपकरण उन बारीकियों को नहीं पकड़ पा रहे हैं जो अस्पताल के परिवेश में सबसे अधिक महत्वपूर्ण हैं।

जब शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस न्यायाधीशों द्वारा दिए गए स्कोर की तुलना मानव डॉक्टरों द्वारा दिए गए स्कोर से की, तो उनके बीच सहमति आश्चर्यजनक रूप से कम थी। कंप्यूटर और मानव विशेषज्ञ अक्सर इस बात पर असहमत थे कि अनुवाद सटीक था या चिकित्सा शब्दावली सही थी। मशीन और मानव के बीच उच्चतम स्तर की सहमति प्रारूपण (formatting) और स्थानीय परंपराओं जैसे क्षेत्रों में पाई गई, जहाँ नियम स्पष्ट और वस्तुनिष्ठ होते हैं। हालांकि, सबसे महत्वपूर्ण क्षेत्रों में—जैसे कि चिकित्सा अर्थ की सटीकता और रोगी के लिए भाषा की उपयुक्तता—मशीन और मानव अक्सर अलग-अलग राय रखते थे। यहाँ तक कि दोनों मानव डॉक्टर भी आपस में पूरी तरह सहमत नहीं थे, जो यह दर्शाता है कि चिकित्सा अनुवाद का निर्णय लेने में मानवीय व्याख्या का एक ऐसा स्तर शामिल है जिसे स्वचालित करना कठिन है। अध्ययन में पाया गया कि हालांकि आर्टिफिशियल इंटेलिजेंस मॉडल्स ने सामान्य रूप से उच्च-गुणवत्ता वाले अनुवाद तैयार किए, लेकिन वे उन क्षेत्रों में सबसे अधिक संघर्ष करते हैं जिनमें नैदानिक संदर्भ (clinical context) की गहरी समझ की आवश्यकता होती है।

शोधकर्ताओं ने निष्कर्ष निकाला कि चिकित्सा दस्तावेजों की सुरक्षा सुनिश्चित करने के लिए कोई भी एक विधि पर्याप्त नहीं है। स्वचालित उपकरण बड़े पैमाने पर पाठ की त्वरित जांच के लिए उपयोगी हैं, और संरचित स्कोरिंग सिस्टम मूल्यांकन को व्यवस्थित करने में मदद करते हैं, लेकिन दोनों ही मानव विशेषज्ञ के निर्णय का पूर्ण रूप से स्थान नहीं ले सकते। अध्ययन यह सुझाव देता है कि सबसे अच्छा दृष्टिकोण एक बहुस्तरीय (layered) दृष्टिकोण है: स्पष्ट त्रुटियों को छानने के लिए तेज़, स्वचालित जाँच का उपयोग करना, और उसके बाद पाठ के सबसे महत्वपूर्ण हिस्सों के लिए मानव चिकित्सकों द्वारा लक्षित समीक्षा करना। यह संयोजन सुनिश्चित करता है कि आर्टिफिशियल इंटेलिजेंस की दक्षता को रोगी सुरक्षा की रक्षा के लिए आवश्यक मानवीय निरीक्षण के साथ संतुलित किया जाए। ये निष्कर्ष एक अनुस्मारक के रूप में कार्य करते हैं कि स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले वातावरण में, शब्दों का अनुवाद करने की क्षमता, देखभाल का संचार करने की क्षमता के समान नहीं है, और मानवीय विशेषज्ञता इस प्रक्रिया का एक अनिवार्य हिस्सा बनी हुई है।