Polish-English medical knowledge transfer: A new benchmark and results
यह शोध पत्र मानव प्रदर्शन के विरुद्ध अत्याधुनिक एलएलएम (LLMs) का मूल्यांकन करने के लिए 24,000 से अधिक लाइसेंसिंग और विशेषज्ञता परीक्षा प्रश्नों से व्युत्पन्न एक नए पोलिश-अंग्रेजी चिकित्सा बेंचमार्क को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि शीर्ष मॉडल मानव स्तरों के करीब पहुँच रहे हैं, क्रॉस-लिंगुअल अनुवाद और डोमेन-विशिष्ट समझ में महत्वपूर्ण चुनौतियाँ बनी हुई हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस ने पढ़ने और लिखने में ऐसी दक्षता सीख ली है जो अक्सर मानवीय बातचीत की बराबरी करती है। ये प्रणालियाँ, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, इंटरनेट, पुस्तकों और लेखों से प्राप्त विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होती हैं, जिससे वे प्रश्न पूछने, कहानियों का सारांश बनाने और समस्याओं को हल करने में सक्षम होती हैं। हालाँकि, उनका ज्ञान समान रूप से वितरित नहीं है। क्योंकि उन्हें सिखाने के लिए उपयोग किए गए डेटा का अधिकांश हिस्सा अंग्रेजी बोलने वाले स्रोतों से आता है, इसलिए ये मॉडल अन्य भाषाओं की तुलना में अंग्रेजी को कहीं बेहतर समझते हैं। यह एक महत्वपूर्ण अंतर पैदा करता है जब इस तकनीक को चिकित्सा जैसे विशिष्ट क्षेत्रों में लागू किया जाता है, जहाँ दिशानिर्देश, बीमारियाँ और उपचार देश दर देश भिन्न हो सकते हैं। यदि पोलैंड में कोई डॉक्टर मुख्य रूप से अमेरिकी या ब्रिटिश चिकित्सा डेटा पर प्रशिक्षित एआई (AI) पर भरोसा करता है, तो दी गई सलाह स्थानीय वास्तविकता के अनुकूल नहीं हो सकती है, जिससे निदान या उपचार में त्रुटियां होने की संभावना बढ़ सकती है।
पोलैंड के शोधकर्ताओं ने यह मापने के लिए एक प्रयास किया कि ये कृत्रिम मस्तिष्क वास्तव में एक पोलिश डॉक्टर की तरह सोचने के लिए पूछे जाने पर कैसा प्रदर्शन करते हैं। उन्होंने एक नया परीक्षण आधार तैयार किया जो उन वास्तविक परीक्षाओं पर आधारित था जिन्हें मेडिकल छात्रों और विशेषज्ञों को अपने देश में अभ्यास करने के लिए पास करना होता है। ये परीक्षाएँ कठोर हैं, जिनमें बुनियादी शरीर रचना विज्ञान (anatomy) से लेकर जटिल शल्य चिकित्सा प्रक्रियाओं तक सब कुछ शामिल है, और ये पोलिश भाषा में लिखी गई हैं। टीम ने वास्तविक दुनिया के इन परीक्षणों से 22,000 से अधिक प्रश्न एकत्र किए, जिनमें कुछ प्रश्न पेशेवर रूप से अंग्रेजी में अनुवादित भी किए गए थे। इन प्रश्नों को विभिन्न एआई मॉडलों को खिलाकर, वे देख सके कि क्या मशीनें मानव छात्रों के समान बाधाओं को पार कर सकती हैं, और क्या प्रश्न की भाषा ने परिणाम को बदल दिया।
परिणामों ने एक स्पष्ट तस्वीर पेश की कि ये मॉडल कहाँ खड़े हैं। सबसे उन्नत कृत्रिम बुद्धिमत्ता प्रणालियाँ, विशेष रूप से एक जिसे GPT-4o के रूप में जाना जाता है, उल्लेखनीय रूप से अच्छा प्रदर्शन करती हैं, जिसने सामान्य चिकित्सा लाइसेंसिंग परीक्षा के लगभग 90 प्रतिशत प्रश्नों के सही उत्तर दिए। यह स्कोर इतना उच्च है कि मॉडल एक विशिष्ट मेडिकल छात्र के साथ मिलकर इस परीक्षा को पास कर सकता है। हालाँकि, कहानी तब बदल जाती है जब प्रश्न अधिक कठिन या विशिष्ट हो जाते हैं। जब शोधकर्ताओं ने दंत चिकित्सा (dental) के छात्रों के लिए परीक्षाओं और चिकित्सा विशेषज्ञों के लिए उन्नत परीक्षणों पर मॉडलों का परीक्षण किया, तो स्कोर काफी गिर गया। यहाँ तक कि सबसे अच्छा प्रदर्शन करने वाले एआई को भी डेंटल परीक्षा में संघर्ष करना पड़ा, और विशेषज्ञ परीक्षाओं पर, यह परीक्षण किए गए चिकित्सा क्षेत्रों के 30 प्रतिशत से अधिक में औसत मानव डॉक्टर से बेहतर प्रदर्शन करने में विफल रहा। कुछ विशिष्ट क्षेत्रों में, जैसे कि ऑडियोलॉजी (audiology) और कान, नाक और गले के चिकित्सा क्षेत्र में, एआई का प्रदर्शन उस वर्ष परीक्षण देने वाले प्रत्येक मानव से भी खराब रहा।
अध्ययन का एक महत्वपूर्ण हिस्सा यह था कि मॉडलों ने पोलिश बनाम अंग्रेजी में एक ही प्रश्न को कैसे संभाला। शोधकर्ताओं ने पाया कि अधिकांश मॉडलों के लिए, भाषा ने एक बड़ा अंतर पैदा किया। जब एक प्रश्न अंग्रेजी में पूछा गया था, तो एआई के सही होने की संभावना तब बहुत अधिक थी जब वही प्रश्न पोलिश में पूछा गया था। यह सुझाव देता है कि मॉडल वास्तव में चिकित्सा अवधारणाओं को सार्वभौमिक तरीके से नहीं समझ रहे हैं; इसके बजाय, वे उन पैटर्न पर निर्भर हैं जो उन्होंने अंग्रेजी ग्रंथों से सीखे हैं। जैसे-जैसे मॉडल बड़े और अधिक शक्तिशाली होते गए, भाषाओं के बीच यह अंतर कम होता गया, लेकिन यह पूरी तरह से समाप्त नहीं हुआ। एक मॉडल जो विशेष रूप से पोलिश भाषा के लिए बनाया गया था, उसने अंग्रेजी के बजाय पोलिश प्रश्नों पर बेहतर प्रदर्शन किया, लेकिन वह अभी भी सबसे बड़े, सामान्य उद्देश्य वाले मॉडलों की कच्ची शक्ति का मुकाबला नहीं कर सका जब उन्हें अंग्रेजी में पूछा गया था।
अध्ययन ने यह भी रेखांकित किया कि बहुविकल्पीय परीक्षा पास करना एक सक्षम डॉक्टर होने के समान नहीं है। अध्ययन में उपयोग की गई परीक्षाएँ लिखित परीक्षाएँ हैं जहाँ एक छात्र विकल्पों की सूची में से सही उत्तर चुनता है। हालाँकि, वास्तविक चिकित्सा अभ्यास में रोगियों से बात करना, उनकी कहानियाँ सुनना, उनके शरीर की जाँच करना और निर्णय लेना शामिल है जहाँ कोई एक एकल सही उत्तर नहीं होता। शोधकर्ताओं ने जोर देकर कहा कि हालांकि ये एआई उपकरण प्रभावशाली हैं, वे अभी अस्पताल में आवश्यक मानवीय संपर्क और जटिल निर्णय लेने की क्षमता की जगह नहीं ले सकते। ये मॉडल सहायक के रूप में उपयोगी हो सकते हैं, जानकारी व्यवस्थित करने या रिपोर्ट तैयार करने में मदद कर सकते हैं, लेकिन वे एक लाइसेंस प्राप्त चिकित्सक का स्थान लेने के लिए तैयार नहीं हैं।
अंततः, यह कार्य चिकित्सा प्रौद्योगिकी के भविष्य के लिए एक चेतावनी और एक मार्गदर्शिका के रूप में कार्य करता है। यह दिखाता है कि जबकि आर्टिफिशियल इंटेलिजेंस चिकित्सा संबंधी प्रश्नों के उत्तर देने में बेहतर हो रहा है, यह अभी तक इतना विश्वसनीय नहीं है कि इस पर अंधा विश्वास किया जा सके, विशेष रूप से जब भाषा या विशिष्ट चिकित्सा विशेषता बदलती है। निष्कर्ष बताते हैं कि इन उपकरणों का उपयोग क्लीनिकों में करने से पहले, उन्हें उन विशिष्ट भाषाओं और संदर्भों में कड़ाई से परखा जाना चाहिए जहाँ उनका उपयोग किया जाएगा। अंग्रेजी और पोलिश प्रदर्शन के बीच का अंतर यह सिद्ध करता है कि डेटा के एक सेट पर प्रशिक्षित मॉडल को यह मानकर नहीं छोड़ा जा सकता कि वह दूसरे में भी पूरी तरह से काम करेगा। जैसे-जैसे तकनीक विकसित होती जा रही है, लक्ष्य ऐसे सिस्टम बनाना है जो न केवल स्मार्ट हों, बल्कि निष्पक्ष और सटीक भी हों, चाहे वे किसी भी भाषा के मरीज हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।