Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese
इस ब्लाइंडेड मल्टी-रेटर बेंचमार्क अध्ययन ने घुटने के ऑस्टियोआर्थराइटिस और टोटल नी आर्थ्रोप्लास्टी से संबंधित AAOS दिशानिर्देश-आधारित प्रश्नों पर चार लार्ज लैंग्वेज मॉडल्स का मूल्यांकन किया, जिसमें यह पाया गया कि हालांकि GPT ने उच्चतम समग्र गुणवत्ता और निरंतरता प्रदर्शित की, लेकिन प्रदर्शन रैंकिंग मूल्यांकन डोमेन द्वारा भिन्न थी और उपयोग किए गए सांख्यिकीय तरीकों के प्रति संवेदनशील थी।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई व्यक्ति घुटने के दर्द और जकड़न का सामना करता है, तो राहत का मार्ग अक्सर जटिल चिकित्सा सलाहों से बना होता है। डॉक्टर यह तय करने के लिए स्थापित दिशानिर्देशों पर भरोसा करते हैं कि क्या रोगी को भौतिक चिकित्सा (फिजिकल थेरेपी) का प्रयास करना चाहिए, दवा लेनी चाहिए, या जोड़ को बदलने के लिए सर्जरी करवानी चाहिए। ये नियम वर्षों के शोध पर आधारित हैं और इन्हें रोगियों को सुरक्षित रखने के साथ-साथ सुधार की सर्वोत्तम संभावना प्रदान करने के लिए बनाया गया है। हाल के वर्षों में, लोग इस जानकारी को समझने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (एआई) की ओर मुड़े हैं, और कंप्यूटर प्रोग्रामों से उपचार के विकल्पों, जोखिमों और रिकवरी के समय को सरल भाषा में समझाने के लिए कह रहे हैं। हालांकि, केवल इसलिए कि एक कंप्यूटर धाराप्रवाह बोलता है, इसका मतलब यह नहीं है कि वह सच बोल रहा है या सुसंगत है। यदि कोई मशीन एक ही प्रश्न पूछने पर हर बार अलग उत्तर देती है, या यदि वह आत्मविश्वास के साथ ऐसे उपचार का सुझाव देती है जिसे विशेषज्ञ खतरनाक जानते हैं, तो वह उपकरण मदद के बजाय भ्रम का स्रोत बन जाता है।
चीन की शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए कि चार अलग-अलग आर्टिफिशियल इंटेलिजेंस सिस्टम इन महत्वपूर्ण चिकित्सा प्रश्नों को कितनी अच्छी तरह संभालते हैं, एक अध्ययन किया। उन्होंने अपना ध्यान घुटने के ऑस्टियोआर्थराइटिस और टोटल नी रिप्लेसमेंट (घुटने के पूर्ण प्रतिस्थापन) पर केंद्रित किया, जो ऑर्थोपेडिक सर्जनों द्वारा उपचारित सबसे आम स्थितियों में से दो हैं। टीम ने केवल कंप्यूटरों से राय नहीं मांगी; उन्होंने अमेरिकन एकेडमी ऑफ ऑर्थोपेडिक सर्जन्स के आधिकारिक दिशानिर्देशों के आधार पर एक कठोर परीक्षण तैयार किया। उन्होंने वजन घटाने और व्यायाम जैसे गैर-सर्जिकल उपचारों से लेकर ऑपरेशन के दौरान जोखिमों को प्रबंधित करने के सर्जिकल विवरणों तक, सब कुछ कवर करने वाले चौबीस विशिष्ट प्रश्न लिखे। एक निष्पक्ष परीक्षण सुनिश्चित करने के लिए, उन्होंने प्रत्येक चार एआई मॉडल से प्रत्येक प्रश्न का तीन अलग-अलग बार उत्तर देने को कहा, जिसमें प्रत्येक प्रयास को पिछले संवाद की स्मृति के बिना एक नया संवाद माना गया। इस दृष्टिकोण ने उन्हें यह देखने की अनुमति दी कि क्या उत्तर न केवल सही थे, बल्कि क्या मशीनों पर बार-बार एक ही विश्वसनीय सलाह देने के लिए भरोसा किया जा सकता था।
कंप्यूटर द्वारा उत्पन्न उत्तरों को आठ मानव विशेषज्ञों को सौंपा गया जो घुटने के विकारों और जोड़ की सर्जरी के विशेषज्ञ हैं। इन डॉक्टरों और विशेषज्ञों ने उत्तरों को यह जाने बिना पढ़ा कि उन्हें किस कंप्यूटर ने लिखा है। उन्होंने प्रत्येक उत्तर को चार प्रमुख गुणों के आधार पर एक से पांच के पैमाने पर स्कोर दिया: उत्तर प्रश्न के लिए कितना प्रासंगिक था, वह चिकित्सकीय रूप से कितना सटीक था, वह समझने में कितना आसान था, और वह कितना सुरक्षित था। सुरक्षा एक बड़ी चिंता थी, जिसका अर्थ था कि विशेषज्ञों ने यह देखा कि क्या कंप्यूटर ने खतरनाक सलाह देने से परहेज किया या महत्वपूर्ण जोखिमों का उल्लेख करने में विफल रहा। विशेषज्ञों ने निरंतरता के लिए एक अलग स्कोर भी दिया, जिससे यह पता चला कि एक ही कंप्यूटर के एक ही प्रश्न के लिए तीन उत्तर मूल रूप से एक ही कहानी थे या वे एक-दूसरे का खंडन करते थे।
परिणामों ने दिखाया कि चार आर्टिफिशियल इंटेलिजेंस सिस्टम विभिन्न प्रकार से प्रदर्शन करते थे, और कोई भी एक मशीन हर श्रेणी में स्पष्ट विजेता नहीं थी। एक मॉडल, जिसे GPT के नाम से जाना जाता है, ने उच्चतम समग्र स्कोर प्राप्त किया। यह सटीक चिकित्सा जानकारी प्रदान करने, विषय पर बने रहने और आवश्यक सुरक्षा चेतावनियों को शामिल करने में विशेष रूप से मजबूत था। दूसरा मॉडल, DeepSeek, समग्र गुणवत्ता पर थोड़ा कम स्कोर करता था लेकिन विशेषज्ञों द्वारा इसे सबसे अधिक समझने योग्य माना गया, जिसका अर्थ था कि इसकी भाषा सबसे स्पष्ट और पालन करने में आसान थी। अन्य दो मॉडलों, ERNIE और Kimi को पूरे स्तर पर कम अंक मिले, विशेष रूप से सटीकता और सुरक्षा में। अध्ययन में पाया गया कि शीर्ष प्रदर्शन करने वाले और दूसरे सर्वश्रेष्ठ के बीच का अंतर छोटा था और डेटा के विश्लेषण के तरीके पर निर्भर था, जो यह सुझाव देता है कि हालांकि एक मशीन का मामूली बढ़त हो सकती है, लेकिन अंतर कोई बहुत बड़ा या अटल तथ्य नहीं है।
शायद मशीनों की गुणवत्ता जितनी महत्वपूर्ण उनकी निरंतरता थी। शोधकर्ताओं ने पाया कि शीर्ष दो मॉडल एक ही प्रश्न को लगातार तीन बार पूछे जाने पर एक ही उत्तर देने में बहुत बेहतर थे। अग्रणी मॉडल सबसे सुसंगत था, जिसके बाद दूसरे सर्वश्रेष्ठ मॉडल का स्थान था। अन्य दो प्रणालियाँ प्रयासों के बीच अपनी राय बदलने या अपनी सलाह बदलने की अधिक संभावना रखती थीं। यह मायने रखता है क्योंकि आज सलाह मांगने वाला रोगी यदि कम स्थिर प्रणाली का उपयोग करता है, तो उसे कल एक अलग उत्तर मिल सकता है, जिससे भ्रम या गलत निर्णय लेने की स्थिति पैदा हो सकती है। विशेषज्ञों ने नोट किया कि हालांकि कंप्यूटर सामान्य रूप से दिशानिर्देशों को समझाने में अच्छे थे, लेकिन वे पूर्ण नहीं थे, और उनका प्रदर्शन इस बात पर निर्भर करता था कि प्रश्न गैर-सर्जिकल देखभाल के बारे में था या सर्जरी के विवरण के बारे में।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये आर्टिफिशियल इंटेलिजेंस उपकरण रोगियों को उनके घुटने की स्थितियों को समझने में मदद करने के लिए आशाजनक हैं, लेकिन वे अभी तक डॉक्टर के निर्णय की जगह लेने के लिए तैयार नहीं हैं। सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडलों ने उच्च गुणवत्ता वाली, सुरक्षित और स्पष्ट जानकारी प्रदान की, लेकिन उनके बीच के अंतर सूक्ष्म और कुछ विशिष्ट शक्तियों के लिए विशिष्ट थे। एक मशीन तथ्यों के लिए बेहतर हो सकती है, जबकि दूसरी स्पष्ट भाषा के लिए बेहतर हो सकती है। शोधकर्ताओं ने इस बात पर जोर दिया कि ये निष्कर्ष यह दर्शाते हैं कि कंप्यूटर लिखित परीक्षा में कैसा प्रदर्शन करते हैं और यह साबित नहीं करते कि उनका उपयोग करने से रोगी के वास्तविक स्वास्थ्य या रिकवरी में सुधार होगा। फिलहाल, सबसे विश्वसनीय दृष्टिकोण यह है कि इन उपकरणों को सहायक के रूप में देखा जाए जो बातचीत के लिए एक शुरुआती बिंदु प्रदान कर सकते हैं, लेकिन उपचार के बारे में कोई भी निर्णय लेने से पहले उनकी सलाह को हमेशा एक चिकित्सा पेशेवर द्वारा जांचा जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।