High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

तकनीकी सारांश: प्लाज्मा सेल ट्यूमर के पैथोलॉजिकल फ्रैक्चर में ChatGPT का क्रॉस-सेक्शनल मूल्यांकन

समस्या विवरण
मरीजों द्वारा चिकित्सा जानकारी तक पहुँचने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से बढ़ रहा है; हालाँकि, जटिल, बहु-विषयक ऑन्कोलॉजिक परिदृश्यों में उनके प्रदर्शन का मूल्यांकन अभी भी कम किया गया है। जबकि पूर्व अध्ययनों ने एकल-विशेषता वाले ढांचों में AI का आकलन किया है, प्लाज्मा सेल ट्यूमर (जैसे, सॉलिटरी प्लाज्मासाइटोमा और मल्टीपल मायलोमा) से जुड़े पैथोलॉजिकल फ्रैक्चर के लिए आवश्यक समन्वित निर्णय लेने की प्रक्रिया में इन मॉडल्स के प्रदर्शन को समझने में एक अंतराल मौजूद है। इन स्थितियों के लिए सर्जिकल स्थिरीकरण (surgical stabilization), रेडियोथेरेपी के समय और उपचार अनुक्रमण (treatment sequencing) के संबंध में ऑर्थोपेडिक सर्जनों और रेडिएशन ऑन्कोलॉजिस्ट के बीच जटिल सहयोग की आवश्यकता होती है। यह अध्ययन यह निर्धारित करने की आवश्यकता को संबोधित करता है कि क्या AI-जनित प्रतिक्रियाएं इन विविध नैदानिक डोमेन में रोगी-उन्मुख प्रश्नों को सटीक और सुसंगत रूप से संबोधित कर सकती हैं।

कार्यप्रणाली
इस क्रॉस-सेक्शनल अध्ययन ने एक संरचित ढांचे का उपयोग करके ChatGPT-5.1 (OpenAI) के प्रदर्शन का मूल्यांकन किया:

• प्रश्न निर्माण: चार वरिष्ठ विशेषज्ञों के एक बहु-विषयक पैनल (दो ऑर्थोपेडिक सर्जन और दो रेडिएशन ऑन्कोलॉजिस्ट, प्रत्येक के >20 वर्ष का अनुभव) ने 25 रोगी-उन्मुख प्रश्न विकसित किए। ये प्रश्न वास्तविक दुनिया के आउटपेशेंट अनुभवों और ट्यूमर बोर्ड चर्चाओं से लिए गए थे, जिन्हें पांच श्रेणियों में विभाजित किया गया था: (1) निदान और समझ, (2) सर्जिकल स्थिरीकरण, (3) रेडियोथेरेपी, (4) उपचार अनुक्रमण, और (5) रिकवरी और फॉलो-अप।
• प्रतिक्रिया जनरेशन: प्रश्नों को एक मानकीकृत तटस्थ प्रॉम्प्ट ("कृपया निम्नलिखित प्रश्न का उत्तर इस तरह दें जिसे एक रोगी आसानी से समझ सके") के माध्यम से अलग-अलग अस्थायी चैट सत्रों में व्यक्तिगत रूप से AI को भेजा गया ताकि मेमोरी प्रभाव (memory effects) को कम किया जा सके। केवल पहली उत्पन्न प्रतिक्रिया को रिकॉर्ड किया गया।
• मूल्यांकन: चार विशेषज्ञ चिकित्सकों (वही पैनल) ने पांच मानदंडों के आधार पर 5-पॉइंट लिकर्ट स्केल का उपयोग करके प्रतिक्रियाओं का स्वतंत्र रूप से मूल्यांकन किया: वैज्ञानिक सटीकता, सूचना पर्याप्तता, रोगी बोधगम्यता, नैदानिक प्रासंगिकता, और सूचना की नवीनता। मूल्यांकनकर्ता एक-दूसरे के आकलन से अनभिज्ञ (blinded) थे।
• सांख्यिकीय विश्लेषण: इंटर-रेटर विश्वसनीयता का आकलन टू-वे रैंडम-इफेक्ट्स मॉडल पर आधारित इंट्राक्लास सहसंबंध गुणांक (ICC) का उपयोग करके किया गया। मूल्यांकनकर्ताओं और मानदंडों के बीच अंतर का विश्लेषण फ्राइडमैन टेस्ट (Friedman test) का उपयोग करके किया गया। पठनीयता का आकलन फ्लेश-किल्ड (Flesch–Kaid) मेट्रिक्स का उपयोग करके किया गया।

मुख्य परिणाम

• समग्र प्रदर्शन: AI ने 25 में से 21.90 ± 0.83 का उच्च माध्य समग्र स्कोर प्राप्त किया, जो सामान्यतः उच्च सटीकता और स्पष्टता को दर्शाता है।
• डोमेन परिवर्तनशीलता: प्रदर्शन "निदान और समझ" (22.55 ± 0.62) और "रेडियोथेरेपी" (22.15 ± 0.74) में उच्चतम रहा। जटिल तर्क की आवश्यकता वाले बहु-विषयक डोमेन में थोड़े कम स्कोर देखे गए, विशेष रूप से "सर्जिकल स्थिरीकरण" (21.60 ± 0.72) और "उपचार अनुक्रमण" (21.65 ± 0.42) में।
• मूल्यांकन मानदंड: "रोगी बोधगम्यता" ने लगातार उच्चतम स्कोर (4.80 ± 0.21 तक) प्राप्त किए, जबकि "सूचना पर्याप्तता" लगातार सबसे कम-रेटेड मानदंड (औसत ≈ 3.95) रहा, विशेष रूप से सर्जिकल और अनुक्रमण संदर्भों में। यह सुझाव देता है कि प्रतिक्रियाएं स्पष्ट तो हैं लेकिन उनमें तकनीकी गहराई की कमी हो सकती है।
• इंटर-रेटर विश्वसनीयता: विशेषज्ञ मूल्यांकनकर्ताओं के बीच सहमति कम रही, जिसमें ICC मान नकारात्मक से मध्यम तक रहे। विशेष रूप से, "सर्जिकल स्थिरीकरण" और "उपचार अनुक्रमण" में नकारात्मक ICC मान देखे गए, जो यह दर्शाते हैं कि मूल्यांकनकर्ताओं के निर्णय काफी भिन्न थे, जो अक्सर संयोग की अपेक्षा से अधिक थे।
• पठनीयता: फ्लेश-किल्ड ग्रेड लेवल 8.05 निकाला गया, जो 10वीं-12वीं कक्षा के पढ़ने के स्तर के अनुरूप है।

प्रमुख योगदान

1. बहु-विषयक ढांचा: पिछले एकल-विशेषता वाले मूल्यांकनों के विपरीत, इस अध्ययन ने ऑर्थोपेडिक सर्जरी और रेडिएशन ऑन्कोलॉजी के इंटरफेस में AI के प्रदर्शन का स्पष्ट रूप से परीक्षण किया, जिससे यह रेखांकित हुआ कि विशेषज्ञता संबंधी अपेक्षाएं AI आउटपुट के मूल्यांकन को कैसे प्रभावित करती हैं।
2. परिवर्तनशीलता को एक विशेषता के रूप में पहचानना: यह अध्ययन देखी गई कम इंटर-रेटर विश्वसनीयता को केवल एक सांख्यिकीय दोष के रूप में नहीं, बल्कि बहु-विषयक नैदानिक निर्णय की अंतर्निहित जटिलता और संदर्भ-निर्भरता के प्रतिबिंब के रूप में पुनर्गठित करता है। स्कोरिंग में विचलन यह रेखांकित करता है कि "नैदानिक पर्याप्तता" की व्याख्या विभिन्न विशेषज्ञताओं द्वारा अलग तरह से की जाती है।
3. क्षमताओं का विभेदीकरण: शोध सामान्य, रोगी-अनुकूल जानकारी को संश्लेषित करने में AI की शक्ति और जटिल उपचार अनुक्रमण तथा सर्जिकल निर्णय लेने के लिए आवश्यक सूक्ष्म, कार्रवाई योग्य गहराई प्रदान करने में इसकी सापेक्ष कमजोरी के बीच एक स्पष्ट अंतर को स्पष्ट करता है।

महत्व और दावे
लेख यह निष्कर्ष निकालता है कि हालांकि ChatGPT स्पष्ट, सामान्यतः सटीक और रोगी-अनुकूल प्रतिक्रियाएं उत्पन्न करता है जो सामान्य शिक्षा और वैचारिक स्पष्टीकरण के लिए उपयुक्त हैं, यह वर्तमान में एक "विशेषज्ञ-स्तरीय निर्णय उपकरण" के बजाय एक "सामान्यवादी व्याख्याकार" (generalist explainer) के रूप में कार्य करता है। लेखक तर्क देते हैं कि प्लाज्मा सेल ट्यूमर में पैथोलिक फ्रैक्चर के संदर्भ में, AI को रोगी साक्षरता का समर्थन करने के लिए एक सहायक सूचनात्मक उपकरण के रूप में देखा जाना चाहिए, लेकिन यह जटिल बहु-विषयक परिदृश्यों में विशेषज्ञ नैदानिक निर्णय के स्थान पर लेने के लिए अपर्याप्त है। अध्ययन इस बात पर जोर देता है कि विशेषज्ञ मूल्यांकन में परिवर्तनशीलता बहु-विषयक देखभाल की वास्तविक दुनिया की जटिलता को दर्शाती है, जो यह सुझाव देती है कि भविष्य के AI एकीकरण को प्रदर्शन के एकल संयुक्त स्कोर पर निर्भर करने के बजाय इन विशेषज्ञता-विशिष्ट बारीकियों को ध्यान में रखना चाहिए।