Metric-dependent evaluation of a retrieval-augmented large language model workflow for oral squamous cell carcinoma treatment planning: a retrospective study
यह पूर्वव्यापी अध्ययन प्रदर्शित करता है कि ओरल स्क्वैमस सेल कार्सिनोमा उपचार योजना के लिए चार RAG-सक्षम LLMs की रैंकिंग उपयोग किए गए मूल्यांकन मीट्रिक के आधार पर महत्वपूर्ण रूप से भिन्न होती है, जो नैदानिक मॉडल प्रदर्शन को निर्धारित करने के लिए एकल समग्र स्कोर पर निर्भर रहने की सीमाओं को उजागर करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक डॉक्टर ओरल कैंसर (मुख के कैंसर) से पीड़ित एक मरीज के लिए उपचार की योजना बनाने के लिए बैठा है। यह कोई सरल कार्य नहीं है जहाँ केवल एक ही सही उत्तर हो। निर्णय इस बात पर निर्भर करता है कि ट्यूमर का सटीक स्थान क्या है, वह कितनी दूर तक फैला है, मरीज का समग्र स्वास्थ्य कैसा है, और उनकी व्यक्तिगत प्राथमिकताएं क्या हैं। यहाँ तक कि जब डॉक्टर सर्वोत्तम चिकित्सा दिशानिर्देशों का पालन करते हैं, तब भी वे एक ही मरीज के लिए अलग-अलग लेकिन समान रूप से वैध रास्ते चुन सकते हैं। एक डॉक्टर पहले सर्जरी की सिफारिश कर सकता है, जबकि दूसरा रेडिएशन (विकिरण) का सुझाव दे सकता है। दोनों योजनाएं चिकित्सकीय रूप से सही हो सकती हैं। यह जटिलता इस बात का परीक्षण करना बहुत कठिन बना देती है कि क्या कोई कंप्यूटर प्रोग्राम डॉक्टरों को ये निर्णय लेने में मदद कर सकता है। यदि एक कंप्यूटर एक ऐसी योजना का सुझाव देता है जो उस योजना से अलग दिखती है जिसे एक मानव डॉक्टर ने वर्षों पहले लिखा था, तो क्या कंप्यूटर गलत है? या क्या यह केवल एक अलग, समान रूप से अच्छा समाधान पेश कर रहा है?
यह प्रश्न चिकित्सा में आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) पर केंद्रित एक हालिया अध्ययन के केंद्र में है। शोधकर्ता यह देखना चाहते थे कि क्या लार्ज लैंग्वेज मॉडल्स—ऐसे कंप्यूटर प्रोग्राम जिन्हें मानव भाषा को समझने और उत्पन्न करने के लिए विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है—ओरल स्क्वैमस सेल कार्सिनोमा, जो मुंह के कैंसर का एक सामान्य प्रकार है, के उपचार की योजना बनाने में मदद कर सकते हैं। इन मॉडल्स को अक्सर 'रिट्रीवल-ऑगमेंटेड जनरेशन' नामक एक प्रणाली के साथ जोड़ा जाता है। इसे एक मेडिकल किताबों और दिशानिर्देशों के पुस्तकालय के रूप में समझें जिसे कंप्यूटर अपनी ट्रेनिंग से याद किए गए ज्ञान पर निर्भर रहने के बजाय उत्तर लिखने से पहले परामर्श कर सके। लक्ष्य यह देखना था कि क्या ये AI सिस्टम ऐसे उपचार प्लान तैयार कर सकते हैं जो अनुभवी मानव डॉक्टरों द्वारा बनाए गए प्लान की गुणवत्ता से मेल खाते हों।
शोधकर्ताओं ने चीन के एक अस्पताल से ओरल कैंसर के 100 वास्तविक मामले एकत्र किए। इन मामलों में 29 से 89 वर्ष की आयु के मरीज शामिल थे, जिनकी औसत आयु लगभग 60 वर्ष थी। अधिकांश मरीज पुरुष थे। प्रत्येक मामले के लिए, टीम ने मरीज के चिकित्सा विवरणों को चार अलग-अलग संस्करणों वाले एक AI सिस्टम में डाला। प्रत्येक सिस्टम को समान मेडिकल दिशानिर्देशों और शोध पत्रों के पुस्तकालय से लैस किया गया था। AI ने फिर प्रत्येक मरीज के लिए एक उपचार योजना तैयार की। शोधकर्ताओं ने इन AI-जनित योजनाओं की तुलना उन्हीं मरीजों के लिए मानव डॉक्टरों द्वारा अतीत में बनाई गई वास्तविक उपचार योजनाओं से की।
इस तुलना को करने के लिए, टीम ने कई अलग-अलग तरीकों का उपयोग किया। उन्होंने एक AI सिस्टम को जज (न्यायाधीश) के रूप में कार्य करने और योजनाओं को स्कोर देने के लिए कहा। उन्होंने यह मापने के लिए कंप्यूटर प्रोग्रामों का उपयोग किया कि AI के शब्द मानव डॉक्टर के शब्दों से कितने मिलते-जुलते थे। उन्होंने यह भी देखा कि AI के विचार अर्थ के गणितीय माप का उपयोग करके डॉक्टर के विचारों से कितनी निकटता रखते हैं। अंत में, पांच अनुभवी हेड-एंड-नेक कैंसर विशेषज्ञों ने योजनाओं की बिना किसी पूर्व जानकारी के समीक्षा की, और सुरक्षा, तर्क और उपयोगिता के आधार पर उन्हें रेटिंग दी।
इसके परिणाम आश्चर्यजनक थे और उन्होंने चिकित्सा AI के परीक्षण के बारे में एक महत्वपूर्ण सबक दिया। जब शोधकर्ताओं ने स्कोर देखे, तो यह मापने के तरीके के आधार पर "सर्वश्रेष्ठ" AI बदल गया। एक AI सिस्टम, जिसे 'क्वेन' (Qwen) कहा गया, को दूसरे AI द्वारा जज किए जाने पर उच्चतम स्कोर मिला। एक अन्य सिस्टम, 'डुओबाओ' (Douobao), अर्थ के संरेखण के आधार पर मानव योजनाओं के सबसे करीब दिखा। एक तीसरा सिस्टम, 'क्लॉड' (Claude), मानव योजनाओं के शब्दों के सबसे समान था। हालाँकि, जब मानव डॉक्टरों ने योजनाओं की समीक्षा की, तो उन्होंने पूरी तरह से अलग रैंकिंग दी, जिसमें अन्य दो सिस्टमों को प्राथमिकता दी गई।
यह निष्कर्ष दिखाता है कि यह कहने का कोई एक एकल, पूर्ण तरीका नहीं है कि कौन सा AI सबसे अच्छा है। एक प्रोग्राम बहुत अच्छा दिख सकता है यदि आप यह गिनें कि वह मानव योजना के कितने शब्द साझा करता है, लेकिन इसका मतलब यह नहीं है कि उसने सही चिकित्सा निर्णय लिए हैं। इसके विपरीत, एक प्रोग्राम पूरी तरह से अलग शब्दों का उपयोग कर सकता है, फिर भी एक सुरक्षित और प्रभावी उपचार योजना प्रदान कर सकता है। अध्ययन से पता चला कि कंप्यूटर प्रोग्राम व्यवहार्य उपचार योजनाएं उत्पन्न करने में सक्षम थे, लेकिन शोधकर्ता यह साबित नहीं कर सके कि उनमें से कोई भी एक श्रेष्ठ था या वे अकेले अस्पताल में उपयोग के लिए तैयार थे।
शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि उनके अध्ययन ने क्या सिद्ध नहीं किया। क्योंकि उन्होंने केवल पिछले रिकॉर्ड देखे, वे यह नहीं बता सके कि क्या AI वास्तव में रोगी के परिणामों में सुधार करेगा या वास्तविक समय में गलतियों को रोकेगा। वे यह भी अलग नहीं कर सके कि AI के "पुस्तकालय" का प्रभाव उसके अपने 'इंटेलिजेंस' से कितना अलग था, इसलिए वे निश्चित रूप से नहीं कह सके कि क्या अतिरिक्त मेडिकल किताबों ने अंतर पैदा किया। इसके अलावा, अध्ययन में यह परीक्षण नहीं किया गया कि क्या AI एक वास्तविक क्लिनिक की पूरी जटिलता को संभाल सकता है, जहाँ डॉक्टर और मरीज गतिशील रूप से बातचीत करते हैं।
अंततः, यह अध्ययन सुझाव देता है कि चिकित्सा AI का मूल्यांकन करना केवल उसे टेस्ट स्कोर देने से कहीं अधिक जटिल है। जिस तरह से आप AI को मापते हैं, वह बदल जाता है कि कौन सा विजेता दिखाई देता है। भविष्य में इन उपकरणों को सुरक्षित और उपयोगी बनाने के लिए, उन्हें अधिक कठोर तरीकों से परीक्षण करने की आवश्यकता होगी, जहाँ मानव डॉक्टर उनके साथ मिलकर काम करें ताकि यह सुनिश्चित हो सके कि योजनाएं न केवल पिछले रिकॉर्ड के साथ भाषाई रूप से समान हैं, बल्कि वास्तवतः सुरक्षित और सहायक भी हैं। तब तक, सबसे महत्वपूर्ण निष्कर्ष यह है कि हमें इस बारे में बहुत सावधान रहना चाहिए कि हम किस कंप्यूटर प्रोग्राम को जीवन बचाने में मदद करने के लिए तैयार मान लें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।