Agentic systems for breast cancer treatment recommendations
यह अध्ययन 72 वास्तविक नैदानिक मामलों और 1,147 विषम रूपरेखाओं (asymmetric rubrics) का उपयोग करके स्तन कैंसर के उपचार संबंधी सिफारिशों के लिए एजेंटिक लार्ज लैंग्वेज मॉडल प्रणालियों का मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि सर्वश्रेष्ठ प्रदर्शन करने वाली कॉन्फ़िगरेशन ने 0.594 का वैश्विक स्कोर प्राप्त किया, फिर भी निरंतर नैदानिक रूप से प्रासंगिक विफलताएं यह संकेत देती हैं कि ये प्रणालियाँ वर्तमान में अनसुपरवाइज्ड क्लिनिकल उपयोग के लिए अपर्याप्त हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप डॉक्टरों को स्तन कैंसर के इलाज के लिए सबसे अच्छा तरीका तय करने में मदद करने के लिए एक परम "मेडिकल सुपर-ब्रेन" बनाने की कोशिश कर रहे हैं। आपके पास 72 वास्तविक जीवन की रोगी कहानियों का एक पुस्तकालय है, जो शुरुआती चरण के मामलों से लेकर उन्नत चरणों तक फैले हुए हैं, और आप यह देखना चाहते हैं कि क्या एआई (AI) रोबोटों की एक टीम इन कहानियों को पढ़ सकती है और एक आदर्श उपचार योजना लिख सकती है। इस अध्ययन ने बिल्कुल यही किया।
शोधकर्ताओं ने 72 वास्तविक नैदानिक मामले (clinical cases) तैयार किए और एआई के उत्तरों को ग्रेड देने के लिए 1,147 विशिष्ट चेकलिस्ट (जिन्हें रूब्रिक्स कहा जाता है) बनाईं। ये चेकलिस्ट एक विशेष एआई द्वारा बनाई गई थीं जिसके पास डॉक्टरों के वास्तविक निर्णयों और चिकित्सा पुस्तकों तक पहुंच थी—ऐसी जानकारी जो परीक्षण करने वाले एआई के पास नहीं थी। इस "गुप्त लाभ" ने यह सुनिश्चित किया कि ग्रेडिंग निष्पक्ष और वास्तविक चिकित्सा वास्तविकता पर आधारित हो।
मुख्य खोज: अधिक रोबोटों का मतलब हमेशा बेहतर मस्तिष्क नहीं होता
टीम ने एआई को व्यवस्थित करने के तरीके के सात अलग-अलग परीक्षण किए। कुछ सरल सिंगल-ब्रेन मॉडल थे, जबकि अन्य जटिल "एजेंटिक" (agentic) सिस्टम थे जहाँ एक मुख्य रोबोट बॉस के रूप में कार्य करता था, जो सर्जरी, रेडिएशन या ड्रग थेरेपी जैसे विशिष्ट कार्यों को संभालने के लिए छोटे रोबोटों को काम पर रखता था। कुछ रोबोट टीमों में दावों को सत्यापित करने के लिए एक समर्पित "फैक्ट-चेकर" रोबोट भी था, और कुछ तो ज़रूरत पड़ने पर नए रोबोट भी काम पर रख सकते थे।
ट्विस्ट यह है: अधिक उपकरण और अधिक रोबोट जोड़ने से एआई अपने आप स्मार्ट नहीं हो गया।
वास्तव में, कुछ मॉडलों के लिए, उन्हें इंटरनेट या पबमेड (PubMed - एक चिकित्सा डेटाबेस) तक पहुंच देना वास्तव में उन्हें उनके काम में और भी खराब बना देता है। यह एक छात्र को लाइब्रेरी कार्ड और कैलकुलेटर देने जैसा है, लेकिन यदि उन्हें यह नहीं पता कि सही प्रश्न कैसे पूछें या अपना गणित कैसे जांचें, तो वे केवल अधिक भ्रमित हो सकते हैं। अध्ययन में पाया गया कि "सर्वश्रेष्ठ" सेटअप एक शक्तिशाली मॉडल (Claude Opus 4.8) का एक विशिष्ट संयोजन था जो एक फैक्ट-चेकर और नए सहायकों को पैदा करने की क्षमता के साथ "डिवाइड एंड कॉन्कर" (Divide and Conquer) रणनीति का उपयोग करता था। इसके बावजूद, यह शीर्ष प्रदर्शन करने वाली टीम 1.0 के पूर्ण स्कोर में से केवल 0.594 ± 0.025 ही स्कोर कर पाई।
"काफी अच्छा है" वाली समस्या (The "Good Enough" Problem)
पेपर सुझाव देता है कि हालांकि ये एआई सिस्टम ऐसे सुझाव उत्पन्न कर सकते हैं जो चिकित्सकीय रूप से प्रासंगिक दिखते हैं, वे अभी इतने अच्छे नहीं हैं कि अकेले अस्पताल में काम कर सकें। सर्वश्रेष्ठ एआई भी मानदंडों के एक बड़े हिस्से को पूरा करने में विफल रहा।
जब एक मानव ऑन्कोलॉजिस्ट (कैंसर डॉक्टर) ने शीर्ष एआई के उत्तरों का बारीकी से निरीक्षण किया, तो उन्होंने पाया कि आठ विशिष्ट तरीके थे जिनसे एआई बार-बार विफल हो रहा था:
- गलत औचित्य (Wrong Justifications): एआई सही उत्तर तो दे देता था लेकिन गलत कारण भी देता था (जैसे यह कहना कि "यह गोली लें क्योंकि यह नीली है" जबकि वास्तविक कारण यह है कि "यह कैंसर कोशिकाओं को मारती है")।
- मिसिंग या गलत सलाह: वह कभी-कभी आवश्यक उपचार का सुझाव देना भूल जाता था या ऐसा सुझाव देता था जो खतरनाक हो।
- नकली उद्धरण (Fake Citations): उसने संदर्भ (references) बना लिए या दावा किया कि किसी वास्तविक पेपर ने कुछ कहा है जो उसने नहीं कहा था।
- अति-आत्मविश्वास (Overconfidence): एआई पूरी तरह से निश्चित स्वर में बोलता था भले ही चिकित्सा साक्ष्य संदिग्ध हों या रोगी की कहानी में महत्वपूर्ण विवरण गायब हों।
- पुराने डेटा/जानकारी: उसने ऐसे उपचार सुझाए जो अब मानक देखभाल (standard of care) के अनुरूप नहीं हैं।
मानव डॉक्टर ने इन एआई-जनित योजनाओं में से केवल एक की समीक्षा करने में लगभग 1 घंटा और 35 मिनट का समय बिताया। यह इस बात पर प्रकाश डालता है कि यदि डॉक्टर को हर एक एआई सुझाव की दोबारा जांच करने में इतना समय बिताना पड़ता है, तो शायद खुद काम करना ही अधिक तेज़ होगा।
"स्टेज" का आश्चर्य
एआई ने शुरुआती चरण के कैंसर (स्टेज I) पर स्टेज III जैसे अधिक जटिल मामलों की तुलना में बेहतर प्रदर्शन किया। यह समझ में आता है क्योंकि शुरुआती चरण का उपचार अक्सर एक सख्त, सरल नियम पुस्तिका का पालन करता है। लेकिन जब कैंसर अधिक जटिल हो जाता है, तो एआई उलझ जाता है, और सर्जरी, रेडिएशन और जेनेटिक्स को एक साथ संभालने में संघर्ष करता है।
वह जिसे पेपर खारिज करता है
अध्ययन स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि "अधिक जटिल होना हमेशा बेहतर होता है।" सिर्फ इसलिए कि आपने फैक्ट-चेकर और वेब सर्च टूल के साथ एक मल्टी-एजेंट सिस्टम बनाया है, इसका मतलब यह नहीं है कि वह एक साधारण मॉडल से बेहतर प्रदर्शन करेगा। कुछ मामलों में, अतिरिक्त जटिलता ने नई त्रुटियां भी पैदा कीं। पेपर इस विचार को भी खारिज करता है कि ये सिस्टम बिना निगरानी के नैदानिक उपयोग के लिए तैयार हैं; वे अभी तक "प्लग-एंड-प्ले" समाधान नहीं हैं।
हम कितने आश्वस्त हैं?
लेखक अपनी भाषा के प्रति बहुत सावधान हैं। वे सुझाव देते हैं कि एजेंटिक सिस्टम उपयोगी हो सकते हैं लेकिन बिना निगरानी के उपयोग के लिए अपर्याप्त बने हुए हैं। उन्होंने एक कठोर स्कोरिंग सिस्टम का उपयोग करके स्कोर को मापा और मानव समीक्षा के माध्यम से विशिष्ट विफलता मोड को अवलोकन किया। उन्होंने यह दावा नहीं किया कि उन्होंने एआई के माध्यम से कैंसर के इलाज को "हल" कर दिया है, न ही यह दावा किया कि एआई मानव डॉक्टर से बेहतर है। इसके बजाय, उन्होंने पाया कि हालांकि तकनीक आशाजनक है, फिर भी इसमें महत्वपूर्ण कमियां हैं जिन्हें मानव की देखरेख के बिना जीवन-मरण के निर्णय लेने के लिए ठीक करने की आवश्यकता है।
संक्षेप में, एआई एक बहुत ही बुद्धिमान इंटर्न की तरह है जिसने सभी किताबें पढ़ ली हैं लेकिन उसे अभी भी अपने होमवर्क की जांच करने के लिए एक वरिष्ठ डॉक्टर की आवश्यकता है, क्योंकि वह कभी-कभार तथ्य बना लेता है, जटिल मामलों में भ्रमित हो जाता है, और अपनी गलतियों में भी बहुत आत्मविश्वासी होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।