DeepSeek for Pathology Report Understanding: A Benchmark Study of Cancer Type Extraction, AJCC Staging, and Prognosis Prediction
यह बेंचमार्क अध्ययन प्रदर्शित करता है कि जबकि डीपसीक (DeepSeek) मॉडल 952 असंरचित पैथोलॉजी रिपोर्ट से कैंसर के प्रकारों को प्रभावी ढंग से निकालने और AJCC चरणों की भविष्यवाणी करने में सक्षम हैं, डीपसीक द्वारा निकाले गए संरचित चर (structured variables) ने मूल पैथोलॉजी रिपोर्ट टेक्स्ट का सीधे उपयोग करने की तुलना में मूल्यांकित ढांचे के तहत रोगनिदान (prognosis) भविष्यवाणी में महत्वपूर्ण सुधार नहीं किया, जो एक हाइब्रिड आर्किटेक्चर का समर्थन करता है जो सूचना निष्कर्षण और स्टेजिंग के लिए डीपसीक का लाभ उठाने और परिणाम मॉडलिंग के लिए पारंपरिक मशीन लर्निंग पर भरोसा करने का उपयोग करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल रहस्य को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास सबूत के तौर पर कोई अपराध स्थल नहीं, बल्कि हस्तलिखित नोट्स का एक पहाड़ है। चिकित्सा की दुनिया में, इन नोट्स को पैथोलॉजी रिपोर्ट (pathology reports) कहा जाता है। ये वे विस्तृत, लिखित कहानियाँ हैं जो डॉक्टर माइक्रोस्कोप के नीचे रोगी के ऊतकों (tissue) की जांच करने के बाद लिखते हैं। ये कहानियाँ एक रोगी के भविष्य की कुंजी रखती हैं: उन्हें किस प्रकार की बीमारी है, वह कितनी फैल चुकी है, और उनके ठीक होने की कितनी संभावना है। लेकिन यहाँ एक पेंच है: ये रिपोर्ट चेकलिस्ट की तरह साफ-सुथरी होने के बजाय, बिखरे हुए अनस्ट्रक्चर्ड पैराग्राफों में लिखी जाती हैं, जैसे कि कोई डायरी का पन्ना हो। यह उन्हें कंप्यूटर के लिए पढ़ना और डॉक्टरों की मदद करना अविश्वसनीय रूप से कठिन बना देता है।
यहाँ प्रवेश होता है लार्ज लैंग्वेज मॉडल्स (LLMs) का। इन्हें एक सुपर-स्मार्ट, डिजिटल जासूस के रूप में सोचें जिन्होंने लगभग सब कुछ पढ़ा हुआ है। वे मानवीय भाषा को समझने, पैटर्न पहचानने और जटिल कहानियों का सारांश निकालने में माहिर हैं। वैज्ञानिक पूछ रहे हैं: "क्या ये डिजिटल जासूस इन बिखरे हुए मेडिकल नोट्स को पढ़ सकते हैं और उन्हें स्पष्ट, व्यवस्थित डेटा में बदल सकते हैं?" विशेष रूप से, क्या वे कैंसर के प्रकार को बता सकते हैं, बीमारी के चरण (कि वह कितनी गंभीर है) को पहचान सकते हैं, और रोगी के परिणाम की भविष्यवाणी कर सकते हैं? यह शोध पत्र इसी प्रश्न की गहराई में जाता है, और यह देखने के लिए एक विशिष्ट AI परिवार, जिसे DeepSeek कहा जाता है, का परीक्षण करता है कि क्या यह अंतिम मेडिकल लेखक (scribe) बन सकता है।
डिजिटल लेखक: मेडिकल नोट्स पर DeepSeek का परीक्षण
शोधकर्ताओं ने यह देखने के लिए एक विशाल परीक्षण आयोजित किया कि DeepSeek तीन विशिष्ट कार्यों को संभालने में कितना सक्षम है, जिसके लिए उन्होंने एक सार्वजनिक कैंसर डेटाबेस से 952 वास्तविक पैथोलॉजी रिपोर्टों के डेटासेट का उपयोग किया। उन्होंने AI के साथ एक नए कर्मचारी की तरह व्यवहार किया और उसे तीन अलग-अलग कार्य दिए, जिनमें से प्रत्येक धीरे-धीरे कठिन होता गया।
कार्य 1: नाम का खेल (कैंसर प्रकार निकालना)
सबसे पहले, AI को बस रिपोर्ट पढ़नी थी और कैंसर का नाम चिल्लाकर बताना था। यह किसी फल की तस्वीर देखकर यह कहने जैसा है, "यह एक सेब है!" परिणाम लगभग सटीक थे। DeepSeek V4 Flash मॉडल ने 98% बार इसे सही पहचाना। यह इतना अच्छा था कि मॉडल का अधिक महंगा, "Pro" संस्करण इससे बेहतर प्रदर्शन नहीं कर सका। यह एक साधारण कैलकुलेटर की तरह है जो सरल गणित को पूरी तरह से हल करता है; अतिरिक्त सुपरकंप्यूटर का उपयोग करने से भी आप 2 + 2 जोड़ने की गति नहीं बढ़ा सकते।
कार्य 2: जासूसी का काम (AJCC स्टेजिंग)
अगला, AI को कैंसर के "चरण" (stage) का पता लगाना था। यह थोड़ा पेचीदा है। कल्पना कीजिए कि एक जासूस एक गवाह की उलझी हुई कहानी पढ़कर यह समझने की कोशिश कर रहा है कि आग कितनी दूर तक फैली है। रिपोर्ट में "Stage IIA" या "Stage IIIB" लिखा हो सकता है, और AI को इन्हें Stage I, II, III, या IV जैसी व्यापक श्रेणियों में समूहबद्ध करना होगा।
यहाँ, AI ने काफी अच्छा काम किया, और लगभग 81.6% बार सही परिणाम दिया। हालाँकि, "Pro" मॉडल "Flash" मॉडल की तुलना में थोड़ा अधिक लड़खड़ाया। वास्तव में, Pro मॉडल ने 594 प्रयासों में से 14 खाली उत्तर दिए, जबकि Flash मॉडल कभी भी उत्तर देने में विफल नहीं हुआ। Flash मॉडल चलाना बहुत सस्ता भी था। यह ऐसा है जैसे Flash मॉडल एक भरोसेमंद, किफायती इंटर्न है जो हमेशा रिपोर्ट पूरी करता है, जबकि Pro मॉडल एक शानदार, महंगा सलाहकार है जो कभी-कभी छत को ताकते हुए अटक जाता है और कुछ भी नहीं लिख पाता।
कार्य 3: भविष्य बताने वाला गोला (पूर्वानुमान/Prognosis Prediction)
अंत में, शोधकर्ताओं ने AI से रिपोर्ट को देखने और भविष्य बताने के लिए कहा: क्या रोगी का परिणाम "अच्छा" होगा या "खराब"? यह सबसे कठिन काम है, जैसे कि फिल्म के पहले कुछ पन्ने पढ़कर उसके अंत का अनुमान लगाना।
AI यहाँ संघर्ष करता रहा। भले ही शोधकर्ताओं ने इसे सीखने के लिए कुछ उदाहरण दिए (एक तकनीक जिसे "few-shot prompting" कहा जाता है), यह केवल लगभग 56% भविष्यवाणियों को सही कर पाया। यह सिक्का उछालकर अनुमान लगाने से मुश्किल से बेहतर है।
लेकिन यहाँ एक मोड़ है: जब शोधकर्ताओं ने एक बहुत ही सरल, पुराने तरीके (जिसे TF-ID F logistic regression कहा जाता है) का उपयोग किया, जो मानव की तरह "तर्क" करने के बजाय केवल कच्चे टेक्स्ट को देखता है, तो इसने 85.7% बार सही भविष्यवाणी की।
शोध पत्र स्पष्ट रूप से इस विचार का खंडन करता है कि AI की "स्मार्ट" निष्कर्षण (extraction) यहाँ मदद करती है। उन्होंने AI द्वारा निकाले गए नोट्स को सरल कंप्यूटर मॉडल में डालने का प्रयास किया, लेकिन इससे भविष्यवाणियां वास्तव में थोड़ी और खराब हो गईं। DeepSeek द्वारा निकाले गए स्ट्रक्चर्ड वेरिएबल्स ने मूल पैथोलॉजी रिपोर्ट टेक्स्ट के सीधे उपयोग की तुलना में पूर्वानुमान में कोई महत्वपूर्ण सुधार नहीं किया। पेपर सुझाव देता है कि भविष्य की भविष्यवाणी करने के लिए, स्वयं कच्ची, बिखरी हुई कहानी में ऐसे सुराग होते हैं जिनका सर्वोत्तम उपयोग AI द्वारा मध्यवर्ती सारांश के बिना किया जा सकता है।
निष्कर्ष: एक हाइब्रिड टीम
अध्ययन यह निष्कर्ष निकालता है कि DeepSeek निष्कर्षण (extraction) और स्टेजिंग सहायता (staging support) के लिए एक शानदार उपकरण है। यह एक सुपर-फास्ट लाइब्रेरियन की तरह है जो बिखरे हुए कागजों के ढेर से तुरंत किताब का शीर्षक और अध्याय संख्या निकाल सकता है। हालाँकि, यह परिणामों की भविष्यवाणी करने के लिए सबसे अच्छा उपकरण नहीं है।
लेखक भविष्य के लिए एक "हाइब्रिड" दृष्टिकोण का सुझाव देते हैं:
- बिखरी हुई रिपोर्टों को पढ़ने, मुख्य तथ्यों (जैसे कैंसर का प्रकार और चरण) को निकालने और उन्हें व्यवस्थित डेटा में बदलने के लिए DeepSeek AI का उपयोग करें।
- फिर, उन तथ्यों और मूल बिखरे हुए टेक्स्ट को एक विशेषज्ञ, सुपरवाइज्ड कंप्यूटर मॉडल में फीड करें ताकि रोगी के परिणाम के बारे में अंतिम भविष्यवाणी की जा सके।
संक्षेप में, AI रिपोर्ट पढ़ने में तो बेहतरीन है, लेकिन भविष्य का अनुमान लगाने के लिए, यह बेहतर है कि एक विशेषज्ञ कैलकुलेटर को मुख्य काम करने दिया जाए। पेपर यह भी नोट करता है कि हालांकि परिणाम मजबूत हैं, लेकिन वे एक विशिष्ट सार्वजनिक डेटासेट पर आधारित हैं, और वास्तविक दुनिया की अस्पताल की रिपोर्ट अलग दिख सकती हैं, इसलिए इससे पहले कि यह हर डॉक्टर के कार्यालय में एक मानक उपकरण बन जाए, और अधिक परीक्षण की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।