← नवीनतम पेपर
💻 computer science

DALPHIN: Benchmarking Digital Pathology AI Copilots Against Pathologists on an Open Multicentric Dataset

यह शोध पत्र DALPHIN को प्रस्तुत करता है, जो डिजिटल पैथोलॉजी AI कोपायलट्स के लिए पहला ओपन मल्टीसेंट्रिक बेंचमार्क है, जो 130 निदानों में 31 रोगविज्ञानी (पैथोलॉजिस्ट) के विरुद्ध सामान्य-उद्देश्य और पैथोलॉजी-विशिष्ट मॉडलों का मूल्यांकन करता है और पाता है कि PathChat+ छह में से चार कार्यों में विशेषज्ञ-स्तरीय प्रदर्शन प्राप्त करता है।

मूल लेखक: Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Juliu
प्रकाशित 2026-05-06
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Carlijn Lems, Sander Moonemans, Natálie Klubíčková, Biagio Brattoli, Taebum Lee, Seokhwi Kim, Veronica Vilaplana, Laura Pons, Sapir Hochman, Mauricio Eduardo Suárez-Franck, Pedro Luis Fernandez, Julius Drachneris, Donatas Petroska, Renaldas Augulis, Arvydas Laurinavicius, Domingos Oliveira, Diana Montezuma, Anouk B. Bouwmeester, Dominique van Midden, Anne-Marie Vos, Shoko Vos, Jolique van Ipenburg, Maschenka Balkenhol, Koen Winkler, Iris Nagtegaal, Konnie Hebeda, Uta Flucke, Katrien Grünberg, Josef Skopal, Brinder S. Chohan, Jordi Temprana-Salvador, Enrico Munari, Luca Cima, Giulia Querzoli, Yosamin Gonzalez Belisario, Jaeike W. Faber, Geert J. L. H. van Leenders, Jan H. von der Thüsen, Lodewijk A. A. Brosens, Ronald R. de Krijger, Pieter Wesseling, Sandrine Florquin, Mateusz Maniewski, Adam Kowalewski, Robert Barna, Dina Tiniakos, Joan Lop Gros, Rogier Donders, Jake S. F. Maurits, Ming Yang Lu, Chengkuan Chen, Faisal Mahmood, Jeroen van der Laak, Nadieh Khalili, Frédérique Meeuwsen, Francesco Ciompi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, उच्च-दांव वाली कुकिंग प्रतियोगिता चल रही है। एक तरफ, तीन सेलिब्रिटी शेफ (AI मॉडल) हैं जिन्होंने दुनिया की हर रेसिपी बुक पढ़ रखी है। दूसरी ओर, 31 मानव जजों का एक पैनल है, जिसमें स्थानीय होम कुक्स से लेकर विश्व प्रसिद्ध मिशलिन-स्टार विशेषज्ञ तक शामिल हैं। चुनौती क्या है? उन सभी को एक ही रहस्यमय सामग्री दी गई है (ऊतक की एक सूक्ष्म छवि) और उनसे पूछा गया है कि यह क्या है, क्या यह "खराब" (कैंसरयुक्त) है, या यह कौन सा विशिष्ट व्यंजन हो सकता है।

यह शोध पत्र, जिसका शीर्षक DALPHIN है, उस प्रतियोगिता का रिपोर्ट कार्ड है। यह पहली बार है जब किसी ने यह देखने के लिए एक निष्पक्ष, खुला परीक्षण आयोजित किया है कि क्या ये "AI शेफ" वास्तव में वास्तविक डॉक्टरों (पैथोलॉजिस्ट) को बीमारियों का निदान करने में मदद कर सकते हैं, या वे केवल दिखावटी अंदाजे लगाने वाले हैं।

यहाँ बताया गया है कि क्या हुआ, सरल उपमाओं का उपयोग करते हुए:

1. अरीना: एक "गुप्त रेसिपी" प्रतियोगिता

आमतौर पर, जब आप किसी AI का परीक्षण करते हैं, तो आप उसे एक अभ्यास परीक्षा देते हैं, और फिर आप उसे वास्तविक परीक्षा से पहले उत्तरों का अध्ययन करने देते हैं। यह धोखाधड़ी है।

DALPHIN टीम ने उत्तरों के लिए एक सुरक्षित, लॉक किया गया वॉल्ट (तिजोरी) बनाया। उन्होंने छह अलग-अलग देशों के 300 वास्तविक चिकित्सा मामलों का एक डेटासेट बनाया, जिसमें 130 विभिन्न प्रकार की बीमारियाँ (सामान्य त्वचा संबंधी समस्याओं से लेकर दुर्लभ ट्यूमर तक) शामिल थीं।

  • ट्विस्ट: AI मॉडलों को इन छवियों के बारे में सवालों के जवाब देने थे, लेकिन वे काम पूरा होने के बाद तक "सही" उत्तर नहीं देख सकते थे। उत्तरों को एक डिजिटल तिजोरी में रखा गया था, जो केवल एक सुरक्षित कंप्यूटर सिस्टम द्वारा सुलभ थी जो स्वचालित रूप से उन्हें ग्रेड देता था। यह सुनिश्चित करता है कि कोई भी याद करके नकल न कर सके।

2. प्रतियोगी

इस पेपर ने तीन विशिष्ट "शेफ" का परीक्षण किया:

  • GPT-5: एक सामान्य-उद्देश्य वाला AI (एक सुपर-स्मार्ट विश्वकोश की तरह जो सब कुछ के बारे में थोड़ा-बहुत जानता है)।
  • Gemini 2.5 Pro: एक अन्य सामान्य-उद्देश्य वाला AI (भी बहुत स्मार्ट है, लेकिन एक अलग मस्तिष्क के साथ)।
  • PathChat+: एक विशेषज्ञ AI जिसे विशेष रूप से मेडिकल टेक्स्टबुक और पैथोलॉजी छवियों पर प्रशिक्षित किया गया है (जैसे एक शेफ जो केवल इटालियन खाना पकाता है)।

3. चुनौतियाँ (प्रश्न)

AI और मानव जजों को चार मुख्य कार्य दिए गए थे, जो इस बात की नकल करते हैं कि एक डॉक्टर स्लाइड को कैसे देखता है:

  1. "यह क्या है?" टेस्ट: एक धुंधले ओवरव्यू और ज़ूम-इन किए गए विवरण को देखकर, क्या आप बता सकते हैं कि यह फेफड़ों का ऊतक है, त्वचा है, या लिवर है?
  2. "क्या यह बुरा है?" टेस्ट: क्या यहाँ कोई ट्यूमर है? (हाँ/नहीं)।
  3. "यह कितना बुरा है?" टेस्ट: यदि कोई ट्यूमर है, तो क्या यह हानिरहित (benign) है, खतरनाक (malignant) है, या बीच का कुछ है?
  4. "यह वास्तव में क्या है?" टेस्ट: एक विशिष्ट निदान का नाम दें या बीमारी के बारे में एक कठिन बहुविकल्पीय प्रश्न का उत्तर दें।

4. परिणाम: कौन जीता?

विशेषज्ञ बनाम सामान्यज्ञ (Specialist vs. Generalists)
विशेषज्ञ AI (PathChat+) "निदान" श्रेणी में स्पष्ट विजेता था। इसने विशेषज्ञ मानव डॉक्टरों के लगभग समान प्रदर्शन किया। यह एक मास्टर शेफ की तरह था जो सॉस चख सकता था और तुरंत कह सकता था, "यह एक क्लासिक बोलोग्नीज़ है।"

  • सामान्यज्ञ (GPT और Gemini) विशिष्ट चिकित्सा नामों के मामले में संघर्ष करते रहे। वे सामान्य रसोइयों की तरह थे जो बता सकते थे कि यह "सूप" है, लेकिन वे सटीक रेसिपी का नाम नहीं ले सके।

"अति-आत्मविश्वासी" और "कम-आत्मविश्वासी" शेफ
पेपर ने AI में कुछ मजेदार व्यक्तित्व दोष पाए:

  • Gemini "अलार्मवादी" था। इसमें ट्यूमर दिखने की प्रवृत्ति थी जहाँ वास्तव में कोई ट्यूमर नहीं था। यह एक सुरक्षा गार्ड की तरह था जो हर छाया को चोर समझ लेता है। यह वास्तविक ट्यूमर पकड़ने में बहुत अच्छा था लेकिन बहुत बार "भेड़िया आया" (गलत चेतावनी) चिल्लाता भी था।
  • GPT "शंकालु" था। इसमें ट्यूमर को मिस करने की प्रवृत्ति थी, यह सोचते हुए कि सब कुछ ठीक है। यह एक ऐसे गार्ड की तरह था जो किसी संदिग्ध शोर को इसलिए अनदेखा कर देता है क्योंकि "यह शायद सिर्फ हवा है।" यह चीजों के सुरक्षित होने की पुष्टि करने में बहुत अच्छा था लेकिन खराब चीजों को मिस कर जाता था।

मानवीय तत्व
मानव जज तीन समूहों में विभाजित थे:

  • विशेषज्ञ (Experts): शीर्ष स्तर के विशेषज्ञ।
  • अर्ध-विशेषज्ञ (Semi-Experts): डॉक्टर जो उस क्षेत्र को जानते हैं लेकिन शीर्ष 1% में नहीं हैं।
  • गैर-विशेषज्ञ (Non-Experts): रेजिडेंट्स (प्रशिक्षु) या डॉक्टर जो उस विशिष्ट शरीर के अंग के विशेषज्ञ नहीं हैं।

बड़ा सरप्राइज:
कई कार्यों में, AI मॉडल (विशेष रूप से PathChat+) गैर-विशेषज्ञ मनुष्यों और कभी-कभी अर्ध-विशेषज्ञों के समान प्रदर्शन करते थे। हालांकि, सबसे कठिन कार्यों में (जैसे दुर्लभ कैंसर या जटिल विवरणों का निदान करना), विशेषज्ञ मनुषनों ने AI सहित सभी को पीछे छोड़ दिया।

5. "संदर्भ" का जाल (The Context Trap)

शोधकर्ताओं ने पूछने के दो तरीकों का परीक्षण किया:

  • स्वतंत्र (Independent): एक समय में एक प्रश्न पूछना, जैसे कि एक क्विज़ शो।
  • संदर्भात्मक (Contextual): प्रश्नों को क्रम में पूछना, जहाँ AI पिछले प्रश्न में कही गई बात को याद रखता है।

उन्होंने पाया कि बातचीत को याद रखना (Contextual) AI को सुसंगत रहने में मदद करता है, लेकिन इसका एक नुकसान भी है: यदि AI ने पहले प्रश्न में गलती की, तो वह अक्सर दूसरे प्रश्न में उस गलती को दोहराता रहेगा। यह एक ऐसे जासूस की तरह है जो पहले सुराग को गलत समझता है और फिर अपनी पूरी थ्योरी उसी त्रुटि पर बनाता है।

6. निचोड़ (The Bottom Line)

यह पेपर यह नहीं कहता कि "AI डॉक्टरों को बदलने के लिए तैयार है।" इसके बजाय, यह कहता है:

  • AI विशिष्ट चिकित्सा कार्यों में बहुत अच्छा हो रहा है, कभी-कभी एक प्रशिक्षित रेजिडेंट या अर्ध-विशेषज्ञ के कौशल के बराबर।
  • विभिन्न AI के अलग-अलग व्यक्तित्व होते हैं। कुछ बहुत डरे हुए होते हैं (चीजों को मिस कर देते हैं), कुछ बहुत संदिग्ध होते हैं (ऐसी चीजें देखते हैं जो वहां नहीं हैं)।
  • हमें परीक्षण करने के लिए एक निष्पक्ष तरीके की आवश्यकता है। DALPHIN बेंचमार्क एक स्थायी, सुरक्षित परीक्षण मैदान की तरह है जो हमें इन AI मॉडलों को बिना चीटिंग के समय के साथ बेहतर होते (या विफल होते) हुए ट्रैक करने की अनुमति देगा।

संक्षेप में, ये AI को-पायलट बहुत बुद्धिमान, उत्साही इंटर्न की तरह हैं। वे सहायक हैं और अक्सर सही होते हैं, लेकिन उन्हें अभी भी एक अनुभवी विशेषज्ञ (मानव पैथोलॉजिस्ट) की आवश्यकता है जो उनके काम की दोबारा जांच कर सके, खासकर जब मामला दुर्लभ या जटिल हो।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →