PathAgentBench: Benchmarking Evidence-Seeking Vision-Language Models on Whole-Slide Pathology Image

कल्पना कीजिए कि आप एक जासूस हैं जो एक ऐसे विशाल रहस्य को सुलझाने की कोशिश कर रहे हैं जो रेत के एक अकेले कण से अरबों गुना बड़े शहर में छिपा हुआ है। यह शहर एक "होल-स्लाइड इमेज" (WSI) है, जो एक ऊतक (tissue) के नमूने की डिजिटल तस्वीर है—इतनी बड़ी कि एक इंसान को इसे बस स्क्रॉल करने में ही घंटों लग जाएंगे। वास्तविक दुनिया में, एक पैथोलॉजिस्ट (एक डॉक्टर जो कोशिकाओं को देखकर बीमारियों का निदान करते हैं) केवल एक छोटे से बिंदु को घूरते नहीं हैं। वे पहले हेलीकॉप्टर से पूरे शहर को देखते हैं ताकि संदिग्ध इलाकों का पता लगाया जा सके, फिर गलियों की जांच करने के लिए ज़ूम इन करते हैं, और अंत में अपराधी को खोजने के लिए व्यक्तिगत घरों और लोगों की जांच करने के लिए पूरी तरह से ज़ूम इन करते हैं। इसे "एविडेंस-सीकिंग" (साक्ष्य खोजना) कहा जाता है।

हाल ही में, वैज्ञानिकों ने बहुत बुद्धिमान कंप्यूटर दिमाग बनाए हैं जिन्हें "विज़न-लैंग्वेज मॉडल्स" (VLMs) कहा जाता है। ये AI जासूसों की तरह हैं जो एक ही समय में तस्वीरों को देख सकते हैं और टेक्स्ट को पढ़ सकते हैं। वे पहेलियाँ सुलझाने में बहुत अच्छे हो रहे हैं जब किसी को एक विशिष्ट फोटो दी जाती है और पूछा जाता है, "यहाँ क्या गलत है?" लेकिन एक बड़ा सवाल है: क्या ये AI जासूस वास्तव में उस विशाल शहर में खुद से सही फोटो ढूंढ सकते हैं, या उन्हें पहले किसी इंसान द्वारा उस जगह की ओर इशारा करने की आवश्यकता होती है? यदि एक AI पहेली तो सुलझा सकता है लेकिन वह उस कमरे को नहीं ढूंढ सकता जहाँ पहेली छिपी है, तो वह अभी तक एक बहुत अच्छा जासूस नहीं है। यही वह अंतर है जिसे यह नया शोध मापना चाहता है।

---

द ग्रेट AI डिटेक्टिव टेस्ट: पाथएजेंटबेंच (PathAgentBench)

शोधकर्ताओं की एक टीम ने एक नया, बेहद चुनौतीपूर्ण परीक्षण बनाया है जिसे PathAgentBench कहा जाता है, ताकि यह देखा जा सके कि क्या AI वास्तव में एक मानव पैथोलॉजिस्ट की तरह कार्य कर सकता है। AI को केवल एक पूर्व-चयनित तस्वीर देकर और उससे पूछकर कि "यह क्या है?" (जो कि अधिकांश पुराने परीक्षण करते हैं) के बजाय, उन्होंने AI को पूरा विशाल शहर दे दिया और उसे खुद सुरागों की तलाश करने के लिए कहा।

इसे "वल्डो कहाँ है" (Where's Waldo) के खेल की तरह समझें, लेकिन किताब एक फुटबॉल के मैदान जितनी बड़ी है, और आपको अपराधी को खोजने के लिए ज़ूम इन और ज़ूम आउट करना होगा। शोधकर्ताओं ने एक "डायग्नोस्टिक ट्री" बनाया है, जो एक खजाने की खोज के मानचित्र की तरह है। AI शीर्ष (पूरी स्लाइड) से शुरू करता है, एक संदिग्ध क्षेत्र चुनता है, ज़ूम इन करता है, एक छोटा क्षेत्र चुनता है, फिर से ज़ूम इन करता है, और अंत में रास्ते में एकत्र किए गए सभी सुरागों के आधार पर निदान करता है।

परीक्षण को निष्पक्ष और कठिन बनाने के लिए, उन्होंने एक विशाल डेटाबेस से 1,822 वास्तविक मेडिकल स्लाइड्स का उपयोग किया और दस विशेषज्ञ मानव डॉक्टरों से वे सटीक मार्ग बनवाए जो वे मामलों को हल करने के लिए अपनाते। फिर उन्होंने 20 अलग-अलग AI मॉडल्स (कुछ बड़ी टेक कंपनियों द्वारा बनाए गए, कुछ ओपन-सोर्स, और कुछ चिकित्सा के लिए विशेष रूप से निर्मित) का परीक्षण किया कि वे कैसा प्रदर्शन करते हैं।

यहाँ उनके निष्कर्ष दिए गए हैं, और यह एक चौंकाने वाला मोड़ है:

1. AI पढ़ने में जीनियस है, लेकिन नेविगेशन में बहुत खराब है
जब शोधकर्ताओं ने AI को विशिष्ट सुराग सौंपे (जैसे, "यहाँ संदिग्ध कोशिका की ज़ूम-इन की गई तस्वीर है, अब बताओ यह क्या है"), तो AI अद्भुत था। सबसे अच्छे मॉडल्स ने 93% से अधिक उत्तर सही दिए। वे साक्ष्य को पूरी तरह से पढ़ सकते थे।

हालाँकि, जब शोधकर्ताओं ने कहा, "ठीक है, अब तुम्हें इस विशाल शहर में खुद उस संदिग्ध कोशिका को ढूंढना होगा," तो AI पूरी तरह से विफल हो गया। यहाँ तक कि सबसे स्मार्ट AI मॉडल्स ने भी एक स्थानिक ओवरलैप स्कोर (जिसे "मीन इंटरसेक्शन-ओवर-यूनियन" कहा जाता है) 0.09 से कम प्राप्त किया। इसका मतलब है कि AI द्वारा संदिग्ध क्षेत्र के चारों ओर बनाया गया बॉक्स वास्तविक स्थान को मुश्किल से छू भी पाया। वास्तव में, एक बहुत ही सरल, साधारण ट्रिक—पिछले बॉक्स के केंद्र का अनुमान लगाना—वास्तविक फैंसी AI मॉडल्स से बेहतर काम कर गई!

2. "ज़ूम-आउट" की समस्या
शोधकर्ताओं ने देखा कि AI स्लाइडों को अपने आप एक्सप्लोर करने की कोशिश कैसे करता है। सबसे विस्तृत दृश्य (लो मैग्निफिकेशन) पर, AI लगभग 52% बार संदिग्ध क्षेत्रों को ढूंढ पाता है। लेकिन जैसे ही उसने करीब से देखने के लिए ज़ूम इन करने की कोशिश की, वह रास्ता भटकने लगा। जब तक वह उच्चतम ज़ूम स्तर (जहाँ उसे सूक्ष्म विवरण देखने की आवश्यकता होती है) तक पहुँचा, वह केवल 2% बार सही जगह ढूंढ पा रहा था। यह एक ऐसे जासूस की तरह है जो सही मोहल्ला तो ढूंढ लेता है लेकिन फिर गलत गली में खो जाता है और कभी घर तक नहीं पहुँच पाता।

3. विशेष AI हमेशा बेहतर नहीं होता
आप सोच सकते हैं कि चिकित्सा पुस्तकों पर प्रशिक्षित AI मॉडल सबसे अच्छे जासूस होंगे। आश्चर्यजनक रूप से, सामान्य-उद्देश्य वाले AI मॉडल (जिन्हें बिल्लियों से लेकर कारों तक सब कुछ पर प्रशिक्षित किया गया है) अक्सर चिकित्सा के लिए प्रशिक्षित मॉडल्स की तुलना में सुराग खोजने में बेहतर प्रदर्शन करते हैं। विशेष मेडिकल मॉडल्स कभी-कभी अटक जाते थे या वे किसी स्थान की ओर इशारा करने के लिए निर्देशांक (coordinates) भी आउटपुट नहीं कर पाते थे।

4. शिकार की लागत
अध्ययन ने यह भी देखा कि इसमें कितनी "बौद्धिक शक्ति" और पैसा लगा। वह हिस्सा जहाँ AI को सुरागों के लिए शिकार करना था ("ऑटोनॉमस एक्सप्लोरेशन"), अविश्वसनीय रूप से महंगा और धीमा था। एक स्लाइड को देखने में AI को कई मिनट लग गए, जबकि एक पूर्व-चयनित चित्र के बारे में एक साधारण प्रश्न का उत्तर देने में एक सेकंड का भी छोटा हिस्सा लगता था।

मुख्य निष्कर्ष

इस पेपर का मुख्य निष्कर्ष यह है कि हालांकि AI साक्ष्य मिलने पर उनकी व्याख्या करने में अविश्वसनीय रूप से अच्छा हो गया है, लेकिन वह खुद से उस साक्ष्य को ढूंढने में अभी भी बहुत खराब है। शोधकर्ता तर्क देते हैं कि हमें केवल उस AI का जश्न नहीं मनाना चाहिए जो पहेलियाँ सुलझा सकता है; हमें इसे एक ऐसा जासूस बनने के लिए सिखाना होगा जो वास्तव में उस पहेली को ढूंढ सके।

जब तक AI बिना भटके इन विशाल डिजिटल स्लाइड्स को विश्वसनीय रूप से नेविगेट नहीं कर सकता, तब तक वह वास्तविक दुनिया में मानव पैथोलॉजिस्ट की पूरी तरह से जगह नहीं ले सकता। पेपर सुझाव देता है कि भविष्य के AI को बेहतर "स्पेशियल रीजनिंग" (यह जानना कि वह कहाँ है), उपकरणों का सही ढंग से उपयोग करना (ज़ूम इन और ज़ूम आउट), और गलत मोड़ लेने पर वापस कैसे आना है, सीखने की आवश्यकता है। फिलहाल के लिए, AI एक शानदार पाठक है, लेकिन वह अभी भी सड़कों पर चलना सीख रहा है।