Can Agents Distinguish Visually Hard-to-Separate Diseases in a Zero-Shot Setting? A Pilot Study
यह पायलट अध्ययन दृश्य रूप से भ्रमित करने वाली बीमारियों के बीच अंतर करने में मल्टीमॉडल लार्ज लैंग्वेज मॉडल एजेंटों की ज़ीरो-शॉट क्षमताओं का मूल्यांकन करता है, जो यह प्रदर्शित करता है कि एक प्रस्तावित मल्टी-एजेंट फ्रेमवर्क कंट्रास्टिव एडजुडिकेशन (तुलनात्मक न्यायनिर्णयन) के साथ नैदानिक सटीकता में सुधार करता है और असमर्थित दावों को कम करता है, हालांकि प्रदर्शन तत्काल नैदानिक तैनाती के लिए अपर्याप्त बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुराग अविश्वसनीय रूप से पेचीदा हैं। आपके पास दो संदिग्ध हैं जो हर फोटो में लगभग एक जैसे दिखते हैं, फिर भी उनमें से एक निर्दोष पर्यटक है और दूसरा खतरनाक अपराधी। यदि आप गलत अनुमान लगाते हैं, तो इसके परिणाम बहुत बड़े हो सकते हैं।
यह शोध पत्र एक पायलट अध्ययन है जो पूछ रहा है: क्या AI "जासूसों" (एजेंट्स) की एक टीम (जिसे CARE कहा जाता है) बिना किसी पूर्व प्रशिक्षण के इन पेचीदा चिकित्सा रहस्यों को सुलझा सकती है?
यहाँ उनके प्रयोग का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
समस्या: "एक जैसा दिखने वाला" जाल (The "Look-Alike" Trap)
चिकित्सा में, कुछ बीमारियाँ एक्स-रे या त्वचा की फोटो पर बिल्कुल एक जैसी दिखती हैं, लेकिन उनके लिए पूरी तरह से अलग उपचारों की आवश्यकता होती है।
- त्वचा का मामला: एक डरावका स्किन कैंसर (मेलानोमा) बनाम एक हानिरहित अजीब तिल (एटिपिकल नेवस)। वे फोटो में जुड़वा बच्चों की तरह दिखते हैं।
- फेफड़ों का मामला: फेफड़ों में तरल पदार्थ (एडिमा) बनाम फेफड़ों का संक्रमण (निमोनिया)। दोनों एक्स-रे पर धुंधले धब्बों की तरह दिखते हैं।
लेखक यह देखना चाहते थे कि क्या वर्तमान AI "एजेंट्स" (स्मार्ट कंप्यूटर प्रोग्राम) केवल तस्वीर देखकर उन्हें पहचान सकते हैं, बिना यह सीखे कि विशेष रूप से इसे कैसे करना है (एक "जीरो-शॉट" सेटिंग)।
पुराना तरीका: अति-आत्मविश्वासी एकल जासूस (The Overconfident Solo Detective)
आमतौर पर, हम एक AI को तस्वीर देखने के लिए कहते हैं और वह कहता है, "मुझे लगता है कि यह कैंसर है।"
समस्या यह है कि ये AI अक्सर अति-आत्मविश्वासी होते हैं। यदि तस्वीर धुंधली या भ्रमित करने वाली है, तो AI बस एक पक्ष चुन सकता है और यह कारण बना सकता है कि वह क्यों सही है, भले ही वह गलत हो। यह एक ऐसे जासूस की तरह है जो सबूतों की जांच करने से पहले ही तय कर लेता है कि संदिग्ध दोषी है, और फिर अपने निष्कर्ष को सही ठहराने के लिए एक कहानी गढ़ लेता है।
नया समाधान: "डिबेट क्लब" (CARE)
लेखकों ने CARE (कॉन्ट्रास्टिव एजेंट रीजनिंग) नामक एक नई प्रणाली बनाई। एक अकेले जासूस के बजाय, उन्होंने तीन भूमिकाओं के साथ एक छोटा सा कोर्टरूम बनाया:
- अभियोजक/पार्षद (एजेंट A): इनका एकमात्र काम तस्वीर को देखना और उन सभी कारणों को सूचीबद्ध करना है जिनसे यह सिद्ध होता है कि यह वह खतरनाक बीमारी है (जैसे, "इस काले धब्बे को देखो! यह निश्चित रूप से कैंसर है!")। उन्हें "नहीं" कहने की अनुमति नहीं है।
- बचाव वकील (एजेंट B): इनका एकमात्र काम उसी तस्वीर को देखना और उन सभी कारणों को सूचीबद्ध करना है जिनसे यह सिद्ध होता है कि यह वह खतरनाक बीमारी नहीं है (जैसे, "इस समरूपता (symmetry) को देखो! यह निश्चित रूप से एक हानिरहित तिल है!")। उन्हें "हाँ" कहने की अनुमति नहीं है।
- न्यायाधीश (एजेंट C): यह एजेंट तस्वीर को देखता है और अभियोजक और बचाव पक्ष दोनों की दलीलें सुनता है। न्यायाधीश का काम यह जांचना है: "क्या अभियोजक ने कोई ऐसा तथ्य बनाया जो वास्तव में फोटो में मौजूद नहीं है? क्या बचाव पक्ष ने कुछ स्पष्ट चीज़ मिस कर दी?"
जादुई ट्रिक: दोनों पक्षों को तर्क देने के लिए मजबूर करके, यह प्रणाली झूठ को उजागर कर देती है। यदि "कैंसर" एजेंट दावा करता है कि धब्बा "अव्यवस्थित और अस्त-व्यस्त" है, लेकिन फोटो में एक साफ, सममित घेरा दिखाई देता है, तो न्यायाधीश पकड़ सकता है कि "कैंसर" एजेंट कल्पना (hallucination) कर रहा है।
उन्होंने क्या पाया
उन्होंने हजारों त्वचा की तस्वीरों और चेस्ट एक्स-रे पर इसका परीक्षण किया।
- एकल AI (Solo AI): त्वचा की तस्वीरों पर लगभग 66% सही था। यह ठीक था, लेकिन बहुत अच्छा नहीं।
- डिबेट टीम (CARE): लगभग 77% सही थी। यह एक महत्वपूर्ण सुधार है (11% का उछाल)।
- "अंधा" न्यायाधीश (Blind Judge): उन्होंने एक संस्करण आजमाया जहाँ न्यायाधीश फोटो नहीं देख सकता था, केवल दलीलें सुन सकता था। इसने खराब प्रदर्शन किया। इससे सिद्ध हुआ कि न्यायाधीश को झूठ पकड़ने के लिए फोटो देखने की आवश्यकता है।
निष्कर्ष:
"डिबेट क्लब" विधि केवल AI को अधिक गहराई से सोचने या अपने स्वयं के काम की जांच करने के लिए कहने से बेहतर थी। इसने सफलतापूर्वक उन मामलों को कम किया जहाँ AI नकली सबूत गढ़ रहा था।
पकड़ (हम अभी इसे अस्पतालों में क्यों नहीं उपयोग कर सकते)
भले ही डिबेट क्लब के साथ, AI त्वचा की तस्वीरों पर 22% बार और फेफड़ों के एक्स-रे पर 35% बार गलत साबित हुआ।
- शोध पत्र का निष्कर्ष: लेखक बहुत ईमानदार हैं। वे कहते हैं, "यह एक पायलट अध्ययन है।" हालांकि नई विधि बेहतर है, लेकिन AI अभी भी डॉक्टर के सहायक के रूप में काम करने के लिए तैयार नहीं है। यह वास्तविक जीवन के चिकित्सा निर्णयों के लिए अभी भी बहुत अविश्वसनीय है।
- सीमाएँ: अध्ययन ने एक सरल "या तो यह या वह" (A या B) परीक्षण का उपयोग किया, जो वास्तविक जीवन में नहीं होता है (कभी-कभी मरीज को दोनों हो सकते हैं)। साथ भी, "ग्राउंड ट्रुथ" (सही उत्तर) डॉक्टरों की रिपोर्ट से आया था, जो खुद भी कभी-कभी गलत हो सकती है।
सारांश उपमा
कल्पना कीजिए कि आप एक नकली पेंटिंग की पहचान करने की कोशिश कर रहे हैं।
- पुराना AI: पेंटिंग को देखता है और कहता है, "यह नकली है!" और एक कारण देता है। कभी-कभी वह सही होता है, कभी-कभी वह सिर्फ अनुमान लगा रहा होता है।
- CARE AI: एक विशेषज्ञ से पूछता है कि यह नकली क्यों है, और दूसरे विशेषज्ञ से पूछता है कि यह असली क्यों है। फिर, तीसरा विशेषज्ञ पेंटिंग को देखता है ताकि यह देख सके कि पहले दो विशेषज्ञों में से कोई झूठ बोल तो नहीं रहा है।
- परिणाम: तीसरा विशेषज्ञ झूठ को अधिक बार पकड़ लेता है, जिससे अंतिम निर्णय अधिक सटीक हो जाता है। लेकिन, सिस्टम अभी भी इतनी बार गलतियां करता है कि हम अभी तक इसे आर्ट गैलरी (या अस्पताल) चलाने के लिए भरोसेमंद नहीं मान सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।