← नवीनतम पेपर
⚡ electrical engineering

NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding

NeuroQA एक बड़े पैमाने का, इमेज-ग्राउंडेड बेंचमार्क है जिसमें 12 डेटासेट और पांच क्लिनिकल डोमेन के 3D ब्रेन MRI वॉल्यूम से व्युत्पन्न लगभग 57,000 प्रश्न-उत्तर जोड़े शामिल हैं, जिसे सख्त इमेज-ग्राउंडिंग प्रोटोकॉल और विशेषज्ञ सत्यापन के माध्यम से टेक्स्ट-ओनली शॉर्टकट को समाप्त करते हुए 3D मेडिकल विजुअल रीजनिंग का कड़ाई से मूल्यांकन करने के लिए डिज़ाइन किया गया है।

मूल लेखक: Mohammad H. Abbasi (Stanford University), Favour Nerrise (Stanford University), Shaurnav Ghosh (Stanford University), Ridvan Yesiloglu (Stanford University), Yuncong Mao (Stanford University), Bailey
प्रकाशित 2026-05-21
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Mohammad H. Abbasi (Stanford University), Favour Nerrise (Stanford University), Shaurnav Ghosh (Stanford University), Ridvan Yesiloglu (Stanford University), Yuncong Mao (Stanford University), Bailey Trang (Stanford University), Mohammad Asadi (Stanford University), Merryn Daniel (Stanford University), Gustavo Chau Loo Kung (Stanford University), Ken Chang (Stanford University), Pavan Pinkesh Shah (Stanford University), Adam Turnbull (Stanford University), Kyan Younes (Stanford University), Seena Dehkharghani (Stanford University), Ehsan Adeli (Stanford University)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मस्तिष्क का स्कैन (brain scan) पढ़ना सिखाने की कोशिश कर रहे हैं। वह रोबोट अविश्वसनीय रूप से बुद्धिमान है; उसने लाखों मेडिकल टेक्स्टबुक्स पढ़ ली हैं और उसे मस्तिष्क के हर हिस्से का नाम पता है। लेकिन एक पेंच है: जब आप उसे एक 3D ब्रेन स्कैन दिखाते हैं और पूछते हैं, "क्या यहाँ कोई ट्यूमर है?", तो हो सकता है कि रोबोट वास्तव में स्कैन को देख भी न रहा हो। इसके बजाय, वह आपके प्रश्न के शब्दों या उस पेशेंट ग्रुप के नाम के आधार पर केवल अनुमान लगा रहा होगा जिस पर उसे प्रशिक्षित किया गया था। यह एक ऐसे छात्र की तरह है जिसने सामग्री को पढ़े बिना ही परीक्षा की उत्तर कुंजी (answer key) रट ली है।

यह पेपर NEUROQA पेश करता है, जो विशेष रूप से रोबोटों को नकल करने से रोकने और उन्हें वास्तव में 3D ब्रेन इमेज को देखने के लिए मजबूर करने के लिए बनाया गया एक विशाल "परीक्षा" है।

यहाँ यह पेपर इसे सरल उपमाओं (analogies) का उपयोग करके समझाता है:

1. समस्या: "टेक्स्ट-ओनली" चीटिंग कोड (The "Text-Only" Cheat Code)

पिछले मेडिकल AI टेस्ट ऐसे थे जैसे किसी छात्र को एक बहुविकल्पीय क्विज़ देना जहाँ प्रश्न इस तरह लिखे गए हों जो उत्तरों का खुलासा कर दें।

  • 2D की समस्या: पुराने अधिकांश टेस्ट AI को मस्तिष्क का केवल एक सपाट, 2D स्लाइस दिखाते थे (जैसे किताब का एक अकेला पन्ना)। लेकिन वास्तविक ब्रेन स्कैन 3D वॉल्यूम होते हैं (जैसे पूरी किताब)। आप केवल एक पन्ना पढ़कर पूरी कहानी नहीं समझ सकते।
  • "शॉर्टकट" की समस्या: पेपर में पाया गया कि यदि आप इन पुराने टेस्ट्स से इमेज हटा भी दें, तो भी AI 70-99% उत्तर सही दे देता था! इसका मतलब है कि AI मस्तिष्क को "देख" नहीं रहा था; वह केवल टेक्स्ट पैटर्न के आधार पर अनुमान लगा रहा था (जैसे, "यदि प्रश्न में 'पार्किंसंस' का उल्लेख है, तो उत्तर आमतौर पर 'हाँ' होता है")।

2. समाधान: NEUROQA (एक "ईमानदार" परीक्षा)

लेखकों ने NEUROQA नामक एक नया बेंचमार्क बनाया (56,953 प्रश्न, 12,977 वास्तविक रोगियों से)। इसे एक कठोर, एंटी-चीटिंग परीक्षा के रूप में समझें जिसके तीन विशेष नियम हैं:

  • 3D का नियम: प्रत्येक प्रश्न के साथ पूरा 3D ब्रेन वॉल्यूम आता है, न कि केवल एक सपाट स्लाइस। AI को 3D स्पेस में नेविगेट करना होगा, ठीक वैसे ही जैसे एक डॉक्टर करता है।
  • "नो-इमेज" स्ट्रेस टेस्ट: यह साबित करने के लिए कि AI वास्तव में देख रहा है, वे एक परीक्षण चलाते हैं जहाँ वे इमेज को छिपा देते हैं। यदि इमेज हटने पर AI का स्कोर काफी गिर जाता है, तो यह साबित होता है कि AI वास्तव में इमेज का उपयोग कर रहा था। यदि स्कोर ऊँचा बना रहता है, तो इसका मतलब है कि AI केवल टेक्स्ट के आधार पर अनुमान लगा रहा है।
  • "ह्यूमन सीलिंग" (मानवीय सीमा): उन्होंने केवल AI की तुलना रैंडम गेसिंग से नहीं की; उन्होंने इसकी तुलना वास्तविक मानव डॉक्टरों से की। दो डॉक्टरों (एक रेडियोलॉजी रेजिडेंट और एक न्यूरोसर्जरी रेजिडेंट) ने एक 3D व्यूअर का उपयोग करके वही टेस्ट दिया। उनका औसत स्कोर लगभग 49% था। यह एक "ह्यूमन विजुअल लिमिट" निर्धारित करता है। यदि कोई AI उसी दृश्य को देखते हुए मानव से कम स्कोर करता है, तो इसका अर्थ है कि उसने अभी तक कार्य में महारत हासिल नहीं की है।

3. प्रश्नों के दो प्रकार

इस परीक्षा में दो प्रकार के प्रश्न हैं, जो एक महत्वपूर्ण अंतर है:

  • इमेज-ग्राउंडेड (देखने और समझने वाले प्रश्न): ये वे चीजें हैं जिन्हें आप 3D स्कैन देखकर पहचान सकते हैं, जैसे "क्या मस्तिष्क का बायां हिस्सा दाएं हिस्से से छोटा है?" या "स्कैन में यह धब्बा किस रंग का है?"
  • इमेज-इनफॉर्म्ड (गणित और संदर्भ वाले प्रश्न): इनके लिए उन विशिष्ट संख्याओं को जानना आवश्यक है जिन्हें आप अपनी आँखों से नहीं देख सकते। उदाहरण के लिए, "क्या इस मस्तिष्क के भाग का वॉल्यूम 5वें पर्सेंटाइल से नीचे है?" आप आँखों से सटीक मिलीलीटर माप नहीं देख सकते। इसका "सही" उत्तर एक कंप्यूटर गणना (FreeSurfer) से आता है, न कि केवल मानवीय दृष्टि से। यह परीक्षण करता है कि क्या AI सटीक डेटा निकाल सकता है, न कि केवल अनुमान लगा सकता है।

4. परिणाम: AI अभी भी संघर्ष कर रहा है

लेखकों ने आज के सबसे स्मार्ट AI मॉडल्स (जैसे GPT, Gemini और Claude के नवीनतम संस्करण) का इस परीक्षा पर परीक्षण किया।

  • चीटिंग चेक: उन्होंने प्रश्नों को साफ किया ताकि यदि वे इमेज हटा दें, तो AI केवल लगभग 44.6% सही हो सके (जो कि रैंडम गेसिंग से मुश्किल से बेहतर है)। यह साबित करता है कि परीक्षा निष्पक्ष है और इसमें उत्तरों का संकेत नहीं मिलता।
  • AI का प्रदर्शन: सर्वश्रेष्ठ AI मॉडल भी क्लोज्ड प्रश्नों (हाँ/नहीं और बहुविकल्पीय) पर केवल 47.5% स्कोर कर पाए।
  • मानव प्रदर्शन: मानव डॉक्टरों ने लगभग 48.9% स्कोर किया।
  • निष्कर्ष: वर्तमान में, सर्वश्रेष्ठ AI मॉडल इस परीक्षा में मानव डॉक्टरों को नहीं हरा पा रहे हैं, और कुछ मामलों में, वे टेक्स्ट-ओनली बेसलाइन से भी कम स्कोर कर रहे हैं। इसका मतलब है कि AI अभी भी 3D मस्तिष्क को देखने में उतना विश्वसनीय नहीं है जितना कि एक मानव, और न ही वह निदान के लिए आवश्यक सटीक मात्रात्मक (quantitative) डेटा निकाल पा रहा है।

5. उन्होंने इसे कैसे बनाया (द "फैक्ट्री")

यह सुनिश्चित करने के लिए कि उनकी परीक्षा पूर्ण हो, उन्होंने AI का उपयोग प्रश्न बनाने के लिए नहीं किया (जो कि एक गोलाकार तर्क या सर्कुलर लॉजिक होता), बल्कि उन्होंने एक डिटरमिनिस्टिक पाइपलाइन (deterministic pipeline) बनाई।

  • कल्पना कीजिए कि एक फैक्ट्री असेंबली लाइन है जिसमें 38 सख्त नियम हैं।
  • उन्होंने वास्तविक रोगी डेटा लिया और उसे इस मशीन से गुजारा।
  • मानव विशेषज्ञों (डॉक्टरों) ने प्रश्नों की समीक्षा की ताकि यह सुनिश्चित हो सके कि वे चिकित्सकीय रूप से सही हैं।
  • उन्होंने टेक्स्ट से किसी भी ऐसे "सुराग" को हटा दिया जो AI को बिना देखे अनुमान लगाने में मदद कर सके।
  • परिणाम एक "गोल्ड स्टैंडर्ड" डेटासेट है जहाँ प्रत्येक उत्तर को रोगी के वास्तविक स्कैन डेटा के विरुद्ध गणितीय रूप से सत्यापित किया गया है।

सारांश

NEUROQA मेडिकल AI के लिए एक विशाल, ईमानदार टेस्ट है। यह AI को पूर्ण 3D ब्रेन स्कैन देखने के लिए मजबूर करता है और यह साबित करता है कि, फिलहाल, सबसे स्मार्ट AI मॉडल भी इन स्कैन्स को समझने में मानव डॉक्टर जितने सक्षम नहीं हैं। यह पेपर यह दावा नहीं करता कि AI अस्पतालों के लिए तैयार है; इसके बजाय, यह एक स्पष्ट, मापने योग्य तरीका प्रदान करता है जिससे यह ट्रैक किया जा सके कि AI अंततः मस्तिष्क को सही ढंग से "देखना" कब सीखता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें ⚡ eess →