Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact
यह शोध पत्र चेस्ट-रेडियोग्राफ विजन-लैंग्वेज मॉडल बेंचमार्क के एक फोरेंसिक पुनरुत्पादकता ऑडिट (forensic reproducibility audit) को प्रस्तुत करता है जिसने डेटा रेंडरिंग और प्रॉम्प्ट बाइंडिंग के संबंध में अनुमान लगाने हेतु संरक्षित इम्पोर्ट और कॉल पाथ (import and call path) के अनुरेखण (tracing) के माध्यम से महत्वपूर्ण विसंगतियों को उजागर किया। इस ऑडिट में स्पष्ट किया गया है कि जबकि फिक्स्ड-कोहॉर्ट विश्लेषण में 27/45 अनएडजस्टेड और 20/45 होल्म-एडजस्टेड (Holm-adjusted) तुलनाएं प्राप्त हुईं, 28/45 का परिणाम एक अलग पेयरवाइज उपलब्ध-मामला विश्लेषण (pairwise available-case analysis) में सफलतापूर्वक पुनरुत्पादित किया गया था, जहाँ प्रत्येक तुलना में अपने स्वयं के हर (denominator) का उपयोग किया गया था। इसके परिणामस्वरूप मूल प्रदर्शन और स्वचालित रिपोर्ट-लेबल विसंगति का पता लगाने (automated report-label discordance) के दावों की वापसी हुई और भविष्य में आर्टिफैक्ट अखंडता सुनिश्चित करने के लिए मशीन-सत्यापन योग्य नियंत्रणों का प्रस्ताव दिया गया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ वैज्ञानिक एक्स-रे पढ़ने और डॉक्टरों को यह बताने के लिए डिजिटल जासूस बनाते हैं कि क्या गलत है। ये जासूस एक विशेष प्रकार का कंप्यूटर प्रोग्राम हैं जिसे "विज़न-लैंग्वेज मॉडल" कहा जाता है। इन्हें एक सुपर-स्मार्ट रोबोट की तरह समझें जो छाती की एक तस्वीर देख सकता है और फिर एक रिपोर्ट लिख सकता है, ठीक वैसे ही जैसे एक मानव डॉक्टर कर सकता है। यह देखने के लिए कि ये रोबोट कितने अच्छे हैं, शोधकर्ता "बेंचमार्क" बनाते हैं। बेंचमार्क एक मानकीकृत परीक्षण की तरह है: आप रोबोट को 30 एक्स-रे दिखाते हैं, विशिष्ट प्रश्न पूछते हैं, और फिर देखते हैं कि उसने कितने सही उत्तर दिए हैं। हर कोई यह मान लेता है कि यदि परीक्षण पेपर में लिखा गया है, तो कंप्यूटर ने वास्तव में वही किया है जो पेपर में कहा गया है। लेकिन क्या होगा अगर कंप्यूटर ने कोई शॉर्टकट लिया हो? क्या होगा अगर परीक्षण के प्रश्नों को बदल दिया गया हो, या एक्स-रे को उल्टा कर दिया गया हो, और किसी ने वर्षों बाद तक इस पर ध्यान नहीं दिया हो? यह उस अंतर का डर है जो हम कहते हैं कि हमने किया और जो कंप्यूटर ने वास्तव में किया, उसके बीच मौजूद है।
यह पेपर उन डिजिटल परीक्षणों में से एक की फोरेंसिक जासूसी कहानी है। लेखक, माटेउज़ कोज़लोव्स्की (Mateusz Kozłowski) ने एक डिजिटल अपराध स्थल अन्वेषक की भूमिका निभाने का निर्णय लिया। उन्होंने परीक्षण को दोबारा नहीं चलाया; इसके बजाय, उन्होंने पिछले अध्ययन द्वारा छोड़े गए "अपराध स्थल" (कंप्यूटर फाइलों और कोड) का निरीक्षण किया। वह यह देखना चाहते थे कि क्या अंतिम रिपोर्ट में बताई गई कहानी हार्ड ड्राइव पर मौजूद फाइलों की वास्तविकता से मेल खाती है। उन्होंने पाया कि कहानी और वास्तविकता बहुत अलग थे। अध्ययन ने दावा किया कि उसने रोबोट से प्रश्न पूछने के दो अलग-अलग तरीकों की तुलना की, लेकिन लेखक ने कोड के माध्यम से 'इम्पोर्ट और कॉल पाथ' (import and call path) का पीछा करते हुए यह पता लगाया कि प्रॉम्प्ट कैसे जुड़े थे। इस जांच से पता चला कि प्रोग्रामिंग त्रुटि के कारण, दोनों समूहों के प्रश्न वास्तव में प्रॉम्प्ट C के रूप रूप में भेजे गए थे। इसलिए, जितनी बार कंप्यूटर को उत्तर देने के लिए कहा गया, वह वास्तव में 60 बार एक ही प्रश्न का उत्तर दे रहा था। अध्ययन ने A और B के बीच अंतर खोजने का दावा किया, लेकिन चूंकि A और B कभी हुए ही नहीं, इसलिए वह अंतर एक काल्पनिक साया मात्र था।
एक्स-रे का मिश्रण (Mix-Up)
इसके बाद, कल्पना कीजिए कि आप एक ब्लैक-एंड-व्हाइट फोटो देख रहे हैं। यदि फोटो "नेगेटिव" (जहाँ काला सफेद है और सफेद काला है) में प्रिंट की गई है, तो आप सोच सकते हैं कि एक गहरा धब्बा वास्तव में एक हल्का धब्बा है। मेडिकल इमेजिंग की दुनिया में, ब्लैक-एंड-व्हाइट सेटिंग्स के दो प्रकार होते हैं: एक जहाँ गहरा मतलब "हड्डी" है और दूसरा जहाँ गहरा मतलब "हवा" है। अध्ययन ने मानक एक्स-रे के उपयोग का दावा किया। लेकिन लेखक ने पाया कि चार छवियां "हवा" सेटिंग में थीं, और कंप्यूटर कोड AI को दिखाने से पहले उन्हें "हड्डी" सेटिंग में बदलने के बारे में भूल गया था।
यह एक ग्राहक को बर्गर परोसने जैसा है जिसमें बन नीचे है और पैटी ऊपर है, और फिर दावा करना कि आपने एक "मानक बर्गर" परोसा है। AI ने वास्तविक एक्स-रे के बजाय एक पलटी हुई छवि देखी। इसका मतलब था कि AI वास्तविक एक्स-रे के बजाय एक विकृत वास्तविकता के आधार पर निर्णय ले रहा था।
मरीजों की संख्या और गायब फाइलें
अध्ययन ने कहा कि इसने 30 अलग-अलग रोगियों का उपयोग किया। लेकिन जब लेखक ने फाइलों की गिनती की, तो उन्हें पता चला कि दो मरीज वास्तव में दो बार आए थे, जिसका अर्थ था कि केवल 28 अनूठे लोग थे। यह एक क्लास रोल कॉल की तरह है जहाँ दो छात्रों ने दो बार नाम दर्ज किए, जिससे ऐसा लगा कि 30 बच्चे थे जबकि वास्तव में केवल 28 थे। यह महत्वपूर्ण है क्योंकि यदि एक ही व्यक्ति परीक्षण में दो बार आता है, तो यह परिणामों को प्रभावित करता है।
इसके अलावा, अध्ययन ने 300 उत्तरों (30 एक्स-रे × 10 अलग-अलग AI मॉडल) की योजना बनाई थी। लेकिन जब लेखक ने फाइलों की जाँच की, तो उनमें से तीन गायब या खाली थीं। दो फाइलें पूरी तरह से खाली (जीरो बाइट्स) थीं, और एक बस गायब थी। मूल रिपोर्ट ने ढोंग किया कि ये सफल उत्तर थे, लेकिन वे वास्तव में विफलताओं के रूप में थे। यह एक शिक्षक द्वारा क्विज़ ग्रेड करने जैसा है जो छात्र को अंक देता है भले ही छात्र ने कागज खाली छोड़ दिया हो।
"जादुई" गणित
इन त्रुटियों के कारण, मूल पेपर में गणित गलत था। लेखकों ने यह देखने के लिए "कॉक्रेन सांख्यिकी" (Cochran statistic) नामक एक स्कोर की गणना की थी कि क्या मॉडल अलग हैं। मूल पेपर ने कहा कि स्कोर 154.73 था। जब लेखक ने सही, पूर्ण डेटा (369 ब्लॉक्स के बजाय अस्त-व्यस्त, अधूरे संस्करण का उपयोग करके) का उपयोग करके गणित को ठीक किया, तो स्कोर बढ़कर 182.29 हो गया।
यहाँ गणित की बारीकियों को समझना महत्वपूर्ण है। मूल पेपर ने दावा किया था कि 45 तुलनाओं में से 26 ने "महत्वपूर्ण" अंतर दिखाया। जब लेखक ने सही डेटा का उपयोग करके विश्लेषण किया, तो उन्होंने पाया कि फिक्स्ड-कोहोर्ट विश्लेषण (fixed-cohort analysis) के तहत 45 में से 27 तुलनाएं अन-एडजस्टेड (unadjusted) थीं और 20 तुलनाएं होल्म-एडजस्टेड (Holm-adjusted) थीं। हालांकि, 28/45 का परिणाम एक अलग 'पेयरवाइज अवेलेबल-केस विश्लेषण' (pairwise available-case analysis) में भी दोहराया गया था, जहाँ प्रत्येक तुलना अपने स्वयं के डिनोमिनेटर (denominator) का उपयोग कर रही थी। यह अंतर महत्वपूर्ण है क्योंकि मूल दावा एक ऐसे परीक्षण पर आधारित था जो वास्तव में कभी हुआ ही नहीं।
"पुराना" रिलीज़
यहाँ सबसे निराशाजनक हिस्सा है। जब शोधकर्ताओं को अपनी गलती का एहसास हुआ और उन्होंने लिखित पेपर में नंबरों को ठीक किया, तो वे अपने द्वारा साझा की गई डिजिटल फाइलों को अपडेट करने में विफल रहे। उन्होंने एक "संशोधित" पेपर अपलोड किया, लेकिन उनके साथ संलग्न ज़िप फ़ाइल में अभी भी पुराने, गलत नंबर और मॉडलों के पुराने, गलत नाम थे। यह एक कुकबुक में रेसिपी को ठीक करने जैसा है लेकिन वेबसाइट पर सामग्री की सूची बदलना भूल जाना। जिसने भी फ़ाइल डाउनलोड किया, उसे पुराना, टूटा हुआ संस्करण ही मिला।
समाधान: एक नया नियम पुस्तिका
लेखक केवल गलतियों की ओर इशारा नहीं करते; वह इन्हें दोबारा होने से रोकने के लिए एक नई नियम पुस्तिका बनाते हैं। वह इसे "बेंचमार्क कॉन्ट्रैक्ट" कहते हैं। कल्पना कीजिए कि एक अनुबंध जो कंप्यूटर को यह साबित करने के लिए मजबूर करता है कि उसने सही काम किया है, इससे पहले कि उसे कोई स्कोर प्रकाशित करने की अनुमति दी जाए।
इस अनुबंध में आठ नियम हैं:
- कोहोर्ट कॉन्ट्रैक्ट (Cohort Contract): सिद्ध करें कि आपके पास सही संख्या में अनूठे रोगी हैं।
- पिक्सेल कॉन्ट्रैक्ट (Pixel Contract): सिद्ध करें कि एक्स-रे छवियां पलटी हुई या टूटी हुई नहीं थीं।
- प्रॉम्प्ट कॉन्ट्रैक्ट (Prompt Contract): सिद्ध करें कि AI को वास्तव में वही विशिष्ट प्रश्न मिला जो आपने पूछा था, न कि कोई दूसरा प्रश्न।
- मॉडल कॉन्ट्रैक्ट (Model Contract): सिद्ध करें कि आपने उसी संस्करण के AI का उपयोग किया जिसका आपने दावा किया था।
- आउटपुट कॉन्ट्रैक्ट (Output Contract): सिद्ध करें कि उत्तर फ़ाइल खाली नहीं है।
- एनोटेशन कॉन्ट्रैक्ट (Annotation Contract): सिद्ध करें कि लेबल (जैसे "बीमार" या "स्वस्थ") सही ढंग से सौंपे गए हैं।
- एनालिसिस कॉन्ट्रैक्ट (Analysis Contract): सिद्ध करें कि गणित डेटा के सही समूहों पर किया गया था।
- रिलीज़ कॉन्ट्रैक्ट (Release Contract): सिद्ध करें कि आपके द्वारा साझा की गई फाइलें उस पेपर से मेल खाती हैं जो आपने लिखा है।
लेखक ने 36 स्वचालित परीक्षणों (एक रोबोट निरीक्षक की तरह) का एक सेट बनाया है जो इन नियमों की जाँच करते हैं। यदि कोई परीक्षण विफल होता है, तो सिस्टम रुक जाता है और कहता है, "नहीं, आप इसे अभी प्रकाशित नहीं कर सकते।"
मुख्य निष्कर्ष
बड़ी बात यह है कि इन AI मॉडलों के काम करने के तरीके के बारे में मूल अध्ययन के दावे वापस लिए जाते हैं (withdrawn)। लेखक बहुत स्पष्ट हैं: मूल परिणाम अमान्य हैं। आप रैंकिंग या "बेहतर" मॉडल पर भरोसा नहीं कर सकते क्योंकि परीक्षण टूटा हुआ था। यहाँ तक कि स्वचालित रिपोर्ट-लेबल विसंगति (automated report-label discordance) के दावे भी अमान्य हैं। केवल वही चीज़ बच सकती है कि कैसे यह टूटा।
लेखक सुझाव देते हैं कि भविष्य में, हमें इन मशीन-चेकेबल अनुबंधों का उपयोग करने की आवश्यकता है। हम केवल इस पर भरोसा नहीं कर सकते कि कंप्यूटर ने वही किया है जो हमने उसे करने के लिए कहा था; हमें कंप्यूटर को यह साबित करने की आवश्यकता है। यह पेपर हमें एक नया, बेहतर AI मॉडल नहीं देता है; इसके बजाय, यह हमें यह सुनिश्चित करने का एक बेहतर तरीका देता है कि AI को परखने के लिए उपयोग किए जाने वाले परीक्षण वास्तव में निष्पक्ष और वास्तविक हों। यह हमें याद दिलाता है कि डिजिटल युग में, यदि आप कोड की जाँच नहीं करते हैं, तो आप एक ऐसे परीक्षण को ग्रेड दे सकते हैं जो कभी हुआ ही नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।