Subgroup AUROC-gap tests are not evidence of unfairness in clinical prediction models: case-mix differences make the equal-discrimination null false
यह शोध पत्र यह प्रदर्शित करता है कि नैदानिक भविष्यवाणी मॉडलों (clinical prediction models) में निष्पक्षता का आकलन करने के लिए मानक सबग्रुप AUROC-गैप परीक्षण अमान्य हैं क्योंकि केस-मिक्स वितरणों (case-mix distributions) में अंतर स्वाभाविक रूप से पूर्णतः निष्पक्ष मॉडलों में भी AUROC असमानताओं को उत्पन्न करता है, जबकि अंशांकन (calibration) परीक्षण वास्तविक अननिष्पक्षता को ज्यामितीय आर्टिफैक्ट्स (geometric artifacts) से अलग करने के लिए सुदृढ़ बने रहते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक अस्पतालों में, एल्गोरिदम का उपयोग तेजी से यह अनुमान लगाने के लिए किया जा रहा है कि किसे गंभीर रूप से बीमार होने की संभावना है, जिससे डॉक्टरों को यह तय करने में मदद मिलती है कि किसे तत्काल देखभाल की आवश्यकता है। ये उपकरण रोगी डेटा की विशाल मात्रा पर प्रशिक्षित होते हैं, जो उन पैटर्न को पहचानने में सक्षम होते हैं जिन्हें इंसान शायद चूक सकते हैं। लेकिन क्योंकि ये मॉडल वास्तविक दुनिया के डेटा से बनाए गए हैं, इसलिए वे कभी-कभी समाज में मौजूद असमानताओं को भी आत्मसात कर सकते हैं, जिससे वे कुछ लोगों के समूहों के लिए तो अच्छा प्रदर्शन करते हैं, लेकिन दूसरों के लिए विफल हो जाते हैं। इसे पकड़ने के लिए, अस्पताल और नियामक अब नियमित रूप से "फेयरनेस ऑडिट" (निष्पक्षता ऑडिट) चलाते हैं। ये ऑडिट रोगी आबादी को समूहों में विभाजित करते हैं—जैसे आयु, नस्ल या लिंग के आधार पर—और यह देखते हैं कि क्या मॉडल सभी के लिए समान रूप से अच्छा प्रदर्शन करता है। प्रदर्शन को मापने का मानक तरीका 'एरिया अंडर द कर्व' (AUC) नामक एक स्कोर है, जो मूल रूप से यह पूछता है: यदि आप यादृच्छिक रूप से एक बीमार व्यक्ति और एक स्वस्थ व्यक्ति को चुनते हैं, तो मॉडल कितनी बार बीमार व्यक्ति को उच्च रैंक पर सही ढंग से रखता है? यदि मॉडल निष्पक्ष है, तो यह स्कोर प्रत्येक समूह के लिए समान होना चाहिए।
वर्षों से, यह धारणा रही है कि यदि ये स्कोर समूहों के बीच भिन्न होते हैं, तो मॉडल अनुचित है। शोधकर्ताओं और नियामकों ने विभिन्न सांख्यिकीय परीक्षण विकसित किए हैं ताकि यह देखा जा सके कि क्या अंतर इतना बड़ा है कि वह समस्या बन जाए, और अक्सर एक मॉडल को तब पक्षपाती घोषित कर देते हैं जब स्कोर एक निश्चित सीमा से नीचे गिर जाता है या यदि एक समूह का स्कोर दूसरे के 80 प्रतिशत से कम होता है। तर्क सुसंगत लग रहा था: एक आदर्श मॉडल सबको समान व्यवहार करना चाहिए, इसलिए उसे सभी के लिए समान सटीकता के साथ परिणामों की भविष्यवाणी करनी चाहिए। हालांकि, एक नया अध्ययन इस पूरे आधार को चुनौती देता है, यह तर्क देते हुए कि निष्पक्षता खोजने के लिए उपयोग किए जाने वाले परीक्षण अक्सर एक बहुत ही निर्दोष चीज़ द्वारा धोखा खा जाते हैं: विभिन्न समूहों में मौजूद रोगियों के प्रकारों में स्वाभाविक अंतर।
इस अध्ययन के पीछे के शोधकर्ताओं ने, पांच अलग-अलग क्लिनिकल कोहॉर्ट्स (नैदानिक समूहों) के डेटा के साथ काम करते हुए और हजारों कंप्यूटर सिमुलेशन चलाकर, यह देखने का प्रयास किया कि क्या होता है जब एक पूरी तरह से निष्पक्ष मॉडल का परीक्षण उन समूहों पर किया जाता है जो एक-दूसरे से भिन्न दिखते हैं। उन्होंने एक ऐसा मॉडल बनाया जो गणितीय रूप से पूर्ण था, जिसका अर्थ है कि वह प्रत्येक रोगी के लिए बीमारी की सटीक संभावना जानता था और किसी के साथ भी उसकी पहचान के आधार पर भेदभाव नहीं करता था। फिर उन्होंने इस पूर्ण मॉडल को विभिन्न जनसांख्यिकीय समूहों में डाला, लेकिन उन्होंने इन समूहों को अलग-अलग "केस मिक्स" (रोग प्रोफाइल मिश्रण) रखने की अनुमति दी। सरल शब्दों में कहें तो, इसका अर्थ यह है कि एक समूह में रोगियों में जोखिम कारकों की एक विस्तृत श्रृंखला हो सकती है, जबकि दूसरे समूह में जोखिम कारकों की सीमा सीमित हो सकती है, भले ही मॉडल स्वयं समान और निष्पक्ष हो।
उन्हें जो परिणाम मिले वे चौंकाने वाले थे। जब उन्होंने इस पूर्ण मॉडल पर मानक निष्पक्षता परीक्षण चलाए, तो परीक्षणों ने बार-बार यह संकेत दिया कि मॉडल अनुचित है। उन सिमुलेशन में जहाँ समूहों के रोगी प्रोफाइल में मध्यम अंतर था, परीक्षणों ने लगभग 92 प्रतिशत बार उस पूर्ण मॉडल को पक्षपाती बताया। जब अंतर अधिक बड़े थे, तो परीक्षणों ने AUC के 1 के साथ इसे पक्षपाती बताया। शोधकर्ताओं ने पाया कि सांख्यिकीय परीक्षण निष्पक्षता का पता नहीं लगा रहे थे; वे डेटा के प्राकृतिक प्रसार का पता लगा रहे थे। जोखिमों की एक विस्तृत विविधता वाला समूह वास्तव में "बीमार" और "स्वस्थ" श्रेणियों को अलग करने में मॉडल के लिए आसान होता है, जिससे उच्च प्रदर्शन स्कोर प्राप्त होता है। जोखिमों की संकीर्ण श्रेणी वाला समूह अलग करने में कठिन होता है, जिससे कम स्कोर मिलता है। परीक्षणों ने इस कठिनाई के प्राकृतिक अंतर को पूर्वाग्रह के संकेत के रूप में व्याख्यायित किया, जबकि वास्तव में, मॉडल बिल्कुल वैसा ही काम कर रहा था जैसा उसे करना चाहिए था।
अध्ययन ने यह मापने के लिए आगे बढ़कर देखा कि वास्तविक अस्पताल डेटा में इस "केस मिक्स" का अंतर वास्तव में कितना मौजूद है। उन्होंने पांच वास्तविक दुनिया के डेटासेटों में 21 विभिन्न जनसांख्यिकीय विभाजनों का विश्लेषण किया। उन्होंने पाया कि कई समूहों में, रोगी प्रोफाइल के प्राकृतिक अंतर इतने बड़े थे कि एक पूरी तरह से निष्पक्ष मॉडल भी प्रदर्शन अंतराल दिखा सकता था जो निष्पक्षता के नियमों के उल्लंघन जैसा दिखता है। उदाहरण के लिए, कुछ आयु-आधारित समूहों में, एक निष्पक्ष मॉडल स्वाभाविक रूप से एक प्रदर्शन अंतर दिखा सकता था जो निष्पक्षता के अलार्म को सक्रिय करने के लिए पर्याप्त था, भले ही मॉडल कुछ भी गलत नहीं कर रहा था। शोधकर्ताओं ने वास्तविक डेटा में देखे गए अंतरालों को तोड़ने की कोशिश की ताकि यह देखा जा सके कि कितना हिस्सा इन प्राकृतिक अंतरों के कारण था और कितना वास्तविक पक्षपात के कारण था, लेकिन उन्होंने पाया कि गणित इतना अस्थिर था कि सटीक उत्तर देना संभव नहीं था। वह अंतर दोनों का मिश्रण था, और उपलब्ध उपकरण उन्हें अलग नहीं कर सकते थे।
यह चिकित्सा AI को निष्पक्ष बनाने के प्रयास में एक कठिन निष्कर्ष की ओर ले जाता है। पेपर का तर्क है कि केवल समूहों के बीच प्रदर्शन स्कोर की तुलना करना और सांख्यिकीय परीक्षण चलाना मॉडल को अनुचित साबित करने का एक वैध तरीका नहीं है। परीक्षण प्राकृतिक रूप से विविध रोगी आबादी द्वारा आसानी से भ्रमित किए जा सकते हैं। शोधकर्ता सुझाव देते हैं कि सभी समूहों के लिए बिल्कुल समान प्रदर्शन स्कोर प्राप्त करने की कोशिश करने के बजाय—जो कि गणितीय रूप से असंभव हो सकता है यदि समूह भिन्न हैं—हमें अन्य चीजों पर ध्यान देना चाहिए। वे अनुशंसा करते हैं कि प्रदर्शन स्कोर के साथ रोगी समूहों का विवरण भी प्रस्तुत किया जाए, ताकि डॉक्टर देख सकें कि क्या कम स्कोर केवल इसलिए है क्योंकि वह समूह भविष्यवाणी करने में कठिन है। वे यह भी सुझाव देते हैं कि यह जांचा जाए कि क्या मॉडल के अनुमान 'वेल-कैलिब्रेटेड' (सुव्यवस्थित) हैं, जिसका अर्थ है कि यदि मॉडल 0.2 का AUC बताता है, तो क्या वास्तव में 0.2 बार ऐसा ही होता है? प्रदर्शन स्कोर परीक्षणों के विपरीत, उनके सिमुलेशन ने दिखाया कि कैलिब्रेशन चेक (सुव्यवस्थितता जाँच) इन प्राकृतिक अंतरों द्वारा भ्रमित नहीं हुए।
यह अध्ययन यह दावा नहीं करता कि चिकित्सा मॉडल हमेशा निष्पक्ष होते हैं, न ही यह कहता है कि पक्षपात मौजूद नहीं है। यह केवल यह दिखाता है कि इसे खोजने का सबसे सामान्य तरीका त्रुटिपूर्ण है। शोधकर्ता इस बात पर जोर देते हैं कि उनके निष्कर्ष सिमुलेशन और विशिष्ट डेटासेट से आए हैं, और वे पुराने परीक्षणों को बदलने के लिए कोई नया जादुई परीक्षण पेश नहीं कर रहे हैं। इसके बजाय, वे निष्पक्षता के बारे में हमारी सोच में बदलाव लाने का आग्रह करते हैं। युवाओं के समूह और बुजुर्गों के समूह के लिए एक जैसा प्रदर्शन प्रदर्शित करने की मांग करने के बजाय, जो स्वास्थ्य जोखिमों की भिन्न प्रकृति के कारण असंभव हो सकता है, हमें यह मांग करनी चाहिए कि मॉडल प्रत्येक समूह के लिए अपने स्वयं के मापदंडों पर सटीक और सुव्यवस्थित हो। यह पेपर एक चेतावनी के रूप में कार्य करता है कि रोगी आबादी के अंतर्निहित अंतरों को समझे बिना, हम पूर्ण उपकरणों को दोषपूर्ण घोषित करने का जोखिम उठाते हैं, या इससे भी बुरा, वास्तविक समस्याओं को मिस कर सकते हैं क्योंकि हम गलत नंबरों को देख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।