Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक जादुई क्रिस्टल बॉल ने एक विशिष्ट भविष्यवाणी क्यों की। शायद इसने आपको बताया कि आपको गणित की परीक्षा में 'A' ग्रेड मिलेगा, या किसी ऋण आवेदन (loan application) को अस्वीकार कर दिया गया। कंप्यूटर विज्ञान की दुनिया में, इसे "मशीन लर्निंग" कहा जाता है, और वह क्रिस्टल बॉल एक जटिल एल्गोरिदम है जिसने हजारों सुरागों, या "फीचर्स" (features) को देखकर निर्णय लेना सीखा है। लेकिन यहाँ एक पेचीदा बात है: ये एल्गोरिदम अक्सर इतने जटिल होते हैं कि उनके निर्माता भी आसानी से यह नहीं समझा पाते कि उन्होंने एक विशिष्ट चुनाव क्यों किया। यह एक 'ब्लैक बॉक्स' की तरह है। इसे ठीक करने के लिए, वैज्ञानिकों ने इसके भीतर झांकने और प्रत्येक सुराग को एक "स्कोर" देने के लिए उपकरण विकसित किए हैं, जो हमें बताता है कि उस विशिष्ट सुराग ने अंतिम उत्तर में कितना योगदान दिया। सबसे लोकप्रिय उपकरणों में से एक SHAP है। यह गेम थ्योरी के एक पुराने विचार "शैपली वैल्यू" (Shapley value) पर आधारित है, जो वास्तव में एक टीम के खिलाड़ियों के बीच पुरस्कार को बांटने का एक निष्पक्ष तरीका है, इस आधार पर कि प्रत्येक व्यक्ति ने टीम को जीतने में कितनी मदद की। शोधकर्ता मुख्य सवाल यह पूछ रहे हैं कि जब सैकड़ों सुराग हों तो हम इन स्कोर्स की गणना निष्पक्ष रूप से कैसे करें, और हम तुलना के लिए "सामान्य" क्या है, यह कैसे तय करें?

एंड्रयू हेरेन, पी. रिचर्ड हैन और राफेल अल्कांतारा द्वारा लिखा गया यह शोध पत्र SHAP के पीछे के गणित की गहराई में जाता है ताकि यह देखा जा सके कि यह वास्तव में कैसे काम करता है। लेखक इस समस्या को एक विशाल पहेली की तरह देखते हैं, जो मशीन लर्निंग की व्याख्यात्मकता (explainability) और "सेंसिटिविटी एनालिसिस" (sensitivity analysis) नामक एक क्षेत्र के बीच संबंध जोड़ते हैं, जिसका उपयोग भौतिकी और इंजीनियरिंग में यह देखने के लिए किया जाता है कि इनपुट बदलने से आउटपुट पर क्या प्रभाव पड़ता है। वे खोजते हैं कि SHAP वास्तव में एक सांख्यिकीय तकनीक "फंक्शनल ANOVA" (Functional ANOVA) के बहुत समान कुछ कर रहा है, जो एक जटिल फलन (function) को छोटे, प्रबंधनीय टुकड़ों में तोड़ देता है—जैसे कि एक स्मूदी को उसके व्यक्तिगत फलों में अलग करना यह देखने के लिए कि प्रत्येक फल कितनी चीनी जोड़ता है। पेपर सुझाव देता है कि लोग SHAP का उपयोग करते समय जिन सबसे बड़ी समस्याओं का सामना करते हैं, वे दो मुख्य विकल्पों से आती हैं: तुलना के लिए कौन सा "बेसलाइन" या संदर्भ बिंदु चुनना है (जैसे कि पूछना, "किसके मुकाबले?") और वास्तव में कितने अरबों संभावित सुरागों के संयोजनों की जांच करनी है।

लेखक तर्क देते हैं कि हालांकि SHAP एक शक्तिशाली उपकरण है, लेकिन यह कोई जादुई छड़ी नहीं है जो सब कुछ स्वचालित रूप से हल कर देती है। वे दिखाते हैं कि आपके द्वारा प्राप्त उत्तर इस बात पर निर्भर करते हैं कि आप तुलना के लिए किस डेटा वितरण को "बैकग्राउंड रेफरेंस" के रूप में चुनते हैं। उदाहरण के लिए, यदि आप एक विशिष्ट भविष्यवाणी की तुलना "एकल बेसलाइन" (जैसे कि एक औसत व्यक्ति) से करते हैं, तो आपको एक बहुत अलग परिणाम मिल सकता है, बजाय इसके कि आप एक "सहसंबंधित बेसलाइन" (correlated baseline) का उपयोग करें (जहाँ वे फीचर्स जो आमतौर पर साथ चलते हैं, उन्हें साथ रखा जाता है)। अपने सिमुलेशन में, उन्होंने पाया कि एक सहसंतित बेसलाइन का उपयोग करने से स्कोर नाटकीय रूप से बदल सकते हैं, और कभी-कभी किसी फीचर के महत्व को पूरी तरह से पलट सकते हैं। वे यह संभालने के तरीके भी तलाशते हैं कि जब आपके पास हजारों फीचर्स हों तो हर एक संयोजन की जांच करना असंभव कैसे है। वे सुझाव देते हैं कि सब कुछ अंधाधुंध जांचने के बजाय, हम स्मार्ट सैंपलिंग विधियों का उपयोग कर सकते—जैसे कि सबसे महत्वपूर्ण "लो-ऑर्डर इंटरैक्शन" को पहले खोजने के लिए—ताकि अनंत काल तक प्रतीक्षा किए बिना एक पर्याप्त अच्छा उत्तर प्राप्त किया जा सके।

अंततः, यह पेपर यह दावा नहीं करता है कि उसने SHAP का उपयोग करने का एक आदर्श तरीका खोज लिया है। इसके बजाय, यह उन तकनीकी निर्णयों को स्पष्ट करता है जिन्हें उपयोगकर्ता अक्सर यह महसूस किए बिना उठाते हैं जब वे सॉफ्टवेयर चलाते हैं। लेखक सुझाव देते हैं कि AI मॉडल को समझाने और सेंसिटिविटी एनालिसिस के बीच का संबंध एक दिलचस्प एक है जो भविष्य में बेहतर तरीकों की ओर ले जा सकता है। हालाँकि, वे चेतावनी देते हैं कि हर स्थिति के लिए कोई एक "सही" शैपली वैल्यू नहीं होती है; "सही" उत्तर इस पर निर्भर करता है कि आप क्या प्रश्न पूछने की कोशिश कर रहे हैं और तुलना के लिए किस तरह के बैकग्राउंड डेटा का चयन कर रहे हैं। इसलिए, जबकि SHAP हमें ब्लैक बॉक्स के भीतर झांकने में मदद करता है, यह पेपर हमें याद दिलाता है कि हमें उस रोशनी के बारे में सावधान रहने की आवश्यकता है जिसे हम देखते हैं।