Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs
यह शोध पत्र बूलियन स्ट्रक्चरल कॉज़ल मॉडल्स के माध्यम से संरचित इनपुट निर्भरताओं को मॉडल करके, बाउंड प्रोपेगेशन और ब्रांच-एंड-बाउंड तकनीकों का उपयोग करते हुए, न्यूरल नेटवर्क भविष्यवाणियों के लिए हलपरन-पर्ल वास्तविक कारणों की गणना करने की एक विधि प्रस्तावित करता है, जो स्केलेबल, पूर्ण और न्यूनतम स्पष्टीकरण प्राप्त करने के लिए फीचर सह-संबंधों को अनदेखा करने से होने वाले भ्रामक परिणामों से बचता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक रोबोट ने एक विशिष्ट निर्णय क्यों लिया, जैसे कि किसी ऋण (loan) आवेदन को अस्वीकार करने का निर्णय। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "व्याख्यात्मकता" (explainability) कहा जाता है। आमतौर पर, वैज्ञानिक रोबोट के इनपुट—जैसे आय, आयु, या ऋण—को देखते हैं और पूछते हैं, "इनमें से कौन सा नंबर सबसे अधिक महत्वपूर्ण था?" वे अक्सर इन नंबरों को सलाद के स्वतंत्र अवयवों की तरह मानते हैं: यदि आप सलाद के पत्तों (lettuce) को बदलते हैं, तो टमाटर वैसा ही रहता है। लेकिन वास्तविक दुनिया में, सामग्रियां अक्सर आपस में मिली होती हैं। उच्च आय के कारण उच्च खर्च हो सकता है, और उच्च खर्च के कारण बैंक बैलेंस नकारात्मक हो सकता है। यदि आप इन कनेक्शनों को अनदेखा करते हैं, तो आप ऋण अस्वीकृति के लिए नकारात्मक बैंक बैलेंस को दोष दे सकते हैं, जबकि वास्तविक मूल कारण उच्च खर्च था। यह शोध पत्र AI निर्णयों को समझाने की इस पेचीदा समस्या को हल करता है जब इनपुट कारण-और-प्रभाव (cause-and-effect) के संबंधों के जाल में उलझे होते हैं, और इसके लिए "वास्तविक कार्य-कारणता" (actual causality) नामक एक ढांचे का उपयोग करता है ताकि नकली संभावनाओं के भंवर में फंसे बिना असली दोषियों को खोजा जा सके।
शोधकर्ता, जैनिक स्ट्रोबेल, मुक्सित अज़ीम और स्टेफ़न ल्यू (यूनिवर्सिटी ऑफ कॉन्स्टेंस से), इस पहेली को सुलझाने के लिए CausExBaB नामक एक नई विधि पेश करते हैं। एक न्यूरल नेटवर्क (AI मस्तिष्क) को एक जटिल, ब्लैक-बॉक्स वेंडिंग मशीन के रूप में सोचें। आप इसमें सामग्रियों का एक सेट (इनपुट डेटा) डालते हैं, और यह एक निर्णय (जैसे "उच्च जोखिम" या "निम्न जोखिम") देता है। समस्या यह है कि सामग्रियां केवल वहां रखी नहीं हैं; वे नियमों के एक सेट (एक "स्ट्रक्चरल कॉज़ल मॉडल" या SCM) द्वारा जुड़ी हुई हैं जो यह निर्धारित करते हैं कि वे एक-दूसरे को कैसे प्रभावित करती हैं। उदाहरण के लिए, ऋण परिदृश्य में, "उच्च खर्च" स्वतः ही "नकारात्मक नकदी प्रवाह" (negative cashflow) को ट्रिगर कर सकता है।
यदि आप जानना चाहते हैं कि मशीन ने "उच्च जोखिम" क्यों कहा, तो आप केवल रैंडम तरीके से सामग्रियों को बदल नहीं सकते। आपको नियमों का सम्मान करना होगा। यदि आप "उच्च खर्च" को "कम खर्च" में बदलते हैं, तो मशीन का आंतरिक तर्क स्वचालित रूप से "नकारात्मक नकदी प्रवाह" को "सकारात्मक नकदी प्रवाह" में भी बदल सकता है। लेखकों का लक्ष्य न्यूनतम वास्तविक कारण (minimal actual causes) खोजना था: सामग्रियों का वह सबसे छोटा समूह, जिसे बदलने पर (अन्य विशिष्ट चीजों को स्थिर रखते हुए) मशीन का निर्णय बदल जाए। यह पूछने जैसा है कि, "मुझे एक अलग केक बनाने के लिए रेसिपी में किया जाने वाला सबसे छोटा बदलाव क्या है?"
चुनौती यह है कि परिवर्तनों के हर संभावित संयोजन की जांच करना आकाशगंगा के आकार के घास के ढेर (haystack) में सुई खोजने जैसा है। संभावनाओं की संख्या इतनी तेजी से बढ़ती है कि सुपरकंप्यूटर भी फंस जाते हैं। लेखकों का समाधान एक चतुर खोज रणनीति है जिसे CausExBaB कहा जाता है। हर एक सुई को एक-एक करके खोजने के बजाय, वे घास के ढेर के बड़े हिस्सों को एक साथ समूहबद्ध करते हैं और गणित का उपयोग करके यह सिद्ध करते हैं कि एक पूरा हिस्सा सुई होने के लिए अयोग्य है। यदि गणित कहता है कि परिवर्तनों का एक समूह अभी भी "उच्च जोखिम" के निर्णय की ओर ले जाएगा, तो वे उस पूरे समूह को बिना देखे हटा देते हैं। यदि गणित यह सिद्ध करता है कि एक समूह निश्चित रूप से निर्णय बदल देगा, तो वे उसे विजेता के रूप में चिह्नित करते हैं। केवल भ्रमित करने वाले, बीच के समूहों को ही विस्तार से विभाजित और जांचा जाता है। यह एक मेटल डिटेक्टर का उपयोग करने जैसा है जो आपको बता सकता है कि पूरा समुद्र तट सुइयों से खाली है, जिससे आप सटीक स्थान मिलने तक रेत खोदने में समय बर्बाद नहीं करते।
यह शोध पत्र सिद्ध करता है कि यह विधि सत्यनिष्ठ (sound) (यह कभी झूठ नहीं बोलती) और पूर्ण (complete) (यह हर एक वैध उत्तर ढूंढ लेती है) है। अपने परीक्षणों में, उन्होंने 28 वेरिएबल्स तक के नकली संसार बनाए जहाँ खोज स्थान में 2.3 × 10¹³ (यानी 23 ट्रिलियन) संभावित संयोजन थे। जबकि पुराने तरीके जैसे "ब्रूट फोर्स" (सब कुछ जांचना) या "ILP" (जटिल गणितीय सॉल्वर का उपयोग करना) 180 सेकंड के बाद हार मान लेते थे, CausExBaB ने उस समय के एक छोटे से हिस्से में, अक्सर 35 सेकंड से कम समय में, सभी उत्तर खोज लिए।
सबसे दिलचस्प निष्कर्षों में से एक यू.एस. सप्लीमेंटल न्यूट्रिशन असिस्टेंस प्रोग्राम (SNAP) से संबंधित एक वास्तविक दुनिया का केस स्टडी है। टीम ने उन घरेलू नियमों के आधार पर एक कॉज़ल मॉडल बनाया जो तय करते हैं कि कौन खाद्य सहायता के लिए पात्र है। उन्होंने पाया कि यदि आप वेरिएबल्स को जोड़ने वाले नियमों को अनदेखा करते हैं (उन्हें स्वतंत्र मानते हैं), तो आपको उन कारणों की एक विशाल सूची मिलती है कि क्यों एक परिवार को समीक्षा के लिए फ्लैग किया गया था। वास्तव में, कनेक्शनों को अनदेखा करने से रिपोर्ट किए गए कारणों की संख्या दोगुनी से भी अधिक हो गई। इससे भी बदतर यह है कि उनमें से 14.9% अतिरिक्त कारण "स्पूरियस" (spurious) थे—यानी नकली स्पष्टीकरण जो केवल इसलिए सही लग रहे थे क्योंकि मॉडल नियमों को नहीं जानता था। उदाहरण के लिए, मॉडल किसी विशिष्ट आय संख्या को दोष दे सकता है, लेकिन वास्तव में, वह संख्या किसी अन्य नियम का केवल एक दुष्प्रभाव थी। नियमों के जाल का सम्मान करके, CausExBaB ने शोर को काटकर असली कारणों को खोज निकाला।
लेखकों ने यह भी पाया कि उनके सिंथेटिक परीक्षणों में, लगभग 68.7% मामलों में एक से अधिक न्यूनतम कारण थे। इसका अर्थ है कि अक्सर, AI के निर्णय के पीछे केवल एक कारण नहीं होता; अक्सर दो या तीन पूरी तरह से अलग, स्वतंत्र रास्ते होते हैं जो एक ही परिणाम की ओर ले जाते हैं। इनमें से केवल एक को खोजना कार दुर्घटना के लिए केवल बारिश को दोष देने जैसा होगा, जबकि ड्राइवर भी तेज गति से गाड़ी चला रहा था। CausExBaB उन सभी को खोज लेता है।
संक्षेप में, यह शोध पत्र न केवल AI को समझाने का एक तेज़ तरीका देता है; यह एक अधिक सत्यवान तरीका भी देता है। यह दिखाता है कि जब इनपुट आपस में जुड़े होते हैं, तो उन कनेक्शनों को अनदेखा करना भ्रामक, अत्यधिक और कभी-कभी पूरी तरह से गलत स्पष्टीकरण की ओर ले जाता है। अपने नए एल्गोरिदम का उपयोग करके, हम AI के निर्णयों के पीछे के वास्तविक कारणों की एक स्पष्ट, न्यूनतम और गणितीय रूप से गारंटीकृत सूची प्राप्त कर सकते हैं, यहाँ तक कि सबसे जटिल और उलझे हुए परिदृश्यों में भी। लेखक सुझाव देते हैं कि यह दृष्टिकोण वित्त और स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले क्षेत्रों में AI सिस्टम के ऑडिटिंग के लिए गेम-चेंजर हो सकता है, जहाँ वास्तविक कारण को समझना विश्वास और निष्पक्षता का मामला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।