Verifying Machine Learning Interpretability Requirements through Provenance
यह शोध पत्र मॉडल और डेटा वंशावली (lineage) की व्यवस्थित रिकॉर्डिंग के माध्यम से मशीन लर्निंग मॉडल में व्याख्यात्मकता (interpretability) की गैर-कार्यात्मक आवश्यकता को मापने योग्य कार्यात्मक आवश्यकताओं में बदलने के लिए मशीन लर्निंग प्रोवेनेंस (provenance) का लाभ उठाकर इस अन्यथा अकिंचन (immeasurable) आवश्यकता को सत्यापित करने की एक विधि प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही खास व्यंजन बनाने के लिए एक प्रतिभाशाली लेकिन रहस्यमयी शेफ को काम पर रखा है। यह शेफ एक गुप्त रेसिपी (एक मशीन लर्निंग मॉडल) का उपयोग करके खाना बनाता है। समस्या यह है कि शेफ आपको यह नहीं बताएगा कि उस व्यंजन का स्वाद ऐसा क्यों है, या इसमें कौन से सामग्रियां (ingredients) डाली गईं। आपको बस इस बात पर भरोसा करना होगा कि खाना सुरक्षित और अच्छा है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ी समस्या है। हम बीमारियों का निदान करने से लेकर ऋण (loans) स्वीकृत करने तक, हर चीज़ के लिए इन "ब्लैक बॉक्स" मॉडल्स पर निर्भर हैं, लेकिन हम अक्सर यह नहीं समझा पाते कि वे निर्णय कैसे लेते हैं। यह शोध पत्र एक समाधान प्रस्तावित करता है: "डिजिटल रेसिपी बुक" (प्रोवेनेंस/Provenance)।
यहाँ इस शोध पत्र के विचार का सरल शब्दों में विवरण दिया गया है:
1. समस्या: "ब्लैक बॉक्स" का रहस्य
मशीन लर्निंग मॉडल जादू के डिब्बों की तरह होते हैं। आप इसमें डेटा डालते हैं, और एक उत्तर बाहर आता है। लेकिन डिब्बे के अंदर, यह गणित का एक ऐसा उलझा हुआ जाल है जिसे इंसान आसानी से पढ़ नहीं सकते।
- आवश्यकता: हमें इन डिब्बों का "इंटरप्रिटेबल" (व्याख्या योग्य) होना आवश्यक है, जिसका अर्थ है कि हमें यह समझने में सक्षम होना चाहिए कि उन्होंने कोई निर्णय क्यों लिया।
- चुनौती: वर्तमान में, "इंटरप्रिटेबिलिटी" एक अस्पष्ट लक्ष्य है। यह ऐसा है जैसे कहना, "इस कार को सुरक्षित बनाओ," बिना यह परिभाषित किए कि "सुरक्षित" का वास्तव में क्या अर्थ है। आप इसे माप नहीं सकते, इसलिए आप यह सिद्ध नहीं कर सकते कि आपने इसे हासिल कर लिया है।
2. समाधान: "डिजिटल रेसिपी बुक" (प्रोवेनेंस)
लेखकों का सुझाव है कि यह साबित करने के लिए कि एक मॉडल समझने योग्य है, हमें केवल अंतिम उत्तर को नहीं देखना चाहिए। इसके बजाय, हमें इस बात का संपूर्ण इतिहास सहेजना चाहिए कि मॉडल कैसे बनाया गया था। वे इसे प्रोवेनेंस (Provenance) कहते हैं।
प्रोवेनेंस को एक अत्यंत विस्तृत, अपरिवर्तनीय डायरी के रूप में सोचें जो खाना पकाने की प्रक्रिया के हर एक चरण को रिकॉर्ड करती है:
- सामग्रियां (डेटा) कहाँ से आईं।
- उन्हें किसने काटा (डेटा क्लीनिंग)।
- कौन से मसाले डाले गए (हाइपरपैरामीटर्स)।
- ओवन का सटीक तापमान क्या था (एनवायरनमेंट सेटिंग्स)।
- हर बार जब रेसिपी में बदलाव किया गया।
इस "डायरी" को सहेजकर, हम साक्ष्यों का एक मार्ग (trail) बनाते हैं। यदि हमारे पास पूरी डायरी है, तो हम चरणों को फिर से देख सकते हैं और ठीक से समझ सकते हैं कि शेफ उस अंतिम व्यंजन तक कैसे पहुँचा।
3. यह कैसे काम करता है: "शायद" को "प्रमाण" में बदलना
लेखक तर्क देते हैं कि "इंटरप्रिटेबिलिटी" को सीधे मापना बहुत कठिन है। इसलिए, वे इसे छोटे, मापने योग्य कार्यों में तोड़ देते हैं जिन्हें फंक्शनल रिक्वायरमेंट्स (Functional Requirements) कहा जाता है।
यह पूछने के बजाय कि, "क्या यह मॉडल व्याख्या योग्य है?" (जिसका उत्तर देना कठिन है), वे पूछते हैं:
- "क्या हमने सामग्रियों की सूची सहेजी?" (हाँ/नहीं)
- "क्या हमने डेटा को साफ करने के चरणों को सहेजा?" (हाँ/नहीं)
- "क्या हमने अंतिम सूत्र (formula) को सहेजा?" (हाँ/नहीं)
यदि सभी छोटे सवालों का जवाब हाँ है, तो बड़ा सवाल ("क्या यह व्याख्या योग्य है?") अपने आप हाँ हो जाता है।
4. प्रयोग: डायरी का उपयोग करने के दो तरीके
लेखकों ने इस विचार का परीक्षण दो अलग-अलग प्रकार के "शेफ" (मॉडल्स) के साथ किया:
प्रयोग A: पारदर्शी शेफ (लीनियर रिग्रेशन)
- मॉडल: एक सरल मॉडल जो डेटा पॉइंट्स के माध्यम से एक सीधी रेखा खींचता है।
- तरीका: क्योंकि मॉडल सरल है, यदि आपके पास "डायरी" (डेटा और गणित) है, तो आप कागज के एक टुकड़े पर मॉडल को बिल्कुल शुरुआत से फिर से बना (rebuild) सकते हैं और ठीक वही परिणाम प्राप्त कर सकते हैं।
- परिणाम: उन्होंने डेटा और गणित को अपनी डिजिटल डायरी में सहेजा। फिर उन्होंने उस डायरी का उपयोग करके एक्सेल (Excel) में मॉडल को फिर से बनाया। यह पूरी तरह से काम कर गया। इसने सिद्ध किया कि यदि आप इतिहास को सहेजते हैं, तो आप व्यवहार का अनुकरण (simulate) कर सकते हैं।
प्रयोग B: रहस्यमयी शेफ (काउंटरफैक्चुअल एक्सप्लेनेशन)
- मॉडल: एक जटिल मॉडल जो भविष्यवाणी करता है कि क्या किसी की आय अधिक है। यह इतना जटिल है कि इसे कागज पर फिर से बनाना संभव नहीं है।
- तरीका: पूरे मॉडल को फिर से बनाने के बजाय, उन्होंने "डायरी" का उपयोग "क्या होगा यदि?" (What If?) वाले सवाल पूछने के लिए किया।
- उदाहरण: "यदि इस व्यक्ति ने प्रति सप्ताह 5 घंटे अधिक काम किया, तो क्या भविष्यवाणी बदल जाएगी?"
- परिणाम: मॉडल को प्रशिक्षित करने के इतिहास को देखकर, वे सटीक रूप से मैप कर सके कि किन इनपुट्स (जैसे आयु या शिक्षा) के कारण मॉडल ने "हाँ" या "ना" कहा। उन्होंने इसे एक मानचित्र के रूप में विज़ुअलाइज़ किया, जो दिखा रहा था कि मॉडल "उच्च आय" और "कम आय" के बीच रेखा कहाँ खींचता है।
5. निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि हमें AI को समझने योग्य बनाने के लिए किसी नए जादू के आविष्कार की आवश्यकता नहीं है। हमें बस नोट्स लेने में बेहतर होने की आवश्यकता है।
- वर्तमान स्थिति: हम AI बनाते हैं और उम्मीद करते हैं कि यह समझ में आए।
- प्रस्तावित स्थिति: हम AI बनाते समय हर एक चरण की एक सख्त, डिजिटल "रेसिपी बुक" रखते हैं।
यदि हम सही नोट्स (प्रोवेनेंस) सहेजते हैं, तो हम यह सिद्ध कर सकते हैं कि AI पारदर्शी है। हम नियामकों (regulators), डॉक्टरों या ग्राहकों को दिखा सकते हैं: "इस परिणाम तक पहुँचने के लिए हमने बिल्कुल यही रास्ता लिया था। आप स्वयं इसका अनुसरण कर सकते हैं।"
संक्षेप में: आप किसी रहस्य को सत्यापित नहीं कर सकते यदि आप सुरागों का रिकॉर्ड नहीं रखते हैं। यह शोध पत्र कहता है, "रिकॉर्ड रखना शुरू करें, और रहस्य अपने आप सुलझ जाएगा।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।