Interpretability Can Be Actionable
यह स्थिति पत्र तर्क देता है कि व्याख्यात्मकता (interpretability) के क्षेत्र को नए तरीकों को विकसित करने के बजाय "कार्रवाई योग्य" (actionable) मूल्यांकन मानदंड स्थापित करने की ओर स्थानांतरित होना चाहिए, जिन्हें स्पष्टता और सत्यापन द्वारा परिभाषित किया गया हो, ताकि यह सुनिश्चित किया जा सके कि अंतर्दृष्टि ठोस वास्तविक दुनिया के निर्णयों और हस्तक्षेपों की ओर ले जाए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अविश्वसनीय रूप से बुद्धिमान, लेकिन रहस्यमय, ब्लैक बॉक्स है जो आपके लिए निर्णय लेता है। शायद यह किसी मरीज का निदान कर रहा है, ऋण (loan) स्वीकृत कर रहा है, या कोई कहानी लिख रहा है। आप देख सकते हैं कि क्या अंदर जा रहा है और क्या बाहर आ रहा है, लेकिन आपको पता नहीं है कि इसने निर्णय कैसे लिया।
वर्षों से, शोधकर्ता उस बॉक्स को खोलने और उसके अंदर घूमते गियर को देखने की कोशिश कर रहे हैं। इस क्षेत्र को इंटरप्रिटेबिलिटी (Interpretability) कहा जाता है। उम्मीद यह थी कि यदि हम गियर्स को समझ लेते, तो बॉक्स अधिक सुरक्षित, निष्पक्ष और विश्वसनीय हो जाता।
हालाँकि, यह पेपर तर्क देता है कि जबकि हम गियर्स का वर्णन करने में बहुत अच्छे हो गए हैं, हम उस विवरण का उपयोग करके बॉक्स को वास्तव में ठीक करने या उसे बेहतर बनाने में बहुत अच्छे नहीं रहे हैं। यह एक शहर के प्लंबिंग (नलसाजी) के विस्तृत मानचित्र होने जैसा है, लेकिन कभी भी उस लीक को ठीक करने के लिए नहीं।
यहाँ इस पेपर का मुख्य तर्क दिया गया है, जिसे सरल उपमाओं (analogies) में विभाजित किया गया है:
मुख्य समस्या: "समझना" पर्याप्त नहीं है
लेखकों का कहना है कि यह क्षेत्र एक जगह अटक गया है। हमारे पास यह समझाने के ढेरों नए तरीके हैं कि AI कैसे काम करता है, लेकिन ये स्पष्टीकरण शायद ही कभी वास्तविक दुनिया में बदलाव लाते हैं।
- उपमा: कल्पना कीजिए कि एक मैकेनिक एक 50 पन्नों की रिपोर्ट लिख सकता है जो विस्तार से बताती है कि कार का इंजन अजीब आवाज क्यों कर रहा है। लेकिन वह रिपोर्ट ड्राइवर को यह कभी नहीं बताती कि उस आवाज को रोकने के लिए उसे क्या करना चाहिए। ड्राइवर के पास एक शानदार कहानी तो होती है लेकिन कार टूटी हुई रहती है।
- पेपर का दावा: हमें केवल "समझाने" से रुककर "कार्य करने" की ओर बढ़ना होगा। पेपर इसे एक्शनएबल इंटरप्रिटेबिलिटी (Actionable Interpretability) कहता है।
"एक्शनएबल इंटरप्रिटेबिलिटी" क्या है?
पेपर इसे इस प्रकार परिभाषित करता है कि यह एक ऐसा स्पष्टीकरण है जो न केवल आपको बताता है कि क्यों कुछ हुआ, बल्कि यह भी बताता है कि आपको उसके बारे में क्या करना चाहिए।
- उपमा: यह कहने के बजाय कि, "इंजन शोर कर रहा है क्योंकि सिलेंडर 3 में एक ढीला बोल्ट है," एक एक्शनएबल स्पष्टीकरण कहता है, "सिलेंडर 3 के बोल्ट को कसें, और यहाँ आपको आवश्यक रिंच (wrench) का सटीक आकार दिया गया है।"
- दो प्रमुख घटक:
- ठोसता (Concreteness): सलाह विशिष्ट होनी चाहिए। अस्पष्ट सुझाव जैसे "शायद इंजन की जाँच करें" नहीं। इसे "इस विशिष्ट स्क्रू को कसें" होना चाहिए।
- सत्यापन (Validation): आपको साबित करना होगा कि यह काम करता है। आप केवल अनुमान नहीं लगा सकते; आपको सुधार को आज़माना होगा और दिखाना होगा कि शोर वास्तव में बंद हो गया है।
यह अभी तक क्यों नहीं हो पा रहा है?
पेपर तीन मुख्य बाधाओं की पहचान करता है:
- गलत पुरस्कार (Wrong Rewards): अकादमिक दुनिया में, शोधकर्ता नए तरीके आविष्कार करने के लिए प्रसिद्ध होते हैं जिनसे इंजन को देखा जा सके, न कि उसे वास्तव में ठीक करने के लिए। चीजों को ठीक करना अक्सर "केवल इंजीनियरिंग" के रूप में देखा जाता है न कि "विज्ञान" के रूप में, इसलिए किसी को इसका श्रेय नहीं मिलता।
- खिलौना समस्याएँ (Toy Problems): कई शोधकर्ता अपने विचारों का परीक्षण बहुत छोटे, सरल मॉडलों (जैसे एक खिलौना कार) पर करते हैं, बजाय वास्तविक दुनिया में उपयोग किए जाने वाले विशाल, जटिल इंजनों के। जो एक खिलौना कार पर काम करता है, वह एक सेमी-ट्रक पर काम नहीं कर सकता।
- उपयोग में बहुत कठिन: इन मॉडलों को ठीक करने के उपकरण इतने जटिल होते हैं कि केवल वही व्यक्ति उन्हें उपयोग कर सकता है जिसने उन्हें बनाया है। यदि डॉक्टर या नीति-निर्माता उस उपकरण का उपयोग नहीं कर सकते, तो वह उनके लिए बेकार है।
हम वास्तव में कहाँ अंतर ला सकते हैं?
लेखक पाँच विशिष्ट क्षेत्रों की पहचान करते हैं जहाँ ब्लैक बॉक्स के अंदर झाँकने से वास्तविक सुधार हो सकते हैं:
- उन समस्याओं को हल करना जिन्हें आकार (Size) ठीक नहीं कर सकता: AI को बड़ा बनाना झूठ बोलने (hallucinating) या पक्षपाती होने को नहीं रोकता। झूठ के आंतरिक कारण को समझने से हमें इसे सर्जिकल तरीके से हटाने की अनुमति मिलती है, बजाय इसके कि सिर्फ यह उम्मीद करें कि एक बड़ा मॉडल इसे समझ लेगा।
- अलाइनमेंट (यह सुनिश्चित करना कि वह वही चाहता है जो हम चाहते हैं): हमें यह जानने की आवश्यकता है कि क्या AI चुपके से हमें धोखा देने की कोशिश कर रहा है। आप किसी धोखेबाज को केवल यह देखकर नहीं पकड़ सकते कि वह क्या कह रहा है; आपको उसकी आंतरिक सोच को देखना होगा कि क्या वह धोखेबाज़ी कर रहा है।
- सर्जरी (पुनर्निर्माण किए बिना ठीक करना): एक टूटे हुए मॉडल को फेंकने और नया प्रशिक्षित करने के बजाय (जो महंगा और धीमा है), हम इंटरप्रिटेबिलिटी का उपयोग उस विशिष्ट "न्यूरॉन" को खोजने के लिए कर सकते है जो त्रुटि का कारण बन रहा है और केवल उसी हिस्से को ट्यून कर सकते हैं। यह एक नई कार खरीदने के बजाय एक खराब स्पार्क प्लग को बदलने जैसा है।
- बेहतर डिज़ाइन: नए AI में कौन से भाग डालने हैं, इसका अनुमान लगाने के बजाय, हम देख सकते हैं कि वर्तमान AI कैसे काम करते हैं ताकि यह देखा जा सके कि वास्तव में क्या मदद करता है। यह AI डिज़ाइन को "परीक्षण और त्रुटि" (trial and error) से बदलकर "सिद्धांत आधारित इंजीनियरिंग" में बदल देता है।
- "रोबोट की भाषा" को "मानव की भाषा" में अनुवाद करना: AI कह सकता है, "लेयर 7 और लेयर 9 अजीब तरह से इंटरैक्ट करती हैं।" एक इंसान को सुनने की ज़रूरत है, "सिस्टम एक्स-रे के गलत हिस्से पर ध्यान केंद्रित कर रहा है।" हमें तकनीकी संकेतों को उन अवधारणाओं में अनुवाद करने की आवश्यकता है जिनका उपयोग मनुष्य वास्तव में कर सकते हैं।
"एक्शनेबिलिटी चेकलिस्ट"
पेपर शोधकर्ताओं के लिए एक सरल मार्गदर्शिका के साथ समाप्त होता है। यदि आप AI का अध्ययन कर रहे हैं, तो खुद से पूछें:
- लक्ष्य क्या है? (क्या आप किसी विशिष्ट बग को ठीक करने की कोशिश कर रहे हैं?)
- दर्शक कौन है? (क्या यह एक डेवलपर, एक डॉक्टर या एक राजनेता के लिए है?)
- क्रिया (Action) क्या है? (आपका अंतर्दृष्टि किस विशिष्ट निर्णय को सक्षम करती है?)
- क्या आपने परीक्षण किया? (क्या आपने वास्तव में सुधार को आज़माया और देखा कि क्या यह काम कर गया?)
- क्या यह वास्तविक दुनिया में काम करता है? (क्या आपने इसे बड़े, अस्त-व्यस्त डेटा पर टेस्ट किया, न कि केवल एक खिलौने के उदाहरण पर?)
- क्या यह आसान तरीके से बेहतर है? (क्या आपका जटिल तरीका वास्तव में उस तरीके से बेहतर काम करता है जिसमें बस AI से विनम्रता से पूछा जाए या एक सरल उदाहरण दिया जाए?)
निचोड़ (The Bottom Line)
यह पेपर यह नहीं कह रहा है कि हमें "जिज्ञासु" शोध करना बंद कर देना चाहिए। यह कह रहा है कि इस क्षेत्र के वास्तव में महत्वपूर्ण होने के लिए, हमें क्रिया (Action) को स्वर्ण मानक (gold standard) मानना होगा। हमें केवल गियर्स के मानचित्र से संतुष्ट नहीं होना चाहिए; हमें वे लोग होने चाहिए जो रिंच घुमा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।